convergenza delle reti neuraliHo dati grezzi con tre variabili indipendenti: temperatura, stress e deformazione di scorrimento e una variabile dipendente: velocità di scorrimento (vedi grafico sotto). Un collega sta facendo un po' di FEM in cui deve essere in grado di ottenere i valori tra i punti della trama, quindi ho usato la piattaforma neurale in JMP per ottenerli per lui.
Questo ha funzionato molto bene, ho ottenuto un ottimo accordo tra le previsioni del modello neurale e i dati. Ho provato diversi modelli con diversi numeri di nodi nel livello nascosto. (Non ho JMP PRO, quindi posso usare solo 1 livello.)
Per decidere quale modello (es. numero di nodi N) utilizzare, quindi genero un grafico di R2 e RMSE in funzione del numero di nodi nel modello. Mi aspettavo che per il set di allenamento la curva R2 aumentasse e la curva RMSE scendesse in modo monotono (con un po' di rumore casuale). Per il set di convalida, mi aspettavo che R2 aumentasse e la curva RSME scendesse fino a un certo valore di N, a quel punto le tendenze per la curva di convalida sarebbero state invertite. Questo sarebbe il punto in cui il modello comincerebbe ad adattare eccessivamente i dati di addestramento e quindi le prestazioni sui dati di convalida diminuirebbero.
Quello che ho ottenuto è stato questo:
Inizialmente, le tendenze sono più o meno come mi aspettavo, ma ho alcune domande:
1) In un modello con ca. 10 nodi o più, l'RMSE per il set di addestramento è sistematicamente inferiore a quello per il set di convalida. È già un segno di overfitting?
2) Quando si utilizza più di ca. 43 nodi (per l'RMSE) o ca. 63 nodi (per la R2) le prestazioni del modello calano per la validazione e il training set. Perché? La mia unica idea è che questo potrebbe essere un problema del numero di punti nei set di dati non sufficiente per addestrare correttamente il modello neurale. Il set di dati totale è composto da 1600 punti di cui ho usato 2/3 per il training e 1/3 per il set di validazione.
AnaliticaRe: convergenza delle reti neuraliGrazie. Lo controllerò.
Re: convergenza delle reti neuraliUn altro punto. Ho modificato il mio post originale perché ho confuso il numero di livelli nascosti con il numero di nodi nascosti. Il mio post originale ora si legge correttamente, ma poiché non stai utilizzando più livelli, puoi ignorare il concetto di saturazione del nodo.
Re: convergenza delle reti neuraliL'unico riferimento che discute il numero di unità nascoste è Principe, JC, NR Euliano, e WC Lefebvre. 2000.Sistemi neurali e adattivi . New York: Wiley.
La mia affermazione deriva da anni di esperienza di molti esperti SAS nelle reti neurali. In uno dei nostri corsi SAS sugli elementi essenziali della rete neurale, abbiamo questa diapositiva e note:
Re: convergenza delle reti neurali@Mark_Bailey @Dan_Obermiller @lwx228
Grazie per le risposte, reagirò in un unico post.
- In effetti, ho usato log10(strain rate) per la modellazione. Quindi ciò che viene visualizzato sono R2 e RSME da log10 (velocità di deformazione). Scusa, avrei dovuto menzionarlo.
- Uso la funzionalità holdback per determinare il set di convalida. Comunque l'ho usato con il seme 0 e il seme 123. Penso che se viene fornito un solo seme, viene utilizzato per entrambi, la determinazione dei parametri di partenza per il montaggio e la selezione del set di validazione. (Indicare seme 0 equivale a non fornire un seme.) Il risultato non è fondamentalmente diverso. (Sembra che ci sia più dispersione per un numero inferiore di nodi con seme 0, ma la tendenza generale sembra più o meno la stessa.)
@Dan_Obermiller : Hai menzionato che spesso si osservano tendenze come il miglioramento, il peggioramento, il miglioramento delle prestazioni delle reti neurali. Avresti qualche riferimento per questo?
@lwx228 : Lei dice che "una rete del genere produrrà solo overfitting". Questo è quello che mi aspettavo di vedere. Ma mi aspettavo che nei casi di overfitting, l'RMSE per il set di convalida sarebbe aumentato mentre l'RMSE per il set di addestramento sarebbe diminuito. Non sembra essere il caso. (Per SEED=123, il set di convalida ha R2 inferiore e RMSE inferiore. per un numero elevato di nodi. non lo capisco...)
Aggiungo i file con i dati grezzi e lo script.
Re: convergenza delle reti neuraliUna tale rete neurale produrrà solo overfitting.
L'uso della rete neurale convoluzionale di deep learning è una buona direzione.Re: convergenza delle reti neuraliMark ha posto ottime domande. Dovresti assolutamente utilizzare un set di convalida fisso per questi risultati.
Tieni presente che l'aggiunta di più nodi a una rete neurale può o meno migliorare la capacità predittiva. Ci sono molti esempi in cui le prestazioni migliorano, peggiorano e poi migliorano di nuovo. Inoltre, quando aggiungi più livelli puoi raggiungere un punto di saturazione del nodo, il che significa che l'aggiunta di più livelli non migliorerà le prestazioni.
Re: convergenza delle reti neuraliHai creato e utilizzato una colonna di dati di convalida o hai utilizzato la funzione di blocco all'interno della piattaforma?
Inoltre, la tua risposta copre più di un paio di ordini di grandezza. Hai provato a trasformare la risposta, ad esempio, con log (base 10)?
