L'ordine delle colonne di input influisce sui risultati della piattaforma neuraleSto lavorando a un progetto di gruppo per la classe e quando un membro inserisce le colonne nel nostro file in un ordine diverso, il loro modello Neural Net sta dando risultati di errata classificazione dei test molto peggiori dal 16% al 18%. Perché dovrebbe succedere?
Ri: Riordina le colonne e ora il modello sta dando risultati diversiCiao Cate,
L'ordine in cui i fattori sono elencati nella finestra di dialogo del modello influisce sui valori iniziali della rete neurale e produrrà risultati diversi. La differenza nei risultati è legata alla differenza dei pesi assegnati ai fattori durante la prima prova della rete neurale. L'unico modo per garantire che si ottengano gli stessi risultati è utilizzare gli stessi fattori nello stesso ordine con lo stesso seme.
Spero ti stia godendo la lezione!
Mia
Ri: Riordina le colonne e ora il modello sta dando risultati diversiCiao, sì, abbiamo una colonna di convalida.Ri: Riordina le colonne e ora il modello sta dando risultati diversiUn ultimo controllo, forse ovvio, è che le routine di rete neurale richiedono un set di validazione. Se non si dispone di un set di convalida specificato, JMP selezionerà automaticamente il set di convalida. Per evitare ciò, creare una colonna che specifichi il set di convalida e specificarlo durante l'esecuzione della piattaforma di rete neurale. Questo insieme al componente aggiuntivo di Mia dovrebbe consentire di ottenere risultati riproducibili.
Ri: Riordina le colonne e ora il modello sta dando risultati diversiCiao Cate,
Grazie per aver posto questa domanda. Le reti neurali hanno un componente casuale - utilizza valori di partenza casuali per i pesi e quindi aggiorna iterativamente i pesi per migliorare le prestazioni del modello. Il componente aggiuntivo, se eseguito appena prima dell'esecuzione di un nuovo modello dalla piattaforma Neural, indica semplicemente a JMP di avviare gli stessi valori iniziali per i pesi (se lo stesso modello viene eseguito di nuovo). Il componente aggiuntivo non è altro che una semplice riga di codice JMP (JSL). Direi che se le colonne vengono mescolate in un ordine diverso potresti vedere risultati diversi (lo confermerò). Suppongo che tu abbia lo stesso partizionamento in Training, Validation (e Test)?
Spero ti stia godendo la lezione!
Mia
Ri: Riordina le colonne e ora il modello sta dando risultati diversiSei meraviglioso!! Grazie mille!
Sono così impressionato dal fantastico servizio clienti e dalla reattività.
Buona settimana.
Ri: Riordina le colonne e ora il modello sta dando risultati diversiInteso!
È bello che tu sappia @mia_stephens ' aggiungere. Lei sarà in grado di parlare a ciò che fa e non fa (capisco che c'erano alcune revisioni). La dirigo a questo thread.
Ri: Riordina le colonne e ora il modello sta dando risultati diversiGrazie per la vostra risposta. Effettueremo di nuovo la documentazione a cui hai fatto riferimento. E alla fine, come hai detto tu, dovremmo semplicemente abbracciare questa "variabilità algoritmica".
A titolo di spiegazione, il desiderio di forzare risultati riproducibili, mentre non è appropriato in un contesto professionale, è altamente desiderabile in un ambiente accademico. Questo è un progetto di gruppo per una classe di scuola di specializzazione. Sfortunatamente, i membri del team risiedono in stati diversi e stanno cercando di lavorare insieme per sviluppare modelli predittivi. Per le reti neurali, utilizziamo tutti lo stesso seme casuale con il componente aggiuntivo di semi casuale che, secondo il nostro professore, è stato progettato dall'ambasciatore accademico Mia Stephens con JMP allo scopo di essere utilizzato nell'arena accademica. Sembra strano che la stessa persona che esegue lo stesso modello con lo stesso seme casuale, otterrà risposte così diverse da un giorno all'altro (e risultati sempre peggiori). Se eseguito nello stesso giorno, il modello produce in modo affidabile la stessa frequenza di errata classificazione del test. L'unica modifica, oltre alla chiusura del computer, consisteva nel riordinare le colonne per preparare il file per un ulteriore dump di dati. Inoltre, gli altri membri del team non possono riprodurre i risultati che eseguono lo stesso modello.
Questo ci ha costretti a indagare se c'è un problema con il modello, o se è attribuibile alla casualità, che pensavamo fosse stato eliminato tramite il Random.
Ancora una volta, grazie per la tua risposta in precedenza.
Ri: Riordina le colonne e ora il modello sta dando risultati diversiMolti degli algoiti utilizzati nella modellazione predittiva hanno necessariamente un aspetto casuale. JMP fornisce una serie di modi per rendere i risultati "riproducibili", i dettagli dipendono esattamente da ciò che hai fatto (cerca i riferimenti a "Sementi casuali" nell'interfaccia utente e consulta la documentazione). Quasi certamente la variazione che hai visto è per questo motivo, e nulla a che fare con le colonne mischiate.
Detto questo, è una buona domanda complementare per chiedersi se sia desiderabile forzare i risultati a essere riproducibili, o se si dovrebbe abbracciare questa "variabilità algoritmica".
