Uno dei pericoli dell'apprendimento automatico è l'overfitting. Il target shuffling di John Elder fornisce una valutazione molto intuitiva del modello. Esistono molti riferimenti bibliografici. Di seguito ne riportiamo solo uno: http://www.kdnuggets.com/2014/02/3-ways-to-test-accuracy-your-predictive-models.html . Sarebbe utile avere questa funzionalità in JMP.
Xiaojie Zhouzhou.x.1@pg.com- Centro di innovazione Sharon Woods, Cincinnati
Sulla base della descrizione di @chris_gotwalt1 su come farlo, penso che possiamo considerarlo completato. Se sono necessarie ulteriori funzionalità per questo approccio, aggiungete un altro elemento alla lista dei desideri e lo prenderemo in considerazione.
@SamGardner Sembra che il Dipartimento di Sviluppo stia indagando su questo aspetto. Dovremmo cambiare lo stato?
La simulazione sarà disponibile in JMP Pro 13.0.
Ciò sarà possibile utilizzando la funzione Simulazione di JMP Pro seguendo questi semplici passaggi. Per eseguire il target shuffling su un target denominato :Y, ad esempio:
1) Fare clic con il pulsante destro del mouse su Y e selezionare Nuova colonna formula -> Casuale -> Campione senza sostituzione. Questo crea una nuova colonna formula chiamata Shuffle. che mescola casualmente le righe di Y.
2) Eseguire il modello sulla colonna di risposta originale.
3) Trova la diagnostica del modello che ti interessa (ad esempio R Square, AIC, Misclassification Rate, ecc.) e fai clic destro su di essa nel report.
4) Nel popup che appare, seleziona l'opzione Simula, nella parte inferiore dell'elenco delle opzioni.
5) Nella finestra di dialogo Simula che appare seleziona Y per "Colonna da cambiare" e Mescola per "Colonna da attivare". Quindi fare clic su OK. Se lo si desidera, prima di fare clic su OK è possibile impostare il seed casuale per ottenere risultati riproducibili e/o modificare il numero di campioni a un valore diverso da 2500, se lo si desidera. Un numero inferiore di campioni potrebbe essere preferibile se l'adattamento del modello richiede molto tempo. È anche possibile utilizzare i valori predefiniti.
Simulate eseguirà quindi il target shuffling per te e creerà una nuova tabella degli R-quadrati mescolati o di altri dati diagnostici che hai scelto di valutare utilizzando il target shuffling. Fai clic sullo script di distribuzione nella nuova tabella e potrai confrontare il valore nel report con la distribuzione degli R-quadrati mescolati.
Vorrei sottolineare che, sebbene John Elder sia un convinto sostenitore del Target Shuffling, il Target Shuffling è in realtà concepito come un modo per impedire l'utilizzo di un modello che presenta un overfitting dei dati. L'utilizzo di modelli scelti con opportune pratiche di convalida, in combinazione con gli algoritmi di prevenzione dell'overfitting delle piattaforme Neural, GenReg, PLS e Partition di JMP, tende a rendere il Target Shuffling meno necessario rispetto ad altri software statistici generici come R , SPSS o Statistica, per i quali il Target Shuffling è una componente essenziale del processo di valutazione del modello.
