Problemi di riproducibilitàInsegno utilizzando JMP e ho scoperto alcuni problemi di riproducibilità nei seguenti casi:
1) I miei studenti che usano sistemi operativi diversi come Windows e MacOS ottengono risultati diversi da modelli che richiedono randomizzazione come NN anche se usano lo stesso seme casuale come 123. Questo problema è frustrante perché i compiti che usano un seme casuale per motivi di riproducibilità dovrebbero avere una soluzione vera unica per il confronto e risultati diversi confondono gli studenti.
2) Alcuni metodi come SVM hanno un design di ottimizzazione convenzionale per trovare una buona combinazione di parametri; tuttavia, nell'interfaccia di progettazione dell'ottimizzazione non viene offerta alcuna opzione di seed casuale, il che porta a risultati diversi che, ancora una volta, confondono gli studenti.
Non sono sicuro che si tratti di problemi noti. Tuttavia, apprezzerei qualsiasi feedback che possa risolverli.
sistema operativo macOSModellazione predittiva e apprendimento automaticoCondivisione e comunicazione dei risultatiFinestreRe: Problemi di riproducibilitàCiao @onurseref ,
Penso che questo sia un buon caso da sottoporre al nostro team di supporto all'indirizzo support@jmp.com : se scrivi loro un'e-mail, saranno felici di aiutarti.
Grazie,
Ben
Re: Problemi di riproducibilitàCiao @onurseref , per ottimizzare SVM o altri scenari in cui non è disponibile un seed casuale all'interno della piattaforma di modellazione, tu e i tuoi studenti potete utilizzare il componente aggiuntivo Random Seed Reset . Imposta un seed casuale prima di avviare la piattaforma e otterrai lo stesso design di ottimizzazione SVM ogni volta.
La pagina del componente aggiuntivo menziona un problema noto con seed casuali su macchine e sistemi operativi. Come suggerito da Ben, puoi ottenere maggiori informazioni al riguardo dal nostro team di supporto tecnico.
Re: Problemi di riproducibilitàGrazie @Ross_Metusalem per la soluzione del componente aggiuntivo Random Seed Reset. Ci proverò per vedere se risolve alcuni dei problemi di riproducibilità. Capisco che alcuni problemi potrebbero persistere a causa delle differenze architetturali tra i sistemi operativi. Incrocio le dita.
Re: Problemi di riproducibilitàArchitetture di CPU diverse produrranno risultati diversi da un generatore di numeri casuali, anche con lo stesso valore di seed. In questo caso, una CPU serie M di Apple, una CPU x86 di Intel e una CPU x86 di AMD. Un'opzione è generare risultati per macOS, Windows Intel e Windows AMD della serie M con lo stesso valore di seed per i tuoi compiti.
Re: Problemi di riproducibilitàGrazie @Ben_BarrIngh, lo abbiamo ripreso per discuterne ulteriormente con questo cliente.
Saluti,
-Patrick Giuliano (Supporto tecnico JMP)
