Problèmes de reproductibilitéJ'enseigne en utilisant JMP et j'ai pris conscience de certains problèmes de reproductibilité dans les cas suivants :
1) Mes étudiants qui utilisent des systèmes d'exploitation différents comme Windows et MacOS obtiennent des résultats différents à partir de modèles qui nécessitent une randomisation comme NN même s'ils utilisent la même graine aléatoire comme 123. Ce problème est frustrant car les devoirs qui utilisent une graine aléatoire pour des raisons de reproductibilité sont censés avoir une seule vraie solution pour la comparaison, et des résultats différents confondent les étudiants.
2) Certaines méthodes comme SVM ont une conception de réglage conventionnelle pour trouver une bonne combinaison de paramètres ; cependant, aucune option de graine aléatoire n'est proposée dans l'interface de conception de réglage, ce qui conduit à des résultats différents qui, encore une fois, déroutent les étudiants.
Je ne sais pas s'il s'agit de problèmes connus. Néanmoins, j'apprécierais tout commentaire permettant de les résoudre.
macOSModélisation prédictive et apprentissage automatiquePartage et communication des résultatsWindowsRe : Problèmes de reproductibilitéSalut @onurseref ,
Je pense que c'est un bon cas à soumettre à notre équipe d'assistance à support@jmp.com - si vous leur envoyez un e-mail, ils seront heureux de vous aider.
Merci,
Ben
Re : Problèmes de reproductibilitéBonjour @onurseref , pour optimiser le SVM ou d'autres scénarios où aucune graine aléatoire n'est disponible dans la plateforme de modélisation, vous et vos étudiants pouvez utiliser le module complémentaire de réinitialisation de graine aléatoire . Définissez une graine aléatoire avant de lancer la plateforme et vous obtiendrez le même réglage SVM à chaque fois.
La page du module complémentaire mentionne un problème connu lié à des graines aléatoires sur plusieurs machines et systèmes d'exploitation. Comme Ben l'a suggéré, vous pouvez obtenir plus d'informations à ce sujet auprès de notre équipe d'assistance technique.
Re : Problèmes de reproductibilitéMerci @Ross_Metusalem pour la solution du module complémentaire Random Seed Reset. Je vais essayer pour voir si cela résout certains problèmes de reproductibilité. Je comprends que certains problèmes puissent persister en raison des différences d'architecture entre les systèmes d'exploitation. Je croise les doigts.
Re : Problèmes de reproductibilitéDifférentes architectures de processeur produiront des résultats différents avec un générateur de nombres aléatoires, même avec la même valeur de départ. Dans ce cas, un processeur Apple série M, un processeur Intel x86 ou un processeur AMD x86. Vous pouvez par exemple générer des résultats pour les processeurs MacOS série M, Windows Intel et Windows AMD avec la même valeur de départ pour vos affectations.
Re : Problèmes de reproductibilitéMerci @Ben_BarrIngh, nous l'avons récupéré pour une discussion supplémentaire avec ce client.
Acclamations,
-Patrick Giuliano (Support technique JMP)
