Problemas con la reproducibilidadDoy clases usando JMP y me di cuenta de algunos problemas de reproducibilidad en los siguientes casos:
1) Mis estudiantes que usan diferentes sistemas operativos como Windows y MacOS obtienen resultados diferentes de los modelos que requieren aleatorización como NN incluso si usan la misma semilla aleatoria como 123. Este problema es frustrante porque se supone que las tareas que usan una semilla aleatoria por razones de reproducibilidad tienen una solución verdadera única para la comparación, y los diferentes resultados confunden a los estudiantes.
2) Algunos métodos como SVM tienen un diseño de ajuste convencional para encontrar una buena combinación de parámetros; sin embargo, no se ofrece ninguna opción de semilla aleatoria en la interfaz de diseño de ajuste, lo que conduce a resultados diferentes que, nuevamente, confunden a los estudiantes.
No estoy seguro de si estos son problemas conocidos. Sin embargo, agradecería cualquier comentario que pueda solucionarlos.
macOSModelado predictivo y aprendizaje automáticoCompartir y comunicar resultadosVentanasRe: Problemas con la reproducibilidadHola @onurseref ,
Creo que este es un buen caso para llevar a nuestro equipo de soporte a soporte@jmp.com : si les envía un correo electrónico, estarán encantados de ayudarlo.
Gracias,
Ben
Re: Problemas con la reproducibilidadHola @onurseref , para ajustar SVM u otros escenarios donde no hay una semilla aleatoria disponible dentro de la plataforma de modelado, tú y tus estudiantes pueden usar el complemento de restablecimiento de semilla aleatoria . Establece una semilla aleatoria antes de iniciar la plataforma y obtendrás el mismo diseño de ajuste de SVM cada vez.
La página del complemento menciona un problema conocido con las semillas aleatorias en diferentes máquinas y sistemas operativos. Como sugirió Ben, puede obtener más información al respecto contactando con nuestro equipo de soporte técnico.
Re: Problemas con la reproducibilidadGracias @Ross_Metusalem por la solución del complemento de restablecimiento de semilla aleatoria. Lo probaré para ver si soluciona algunos problemas de reproducibilidad. Entiendo que podrían persistir algunos problemas debido a las diferencias de arquitectura entre los sistemas operativos. Cruzo los dedos.
Re: Problemas con la reproducibilidadDistintas arquitecturas de CPU producirán resultados diferentes con un generador de números aleatorios, incluso con el mismo valor de semilla. En este caso, una CPU de la serie M de Apple, una CPU x86 de Intel y una CPU x86 de AMD. Una opción es generar resultados de la serie M de macOS, Windows Intel y Windows AMD para la misma semilla para tus tareas.
Re: Problemas con la reproducibilidadGracias @Ben_BarrIngh , lo recuperamos para discutirlo más a fondo con este cliente.
Salud,
-Patrick Giuliano (Soporte técnico de JMP)
