El orden de las columnas de entrada afecta los resultados en la plataforma neuronalEstoy trabajando en un proyecto grupal para la clase y una vez que un miembro puso las columnas en nuestro archivo en un orden diferente, su modelo de red neuronal está dando resultados de clasificación errónea mucho peores del 16% al 18%. ¿Por qué sucedería esto?
Re: Reordenado columnas y ahora el modelo está dando resultados diferentesHola cate
El orden en que se enumeran los factores en el diálogo modelo SÍ afecta a los valores de inicio de la red neuronal y producirá resultados diferentes. La diferencia en los resultados se relaciona con la diferencia de los pesos asignados a los factores durante el primer ensayo de la red neuronal. La única manera de asegurar que se obtengan los mismos resultados es usar los mismos factores en el mismo orden con la misma semilla.
Espero que estés disfrutando de la clase!
Desaparecido en combate
Re: Reordenado columnas y ahora el modelo está dando resultados diferentesHola, sí, tenemos una columna de validación.Re: Reordenado columnas y ahora el modelo está dando resultados diferentesUna comprobación final, quizás obvia, es que las rutinas de la red neuronal REQUIEREN un conjunto de validación. Si no tiene un conjunto de validación especificado, JMP seleccionará automáticamente su conjunto de validación. Para evitar esto, cree una columna que especifique su conjunto de validación y especifíquelo al ejecutar la plataforma de red neuronal. Esto, junto con el complemento de Mia, debe permitirle obtener resultados reproducibles.
Re: Reordenado columnas y ahora el modelo está dando resultados diferentesHola cate
Gracias por plantear esta pregunta. Las redes neuronales tienen un componente aleatorio: utiliza valores de inicio aleatorios para los pesos y, a continuación, actualiza de forma iterativa los pesos para mejorar el rendimiento del modelo. El complemento, si se ejecuta justo antes de ejecutar un nuevo modelo desde la plataforma Neural, simplemente le dice a JMP que comience con los mismos valores de inicio para los pesos (si se ejecuta el mismo modelo nuevamente). El complemento no es más que una simple línea de código JMP (JSL). Supongo que si las columnas se barajan en un orden diferente, se pueden ver resultados diferentes (lo confirmaré). ¿Asumo que tiene la misma partición en Entrenamiento, Validación (y Prueba)?
Espero que estés disfrutando de la clase!
Desaparecido en combate
Re: Reordenado columnas y ahora el modelo está dando resultados diferentes¡¡Eres maravilloso!! Muchas gracias!
Estoy muy impresionado con el fantástico servicio al cliente y la capacidad de respuesta.
Que tengas una buena semana.
Re: Reordenado columnas y ahora el modelo está dando resultados diferentes¡Entendido!
Es bueno que sepas @mia_stephens 'complemento. Ella podrá hablar sobre lo que hace y lo que no hace (entiendo que hubo algunas revisiones). La dirigiré a este hilo.
Re: Reordenado columnas y ahora el modelo está dando resultados diferentesGracias por su respuesta. De hecho, volveremos a visitar la documentación a la que hace referencia. Y, finalmente, como usted dijo, es posible que debamos adoptar esta 'variabilidad algorítmica'.
A modo de explicación, el deseo de forzar resultados reproducibles, si bien no es apropiado en un entorno profesional, es altamente deseable en un entorno académico. Este es un proyecto grupal para una clase de posgrado. Desafortunadamente, todos los miembros del equipo residen en diferentes estados y están tratando de trabajar juntos para desarrollar modelos predictivos. Para las redes neuronales, todos estamos usando la misma semilla aleatoria con el complemento de semillas aleatorias que, según nuestro profesor, fue diseñado por Mia Stephens Academic Ambassador con JMP con el fin de utilizar en el ámbito académico. Parece extraño que la misma persona que ejecute el mismo modelo con la misma semilla aleatoria reciba respuestas tan diferentes de un día para otro (y resultados siempre peores). Cuando se ejecuta en el mismo día, el modelo produce confiablemente la misma tasa de clasificación errónea de prueba. El único cambio, aparte de apagar la computadora, fue reordenar las columnas para preparar el archivo para un volcado de datos adicional. Además, otros miembros del equipo no pueden reproducir los resultados que ejecutan ese mismo modelo.
Esto nos ha obligado a investigar si hay un problema con el modelo, o si es atribuible a la aleatoriedad, que pensamos que se eliminó a través del Random.
Una vez más, gracias por su respuesta anterior.
Re: Reordenado columnas y ahora el modelo está dando resultados diferentesMuchos de los algoritmos utilizados en el modelado predictivo tienen necesariamente un aspecto aleatorio. JMP proporciona varias formas de hacer que los resultados sean 'reproducibles', dependiendo de los detalles que haya hecho exactamente (busque referencias a 'Semillas aleatorias' en la Interfaz de usuario y consulte la documentación). Es casi seguro que la variación que ha visto es por esta razón, y nada que ver con barajar columnas.
Dicho esto, es una buena pregunta complementaria preguntar si es deseable forzar la reproducibilidad de los resultados, o si se debe abarcar esta "variabilidad algorítmica".
