Re: Ajuste de red neuronalHola Scott,
Complemento muy útil. Anteriormente, tenía que generar manualmente un diseño de relleno de espacio para probar y explorar la plataforma NN. ¡Le daré una prueba! ¿Algún plan para expandir el número de capas en la plataforma NN? ¿También se puede implementar algún ajuste casual en la plataforma de género?
Gracias,
Vinos
Re: Ajuste de red neuronalHola, @Vins !.
Solo quería intervenir en esto. GenReg ya se puede ajustar, solo configure el hiperparámetro alfa en "." y JMP lo optimizará. En más capas en el NN, eso está más en manos de JMP Development que de Scott. Debe poner la solicitud en el Lista de deseos de JMP para que sepan que le gustaría ver NN más profundos disponibles.
Mejor,
METRO
Re: Ajuste de red neuronal@Vins -
En este momento, el complemento solo pasa parámetros a la plataforma JMP NN, que crea NN con hasta dos capas. Si la plataforma cambia (más capas, funciones de activación, etc.) y hay suficiente interés, puedo actualizar el complemento. quiero secundar @MikeD_Anderson y diríjase a la lista de deseos si hay funciones que le gustaría ver en futuras versiones de JMP.
¡Déjame saber cómo va tu prueba!
-Scott
Re: Ajuste de red neuronalEsto es genial. Me he estado preguntando cuándo algo como esto se abriría paso en JMP Pro, pero es una gran iniciativa hacer que este complemento lo haga.+50 puntos para Gryffindor!
Re: Ajuste de la red neuronalGran herramienta muchas gracias. Lo acabo de probar en varios conjuntos de datos, me ahorra mucho tiempo y encuentra condiciones (parámetros) que no necesariamente habría probado por cuestión de tiempo. Gracias Scott!!
Re: Ajuste de la red neuronalBuen trabajo @scott_allen ¡Sobre la buena configuración y funcionalidad de este complemento!
Dos preocupaciones/advertencias:
1. La plataforma Neural echa un vistazo a los datos de validación mientras realiza el ajuste del modelo, por lo que los resultados de la validación tienen fugas y son demasiado optimistas.Como tal, no creo que proporcionen una buena estimación del rendimiento de la generalización ni una buena manera de comparar diferentes modelos en el diseño de ajuste.La única forma de evitar esto que conozco es usar una columna de Validación de tres niveles (Entrenamiento, Validación y Prueba, que se puede crear con Analizar > Modelado predictivo > Crear columna de validación) y luego usar solo los resultados de la prueba para comparar modelos.Acabo de verificar que el complemento maneja este caso y, para verificar el punto general, grafica la Validación R2 versus la Prueba R2.
2. Lanzar muchos modelos a un solo conjunto de prueba probablemente conducirá a un sobreajuste de ese conjunto de prueba.Esto sucedió con la funcionalidad Autotune en XGBoost (que usa el mismo enfoque de Diseño rápido y flexible), lo que provocó un cambio para generar solo un modelo de conjunto durante el autoajuste y usar anidamiento dentro de cada pliegue para evitar fugas.
@vins Las NN arbitrariamente profundas están disponibles en el nuevo complemento Torch Deep Learning; por favor regístrate para probarlo en Adoptador pionero del JMP 18 Aún no tiene autotuning pero podría hacerlo en el futuro.
Re: Ajuste de la red neuronal@russ_wolfinger
Grandes puntos. Estoy de acuerdo con ambos y espero continuar desarrollando este complemento para abordarlos.
Mi primer objetivo era automatizar el flujo de trabajo de generación de modelos actual y ahora me gustaría empezar a pensar en incluir "barandillas" o ayudar a encontrar formas de incluir métodos de validación adicionales.
También me gusta la idea de los modelos conjuntos. Estoy considerando agregar una forma sencilla para que el usuario pase modelos a la plataforma Comparar modelos. Pero podría ser mejor automatizar esto también en función de alguna estadística de ajuste del modelo. ¡Comida para el pensamiento!
Re: Ajuste de la red neuronal@scott_allen He agregado a la lista de deseos más capas para NN.
@russ_wolfinger , Ya utilicé el complemento Torch Deep Learning para varias ejecuciones de prueba en EA5. Obtengo mejores modelos que el complemento xgboost, sin embargo, siempre vuelvo a su complemento xgboost. Guardo una tabla de "ganancia", "divisiones", "cobertura" y puntuaciones para cada variable. Con esta tabla selecciono solo variables con valores distintos de 0 y vuelvo a ejecutar xgboost con un conjunto más pequeño de predictores. Por lo general, después de 2 o 3 rondas, no obtengo predictores distintos de cero. De esta manera filtro las variables sin importancia y puedo hacer que el generador de perfiles visualice un modelo más pequeño. Mis predictores son habitualmente 60-300K. Me gustaría ver una opción en el Complemento Torch Deep Learning donde puedo obtener acceso a una tabla con valores que puedo usar para eliminar variables sin importancia.
¿Habrá un diseño rápido y flexible ampliado en xgboost que también incluya las otras ~ 30 opciones avanzadas que incluyen parámetros categóricos?Y por último @russ_wolfinger , ¿la próxima versión de EA tendrá una tabla de ajuste para el complemento Torch Deep Learning? No puedo esperar, ¡los modelos son significativamente mejores!
Re: Ajuste de la red neuronal@vins Muchas gracias por los comentarios.Creo que su enfoque de reducción de variables en XGBoost es razonable (yo mismo hice lo mismo) ya que esas variables con importancia 0 no se utilizan en ninguno de los modelos.Tanto la importancia de las variables como el autoajuste están en la lista de "tareas pendientes" de Torch.
El autoajuste de XGBoost sobre todas las opciones avanzadas requeriría una interfaz mucho más grande y desordenada, y podemos pensar en ello.Mientras tanto, existe una opción de Tabla de diseño de ajuste en la que puede especificar una tabla JMP secundaria con puntos de diseño, por ejemplo, creada invocando DOE FFF directamente en los parámetros que desea ajustar.
También estamos analizando más ahora los enfoques de optimización bayesiana.Hay un complemento .
Re: Ajuste de la red neuronalActualizar
Se actualizó el complemento Neural Network Tuning.La versión 1.1 ya está disponible para descargar y la versión 1 ha sido eliminada. Esta versión tiene una serie de correcciones de errores y mejoras generales basadas en los comentarios de los usuarios:
Corrección de errores
- Informativo Obras desaparecidas.
- Se lanzan varias advertencias para evitar mensajes de error JMP cuando se encuentran problemas en los pasos de especificación de columnas o parámetros.
- Ahora se admiten respuestas nominales y ordinales de varios niveles.
Mejoras
- Actualizaciones generales de la interfaz
- La validación de KFold ya está disponible
- Se puede abrir una ventana de Ayuda haciendo clic en el botón "Ayuda". La ventana de Ayuda tiene información adicional sobre cómo se manejan la validación de modelos, la comparación de modelos y el guardado de modelos en la versión 1.1.
- La validación del modelo ahora siempre se realiza con una columna para ayudar con la reproducibilidad del modelo.
- La comparación de modelos ahora se lleva a cabo utilizando la plataforma Comparar modelos en una tabla de datos duplicados (y ocultos).
- Guarde los modelos directamente desde la ventana de resultados de ajuste usando el botón Guardar modelos.
- Cuando se carga una tabla de datos previamente guardada, el complemento le advertirá si las variables X en la tabla de datos guardada son diferentes de las variables X especificadas cuando se inició el complemento.
- La salida del generador de gráficos ahora tiene un interruptor de columna para ver los valores de Entrenamiento, Validación o Prueba R2 versus cada parámetro.
- Se agregan dos gráficos de visualización de modelos más como pestañas en la ventana de resultados. Estos también son interactivos con la tabla de datos para ayudar a identificar los mejores modelos.
- La ventana de Progreso del modelo tiene algunas actualizaciones:
- Se muestra el tiempo total de modelado.
- Se muestra el tiempo promedio por modelo.
- Un botón Cancelar está disponible en la ventana de progreso del modelo en caso de que el tiempo total de modelado sea más largo de lo deseado. Cualquier modelo que se haya completado durante el paso de modelado se guardará en la ventana de resultados. Tenga en cuenta que cuando el tiempo de modelado es prolongado, este botón puede "retrasarse" y es posible que sea necesario hacer algunos clics para registrar el comando.
- Los modelos guardados en la tabla de datos tienen una sección de Notas actualizada con todos los parámetros utilizados para generar el modelo.
Re: Ajuste de la red neuronalActualizar
La versión 1.2 ya está disponible. Esta versión tiene una serie de correcciones de errores y mejoras adicionales basadas en los comentarios de los usuarios:
Corrección de errores
- Comparar modelos solo traerá modelos NN preparados recientemente a la plataforma Comparar modelos en lugar de todos los modelos generados previamente.
- Las comparaciones de modelos con valores Y nominales y ordinales ahora funcionan
- Otras correcciones menores
Mejoras
- Ahora puede recuperar los parámetros de ajuste
- Se agregaron diferentes opciones para guardar modelos.
- Mostrar la tabla de tuning genera una copia de la tabla
- La tabla de datos ahora se guarda como una pestaña en la ventana de resultados.
- Se agregaron ID de modelo únicas para facilitar la comparación de modelos con diferentes semillas aleatorias.
- Hay un nuevo gráfico disponible cuando se utilizan varias semillas aleatorias
Ajuste de redes neuronalesActualizaciones
27 de noviembre de 2023 - Versión 1.1: mejoras y correcciones de errores, los detalles se encuentran en una publicación a continuación
28 de noviembre de 2023 - Versión 1.11 - corrección de errores menores
15 de diciembre de 2023 - Versión 1.2: mejoras y correcciones de errores, los detalles se encuentran en una publicación a continuación
Objetivo
El complemento Neural Network Tuning es una plataforma de red neuronal alternativa que proporciona una forma sencilla de generar numerosas redes neuronales para identificar el mejor conjunto de parámetros para la estructura de capas ocultas, las opciones de refuerzo y ajuste.
Cómo funciona
El usuario especifica la cantidad de modelos de red neuronal que se ejecutarán y establece el rango de parámetros y opciones de ajuste. Se genera un DOE de llenado rápido y flexible de espacio con los parámetros de ajuste como Factores y el R de entrenamiento, validación y prueba. 2 valores como respuestas.
Cada prueba en el DOE se pasa a la plataforma Neural Network y al R 2 Los valores se registran en una tabla DOE de salida. Después de ejecutar todos los modelos, la tabla se ordena por Validación R 2 y se muestra una serie de gráficos para ayudar al usuario a identificar los efectos más importantes para maximizar la Validación R 2 valores.
Se pueden generar modelos adicionales ajustando los parámetros de ajuste y volviendo a ejecutar el DOE. Las nuevas ejecuciones se agregarán a la tabla original.
La tabla de datos se puede guardar y volver a cargar en la plataforma para guardar el progreso y reiniciar análisis adicionales. Esta es una forma de ajustar redes neuronales que puede requerir un tiempo de cálculo considerable.
Guía de vídeo
Re: Ajuste de la red neuronalHola @marco2024
Para analizar dos o más variables, deberá crear un modelo para cada una y luego cargar las expresiones de predicción en Profiler:
- Cree un modelo NN para su primera salida (Y) y guarde la expresión de predicción haciendo clic en el botón "Guardar modelos". La opción "Fórmulas de Profiler" guardará una única columna de fórmula en su tabla de datos.
- Repita esto para todas las variables Y que desee comparar.
- Inicie Profiler (Gráfico > Profiler) y cargue sus expresiones de predicción.
Esto proporcionará un generador de perfiles para cada una de sus variables Y apiladas una encima de otra para ayudarlo a comparar y cooptimizar su sistema.
Re: Ajuste de la red neuronalHola Scott,
Me alegro de saludarte......No pude entrar al blog con mi nombre de usuario para responderte......, agradezco tu respuesta a mi consulta!!..... Abajo me he dado cuenta la siguiente:
1. Observaciones:
- El complemento no funciona en español
- El complemento no guarda el modelo o modelos elegidos en la tabla
2. Consultas:
- ¿Podría haber una opción para que el complemento busque redes neuronales de 1 y 2 capas en 1 paso... según el rango de parámetros indicado por el usuario?
Saludos,
marco
Re: Ajuste de la red neuronalHola Scott,
La observación 2 (el complemento no guarda modelos) la deja sin efecto, el complemento si salva los modelos.
Saludos,
marco
Re: Ajuste de la red neuronalHola Scott,
Una pregunta: ¿El plugin podría tener la opción de generar redes neuronales que aprendan en tiempo real de las entradas (aprendizaje incremental), es decir, que no sean redes neuronales estáticas?
Saludos,
marco
