¿Trabaja en modelado predictivo? ¿Está creando modelos en diferentes plataformas y busca una forma más fácil de ajustar sus modelos en el espacio de hiperparámetros? Si es así, entonces esta GUI interactiva podría ser para usted.
Este complemento de ajuste automático generalizado está diseñado para funcionar en cuatro plataformas de modelado JMP: Neural Net (NN), Boosted Trees (BT), Bootstrap Forest (RF) y XGBoost (XGB). El propósito del complemento es ayudar a reducir el espacio de hiperparámetros para cada una de estas plataformas mediante el uso de tablas de ajuste que pueden buscar en el espacio de hiperparámetros.
El complemento ejecuta un modelo para cada ajuste de la tabla de ajuste y registra las estadísticas del ajuste para que el usuario las revise más tarde. Se recomienda encarecidamente volver a ejecutar el ajuste con la plataforma JMP estándar utilizando los parámetros de ajuste optimizados obtenidos de este complemento. Luego, el usuario puede monitorear el rendimiento del modelo con los métodos integrados de JMP dentro de cada plataforma.
Los siguientes archivos se incluyen para descargar:
- genat.jmpaddin: el instalador del complemento de ajuste automático generalizado para JMP
- PowderMetallurgy_mod.jmp: una versión modificada del archivo JMP de pulvimetalurgia que contiene columnas Y nominales, numéricas y ordinales junto con una columna de validación de dos niveles (entrenar y validar) estratificada por Y numérico y una columna de validación de tres niveles (entrenar, validar, probar) también estratificado por Y numérico. Este archivo se debe usar como práctica (y verificar que el complemento funcione como se esperaba).
- NN Tuning.jmp: este es el formato de tabla de ajuste para la plataforma NN
- BT Tuning.jmp: este es el formato de la tabla de ajuste para la plataforma BT
- RF Tuning.jmp: este es el formato de tabla de ajuste para la plataforma RF (Bootstrap Forest)
- XGB Tuning.jmp: este es el formato de tabla de ajuste para la plataforma XGBoost
Después de descargar e instalar el complemento, habrá una nueva opción desplegable en el menú Complementos llamada "Sintonización automática generalizada".
Al seleccionar el complemento, se abrirá una nueva ventana donde se pueden seleccionar la tabla de datos, la tabla de ajuste y el método de modelado. La tabla de datos es la tabla que contiene las columnas de respuesta y factor, mientras que la tabla de ajuste es la tabla de ajuste adecuada correspondiente al método de modelado. Al hacer clic en los botones de selección de tabla, aparecerá una ventana de selección para definir qué tablas se utilizarán para ese propósito. El método de modelado predeterminado es NN. Al seleccionar el botón "Recuperar", se establecerá el método de modelado en lo que se utilizó anteriormente (excepto cuando se ejecuta por primera vez).
Después de seleccionar los datos y las tablas de ajuste, y el método de modelado, haga clic en "Aceptar" para abrir la siguiente ventana de interfaz donde las columnas de la tabla de datos se convertirán en los roles seleccionados Y, Respuesta; Factor X; Validación, etc. Esta ventana también permite la selección del Método de Validación apropiado (basado en el Método de Modelado elegido). Por ejemplo, la plataforma NN puede aceptar Retención de Filas Excluidas, Retención, Kfold y Columna de Validación como opciones de validación. Cada plataforma de modelado en JMP aceptará solo ciertas opciones de validación.
Después de convertir las columnas adecuadas en sus roles y seleccionar las opciones de validación adecuadas, haga clic en "Aceptar". Esto iniciará el proceso de modelado en función de los datos y las tablas de ajuste introducidas en el complemento. Aparecerán dos nuevas ventanas. La primera es una tabla de datos de salida que comienza con el nombre "Salida de" seguido del nombre de la tabla de ajuste, el método de validación y el nombre de la tabla de datos de entrada. Esta tabla de datos de salida contendrá todos los parámetros de entrada del modelo, así como todas las estadísticas de salida relevantes, según el tipo de datos de la columna Respuesta: nominal, ordinal o numérico. La otra ventana que aparece es una ventana de Progreso de modelado general, que muestra visualmente qué tan lejos está el proceso general con la tabla de ajuste (esto podría ser cientos o miles de filas, según la tabla de ajuste).
Una vez que el complemento ha realizado todos los pasos de modelado definidos en la tabla de ajuste, las estadísticas se pueden comparar con los parámetros de ajuste. Por ejemplo, el R2 generalizado para el conjunto de entrenamiento, validación y prueba frente a N_Boosts, etc. O bien, la tabla se puede ordenar por la estadística de interés. Luego, el usuario puede determinar la configuración óptima para volver y ejecutar dentro de la plataforma JMP estándar.
Esta es la primera vez que intento un complemento, y de ninguna manera está libre de errores. Tuve que buscar algunas funciones y usar algunos scripts publicados por el personal de JMP, como cómo hacer que funcione un botón "Recuperar". Pruébelo y si encuentra errores en el complemento, hágamelo saber e intentaré solucionarlos lo antes posible.
Algunas NOTAS sobre la funcionalidad del complemento:
El complemento requiere conocimientos previos del usuario con respecto a los tipos de columnas de respuesta esperadas (por ejemplo, en la actualidad, la plataforma JMP BT no puede aceptar columnas de respuesta nominal / ordinal con más de dos niveles). O que algunas plataformas solo pueden usar columnas de validación con dos niveles, por ejemplo, entrenamiento y validación. El complemento solo es compatible con JMP Pro v15.0 y superior (debido a las plataformas NN y XGB de dos capas).
Además, hay columnas específicas que se alimentan a la rutina de modelado desde las tablas de ajuste (tablas de ajuste incluidas). Los valores para las diferentes "ejecuciones" de la tabla de ajuste se pueden ingresar manualmente o generarse usando la plataforma DOE en JMP. Tenga en cuenta que si utiliza la plataforma DOE, cuando una columna de ajuste es constante, la plataforma DOE no la incluirá en la tabla de ajuste. Como resultado, cuando el complemento inicia los pasos de modelado, utilizará el valor predeterminado para el parámetro de ajuste a menos que se ingrese manualmente en la tabla de ajuste final.
Gracias por echarle un vistazo y probarlo.
¡Buena suerte!,
DS
