¿Mal funcionamiento en Bootstrap Forest con Tuning Design Table?Hola a todos,
Tengo un caso en el que quiero aplicar un enfoque Bootstrap Forest en combinación con una tabla de diseño de ajuste. Mientras seguía las instrucciones en JMP-Help, me encontré con el problema de que solo dos de los seis hiperparámetros descritos en la tabla de ajuste llegaron a la cantidad de modelos creados de acuerdo con el número de ejecución de la tabla de ajuste.
¿Alguien más también identificó este problema?
Ya hablé de esto con @Jonas_Rinne y no encontramos una solución satisfactoria. O se trata de un error?
Modelado predictivo y aprendizaje automáticoRe: ¿Mal funcionamiento en Bootstrap Forest con la tabla de diseño de ajuste?Hola @Jonas_Rinne y @Egon_Gross1 ,
El año pasado utilicé una tabla de diseño de ajuste para ajustar un árbol impulsado (hiperparámetros similares) sobre este tema: https://community.jmp.com/t5/Discussions/Boosted-Tree-Tuning-TABLE-DESIGN/mp/609591/highlight/true#M81062
No estoy detrás de mi computadora, así que esto es lo mejor que puedo hacer ahora, pero puedo hacer algunas pruebas mañana si puede ayudar (y si otra persona no encuentra una solución antes). La denominación de las columnas es bastante sensible, por lo que esto podría explicar por qué se utilizan algunas columnas de hiperparámetros y no otras.
Espero que esto pueda ayudar mientras tanto,Re: ¿Mal funcionamiento en Bootstrap Forest con la tabla de diseño de ajuste?Hola @Egon_Gross1 y @Jonas_Rinne ,
Hago ajustes de modelos con tablas de ajuste todo el tiempo e incluso creé plantillas para NN, árboles impulsados, bosque de arranque y XGBoost.
Nunca he tenido problemas con los hiperparámetros que no se incluyen en una tabla de ajuste, excepto cuando son constantes. Normalmente uso la plataforma DOE de diseño de relleno de espacio junto con mis tablas de plantilla de ajuste para generar la tabla de ajuste más grande con todas las ejecuciones.
Una posibilidad podría ser el nombre, la otra es que probablemente necesitará asegurarse de que las columnas también tengan la función de diseño correcta asociada en sus metadatos. Si a una columna le falta esa función, es posible que las plataformas DOE no funcionen correctamente.
Parece como si las páginas de ayuda de JMP tuvieran los nombres de columna correctos asociados con la función de una tabla de ajuste. Adjunto están mis tablas de datos de plantilla, espero que puedan ayudar.
DS
Re: ¿Mal funcionamiento en Bootstrap Forest con la tabla de diseño de ajuste?Parece haber cierta inconsistencia entre la página de ayuda y el índice de secuencias de comandos. Esto es lo que sugiere la página de ayuda como nombres de columnas para los diferentes hiperparámetros en la tabla de ajuste:
En el índice de secuencias de comandos, las columnas tienen nombres ligeramente diferentes (Dividir/Dividir):
¿Alguien tuvo el mismo problema antes? ¿Usamos nombres de columna incorrectos o es otra cosa? Los dos primeros hiperparámetros funcionan bien.
Re: ¿Mal funcionamiento en Bootstrap Forest con la tabla de diseño de ajuste?@Egon_Gross1 y @Jonas_Rinne - Gracias por su pregunta. También estoy investigando esto desde el lado de soporte técnico de JMP. Parece que la tabla de sintonía que compartió con nosotros en su ejemplo es consistente con cómo @SDF1 lo especificó, la única diferencia es que el suyo no parece tener la propiedad de columna de codificación especificada para cada columna.Lo intenté en ambos sentidos con el ejemplo proporcionado en la misma semilla aleatoria (=1234) y parece no hacer ninguna diferencia.Seguiré investigando por mi parte y proporcionaré una actualización tan pronto como pueda recopilar información útil adicional.Salud, @PatrickGiuliano
Re: ¿Mal funcionamiento en Bootstrap Forest con la tabla de diseño de ajuste?Hola @SDF1 y @PatrickGiuliano y @Jonas_Rinne y @Victor_G ,
Muchas gracias por todas sus contribuciones y apoyo.
Probando diferentes enfoques, excepto el intento NN (por ahora), las tablas Tunung proporcionadas funcionaron, excepto la del procedimiento RF. Probé esto con varias tablas de la carpeta de muestra. Después de usar la tabla de ajuste, la sección Resúmenes del conjunto de validación del modelo contenía solo las columnas "N términos, N árboles, N árboles especificados y RSquare". Los otros parámetros de ajuste no aparecieron y dudo que se hayan utilizado.
Saludos
Egón
Re: ¿Mal funcionamiento en Bootstrap Forest con la tabla de diseño de ajuste?Hola @Egon_Gross1 ,
Nunca he tenido problemas al usar las tablas de plantilla que subí antes. ¿Cómo se utiliza exactamente la tabla de ajuste o se genera una a partir de la tabla de plantilla? Nuevamente, si un parámetro de ajuste es constante, las plataformas del DOE ignorarán ese parámetro y no lo incluirán en una tabla de ajuste. No me queda claro por qué tienes el problema, ya que esas plantillas funcionan bien para mí cada vez que las uso. Si puede proporcionar capturas de pantalla de cada paso que está realizando en el proceso, eso podría ayudar a descubrir cuál es la raíz del problema.
¡Gracias!,
DS
Re: ¿Mal funcionamiento en Bootstrap Forest con la tabla de diseño de ajuste?Hola @SDF1 ,
Desafortunadamente, puedo reproducir los resultados. Para permitirle un resumen, agregué un pdf que muestra mis pasos para un arranque normal y para el que usa la tabla de ajuste. Si hay algo sospechoso, agradezco su ayuda.
KR
Egon1
Re: ¿Mal funcionamiento en Bootstrap Forest con la tabla de diseño de ajuste?Hola @Egon_Gross1 ,
La mesa de ajuste y la plataforma Bootstrap Forest funcionan según lo previsto y se utilizan de forma bastante correcta.
Entonces, en primer lugar, el resultado que muestra para el ajuste de su modelo es el resultado estándar para la plataforma del bosque de arranque, donde enumera en la tabla Resúmenes del conjunto de validación del modelo solo N términos, N árboles, N árboles especificados y RSquare. Los demás parámetros se enumeran a continuación dentro del cuadro de esquema "Especificaciones". Aquí es donde encontrará los parámetros de División mínima por árbol y División de tamaño mínimo para el óptimo solo modelo. JMP no guarda todos los datos para cada ejecución de la tabla de ajuste. Si desea hacer eso, deberá escribir su propio código JSL. He hecho esto y he creado un programa de ajuste automatizado generalizado dentro de JMP para poder ejecutar modelos usando diferentes plataformas y registra la bondad de los valores de ajuste para cada ejecución del modelo y luego puedes visualizar los resultados para luego limitar qué En realidad, el ajuste podría ser mejor: tener valores R^2 súper altos no siempre es el mejor modelo, ya que puede no adaptarse tanto a los cambios. A veces es mejor mirar otras métricas.
De todos modos, mencioné que la tabla de sintonización se estaba usando "algo" correctamente. Lo que quiero decir con esto es que realmente deberías usar las tablas de sintonización que envié como factores para cargar en un diseño de relleno de espacio. Vaya a DOE > Propósito especial > Diseño de relleno de espacio, luego haga clic en el triángulo rojo y seleccione Factores de carga. Especifique la cantidad de ejecuciones que desea realizar y luego haga clic en Relleno rápido y flexible, y obtendrá una nueva tabla de datos llena de espacio para explorar el espacio de hiperparámetros. Tenga en cuenta que en las plantillas que envié, la primera fila son las configuraciones más bajas del DOE, mientras que la segunda fila son las configuraciones altas del DOE. Luego, cuando ejecute la plataforma de modelado (NN o bosque de arranque), seleccionará este nuevo diseño de relleno rápido y flexible como tabla de ajuste.
Por cierto, si lo deseas, estaré encantado de compartir contigo el código de ajuste generalizado de JSL, solo házmelo saber. Hace un tiempo hice una presentación al respecto para el club de scripters de JSL. Tiene sus limitaciones, pero también es muy útil.
¡Buena suerte!,
DS
Re: ¿Mal funcionamiento en Bootstrap Forest con la tabla de diseño de ajuste?Hola @SDF1 ,
gracias por tus aclaraciones y comentarios, que realmente me ayudaron mucho!
Supuse que la presentación de los resultados era algo similar a la de otras plataformas, lo cual obviamente era incorrecto. El uso de su tabla de ajuste también funcionó bien y obtuve una tabla de "Resumen del conjunto de validación del modelo" para todas las ejecuciones definidas de la tabla de ajuste.
Quizás sea interesante para @PatrickGiuliano y @Jonas_Rinne implementar la "versión completa" de todos los resultados de medidas de calidad en una tabla correspondiente basada en su script JSL.
Según su oferta para obtener el JSL, se lo agradecería mucho. Gracias de antemano.
Gracias por todo el apoyo y las ideas.
KR
Egon1
Re: ¿Mal funcionamiento en Bootstrap Forest con la tabla de diseño de ajuste?Hola @Egon_Gross1 ,
Adjunto se encuentra el código JSL para ejecutar el ajuste generalizado para varias de las plataformas de modelado de JMP.
¡Gracias!,
DS
Re: ¿Mal funcionamiento en Bootstrap Forest con la tabla de diseño de ajuste?Vaya, esta es una herramienta realmente excelente para ajustar diferentes parámetros del modelo. ¡Gracias por compartir!
Re: ¿Mal funcionamiento en Bootstrap Forest con la tabla de diseño de ajuste?Hola @Egon_Gross1 De hecho, verifiqué con el desarrollador de la plataforma y confirmaron que BF de hecho está usando todas las columnas de la tabla de ajuste especificadas como @SDF1 comentó aquí, pero simplemente no las informa. Estamos trabajando para solucionar este problema y debería incorporarse en el ciclo de desarrollo de JMP 18 (después del lanzamiento inicial de JMP 18.0 más adelante en el primer trimestre de 2024). Saludos, @PatrickGiuliano (soporte técnico de JMP)
