Seleccioné Boosted Tree o un problema de regresión después de que resultó ser el modelo con mejor desempeño en la selección de modelos.
¿Puedo preguntar cómo utilizar el diseño de la tabla de ajuste para optimizar aún más el rendimiento del árbol potenciado?
Hola @AlphaPanda86751 ,
Una tabla de ajuste puede ser útil si desea ajustar hiperparámetros del algoritmo seleccionado para mejorar el rendimiento predictivo.
¿Puedo preguntarle si ya tiene una estrategia de validación para evitar el sobreajuste: validación cruzada de k-folds, columna de validación, otros ...? Boosted Tree puede ser más rápido para el sobreajuste que otros métodos basados en árboles (como el bosque de arranque), por lo que siempre es mejor tener una estrategia de validación fija y configurada antes de intentar optimizar el rendimiento.
Para usar el diseño de la tabla de ajuste, puede generar una tabla manualmente, configurando los factores de hiperparámetros en columnas (Número de capas, Divisiones por árbol, Tasa de aprendizaje, División de tamaño mínimo, ...) para probar todas las combinaciones ("cuadrícula -buscar enfoque"), o también puede generar un diseño de tabla de ajuste con la plataforma "Diseño personalizado", especificando los diferentes factores de hiperparámetros que desea investigar/afinar, el rango de valores para cada uno y el modelo/complejidad de las diferentes combinaciones/interacciones que le gustaría investigar en este espacio de hiperparámetros. Puede encontrar más información aquí (la información es de la plataforma Bootstrap Forest, pero la técnica es muy similar para Boosted Tree): Lanzamiento de Bootstrap Forest Platform (jmp.com)
Adjunto puede encontrar un ejemplo de una tabla Tuning generada desde la plataforma Custom Design.
Luego, puede iniciar su plataforma Boosted Tree con la estrategia de validación que configuró anteriormente y dejar que JMP use la tabla Tuning para probar los diferentes valores de hiperparámetros.
Aquí hay un ejemplo de los resultados con una columna de validación de estratificación en el conjunto de datos de diamantes con árbol potenciado "normal" (no ajustado):
Y aquí están los resultados usando una tabla de Tuning:
Aquí no hay grandes cambios entre la configuración "predeterminada" en JMP y la versión ajustada de Boosted Tree, pero puede ser útil e interesante probar el ajuste fino para evaluar los cambios de rendimiento. También puede evaluar la "robustez" del ajuste fino de sus hiperparámetros si ha utilizado una columna de fórmula de validación (haga clic con el botón derecho en Rsquare, RASE u otras métricas de evaluación y utilice "Simular" para activar y desactivar la columna de validación, y establezca una semilla aleatoria para tener resultados reproducibles para la comparación):
Una vez más aquí, no hace una gran diferencia, ya que la configuración predeterminada en JMP es buena y bastante robusta, pero puede probarlo usted mismo.
Adjunto encontrará la tabla de datos con las simulaciones realizadas y el script del gráfico, y puede encontrar la tabla de datos para Diamond Data en el índice de muestra o también adjunto aquí (para tener la columna de validación y reproducir los pasos presentados aquí).
Espero que esto ayude,
