En un reciente Construyendo mejores modelos seminario, alguien me preguntó: "Si tiene un factor que tiene una relación curva con una respuesta, ¿se puede usar un modelo de árbol de decisiones para modelar esa relación?" Para mostrar que esto es realmente posible, creé un conjunto de datos simulados simples con 200 filas, basadas en el modelo.
dónde una , segundo , do son constantes, y mi Es una variable aleatoria normalmente distribuida. En la Figura 1 se muestra una gráfica de los datos, junto con el modelo de regresión cuadrática ajustado.
Entonces, ¿cómo se ve un modelo de árbol de decisión cuando se ajusta a estos datos? Para averiguarlo, utilicé el Dividir Plataforma (Analizar> Modelar> Partición) para ajustar un árbol de decisión simple. Una vista compacta del modelo de árbol de decisión se encuentra en la Figura 2.
Al examinar una gráfica del modelo ajustado (Figura 3), vemos que la forma del modelo cuadrático general es capturada por el modelo del árbol de decisión. Dentro del rango de los datos de X (-100 <100), este modelo hace predicciones que son muy similares al modelo cuadrático. De hecho, ambos modelos tienen los mismos errores de predicción promedio, y la R 2 para ambos modelos es de 0,98. Esto es bueno porque los árboles de decisión no hacen ninguna suposición sobre la forma de la relación entre la Y y la X.
Es importante saber que el modelo de árbol de decisión que se ajustó aquí fue el modelo más grande / complejo que fue posible, con la única restricción de que cada nodo terminal del árbol debía tener un mínimo de cinco puntos de datos. El ruido en estos datos es relativamente pequeño en comparación con la variabilidad general en estos datos, lo que explica por qué tanto los modelos cuadráticos como los de partición pueden tener un ajuste tan bueno.
Pero, ¿y si tenemos datos mucho más ruidosos? Considere un segundo conjunto de datos simulados del mismo modelo cuadrático, pero donde la desviación estándar del error aleatorio es 10 veces mayor. Puede ver el modelo cuadrático ajustado y el modelo de árbol de decisión completo superpuestos con los datos en la Figura 4.
En este caso, el árbol de decisión ya no parece que esté capturando bien la naturaleza cuadrática de los datos. Esto es porque el modelo de partición es overfit Demasiado del error aleatorio presente en los datos se asigna al modelo, lo que resulta en un modelo que es demasiado complejo.
Para crear un mejor modelo de árbol de decisión que capture la naturaleza esencial de los datos sin un ajuste excesivo, usaremos una reserva aleatoria del 20% de los datos como un conjunto de validación para ayudar a elegir automáticamente el tamaño del modelo de árbol de decisión. Esta es una característica incorporada en JMP Pro , la versión analítica avanzada de JMP. El modelo resultante se eligió en función del conjunto de validación y solo tiene cinco nodos terminales. La superposición de este modelo de árbol de decisión más simple (Figura 5) muestra que el árbol de decisión ahora está capturando esa naturaleza cuadrática general de los datos. Por lo tanto, la respuesta a la pregunta original sigue siendo "sí", y JMP Pro lo ayuda a hacerlo de forma rápida y automática.
Eric Cai escribió:
Hola Sam,
Gracias por este post muy claro e informativo. ¿Podría explicar por qué utilizó la validación de reserva en lugar de la validación cruzada? ¿La validación de reserva no es propensa a variaciones a partir de las cuales los datos se mantuvieron como el conjunto de validación? La validación cruzada puede superar esta variación, y este es el método de validación que normalmente utilizo. Me encantaría conocer las ventajas de la validación de reserva.
Gracias por tu tiempo.
Eric
