La industria manufacturera actual es altamente competitiva y las empresas necesitan buscar constantemente formas innovadoras de mejorar la eficiencia, reducir costos y mantener la calidad del producto. En este entorno dinámico y complejo, las herramientas de análisis estadístico se han convertido en una herramienta poderosa en la industria, y una de las herramientas más utilizadas son los árboles de decisión. Los árboles de decisión son poderosos modelos estadísticos que pueden ayudar a la industria manufacturera a resolver una variedad de problemas, desde el análisis de defectos del producto hasta la optimización de la eficiencia de la producción, la gestión de la cadena de suministro y el control de calidad. En este artículo, exploraremos qué es un árbol de decisión, sus escenarios de aplicación y técnicas de uso para hacer frente a las necesidades cambiantes del mercado.
¿Qué es un árbol de decisión?
El árbol de decisión es un método de aprendizaje automático que selecciona una característica de acuerdo con una determinada regla cada vez y utiliza un determinado valor de la característica como umbral para dividir de forma recursiva la muestra de entrenamiento en varios subárboles y dividirlos de forma recursiva de acuerdo con las mismas reglas. Finalmente se obtiene un clasificador de árbol que puede utilizarse para la clasificación en la toma de decisiones. Sus principales algoritmos son: ID3, C4.5, CART, etc. El árbol de decisión es un método de clasificación de uso común que requiere aprendizaje supervisado. El aprendizaje supervisado consiste en dar un conjunto de muestras, cada muestra tiene sus variables y resultados de clasificación correspondientes. Bajo la premisa de que se conocen los resultados de la clasificación, a través del aprendizaje se obtiene un conjunto de muestras. árbol de decisión, que puede predecir y clasificar nuevas muestras. A continuación, utilizamos un caso sencillo para ayudar a todos a comprender el pensamiento analítico de los árboles de decisión.
Compartir casos de árbol de decisión
Dado el siguiente conjunto de datos, que contiene 20 muestras, esperamos predecir "si salir a ver una película" a través de la siguiente figura (1) "si hoy es fin de semana" y "cuál es su estado de ánimo hoy".
Figura 1)
Luego use este conjunto de muestras con resultados de clasificación para el entrenamiento. Para simplificar el proceso, asumimos que el árbol de decisión es un árbol binario y es similar a la siguiente figura (2):
Figura II)
A través del estudio de datos de muestra, podemos encontrar que cada nodo variable tiene un indicador de juicio específico, como fines de semana, no fines de semana, buen humor, estado de ánimo promedio y mal humor. Lo llamamos "umbral". Si se trata de un nodo de variable numérica, el umbral generalmente es un valor específico. Por ejemplo, si el resultado se determina si la edad es mayor de 30 años, 30 se denomina umbral.
La generación de un árbol de decisión generalmente se divide en dos pasos, que se logran aprendiendo los resultados de clasificación de muestras conocidas:
- En términos generales, cuando el nodo de una variable no puede dar un juicio del resultado, el nodo se dividirá en dos, o si no es un árbol binario, se dividirá en muchos hasta que ya no se pueda dividir. Por ejemplo, en estos datos de muestra, "si hoy es fin de semana" no puede determinar directamente si ver una película o no, luego agregue un nuevo nodo variable "cómo te sientes" y luego divídalo hasta que no se pueda dividir;
- Elegir un umbral apropiado puede minimizar la tasa de clasificación errónea.
Algoritmos de árbol de decisión comúnmente utilizados
Como se introdujo anteriormente, los algoritmos de árbol de decisión de uso común incluyen ID3, C4.5 y CART (árbol de clasificación y regresión). Entre ellos, el efecto de clasificación de CART es mejor que otros algoritmos, y también es el método utilizado por JMP. A continuación los presentaremos respectivamente:
ID3algoritmo
La ganancia de información se utiliza para evaluar las condiciones de división. Cuanto mayor sea la ganancia de un grupo de datos de muestra, mejor será el efecto de clasificación. El proceso de obtención de información es en realidad un proceso de reducción de entropía. La entropía define el grado de caos de la información. El proceso de modelado ID3 también es un proceso de transformación de la información del caos a la simplicidad.
En el caso anterior se mencionan dos variables, si es fin de semana y cuál es el estado de ánimo. Veamos cómo es el efecto de clasificación de cada nodo variable:
- "Hoy es fin de semana" para determinar la decisión de "ver una película": se determinó que 11 de las muestras eran fin de semana, pero 10 muestras finalmente decidieron ver una película y una fue clasificada erróneamente;
- "De buen humor" para juzgar la decisión de "ver una película": 6 muestras definitivamente estaban de buen humor y 6 muestras finalmente decidieron ver una película, con 0 clasificaciones erróneas;
- "En un estado de ánimo normal" para juzgar la decisión de "ver una película": se determinó que 6 de las muestras estaban en un estado de ánimo normal, pero al final 4 muestras decidieron ver una película y 2 fueron clasificadas erróneamente.
Finalmente, se descubrió que "estar de buen humor" determina que "ver una película" tiene la tasa de clasificación errónea más baja, lo que significa que la ganancia de información es mayor. Por lo tanto, cuando ID3 construya un árbol de decisión, dará prioridad a la división de variables. "Cómo te sientes hoy".
C4.5algoritmo
Al observar el algoritmo ID3 anterior, encontrará que cuanto mayor sea el número de niveles, menor será la tasa de clasificación errónea al dividir los nodos variables y menor será la entropía. Si se utiliza "ID" como variable de división, la pureza de los subconjuntos se puede alcanzar al máximo (porque cada subconjunto tiene solo 1 muestra en este momento) y la ganancia de información es la mayor. Pero, obviamente, estas variables divididas no tienen sentido para la predicción, lo que también se denomina sobreajuste.
Por lo tanto, para evitar la "trampa" de demasiadas categorías divididas, el algoritmo C4.5 utiliza la tasa de ganancia de información para evaluar las condiciones de división. El denominador de la tasa de ganancia de información aumentará a medida que aumente el número de niveles divididos, lo que dará como resultado. en la tasa de ganancia de información. Si se divide según el algoritmo C4.5, aunque "cómo te sientes hoy" como variable de división puede obtener un subconjunto más simple, tiene tres niveles de "buen humor, promedio y mal humor", lo que da como resultado su tasa de ganancia de información. siendo invertida es menor que la variable "si hoy es fin de semana", por lo que C4.5 da prioridad a "si hoy es fin de semana" como variable dividida. El algoritmo de tasa de ganancia de información específico no se describirá en detalle en este artículo.
CARROalgoritmo
El algoritmo CART es muy similar al algoritmo C4.5 en ideas, pero es ligeramente diferente en escenarios de implementación y aplicación específicos: el algoritmo CART no solo puede manejar respuestas objetivo categóricas, sino también respuestas objetivo continuas. Por eso se llama clasificación. y el árbol de regresión; el algoritmo ID3 solo puede procesar respuestas de clasificación, es decir, solo puede construir árboles de clasificación.
CART puede ser un árbol de regresión. Idealmente, la clasificación debería detenerse cuando solo hay una categoría en cada nodo secundario. Sin embargo, no es fácil dividir completamente una gran cantidad de datos, o la división completa requiere muchas divisiones, lo que inevitablemente causará un tiempo de ejecución prolongado, por lo que CART puede clasificar. cada nodo secundario. Los datos en el análisis son su desviación estándar media. Cuando la desviación estándar es menor que un cierto valor, la división se puede finalizar, lo que reduce el costo de cálculo.
El algoritmo CART utiliza el índice de Gini (árbol de clasificación) y la desviación estándar (árbol de regresión) como medida de pureza, mientras que el algoritmo ID3 utiliza la entropía de la información como medida de pureza; También hay similitudes entre los dos: cuanto más confusas sean las categorías incluidas en la población, mayor será el índice de Gini. El algoritmo CART solo puede construir árboles binarios, mientras que los algoritmos ID3 y C4.5 pueden construir árboles múltiples (Nota: solo construir árboles binarios no significa que la variable de respuesta solo pueda seleccionar variables de dos niveles. El algoritmo CART adoptará el principio de fusionar múltiples niveles generando así un árbol binario).
CART tiene algunos pequeños problemas de segmentación, es decir, sobreajuste. Para resolver este problema, los árboles particularmente largos se podan y cortan directamente. Por supuesto, también se pueden utilizar algunos métodos de validación cruzada para ayudar a crear árboles de decisión para evitar problemas de sobreajuste.
usarJMPconductaCARROConstrucción del modelo
Usando análisis-modelado predictivo-segmentación JMP (es decir, árbol de decisión), puede construir rápidamente un modelo CART y formar un árbol. En JMP, G² (relación de probabilidad chi-cuadrado, similar al índice de Gini) se utiliza para los árboles de clasificación. Cuanto más pequeño es el G², mayor es la pureza y mejor es el efecto de clasificación. Como se muestra en la Figura (3) a continuación:
La Figura (3) muestra cómo colocar variables y factores de respuesta en el cuadro de diálogo Plataforma de segmentación.
El árbol de clasificación CART en la Figura (4) anterior muestra que para la decisión de "ver una película", "si hoy es fin de semana" es la variable más importante, y también es la variable que hace que G² disminuya más rápido. . Luego divide la rama “Hoy es fin de semana” y podrás obtener una subrama con un G² de 0 (es fin de semana y estás de buen humor, es decir, el 100% decidió ver una película), logrando el propósito de ser inseparables, y se construye el árbol de clasificación. Este es el proceso de construcción de un árbol de decisiones en JMP. Espero que sea útil para todos.
>> Vídeo instructivo: uso de JMP para dibujar un árbol de decisión
>> Más información: Modelado predictivo y aprendizaje automático con JMP
>> Descargar JMP: Pruebe el software durante 30 días
