958734_es-ES

liliconcom

Árboles de clasificación

Buen día,

Tengo un archivo pequeño (ver archivo adjunto) para comprender mejor lo que calcula JMP.

El árbol es bastante pequeño, establecí el tamaño mínimo de un nodo en 1, realicé las divisiones una por una, pedí que se mostraran las probabilidades.

Ahora estoy concentrado en el nodo "X1>=14" y si entiendo correctamente:

1. El G^2 (3.82) caracteriza la impureza de este nudo y es independiente de la división "mejor" que viene debajo de él.
2. El logworth (1,05) se calcula utilizando G^2 que se muestra justo al lado.
3. El Logworth depende de la división "óptima", que se muestra justo debajo; se calcula a partir de un valor p ajustado obtenido de todos los cortes posibles.

Los puntos 2 y 3 parecen ser incompatibles.

El robot de aprendizaje de JMP, por una vez, se ha bloqueado y ve dos interpretaciones posibles pero incompatibles.

Entonces, ¿de dónde viene este 1,05 y cómo lo interpretamos?

Gracias por su respuesta.

Juan-Luc

Modelado predictivo y aprendizaje automáticoRe: Árboles de clasificación

Hola @rugolf ,

Creo que existe confusión en la definición y el uso de las dos métricas, G2 y Logworth.
Como se menciona en la documentación de ayuda de JMP , el árbol de decisión en JMP utiliza el valor Logworth como criterio para determinar dónde realizar la división (con el objetivo de maximizar dicho valor), que corresponde a -log10(valor p). Este valor p se calcula con un ajuste, no detallado en la documentación de ayuda, que garantiza un cálculo justo y equitativo entre factores con muchos o pocos niveles.

El G2 se muestra solo para respuestas categóricas, y un G2 bajo indica un mejor ajuste. Para respuestas continuas, se muestra la desviación estándar para cada nodo, junto con la SS candidata (suma de cuadrados para la mejor división).

Espero que esta respuesta aclare cómo funciona esta plataforma.

Re: Árboles de clasificación

GRACIAS,

Si entiendo correctamente, en el caso de una respuesta categórica con 2 categorías A y B:

1. El G² mide la impureza del nodo (también llamada desviación): 0 si solo A o solo B, clases desequilibradas pero sin más división desde este nodo
2. el máximo de G^2 (igual a n * 2ln(2) creo) si las clases están equilibradas (tantas A como
3. G^2 disminuye con cada división mientras que R^2 aumenta; esto va en la dirección correcta, que es lo que queremos.
4. Podríamos calcular la mejora (la ganancia) después de una división G^2(padre)-(G^2(izquierda)+G^2(derecha))
5. El mejor corte es el que proporciona la mayor mejora, el que reduce de forma más significativa el valor G^2 anterior.
6. logworth = -log(valor p) con valor p asociado a una prueba y ajustado (omitiré el cálculo, no hay problema)
7. El valor logarítmico que se muestra junto a G^2 se refiere a la mejor división que se muestra justo debajo.
8. La prueba es H_0: a la izquierda y a la derecha la proporción de A es la misma frente a ... no es la misma
9. Caso extremo: valor p=1, por lo tanto logworth=0 cuando hay la misma proporción de A (y en los nodos hijos, H_0 se mantiene al final de la prueba.
10. En casos extremos: valor p=0, por lo tanto logworth=infinito cuando la proporción de A es muy diferente en los nodos hijos, H_1 se retiene al final de la prueba.
11. p-valor <0,01, por lo tanto logworth >2, por lo tanto una diferencia significativa en la proporción de A (o , un discernimiento significativo
12. Por lo tanto, el mejor corte es también el que tiene mayor aptitud para la tala.
13. El árbol deja de crecer cuando G^2 es cero, cuando se alcanza el tamaño mínimo o cuando R^2 ya no aumenta significativamente.

Gracias por su ayuda.

Rugolf o Jean-Luc

Re: Árboles de clasificación

Hola Jean-Luc,

Respecto a las diferentes partes:

• Sí, G2 es equivalente a otros criterios utilizados, como la impureza de Gini o la entropía. G2 corresponde al doble del logaritmo natural de la entropía. Por lo tanto, si encontramos una separación que nos permite obtener nodos "puros" (separación perfecta), entonces G2 es cero (entropía cero).
• Con cada división, G2 disminuirá porque seremos cada vez mejores clasificando las observaciones utilizando factores.
• La mejora G2 se calcula y se muestra en la información del nodo ( Candidato G2 ).
• En cuanto a la prueba de Logworth, efectivamente se calcula un valor p para obtenerla, pero solo para orientar la selección de la mejor división. La prueba que respalda este valor p corresponde a las hipótesis que mencionaste: H0 - las proporciones de A y B son equivalentes en ambos nodos frente a H1 - las proporciones de A y B son diferentes en los dos nodos.
• Como mencioné en mi primera respuesta, la división óptima es la que corresponde al Logworth más alto.
• Los criterios de parada del árbol están vinculados al tamaño mínimo para la división ( tamaño mínimo de división , ajustable en las opciones), al elegir una profundidad de árbol o un valor/evolución de R2 (posiblemente con una muestra de validación para identificar el momento en que R2 ya no evoluciona/cambia poco en la muestra de validación), etc.
  La evolución de R² en función de las divisiones se puede observar en el "Historial de divisiones":
  
• Es un detalle menor, pero en el conjunto de datos compartido, parecería que la división óptima se encuentra más bien en X1 > o < 10 (Logworth mayor que en 14):
  

  Con un valor de 14 para X1, la separación no es óptima y no encuentro los valores que mencionaste en Logworth o G2:

  
• Además, dado que los factores X1 y X2 están muy fuertemente correlacionados (correlación > 0,99), un árbol de decisión puede no ser el método más apropiado, ya que una de las dos variables inevitablemente será ignorada en comparación con la otra; un método que tenga en cuenta esta correlación sería más apropiado.
  • Ya sea mediante un modelo de regresión logística penalizada (ridge o incluso lasso, ya que ambos factores contienen la misma información), o incluso un modelo logístico simple con un factor (X1 o X2) utilizando la plataforma Fit Y by X:
    
  • Ya sea eligiendo un método basado en árboles que permita gestionar la correlación/colinealidad entre factores, como Random Forest (plataforma Bosque Bootstrap en JMP), u otros modelos de aprendizaje automático (Support Vector Machine).
    
    Existen conjuntos de datos de JMP disponibles para ayudarte a aprender y comprender cómo funcionan ciertas plataformas; puedes encontrarlos en los menús "Ayuda" e "Índice de ejemplos". En el submenú "Modelado exploratorio", encontrarás varios conjuntos de datos que involucran la plataforma Partition: Car Poll, Cereal, Diamonds Data, Mushroom, Titanic Passengers, etc.
    
    

Esperemos que esta respuesta aclare cómo funciona la plataforma Partition.

Re: Árboles de clasificación

Hola Víctor,

Muchas gracias por esta generosa respuesta.

Veo que tengo "razón".

Por lo demás, la elección del archivo pequeño es intencional: lo hago para ver claramente lo que calcula el software, por ejemplo, en una regresión lineal simple. Tengo otros archivos más grandes y realistas.

Gracias de nuevo.

Los mejores deseos.

Juan-Luc