958734_it-IT

liliconcom

Alberi di classificazione

Buongiorno,

Ho un piccolo file (vedi allegato) per comprendere meglio cosa calcola JMP.

L'albero è piuttosto piccolo, ho impostato la dimensione minima di un nodo a 1, ho eseguito le divisioni una per una, ho richiesto che le probabilità venissero visualizzate.

Ora mi sto concentrando sul nodo "X1>=14" e se ho capito bene:

1. Il G^2 (3,82) caratterizza l'impurità di questo nodo ed è indipendente dalla divisione "migliore" che viene al di sotto di esso
2. Il logaritmo di Worth (1,05) viene calcolato utilizzando G^2 visualizzato proprio accanto.
3. Il Logworth dipende dalla divisione "migliore", che viene visualizzata subito sotto; viene calcolato a partire da un valore p corretto ottenuto da tutti i tagli possibili.

I punti 2 e 3 sembrano incompatibili.

Il learnbot di JMP, per una volta, si è bloccato e rileva 2 possibili interpretazioni incompatibili.

Da dove viene dunque questo valore di 1,05 e come lo interpretiamo?

Grazie per la sua risposta.

Jean-Luc

Modellazione predittiva e apprendimento automaticoOggetto: Alberi di classificazione

Ciao @rugolf ,

Credo ci sia confusione nella definizione e nell'utilizzo delle due metriche G2 e Logworth.
Come indicato nella documentazione di aiuto di JMP , l'albero decisionale in JMP utilizza il valore Logworth come criterio decisionale per determinare dove effettuare la suddivisione (con l'obiettivo di massimizzare il valore Logworth), e questo corrisponde a -log10(p-value). Questo p-value viene calcolato con una correzione, non dettagliata nella documentazione di aiuto, che garantisce un calcolo equo e imparziale tra fattori con molti o pochi livelli.

Il valore G2 viene visualizzato solo per le risposte categoriche e un valore G2 basso indica una migliore corrispondenza. Per le risposte continue, viene visualizzata la deviazione standard per ciascun nodo, insieme alla somma dei quadrati dei candidati (somma dei quadrati per la migliore suddivisione).

Spero che questa risposta possa chiarire il funzionamento di questa piattaforma.

Oggetto: Alberi di classificazione

GRAZIE,

Se ho capito bene, nel caso di una risposta categorica con 2 categorie A e B:

1. Il G² misura l'impurità del nodo (detto anche devianza): 0 se solo A o solo B, classi sbilanciate ma nessuna ulteriore suddivisione da questo nodo
2. il massimo di G^2 (pari a n * 2ln(2) credo) se le classi sono bilanciate (tanti A quanti
3. G^2 diminuisce ad ogni divisione mentre R^2 aumenta; questo va nella giusta direzione, che è ciò che vogliamo.
4. Potremmo calcolare il miglioramento (il guadagno) dopo una divisione G^2(genitore)-(G^2(sinistra)+G^2(destra))
5. Il taglio migliore è quello che fornisce il miglioramento maggiore, quello che riduce in modo più significativo il valore precedente di G^2.
6. logworth = -log(p-value) con p-value associato a un test e corretto (salto il calcolo, non è un grosso problema)
7. Il logaritmo del valore visualizzato accanto a G^2 si riferisce alla divisione migliore visualizzata immediatamente sotto.
8. Il test è H_0: a sinistra e a destra la proporzione di A è la stessa contro ....non è la stessa
9. Caso estremo: p-value=1, quindi logworth=0 quando c'è la stessa proporzione di A (e nei nodi figli, H_0 mantenuta alla fine del test
10. In casi estremi: p-value=0, quindi logworth=infinito quando la proporzione di A è molto diversa nei nodi figli, H_1 mantenuto alla fine del test
11. valore p <0,01, quindi logworth >2, quindi una differenza significativa nella proporzione di A (o , un discernimento significativo
12. Il taglio migliore è quindi anche quello con la maggiore rendibilità di taglio.
13. L'albero smette di crescere quando G^2 è zero, quando viene raggiunta la dimensione minima o quando R^2 non aumenta più in modo significativo.

Grazie per l'aiuto.

Rugolf o Jean-Luc

Oggetto: Alberi di classificazione

Ciao Jean-Luc,

Riguardo alle diverse parti:

• Sì, G2 è equivalente ad altri criteri utilizzati come l'indice di Gini o l'entropia. G2 corrisponde al doppio del logaritmo naturale dell'entropia. Pertanto, se troviamo una separazione che ci permette di ottenere nodi "puri" (separazione perfetta), allora G2 è zero (entropia zero).
• Ad ogni suddivisione, G2 diminuirà perché diventeremo sempre più bravi a classificare le osservazioni utilizzando i fattori.
• Il miglioramento G2 viene calcolato e visualizzato nelle informazioni del nodo ( Candidato G2 )
• Per quanto riguarda il test di Logworth, viene effettivamente calcolato un valore p per ottenerlo, ma solo per guidare la selezione della suddivisione migliore. Il test alla base di questo valore p corrisponde alle ipotesi che hai menzionato: H0 - le proporzioni di A e B sono equivalenti in entrambi i nodi vs. H1 - le proporzioni di A e B sono diverse nei due nodi.
• Come accennato nella mia prima risposta, la suddivisione ottimale è quella corrispondente al valore di Logworth più elevato.
• I criteri di arresto dell'albero sono collegati alla dimensione minima per la divisione ( dimensione minima della divisione , regolabile nelle opzioni), scegliendo una profondità dell'albero, o un valore/evoluzione di R2 (eventualmente con un campione di validazione per identificare il momento in cui R2 non evolve più/cambia poco sul campione di validazione), ecc...
  L'evoluzione di R² in funzione delle suddivisioni può essere osservata nella "Storia delle suddivisioni":
  
• Si tratta di un dettaglio minore, ma sul dataset condiviso sembrerebbe che la suddivisione ottimale sia piuttosto a X1 > o < 10 (Logworth maggiore rispetto a 14):
  

  Con un valore di 14 per X1, la separazione non è ottimale e non trovo i valori che hai menzionato in Logworth o G2:

  
• Inoltre, poiché i fattori X1 e X2 sono fortemente correlati (correlazione > 0,99), un albero decisionale potrebbe non essere il metodo più appropriato, in quanto una delle due variabili verrà inevitabilmente ignorata rispetto all'altra; un metodo che tenga conto di questa correlazione sarebbe più indicato.
  • Sia tramite un modello di regressione logistica penalizzata (ridge o anche lasso, dato che entrambi i fattori contengono le stesse informazioni), sia tramite un semplice modello logistico con un solo fattore (X1 o X2) utilizzando la piattaforma Fit Y by X:
    
  • Sia scegliendo un metodo basato su alberi che consenta di gestire la correlazione/collinearità tra i fattori, come Random Forest (piattaforma Foresta Bootstrap in JMP), sia altri modelli di apprendimento automatico (Support Vector Machine).
    
    Sono disponibili set di dati JMP per aiutarti a imparare e capire come funzionano determinate piattaforme; puoi trovarli nei menu "Aiuto" e "Indice esempi". Nel sottomenu "Modellazione esplorativa" sono disponibili diversi set di dati che coinvolgono la piattaforma Partition: Car Poll, Cereal, Diamonds Data, Mushroom, Titanic Passengers, ecc.
    
    

Spero che questa risposta chiarisca il funzionamento della piattaforma Partition.

Oggetto: Alberi di classificazione

Ciao Victor,

La ringrazio moltissimo per questa generosa risposta.

Mi rendo conto di avere "ragione".

Altrimenti, la scelta del file di piccole dimensioni è intenzionale: lo faccio per vedere chiaramente cosa calcola il software, ad esempio, per una semplice regressione lineare. Ho altri file, più grandi e più realistici.

Grazie ancora.

Auguri.

Jean-Luc