Perché il mio albero decisionale presenta attributi duplicati nello stesso ramo?Ciao a tutti. Mi chiedevo se qualcuno sa perché l'albero decisionale (nel caso seguente) seleziona Pressione aria ugello >42,09, quindi sembra contraddirsi nel nodo successivo selezionando e dividendo di nuovo la Pressione aria ugello? Quello che ho capito è che una volta che un attributo è diviso, non dovrebbe più essere considerato nei rami successivi. Sto usando la convalida incrociata a 10 pieghe con un holdback del 30%. Presumo che, poiché ho sia dati continui che nominali, JMP utilizzi l'algoritmo CART?
Modellazione predittiva e apprendimento automaticoRi: Perché il mio albero decisionale ha attributi duplicati nello stesso ramo?@Dan_Obermiller Per fortuna, non devo dare una direzione pratica su questo, ma mi ha fatto pensare a cosa avrei fatto in futuro se avessi visto una simile "doppia divisione" sequenziale.
@ DiedrichSchmidt Adesso comincio a capirci qualcosa: se la pressione è tra 42 e 45, allora c'è un'alta probabilità di soffocamento. Se la pressione è maggiore di 45, allora il 38% di probabilità di soffocamento. Sono rimasto bloccato su > 42 AND > 45, che non aveva senso nello scenario del mondo reale. Tutto si riduce a come leggi la divisione dello stesso parametro. Non è necessario utilizzare ANN in questo caso poiché non stavo cercando di creare un modello, ma solo identificare le variabili importanti, i rispettivi punti di divisione e il potenziale impatto sulla variabile di risposta (tramite una piccola profondità dell'albero e un overfitting minimo).
Grazie a tutti per il vostro contributo!Ri: Perché il mio albero decisionale ha attributi duplicati nello stesso ramo?Ciao @kom ,
Per la decisione che alcuni valori sono >=42 e >=45, ha ancora senso logico. Se la risposta Y è >=45, è ancora allo stesso tempo >=42 e soddisfa la suddivisione logica della decisione. Penso che la domanda più mirata sia se abbia senso o meno che ci sia questa divisione extra. Se stai utilizzando holdback (porzione di convalida) o una colonna di convalida stratificata sull'output Y, dovresti essere in grado di dividere automaticamente l'albero delle decisioni e dovrebbe ridurre l'albero al numero minimo di divisioni necessarie per rendere il più alto R2 per i dati di convalida. Detto questo, vuoi comunque determinare se tali divisioni sono ragionevoli per i dati data la scienza con cui stai lavorando.
Stai usando l'albero decisionale per trovare un modello predittivo? In tal caso, potresti voler farlo utilizzando altre piattaforme, come NN e così via per vedere quale modello prevede effettivamente il meglio utilizzando un set di dati di test.
Buona fortuna!,
DS
Ri: Perché il mio albero decisionale ha attributi duplicati nello stesso ramo?Il predittore è una variabile continua. Se esiste una relazione lineare con la risposta, potrebbero essere necessarie molte divisioni con quel predittore per approssimare la relazione.
Ri: Perché il mio albero decisionale ha attributi duplicati nello stesso ramo?Oh, e se fosse una relazione quadratica? Come pensi che sarebbero le divisioni dell'albero in quel caso?
Ri: Perché il mio albero decisionale ha attributi duplicati nello stesso ramo?Penso che solo tu possa determinare se la divisione da 42 a 45 abbia un senso pratico. Ma per comprendere più divisioni sulla stessa variabile, supponiamo di avere una situazione in cui la relazione tra Y e X è lineare. Quindi, per esempio, SAPPIAMO che Y=10+20*X. Nel mondo reale non conosceremmo questo vero modello, quindi se adatti un albero ai dati con questa relazione, otterrai più divisioni per X. È l'unico modo in cui l'albero può tentare di imitare una relazione lineare continua.
Ri: Perché il mio albero decisionale ha attributi duplicati nello stesso ramo?Ciao Dierich. Molte grazie per aver dedicato del tempo a rispondere. In primo luogo, hai ragione: nella mia velocità di scrittura della posta, ho scritto erroneamente k-fold AND holdback. In realtà ho provato entrambi e ho ottenuto risultati in qualche modo simili.
L'albero decisionale segue la logica IF x AND y THEN z per classificare i dati. capisco che io t fa la prima divisione alla pressione atmosferica >=42, e posso accettare che >=42 AND <45 abbia senso ora (in effetti, questa è la prima volta che vedo un albero decisionale specificare che lo stesso attributo deve essere compreso tra 2 i valori). Detto questo, essere >=42 AND >=45 non ha alcun senso pratico. Sei d'accordo?
Kieran
Ri: Perché il mio albero decisionale ha attributi duplicati nello stesso ramo?Ciao @kom ,
Non conosco l'esatto algoritmo utilizzato da JMP durante la suddivisione degli alberi decisionali, tuttavia, concettualmente, funziona come previsto e non si contraddice. Se guardi le altre divisioni del tuo albero decisionale, puoi vedere che anche altri attributi vengono utilizzati più volte. Ciò che non viene utilizzato più volte è lo stesso valore.
Nel tuo esempio, nel nodo in cui la pressione dell'aria è >=42, JMP lo utilizza semplicemente come punto di decisione per separare i dati. Al nodo successivo, JMP sta dicendo che per tutti quei casi in cui la pressione dell'aria è >=42, crea un'ulteriore suddivisione in cui la pressione dell'aria è ancora >=42, ma è (>=42 e anche <45) OPPURE è ( >=42 e anche >45).
Come stai utilizzando ENTRAMBE la convalida incrociata di 10 volte e un trattenimento del 30%. In genere, utilizzeresti solo un tipo di metodo di convalida.
DS
