L'industria manifatturiera di oggi è altamente competitiva e le aziende devono cercare costantemente modi innovativi per migliorare l'efficienza, ridurre i costi e mantenere la qualità dei prodotti. In questo ambiente dinamico e complesso, gli strumenti di analisi statistica sono diventati uno strumento potente nel settore e uno degli strumenti ampiamente utilizzati sono gli alberi decisionali. Gli alberi decisionali sono potenti modelli statistici che possono aiutare l'industria manifatturiera a risolvere una serie di problemi, dall'analisi dei difetti del prodotto all'ottimizzazione dell'efficienza produttiva, alla gestione della catena di fornitura e al controllo qualità. In questo articolo esploreremo cos’è un albero decisionale, i suoi scenari applicativi e le tecniche di utilizzo per far fronte alle mutevoli esigenze del mercato.
Cos'è un albero decisionale?
L'albero decisionale è un metodo di machine learning che seleziona ogni volta una funzionalità in base a una determinata regola e utilizza un determinato valore della funzionalità come soglia per dividere ricorsivamente il campione di addestramento in diversi sottoalberi e suddividerli ricorsivamente secondo le stesse regole. Infine si ottiene un classificatore ad albero che può essere utilizzato per la classificazione decisionale. I suoi algoritmi principali sono: ID3, C4.5, CART, ecc. L'albero decisionale è un metodo di classificazione comunemente utilizzato che richiede l'apprendimento supervisionato. L'apprendimento supervisionato consiste nel fornire una serie di campioni, ciascun campione ha variabili e risultati di classificazione corrispondenti, presupponendo che i risultati della classificazione siano noti, attraverso l'apprendimento. Questo insieme di campioni ottiene a albero decisionale, in grado di prevedere e classificare nuovi campioni. Successivamente, utilizzeremo un caso semplice per aiutare tutti a comprendere il pensiero analitico degli alberi decisionali.
Condivisione dei casi dell'albero decisionale
Dato il seguente insieme di dati, che contiene 20 campioni, speriamo di prevedere "se uscire a vedere un film" attraverso la seguente figura (1) "se oggi è il fine settimana" e "qual è il tuo umore oggi".
Figura 1)
Quindi utilizzare questo set di campioni con i risultati della classificazione per l'addestramento. Per semplificare il processo, presupponiamo che l'albero decisionale sia un albero binario e sia simile alla figura seguente (2):
Figura II)
Attraverso lo studio dei dati campione, possiamo scoprire che ogni nodo variabile ha un indicatore di giudizio specifico, come fine settimana, non fine settimana, buon umore, umore medio e cattivo umore. Lo chiamiamo "soglia". Se si tratta di un nodo variabile numerico, la soglia è generalmente un valore specifico. Ad esempio, se il risultato viene valutato se l'età ha più di 30 anni, 30 viene chiamato soglia.
La generazione di un albero decisionale è generalmente divisa in due fasi, che si ottengono apprendendo i risultati della classificazione di campioni noti:
- In generale, quando il nodo di una variabile non può dare un giudizio sul risultato, il nodo verrà diviso in due, oppure se non è un albero binario, verrà diviso in tanti fino a non essere più divisibile. Ad esempio, in questi dati di esempio, "se oggi è il fine settimana" non può determinare direttamente se guardare un film o meno, quindi aggiungere un nuovo nodo variabile "come è il tuo umore" e quindi dividerlo finché non può essere diviso;
- La scelta di una soglia adeguata può ridurre al minimo il tasso di classificazione errata.
Algoritmi dell'albero decisionale comunemente utilizzati
Come introdotto in precedenza, gli algoritmi dell'albero decisionale comunemente utilizzati includono ID3, C4.5 e CART (Classification And Regression Tree). Tra questi, l'effetto di classificazione CART è migliore di altri algoritmi ed è anche il metodo utilizzato da JMP. Successivamente li presenteremo rispettivamente:
ID3algoritmo
Il guadagno di informazioni viene utilizzato per valutare le condizioni di suddivisione. Maggiore è il guadagno per un gruppo di dati campione, migliore è l'effetto di classificazione. Il processo di guadagno di informazioni è in realtà un processo di riduzione dell'entropia. L'entropia definisce il grado di caos delle informazioni. Il processo di modellazione ID3 è anche un processo di cambiamento delle informazioni dal caos alla semplicità.
Nel caso sopra vengono menzionate due variabili, se è il fine settimana e quale è l’umore. Vediamo come è l’effetto di classificazione di ciascun nodo variabile:
- "Oggi è il fine settimana" per determinare la decisione di "guardare un film": 11 campioni erano considerati il fine settimana, ma alla fine 10 campioni hanno deciso di guardare un film e uno è stato classificato erroneamente;
- "Di buon umore" per giudicare la decisione di "guardare un film": 6 campioni erano decisamente di buon umore, e 6 campioni si sono infine decisi a guardare un film, con 0 errori di classificazione;
- "Di umore normale" per giudicare la decisione di "guardare un film": 6 campioni erano considerati di umore normale, ma alla fine 4 campioni hanno deciso di guardare un film e 2 campioni sono stati classificati erroneamente.
Infine, si è scoperto che il "buon umore" determina il "guardare un film" con il tasso di classificazione errata più basso, il che significa che il guadagno di informazioni è il maggiore. Pertanto, quando ID3 costruisce un albero decisionale, darà la priorità alla suddivisione della variabile "come stai". sentimento oggi".
C4.5algoritmo
Osservando l'algoritmo ID3 sopra, scoprirai che maggiore è il numero di livelli, minore è il tasso di classificazione errata quando si dividono i nodi variabili e minore sarà l'entropia. Se si utilizza "ID" come variabile di suddivisione, la purezza dei sottoinsiemi può essere raggiunta al massimo (perché ogni sottoinsieme ha solo 1 campione in questo momento) e il guadagno di informazioni è massimo. Ma ovviamente, tali variabili divise non hanno alcun significato per la previsione, fenomeno chiamato anche overfitting.
Pertanto, per evitare la "trappola" di troppe categorie divise, l'algoritmo C4.5 utilizza il tasso di guadagno delle informazioni per valutare le condizioni di divisione. Il denominatore del tasso di guadagno delle informazioni aumenterà con l'aumentare del numero di livelli di suddivisione nel tasso di guadagno delle informazioni si riduce. Se suddiviso secondo l'algoritmo C4.5, sebbene "come ti senti oggi" come variabile di suddivisione possa ottenere un sottoinsieme più semplice, ha tre livelli di "buon umore, media e cattivo umore", con conseguente tasso di guadagno di informazioni essendo invertita È inferiore alla variabile "se oggi è un fine settimana", quindi C4.5 dà priorità a "se oggi è un fine settimana" come variabile divisa. L'algoritmo specifico del tasso di guadagno delle informazioni non verrà descritto in dettaglio in questo articolo.
CARRELLOalgoritmo
L'algoritmo CART è molto simile all'algoritmo C4.5 nelle idee, ma è leggermente diverso nell'implementazione specifica e negli scenari applicativi: l'algoritmo CART non può gestire solo risposte target categoriche, ma anche risposte target continue. Motivo per cui è chiamato classificazione e albero di regressione; l'algoritmo ID3 può elaborare solo risposte di classificazione, ovvero può solo costruire alberi di classificazione.
CART può essere un albero di regressione. Idealmente, la classificazione dovrebbe interrompersi quando è presente una sola categoria in ciascun nodo figlio. Tuttavia, non è facile dividere completamente molti dati oppure la divisione completa richiede molte suddivisioni, che inevitabilmente causeranno un lungo tempo di esecuzione, quindi CART può classificare. ogni nodo figlio. I dati nell'analisi rappresentano la sua deviazione standard media. Quando la deviazione standard è inferiore a un determinato valore, la suddivisione può essere interrotta, riducendo così il costo del calcolo.
L'algoritmo CART utilizza l'indice Gini (albero di classificazione) e la deviazione standard (albero di regressione) come misura della purezza mentre l'algoritmo ID3 utilizza l'entropia dell'informazione come misura della purezza; Ci sono anche somiglianze tra i due. Quanto più confuse sono le categorie incluse nella popolazione, tanto più ampio è l’indice di Gini. L'algoritmo CART può costruire solo alberi binari, mentre gli algoritmi ID3 e C4.5 possono costruire alberi multipli (Nota: solo costruire alberi binari non significa che la variabile di risposta può selezionare solo variabili a due livelli. L'algoritmo CART adotterà l'algoritmo principio di unire più livelli producendo così un albero binario).
CART presenta alcuni piccoli problemi di segmentazione, cioè di overfitting. Per risolvere questo problema gli alberi particolarmente lunghi vengono potati e tagliati direttamente. Naturalmente, alcuni metodi di validazione incrociata possono essere utilizzati anche per assistere nella costruzione di alberi decisionali per prevenire problemi di overfitting.
utilizzoJMPcondottaCARRELLOCostruzione di modelli
Utilizzando la modellazione predittiva-analisi-segmentazione di JMP (ovvero l'albero decisionale), è possibile creare rapidamente un modello CART e formare un albero. In JMP, G² (rapporto di verosimiglianza chi-quadrato, simile all'indice di Gini) viene utilizzato per gli alberi di classificazione. Quanto più piccolo è il G², tanto maggiore è la purezza e migliore è l'effetto della classificazione. Come mostrato nella Figura (3) di seguito:
La Figura (3) mostra come posizionare le variabili e i fattori di risposta nella finestra di dialogo Piattaforma di segmentazione.
L'albero di classificazione CART nella Figura (4) sopra mostra che per la decisione "se guardare un film", "se oggi è il fine settimana" è la variabile più importante, ed è anche la variabile che fa sì che G² diminuisca più velocemente . Quindi dividi il ramo "Oggi è il fine settimana" e puoi ottenere un sottoramo con G² pari a 0 (è il fine settimana e sei di buon umore, cioè deciso al 100% di guardare un film), ottenendo il scopo di essere inseparabili e viene costruito l'albero di classificazione. Questo è il processo di creazione di un albero decisionale in JMP. Spero che possa essere utile a tutti.
>> Video dimostrativo: utilizzo di JMP per disegnare un albero decisionale
>> Ulteriori informazioni: modellazione predittiva e machine learning con JMP
>> Scarica JMP: prova il software per 30 giorni
