Die heutige Fertigungsindustrie ist hart umkämpft und Unternehmen müssen ständig nach innovativen Wegen suchen, um die Effizienz zu verbessern, Kosten zu senken und die Produktqualität aufrechtzuerhalten. In diesem dynamischen und komplexen Umfeld sind statistische Analysetools zu einem leistungsstarken Tool in der Branche geworden, und eines der am häufigsten verwendeten Tools sind Entscheidungsbäume. Entscheidungsbäume sind leistungsstarke statistische Modelle, die der Fertigungsindustrie bei der Lösung einer Vielzahl von Problemen helfen können, von der Produktfehleranalyse über die Optimierung der Produktionseffizienz bis hin zum Lieferkettenmanagement und der Qualitätskontrolle. In diesem Artikel werden wir untersuchen, was ein Entscheidungsbaum ist, seine Anwendungsszenarien und Nutzungstechniken, um den sich ändernden Marktanforderungen gerecht zu werden.
Was ist ein Entscheidungsbaum?
Der Entscheidungsbaum ist eine Methode des maschinellen Lernens, die jedes Mal ein Merkmal gemäß einer bestimmten Regel auswählt und einen bestimmten Wert des Merkmals als Schwellenwert verwendet, um die Trainingsstichprobe rekursiv in mehrere Teilbäume zu unterteilen und diese gemäß denselben Regeln rekursiv aufzuteilen. Schließlich wird ein Baumklassifikator erhalten, der zur Entscheidungsklassifizierung verwendet werden kann. Seine Hauptalgorithmen sind: ID3, C4.5, CART usw. Der Entscheidungsbaum ist eine häufig verwendete Klassifizierungsmethode, die überwachtes Lernen erfordert. Es besteht darin, eine Reihe von Stichproben bereitzustellen. Jede Stichprobe verfügt über entsprechende Variablen und Klassifizierungsergebnisse. Unter der Voraussetzung, dass die Klassifizierungsergebnisse bekannt sind, erhält man durch Lernen eine Reihe von Stichproben Entscheidungsbaum, der neue Stichproben vorhersagen und klassifizieren kann. Als nächstes verwenden wir einen einfachen Fall, um jedem zu helfen, das analytische Denken von Entscheidungsbäumen zu verstehen.
Entscheidungsbaum-Fallaustausch
Anhand des folgenden Datensatzes, der 20 Beispiele enthält, hoffen wir, anhand der folgenden Abbildung (1) „ob heute Wochenende ist“ und „wie ist Ihre Stimmung heute“ vorherzusagen, „ob Sie einen Film ansehen sollten“.
Abbildung 1)
Verwenden Sie dann diesen Beispielsatz mit Klassifizierungsergebnissen für das Training. Um den Prozess zu vereinfachen, gehen wir davon aus, dass der Entscheidungsbaum ein Binärbaum ist und der folgenden Abbildung (2) ähnelt.
Abbildung II)
Durch die Untersuchung von Beispieldaten können wir feststellen, dass jeder Variablenknoten über einen bestimmten Beurteilungsindikator verfügt, z. B. Wochenende, Nicht-Wochenende, gute Stimmung, durchschnittliche Stimmung und schlechte Stimmung. Wir nennen ihn „Schwelle“. Wenn es sich um einen numerischen Variablenknoten handelt, ist der Schwellenwert im Allgemeinen ein bestimmter Wert. Wenn das Ergebnis beispielsweise beurteilt, ob das Alter über 30 Jahre beträgt, wird 30 als Schwellenwert bezeichnet.
Die Generierung eines Entscheidungsbaums gliedert sich im Allgemeinen in zwei Schritte, die durch das Erlernen der Klassifizierungsergebnisse bekannter Stichproben erreicht werden:
- Wenn der Knoten einer Variablen das Ergebnis nicht beurteilen kann, wird er im Allgemeinen in zwei Teile geteilt. Wenn es sich nicht um einen Binärbaum handelt, wird er in viele Teile geteilt, bis er nicht mehr geteilt werden kann. In diesen Beispieldaten kann beispielsweise „Ob heute Wochenende ist“ nicht direkt bestimmt werden, ob ein Film angesehen werden soll oder nicht. Fügen Sie dann einen neuen Variablenknoten „Wie ist Ihre Stimmung“ hinzu und teilen Sie ihn dann auf, bis er nicht mehr geteilt werden kann.
- Durch die Wahl eines geeigneten Schwellenwerts kann die Fehlklassifizierungsrate minimiert werden.
Häufig verwendete Entscheidungsbaumalgorithmen
Wie bereits erwähnt, gehören zu den häufig verwendeten Entscheidungsbaumalgorithmen ID3, C4.5 und CART (Klassifizierungs- und Regressionsbaum). Der Klassifizierungseffekt von CART ist besser als bei anderen Algorithmen und wird auch von JMP verwendet. Als nächstes stellen wir sie jeweils vor:
ID3Algorithmus
Der Informationsgewinn wird zur Bewertung der Aufteilungsbedingungen verwendet. Je größer der Gewinn für eine Gruppe von Stichprobendaten ist, desto besser ist der Klassifizierungseffekt. Der Prozess des Informationsgewinns ist eigentlich ein Prozess der Entropiereduzierung. Der Prozess der ID3-Modellierung ist auch ein Prozess der Änderung von Informationen vom Chaos zur Einfachheit.
Im obigen Fall werden zwei Variablen erwähnt: Ob es Wochenende ist und wie die Stimmung ist. Schauen wir uns an, wie der Klassifizierungseffekt jedes Variablenknotens ist:
- „Heute ist das Wochenende“, um die Entscheidung zu bestimmen, „einen Film anzusehen“: Bei 11 Proben wurde festgestellt, dass es sich um das Wochenende handelte, aber 10 Proben entschieden sich letztendlich dafür, einen Film anzusehen, und eine wurde falsch klassifiziert;
- „Gut gelaunt“, um die Entscheidung zu beurteilen, „einen Film anzusehen“: 6 Proben waren definitiv gut gelaunt, und 6 Proben entschieden sich schließlich, einen Film anzusehen, mit 0 Fehlklassifizierungen;
- „In normaler Stimmung“ zur Beurteilung der Entscheidung, „einen Film anzusehen“: Bei 6 der Proben wurde festgestellt, dass sie in einer normalen Stimmung waren, aber am Ende entschieden sich 4 Proben dafür, einen Film anzusehen, und 2 wurden falsch klassifiziert.
Schließlich wurde festgestellt, dass „gute Laune“ die niedrigste Fehlklassifizierungsrate für „Filme ansehen“ bestimmt, was bedeutet, dass der Informationsgewinn am größten ist. Wenn ID3 einen Entscheidungsbaum erstellt, wird daher der Aufteilung der Variablen Priorität eingeräumt "Wie fühlst du dich heute".
C4.5Algorithmus
Wenn Sie den obigen ID3-Algorithmus beobachten, werden Sie feststellen, dass die Fehlklassifizierungsrate beim Aufteilen variabler Knoten umso geringer und die Entropie umso kleiner ist, je höher die Anzahl der Ebenen ist. Wenn „ID“ als Aufteilungsvariable verwendet wird, kann die Reinheit der Teilmengen am höchsten erreicht werden (da jede Teilmenge zu diesem Zeitpunkt nur 1 Probe hat) und der Informationsgewinn ist am größten. Aber offensichtlich sind solche geteilten Variablen für die Vorhersage bedeutungslos, was auch als Überanpassung bezeichnet wird.
Um die „Falle“ zu vieler Split-Kategorien zu vermeiden, verwendet der C4.5-Algorithmus daher die Informationsgewinnrate zur Bewertung der Split-Bedingungen. Der Nenner der Informationsgewinnrate erhöht sich mit zunehmender Anzahl der Split-Ebenen in der Informationsgewinnrate verringern. Bei der Aufteilung gemäß dem C4.5-Algorithmus kann die Aufteilungsvariable „Wie geht es Ihnen heute?“ zwar eine einfachere Teilmenge erhalten, weist jedoch drei Ebenen auf: „Gute Laune, Durchschnittliche und schlechte Laune“, was zu ihrer Informationsgewinnrate führt Sie ist niedriger als die Variable „ob heute ein Wochenende ist“, sodass C4.5 der Variable „ob heute ein Wochenende ist“ Vorrang einräumt. Der spezifische Informationsgewinnratenalgorithmus wird in diesem Artikel nicht im Detail beschrieben.
WAGENAlgorithmus
Der CART-Algorithmus ist in seinen Ideen dem C4.5-Algorithmus sehr ähnlich, unterscheidet sich jedoch in bestimmten Implementierungs- und Anwendungsszenarien geringfügig: Der CART-Algorithmus kann nicht nur kategoriale Zielantworten verarbeiten, sondern auch kontinuierliche Zielantworten. Der Grund, warum er Klassifizierung genannt wird und Regressionsbaum; der ID3-Algorithmus kann nur Klassifizierungsantworten verarbeiten, das heißt, er kann nur Klassifizierungsbäume erstellen.
CART kann ein Regressionsbaum sein. Im Idealfall sollte die Klassifizierung beendet werden, wenn in jedem untergeordneten Knoten nur eine Kategorie vorhanden ist. Viele Daten lassen sich jedoch nicht einfach vollständig aufteilen, oder eine vollständige Aufteilung erfordert zwangsläufig eine lange Laufzeit, sodass CART klassifizieren kann Bei den Daten in der Analyse handelt es sich um die mittlere Standardabweichung. Wenn die Standardabweichung unter einem bestimmten Wert liegt, kann die Aufteilung beendet werden, wodurch sich der Berechnungsaufwand verringert.
Der CART-Algorithmus verwendet den Gini-Index (Klassifizierungsbaum) und die Standardabweichung (Regressionsbaum) als Maß für die Reinheit, während der ID3-Algorithmus die Informationsentropie als Maß für die Reinheit verwendet. Es gibt auch Ähnlichkeiten zwischen den beiden. Je verwirrender die in der Grundgesamtheit enthaltenen Kategorien sind, desto größer ist der Gini-Index. Der CART-Algorithmus kann nur Binärbäume erstellen, während die ID3- und C4.5-Algorithmen mehrere Bäume erstellen können (Hinweis: Nur das Erstellen von Binärbäumen bedeutet nicht, dass die Antwortvariable nur zweistufige Variablen auswählen kann. Der CART-Algorithmus übernimmt die Prinzip der Zusammenführung mehrerer Ebenen, wodurch ein Binärbaum entsteht.
CART hat einige kleine Segmentierungsprobleme, d. h. Überanpassung. Um dieses Problem zu lösen, werden besonders lange Bäume beschnitten und direkt abgeschnitten. Natürlich können einige Kreuzvalidierungsmethoden auch verwendet werden, um beim Aufbau von Entscheidungsbäumen zu helfen und Überanpassungsprobleme zu vermeiden.
verwendenJMPBenehmenWAGENModellbau
Mithilfe der JMP-Analyse, der prädiktiven Modellierung und der Segmentierung (d. h. des Entscheidungsbaums) können Sie schnell ein CART-Modell erstellen und einen Baum bilden. In JMP wird G² (Likelihood-Chi-Quadrat-Verhältnis, ähnlich dem Gini-Index) für Klassifizierungsbäume verwendet. Je kleiner das G², desto höher die Reinheit und desto besser der Klassifizierungseffekt. Wie in Abbildung (3) unten dargestellt:
Abbildung (3) zeigt, wie Antwortvariablen und Faktoren im Dialogfeld „Segmentierungsplattform“ platziert werden.
Der CART-Klassifizierungsbaum in Abbildung (4) oben zeigt, dass für die Entscheidung „ob man sich einen Film anschaut“ die wichtigste Variable ist, „ob heute Wochenende ist“, und es ist auch die Variable, die dazu führt, dass G² am schnellsten abnimmt . Teilen Sie dann den Zweig „Heute ist Wochenende“ auf und Sie erhalten einen Unterzweig mit einem G² von 0 (es ist Wochenende und Sie sind gut gelaunt, d Der Zweck besteht darin, untrennbar miteinander verbunden zu sein, und der Klassifizierungsbaum wird erstellt. Dies ist der Prozess zum Erstellen eines Entscheidungsbaums in JMP. Ich hoffe, er wird für alle hilfreich sein.
>> Anleitungsvideo: Mit JMP einen Entscheidungsbaum zeichnen
>> Erfahren Sie mehr: Prädiktive Modellierung und maschinelles Lernen mit JMP
>> JMP herunterladen: Testen Sie die Software 30 Tage lang
