958734_de-DE

liliconcom

Klassifikationsbäume

Guten Morgen,

Ich habe eine kleine Datei (siehe beigefügte Datei), um besser zu verstehen, was JMP berechnet.

Der Baum ist recht klein, ich habe die Mindestgröße eines Knotens auf 1 gesetzt, die Teilungen einzeln durchgeführt und die Wahrscheinlichkeiten anzeigen lassen.

Nun konzentriere ich mich auf den Knoten "X1>=14" und wenn ich es richtig verstehe:

1. Der G²-Wert (3.82) charakterisiert die Unreinheit dieses Knotens und ist unabhängig von der darunter liegenden „besten“ Teilung.
2. Der Logworth-Wert (1,05) wird mithilfe des direkt daneben angezeigten G^2 berechnet.
3. Der Logworth-Koeffizient hängt von der "besten" Aufteilung ab, die direkt darunter angezeigt wird; er wird aus einem angepassten p-Wert berechnet, der aus allen möglichen Aufteilungen ermittelt wird.

Die Punkte 2 und 3 scheinen unvereinbar zu sein.

Der LearnBot von JMP ist ausnahmsweise hängen geblieben und erkennt zwei mögliche, aber unvereinbare Interpretationen.

Woher kommt also dieser Wert von 1,05 und wie ist er zu interpretieren?

Vielen Dank für Ihre Antwort.

Jean-Luc

Prädiktive Modellierung und maschinelles LernenBetreff: Klassifikationsbäume

Hallo @rugolf ,

Ich glaube, es herrscht Verwirrung hinsichtlich der Definition und Verwendung der beiden Metriken G2 und Logworth.
Wie in der JMP-Hilfedokumentation erwähnt, verwendet der Entscheidungsbaum in JMP den Logworth-Wert als Entscheidungskriterium für die Bestimmung der Aufteilungsstelle (mit dem Ziel, den Logworth-Wert zu maximieren). Dieser Wert entspricht -log10(p-Wert). Der p-Wert wird mit einer in der Hilfedokumentation nicht näher beschriebenen Anpassung berechnet, die eine faire und gerechte Berechnung zwischen Faktoren mit vielen oder wenigen Ausprägungen gewährleistet.

Der G2-Wert wird nur für kategoriale Antworten angezeigt; ein niedriger G2-Wert deutet auf eine bessere Anpassung hin. Bei kontinuierlichen Antworten wird für jeden Knoten die Standardabweichung zusammen mit der Kandidaten-SS (Quadratsumme für die beste Aufteilung) angezeigt.

Ich hoffe, diese Antwort wird etwas Licht ins Dunkel bringen, wie diese Plattform funktioniert.

Betreff: Klassifikationsbäume

DANKE,

Wenn ich es richtig verstehe, gilt im Falle einer kategorischen Antwort mit 2 Kategorien A und B:

1. Der G²-Wert misst die Unreinheit des Knotens (auch Abweichung genannt): 0, wenn nur A oder nur B vorhanden sind, unausgewogene Klassen, aber keine weitere Unterteilung von diesem Knoten aus.
2. das Maximum von G^2 (gleich n * 2ln(2), glaube ich), wenn die Klassen ausgeglichen sind (genauso viele A wie .
3. G^2 nimmt mit jeder Teilung ab, während R^2 zunimmt; das geht in die richtige Richtung, und genau das wollen wir.
4. Wir könnten die Verbesserung (den Gewinn) nach einer Division berechnen: G^2(Elternteil)-(G^2(links)+G^2(rechts))
5. Der beste Schnitt ist derjenige, der die größte Verbesserung bringt, derjenige, der den vorherigen G^2-Wert am deutlichsten reduziert.
6. logworth = -log(p-Wert), wobei der p-Wert mit einem Test verbunden und angepasst ist (die Berechnung lasse ich aus, keine große Sache).
7. Der neben G^2 angezeigte Logarithmuswert bezieht sich auf die beste Division, die direkt darunter angezeigt wird.
8. Der Test lautet: H_0: Links und rechts ist der Anteil von A gleich vs. ... ist nicht gleich
9. Extremfall: p-Wert = 1, daher Log-Wert = 0, wenn in den Kindknoten der gleiche Anteil von A (und vorliegt; H₀ wird am Ende des Tests beibehalten.
10. In Extremfällen: p-Wert = 0, daher Log-Wert = unendlich, wenn der Anteil von A in den Kindknoten sehr unterschiedlich ist; H_1 wird am Ende des Tests beibehalten.
11. p-Wert < 0,01, daher Log-Wert > 2, daher ein signifikanter Unterschied im Anteil von A (oder , eine signifikante Unterscheidung
12. Der beste Zuschnitt ist daher auch derjenige mit der höchsten Lagerfähigkeit.
13. Der Baum hört auf zu wachsen, wenn G^2 gleich null ist, wenn die minimale Größe erreicht ist oder wenn R^2 nicht mehr signifikant zunimmt.

Ich danke Ihnen für Ihre Hilfe.

Rugolf oder Jean-Luc

Betreff: Klassifikationsbäume

Hallo Jean-Luc,

Zu den verschiedenen Teilen:

• Ja, G2 ist äquivalent zu anderen verwendeten Kriterien wie der Gini-Unreinheit oder der Entropie. G2 entspricht dem Doppelten des natürlichen Logarithmus der Entropie. Wenn wir also eine Trennung finden, die es uns ermöglicht, „reine“ Knoten (perfekte Trennung) zu erhalten, dann ist G2 gleich null (Entropie null).
• Mit jeder Aufteilung wird G2 abnehmen, weil wir immer besser darin werden, Beobachtungen mithilfe von Faktoren zu klassifizieren.
• Die G2-Verbesserung wird berechnet und ist in den Knoteninformationen ( Kandidat G2 ) sichtbar.
• Bezüglich des Logworth-Tests wird zwar ein p-Wert berechnet, dieser dient jedoch lediglich der Auswahl der optimalen Aufteilung. Der diesem p-Wert zugrunde liegende Test bezieht sich auf die von Ihnen genannten Hypothesen: H0 – Die Anteile von A und B sind in beiden Knoten gleich vs. H1 – Die Anteile von A und B unterscheiden sich in den beiden Knoten.
• Wie bereits in meiner ersten Antwort erwähnt, ist die optimale Aufteilung diejenige, die dem höchsten Logworth entspricht.
• Die Abbruchkriterien des Entscheidungsbaums hängen von der Mindestgröße für die Aufteilung ab ( Mindestgröße für die Aufteilung , einstellbar in den Optionen), von der Wahl einer Baumtiefe oder vom Wert/der Entwicklung von R² (möglicherweise mit einer Validierungsstichprobe, um den Zeitpunkt zu ermitteln, an dem sich R² in der Validierungsstichprobe nicht mehr/kaum noch ändert) usw.
  Die Entwicklung von R² als Funktion der Splits kann in der „Split-Historie“ eingesehen werden:
  
• Es handelt sich zwar um ein kleines Detail, aber anhand des gemeinsamen Datensatzes scheint die optimale Aufteilung eher bei X1 > oder < 10 zu liegen (größerer Logworth-Wert als bei 14):
  

  Bei einem Wert von 14 für X1 ist die Trennung nicht optimal, und ich finde die von Ihnen genannten Werte weder in Logworth noch in G2:

  
• Da die Faktoren X1 und X2 zudem sehr stark korreliert sind (Korrelation > 0,99), ist ein Entscheidungsbaum möglicherweise nicht die geeignetste Methode, da eine der beiden Variablen im Vergleich zur anderen zwangsläufig vernachlässigt wird; eine Methode, die diese Korrelation berücksichtigt, wäre angemessener.
  • Entweder durch ein penalisiertes logistisches Regressionsmodell (Ridge- oder sogar Lasso-Regression, da beide Faktoren die gleichen Informationen enthalten) oder sogar durch ein einfaches logistisches Modell mit einem Faktor (X1 oder X2) unter Verwendung der Plattform Fit Y by X:
    
  • Entweder durch die Wahl einer baumbasierten Methode, die die Verwaltung der Korrelation/Kollinearität zwischen Faktoren ermöglicht, wie z. B. Random Forest ( Bootstrap Forest Plattform in JMP), oder anderer Modelle des maschinellen Lernens (Support Vector Machine).
    
    Es stehen JMP-Datensätze zur Verfügung, die Ihnen helfen, die Funktionsweise bestimmter Plattformen zu erlernen und zu verstehen. Sie finden diese in den Menüs „Hilfe“ und „Beispielindex“. Im Untermenü „Exploratives Modellieren“ sind verschiedene Datensätze verfügbar, die die Partition-Plattform betreffen: Car Poll, Cereal, Diamonds Data, Mushroom, Titanic Passengers usw.
    
    

Ich hoffe, diese Antwort verdeutlicht die Funktionsweise der Partition-Plattform.

Betreff: Klassifikationsbäume

Hallo Victor,

Vielen Dank für diese großzügige Antwort.

Ich sehe, dass ich auf der "richtigen" Seite bin.

Ansonsten ist die Wahl der kleinen Datei beabsichtigt: Ich verwende sie, um die Berechnungen der Software, beispielsweise bei einer einfachen linearen Regression, deutlich zu erkennen. Ich habe auch andere, größere und realistischere Dateien.

Nochmals vielen Dank.

Beste Wünsche.

Jean-Luc