Bei einem kürzlich Bessere Modelle bauen Ich fragte mich: „Wenn Sie einen Faktor haben, der eine gekrümmte Beziehung zu einer Antwort hat, kann ein Entscheidungsbaummodell verwendet werden, um diese Beziehung zu modellieren?“ Um zu zeigen, dass dies tatsächlich möglich ist, habe ich einen einfachen simulierten Datensatz erstellt 200 Zeilen, basierend auf dem Modell
woher ein . b . c sind Konstanten und e ist eine normalverteilte Zufallsvariable. Eine Darstellung der Daten zusammen mit dem angepassten quadratischen Regressionsmodell ist in Abbildung 1 dargestellt.
Wie sieht also ein Entscheidungsbaummodell aus, wenn es an diese Daten angepasst wird? Um das herauszufinden, habe ich die Trennwand Plattform (Analysieren> Modellieren> Partition), um einen einfachen Entscheidungsbaum anzupassen. Eine kompakte Ansicht des Entscheidungsbaummodells ist in Abbildung 2 dargestellt.
Ein Diagramm des angepassten Modells (Abbildung 3) zeigt, dass die allgemeine quadratische Modellform vom Entscheidungsbaummodell erfasst wird. Innerhalb des Bereichs der X-Daten (-100 <100) macht dieses Modell Vorhersagen, die dem quadratischen Modell sehr ähnlich sind. Tatsächlich haben beide Modelle die gleichen durchschnittlichen Vorhersagefehler, und der R-Wert 2 für beide Modelle beträgt 0,98. Das ist schön, weil Entscheidungsbäume keine Annahme über die Form der Beziehung zwischen dem Y und dem X machen.
Es ist wichtig zu wissen, dass das hier verwendete Entscheidungsbaummodell das größte / komplexeste Modell war, das möglich war, mit der einzigen Einschränkung, dass jeder Endknoten im Baum mindestens fünf Datenpunkte enthalten musste. Das Rauschen in diesen Daten ist im Vergleich zu der Gesamtvariabilität in diesen Daten relativ gering, was erklärt, warum sowohl das quadratische Modell als auch das Partitionsmodell so gut passen können.
Was aber, wenn wir viel lautere Daten haben? Betrachten Sie einen zweiten simulierten Datensatz aus demselben quadratischen Modell, bei dem die Standardabweichung des Zufallsfehlers 10-mal größer ist. Sie sehen das angepasste quadratische Modell und das vollständige Entscheidungsbaummodell, das mit den Daten in Abbildung 4 überlagert ist.
In diesem Fall sieht der Entscheidungsbaum nicht mehr so aus, als würde er die quadratische Natur der Daten gut erfassen. Dies liegt daran, dass das Partitionsmodell ist Overfit. Der in den Daten vorhandene zufällige Fehler wird zu groß dem Modell zugewiesen, was zu einem zu komplexen Modell führt.
Um ein besseres Entscheidungsbaummodell zu erstellen, das die wesentlichen Eigenschaften der Daten erfasst, ohne zu überanpassen, verwenden wir einen zufälligen Halt von 20% der Daten als Validierungssatz, um die Größe des Entscheidungsbaummodells automatisch zu bestimmen. Dies ist eine integrierte Funktion JMP Pro , die erweiterte Analyseversion von JMP. Das resultierende Modell wurde basierend auf dem Validierungssatz ausgewählt und hat nur fünf Endknoten. Die Überlagerung dieses einfacheren Entscheidungsbaummodells (Abbildung 5) zeigt, dass der Entscheidungsbaum jetzt die gesamte quadratische Natur der Daten erfasst. Daher ist die Antwort auf die ursprüngliche Frage immer noch „Ja“ und JMP Pro hilft Ihnen dabei, dies schnell und automatisch zu tun.
Eric Cai schrieb:
Hallo Sam,
Danke für diesen sehr klaren und informativen Beitrag. Könnten Sie bitte erklären, warum Sie die Holdout-Validierung anstelle der Kreuzvalidierung verwendet haben? Ist die Holdout-Validierung nicht anfällig für Abweichungen, von denen die Daten als Validierungssatz ausgegeben wurden? Die Kreuzvalidierung kann diese Variation überwinden. Dies ist die Validierungsmethode, die ich normalerweise verwende. Ich würde mich gerne über die Vorteile der Holdout-Validierung informieren.
Vielen Dank für Ihre Zeit.
Eric
