Liebes JMP-Team,
Folgend einige Ideen für mögliche Verbesserungen im Bereich Boosted Trees und Random Forest.
1. Allgemeines:
a) Aktivieren Sie die Option zur Verwendung von Out-of-the-bag (oob)-Fehlerschätzungen. Diese Schätzungen ermöglichen es, die optimale Modellkomplexität zu bestimmen, wodurch ein Validierungssatz obsolet wird (könnte in diesem Fall als echter Testsatz verwendet werden). Für kleinere Datensätze, bei denen das Aufteilen der Daten in Trainings-/Validierungs-/Testsätze nicht möglich ist, ist oob auch eine gute Option, um einen angemessenen Eindruck von der erwarteten Modellleistung zu erhalten.
b) Aktivieren Sie Diagramme, die die optimale Anzahl von Bäumen zeigen, z. B. basierend auf dem durchschnittlichen Multinomialabstand oder dem durchschnittlichen quadratischen Fehler (tatsächlich bin ich mir nicht sicher, ob es fair ist zu sagen, dass die Daten in der folgenden Grafik echte Testdaten sind, weil sie es sind wurde verwendet, um die Modellkomplexität zu bestimmen, aber ich mag die Idee hinter dem Diagramm)
2. Verstärkte Bäume
Obwohl JMP Random Forest im Vergleich zu anderen Softwarepaketen sehr gut abschneidet, ist JMP Boosted Trees in Bezug auf die Vorhersagefähigkeit der Modelle in der Regel unterlegen.
a) Aktivieren zum Definieren/Steuern der Subsampling-Größe (Stochastic Gradient Boosting)
Beim Boosten ist Subsampling aus meiner Sicht ein wesentlicher Bestandteil des Algorithmus, leider nicht in JMP vorhanden. Das Entnehmen von unabhängig gezogenen Teilstichproben führt eine gewisse Zufälligkeit in die Analyse ein, wodurch das Risiko einer Überanpassung verringert wird. Da jeder Baum auf einem anderen Satz von Beispielen aufgebaut ist, lassen sich diese Modelle normalerweise recht gut verallgemeinern (natürlich muss die Anzahl der Bäume noch kontrolliert werden). Eine weitere Unterabtastung ermöglicht die Verwendung von oob-Fehlerschätzungen.
b) Ermöglichen Sie mehrstufige kategoriale Antworten in verstärkten Bäumen
Mit freundlichen Grüßen
Silvio
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />2. a) Control Subsampling Size (Stochastic Gradient Boosting) wurde zu JMP 13 hinzugefügt.
