Was bedeutet eine „Schätzung“ für Boosted Trees?Hallo
Fragen zu Boosted Trees unter der Predictive Modeling-Plattform:
1- Was stellt eine „Schätzung“ am Ende mathematisch dar? Handelt es sich um eine erwartete Änderung der Reaktion pro Einheitsänderung des Parameters (z. B. Empfindlichkeit)?
2- Unter der Annahme, dass beispielsweise 200 Schichten eines Modells mit verstärkten Bäumen vorliegen, ist das endgültige vorhergesagte Modell gleich dem 200. Modell, dh dem Modell der letzten Schichten, oder einem Durchschnitt aller 200 Modelle? Ich bin mir nicht ganz sicher, welcher Baum als verstärkter Baum aus den Residuen des vorherigen Baums lernt. Daher neige ich zu der Annahme, dass es sich möglicherweise um das letzte Modell handelt, aber Ensemble-Methoden sind aggregierte Methoden (Gegenargument).
3- Gibt es eine praktische Methode zur Schätzung von Konfidenzintervallen in einem Boosted-Tree-Modell? Vielleicht das Ergebnis jeder Ebene abrufen, um dann eine Verteilung zu erstellen?
Schätzen Sie die Unterstützung. Danke.
Erweiterte statistische ModellierungVerbraucher- und MarktforschungDatenexploration und -visualisierungPrädiktive Modellierung und maschinelles LernenBetreff: Was bedeutet eine „Schätzung“ für Boosted Trees?Danke Victor. Merci.
Betreff: Was bedeutet eine „Schätzung“ für Boosted Trees?Hallo @altug_bayram ,
1- Da jeder einzelne Baum des Modells der verstärkten Bäume auf den Residuen (Fehlern) des vorherigen Baums aufgebaut ist, würde ich sagen, dass eine Schätzung eine Zahl ist, die Sie zum Mittelwert Ihrer Ergebnisse (was Sie zu modellieren/vorhersagen versuchen) hinzufügen, je nachdem von der Kategorie/Aufteilung, in der Sie sich befinden. Baumbasierte Methoden liefern „Schrittprofiler“ (siehe Screenshot), bei denen Sie deutlich sehen können, wie eine Änderung des Werts eines Faktors die Antwort plötzlich erhöhen kann, je nachdem, wo sich die Aufteilung befindet.
2- Bei einer auf Absackbäumen basierenden Methode (wie Random Forest) wäre das Endergebnis ein Mittelwert/Durchschnittsergebnis der einzelnen Bäume. In einem Boosting-Tree-Algorithmus müssten Sie alle „Schätzungen“ der verschiedenen Bäume zusammenfassen (und das mittlere Ergebnis dazu addieren), um die vorhergesagten Ergebnisse zu erhalten (abhängig vom „Pfad“ der gewählten Aufteilung): „ Die Anpassung des Baums basiert auf den Residuen der vorherigen Schichten, was es jeder Schicht ermöglicht, die Anpassung für schlecht passende Daten aus den vorherigen Schichten zu korrigieren. Die endgültige Vorhersage für eine Beobachtung ist die Summe der vorhergesagten Residuen für diese Beobachtung über alle Schichten“ (Quelle: Boosted Tree – JMP 13 Predictive and Specialized Modeling [Buch] (oreilly.com) ).
3- Ich bin mir da nicht sicher. Entweder unter Verwendung der Residuen des Modells, oder ich würde versuchen, die RASE-Ergebnisse des Modells zu verstärken, um 95 %-Bootstrap-Intervalle zu erstellen, damit RASE den Vorhersagefehler des Modells (Root Average Squared) besser einschätzen kann, oder ich würde den K- verwenden. Faltet die Kreuzvalidierung der „Model Screening“-Plattform, um eine bessere Schätzung des RASE des Modells zu erhalten.
Ich hoffe, diese erste Antwort wird Ihnen helfen,
