Prädiktor-ScreeningFür das Prädiktor-Screening in JMP wird Bootstrap Forest verwendet; Das funktioniert sehr gut, aber warum wird diese Methode gewählt und nicht der Boosted Tree, der auch eine sehr leistungsstarke Methode ist? Verwendet JMP XGboosted?
Prädiktive Modellierung und maschinelles LernenBetreff: Prädiktor-ScreeningDie Predictor Screening-Plattform ist eine Bootstrap Forest-Plattform mit einer minimalen Anzahl (jetzt nur noch einer: Number Trees) von Optimierungsparametern, die angegeben werden müssen, und stellt nur einen Bericht über Spaltenbeiträge bereit. Das Besondere daran ist, dass die Predictor Screening-Plattform Standardwerte für die verbleibenden Optimierungsparameter festgelegt hat. Die Einstellung eignet sich gut zum Finden nützlicher Prädiktoren.
Wenn man den Boosted Tree für denselben Zweck mit einer minimalen Anzahl von Optimierungsparametern, beispielsweise einem Parameter, anwenden möchte, ist das eine sehr schwierige Aufgabe. Beispielsweise ist ein verstärkter Baum viel stärker als ein zufälliger Wald von der Wahl und Verwendung einer Validierungsmethode abhängig, und die Wahl einer Validierungsmethode ist an sich eine Kunst.
Die Predictor Screening-Plattform dient dem Zweck, nützliche Prädiktoren zu finden. Es ist kein Ersatz für die Bootstrap-Prognose. Ihr endgültiges Modell wird kein zufälliges Gesamtstrukturmodell sein, wenn Sie nur Predictor Screening verwenden. Sie werden sich wahrscheinlich dafür entscheiden, andere Modelle zu verwenden, die die von Predictor Screen gefundenen Prädiktoren verwenden. Ein Vorteil der Verwendung von Predictor Screening zum Finden nützlicher Prädiktoren im Vergleich zur Verwendung integrierter Variablenauswahlmethoden in Ihrem endgültigen Modell besteht darin, dass die Methode nicht auf parametrischen Annahmen beruht.
Zwischen Random Forest und Boosted Tree bin ich auf keine Studien gestoßen, die deren Leistung auf der Grundlage der Art der Antwortvariablen ableiten.
Boosted Tree ist eine Implementierung der Gradient-Boosting-Methode. Das gilt auch für XGBoost. Und das gilt auch für andere Implementierungen, z. B. LightGBM. Ihre Vergleiche können ziemlich kompliziert und wahrscheinlich auch subjektiv sein. Aber es ist immer spannend, mit verschiedenen Tools herumzuspielen, um deren Vor- und Nachteile zu verstehen.
Betreff: Prädiktor-ScreeningIch bin mir nicht sicher, welche Version von JMP Sie verwenden, aber wenn Sie JMP Pro 16 verwenden, können Sie viele verschiedene Modellierungsplattformen vergleichen:
https://www.jmp.com/support/help/en/16.0/#page/jmp/launch-the-model-screening-platform.shtml?os=mac&source=application&utm_source=helpmenu&utm_medium=application#ww267915
Dies kann für Sie nützlich sein.
Betreff: Prädiktor-ScreeningVielen Dank für diese ausführliche Antwort!
Ja, ich glaube, dass die Ausführung von Bootstrap und Boosted eine gute Idee ist, um aus vielen Kandidaten Prädiktoren auszuwählen.
Ich habe Recht, wenn ich sage, dass Bootstrap Forest für kategoriale Antworten bevorzugt wird?
Ist die XGboosted-Methode besser als die in jmp pro verwendete?
Betreff: Prädiktor-ScreeningHallo @frankderuyck ,
Ich bin kein Experte darin, wie JMP tatsächlich Dinge im Back-End ausführt (die genaue Codierung, die ausgeführt wird), aber ich glaube, dass Bootstrap-Forest verwendet wird, weil es zwei Randomisierungsebenen hat: Eine ist die zufällige Auswahl einer Teilmenge der Faktoren. Wenn Sie beispielsweise eine Spalte haben, die Sie vorhersagen und testen möchten, welcher der zehn Faktoren am besten zu dieser Vorhersage beiträgt, wählt der Bootstrap-Forest-Ansatz zufällig eine Teilmenge aus, beispielsweise sechs der zehn, und verwendet einen Entscheidungsbaum, um das Ergebnis am besten vorherzusagen Ordnen Sie dann die Faktoren nach ihrem Beitrag. Die andere Randomisierung besteht darin, dass Bootstrap Forest zufällig eine bestimmte Anzahl von Zeilen auswählt, die zum Modell passen, und dann den Rest, um es zu validieren (oder zu vereinfachen), und zwar durch zufällige Auswahl und Ersetzung bei jeder Iteration. Soweit ich weiß, ist dies bei Boosted Tree standardmäßig nicht der Fall.
Was Ihre letzte Frage betrifft, können Sie das XGBoost-Add-In für JMP Pro von der JMP-Website herunterladen. Ich glaube, es funktioniert für JMP Pro 14 und höher.
Nebenbei bemerkt: Da es sich so anhört, als würden Sie mit JMP Pro arbeiten, möchten Sie vielleicht die GenReg-Plattform ausführen und die verschiedenen Vorhersagealgorithmen (Lasso, Elastic Net usw.) verwenden, um die Schätzungen der Modellkoeffizienten anzuzeigen und einige Bootstrap-Simulationen durchzuführen dort genauso. Manchmal bekommt man unterschiedliche Antworten und das kann dabei helfen festzustellen, ob ein Grenzfaktor wirklich wichtig ist oder nicht. Ich verwende oft beide Ansätze, wenn ich die Aufgabe habe, den besten Prädiktorsatz für ein Modell zu finden.
Hoffe das hilft!,
DS
