Prädiktoren-ScreeningFür das Prädiktor-Screening in JMP wird Bootstrap Forest verwendet; das funktioniert sehr gut, aber warum wird diese Methode gewählt und nicht der Boosted-Tree, der auch eine sehr leistungsfähige Methode ist? Verwendet JMP XGboosted?
AnalytikRe: Prädiktor-ScreeningHallo @frankderuyck ,
Ich bin kein Experte darin, wie JMP tatsächlich Dinge im Backend ausführt (die genaue Codierung, die ausgeführt wird), aber ich glaube, dass Bootstrap Forest verwendet wird, weil es zwei Ebenen der Randomisierung hat: Eine ist die zufällige Auswahl einer Teilmenge der Faktoren. Wenn Sie beispielsweise eine Spalte haben, die Sie vorhersagen und testen möchten, welcher von 10 Faktoren am besten zu dieser Vorhersage beiträgt, wählt der Bootstrap-Forest-Ansatz zufällig eine Teilmenge aus, sagen wir 6 von 10, und verwendet einen Entscheidungsbaum, um das Ergebnis am besten vorherzusagen und Ordne die Faktoren dann nach ihrem Beitrag. Die andere Randomisierung besteht darin, dass Bootstrap Forest zufällig eine bestimmte Anzahl von Zeilen auswählt, um das Modell anzupassen, und dann den Rest, um es zu validieren (oder zu vereinfachen), und dies geschieht mit zufälliger Auswahl und Ersetzung bei jeder Iteration. Nach meinem Verständnis tut der Boosted-Tree dies standardmäßig nicht.
Zu Ihrer letzten Frage können Sie das XGBoost-Add-In für JMP Pro von der JMP-Website herunterladen. Es funktioniert für JMP Pro 14 und höher, glaube ich.
Nebenbei bemerkt, da es sich anhört, als würden Sie mit JMP Pro arbeiten, möchten Sie vielleicht die GenReg-Plattform ausführen und die verschiedenen Vorhersagealgorithmen (Lasso, Elastic Net usw.) verwenden, um die Modellkoeffizientenschätzungen anzuzeigen und einige Bootstrap-Simulationen auszuführen run dort genauso. Manchmal erhalten Sie unterschiedliche Antworten und dies kann helfen, festzustellen, ob ein Grenzfaktor wirklich wichtig ist oder nicht. Ich wende oft beide Ansätze an, wenn ich die Aufgabe habe, den besten Prädiktorsatz für ein Modell zu finden.
Hoffe das hilft!,
DS
Re: Prädiktor-ScreeningDanke für diese ausführliche Antwort!
Ja, ich glaube, dass es eine gute Idee ist, sowohl Bootstrap als auch Boosted auszuführen, um aus vielen Kandidaten Prädiktoren auszuwählen.
Ich habe Recht, wenn ich sage, dass Bootstrap Forest für kategoriale Antworten bevorzugt wird?
Ist die XGboosted-Methode besser als die in jmp pro verwendete?
Re: Prädiktor-ScreeningSie sind sich nicht sicher, welche JMP-Version Sie verwenden, aber wenn Sie 16 JMP Pro verwenden, können Sie viele verschiedene Modellierungsplattformen vergleichen:
https://www.jmp.com/support/help/de/16.0/#page/jmp/launch-the-model-screening-platform.shtml?os=mac&source=application&utm_source=helpmenu&utm_medium=application#ww267915
Dies kann für Sie nützlich sein.
Re: Prädiktor-ScreeningDie Predictor Screening-Plattform ist eine Bootstrap Forest-Plattform mit einer minimalen Anzahl (jetzt nur noch: Number Trees) von Tuning-Parametern, die angegeben werden müssen, und bietet nur einen Bericht zu Spaltenbeiträgen. Die Magie ist, dass die Predictor Screening-Plattform Standardwerte für die verbleibenden Tuning-Parameter festgelegt hat. Die Einstellung dient gut dazu, nützliche Prädiktoren zu finden.
Wenn man einen Boosted-Tree für denselben Zweck mit einer minimalen Anzahl von Tuning-Parametern, sagen wir einem Parameter, anwenden möchte, ist das eine sehr schwierige Aufgabe. ZB ist Boosted Tree viel stärker als Random Forest von der Wahl und Verwendung einer Validierungsmethode abhängig, und die Wahl einer Validierungsmethode ist selbst eine Kunst.
Die Predictor Screening-Plattform dient dem Zweck, nützliche Prädiktoren zu finden. Es ist kein Ersatz für die Bootstrap-Prognose. Ihr endgültiges Modell wird kein Random Forest-Modell sein, wenn Sie nur Predictor Screening verwenden. Sie werden sich wahrscheinlich entscheiden, andere Modelle zu verwenden, die die Prädiktoren verwenden, die von Predictor Screen gefunden wurden. Ein Vorteil der Verwendung von Predictor Screening zum Auffinden nützlicher Prädiktoren im Gegensatz zur Verwendung integrierter Methoden zur Variablenauswahl in Ihrem endgültigen Modell besteht darin, dass die Methode nicht auf parametrischen Annahmen beruht.
Zwischen Random Forest und Boosted Tree sind mir keine Studien begegnet, die ihre Leistung anhand des Typs der Antwortvariablen schlussfolgern.
Boosted Tree ist eine Implementierung der Gradienten-Boosting-Methode. Ebenso XGBoost. Auch andere Implementierungen, zB LightGBM. Ihre Vergleiche können ziemlich kompliziert und wahrscheinlich auch subjektiv sein. Aber es ist immer spannend, mit verschiedenen Tools zu spielen, um deren Vor- und Nachteile zu verstehen.
