JMP Pro „Bootstrap Forest“ vs. Python „lightgbm“?from lightgbm import LGBMRegressor
Danke, Experten!
Automatisierung und SkripterstellungWindowsBetreff: JMP Pro „Bootstrap Forest“ vs. Python „lightgbm“?Hallo @lala ,
Was genau ist die Frage? Bei diesen beiden Algorithmen handelt es sich um baumbasierte Modelle, aber Random Forest (in JMP Pro auch Bootstrap Forest genannt) ist ein „Bagging“-Modell (Bootstrap-Aggregation) und LightGBM ein Boosting-Modell.
Das bedeutet, dass Random Forest aus mehreren Bäumen besteht, die parallel auf verschiedenen Datensätzen trainiert werden. Diese Datensätze sind ähnlich, aber dennoch unterschiedlich und werden mithilfe des Bootstrap-Verfahrens erstellt (Stichprobenziehung mit Zurücklegen aus dem ursprünglichen Datensatz). Dadurch entstehen ähnliche, aber unterschiedliche Datensätze, die den Bäumen helfen, leicht unterschiedliche Muster zu lernen. Sobald diese Bäume trainiert sind, ist das endgültige Vorhersageergebnis der Durchschnitt der einzelnen Baumvorhersagen (bei Regression) oder die wahrscheinlichste Klasse der Bäume (bei Klassifizierung).
Abbildung von https://www.geeksforgeeks.org/machine-learning/bagging-vs-boosting-in-machine-learning/
Random Forest verfügt zudem über einen zufälligen Merkmalsauswahlprozess bei jeder Aufteilung, wodurch es sich sehr gut für den Umgang mit Multikollinearität eignet und die Erstellung diverserer Bäume ermöglicht (bei gleichzeitiger Verringerung des Risikos von Überanpassung).
Im Gegensatz dazu werden Boosted Trees sequenziell trainiert: Man beginnt mit einem einfachen Baum, wertet dann die Residuen dieses Modells aus und verwendet diese Residuen im zweiten Modell, um den zweiten Baum mit den höchsten Residuen zu trainieren. Ziel ist es, die Vorhersageleistung des gesamten Baumensembles zu verbessern. So versucht jeder Baum, die Vorhersageprobleme des vorherigen Baums zu beheben. Am Ende der Baumkette erhält man das Vorhersageergebnis (Klasse oder Wert, je nach Aufgabe).
Abbildung von https://www.geeksforgeeks.org/machine-learning/bagging-vs-boosting-in-machine-learning/
Der größte Unterschied zwischen den beiden von Ihnen genannten Algorithmen liegt also im Trainingsmodus (parallel vs. sequenziell):
Die Besonderheit von LightGBM im Vergleich zu anderen Boosting-basierten Baummodellen liegt in der Methode zum Baumwachstum, die blattweise erfolgt, im Gegensatz zu XGBoost oder anderen Boosting-Modellen, die den Baum ebenenweise aufbauen: Das bedeutet, dass ein Knoten nicht weiterentwickelt werden kann, wenn der Baum nicht "ausgeglichen" ist:
Die Wahl dieser Modelle hängt von der Aufgabe und dem Bias/Varianz-Kompromisse ab: Bagging-Algorithmen wie Random Forest reduzieren die Varianz (Überanpassung), während Boosting-Modelle wie Boosted Trees den Bias reduzieren.
Ich hoffe, diese Antwort hilft Ihnen weiter.
Betreff: JMP Pro „Bootstrap Forest“ vs. Python „lightgbm“?Vielen Dank, Experte!
Ich verwende häufig die Partitionsfunktion von JSL, weil ihre Vorhersageformel einfach und leicht verständlich ist.
Es erfüllt grundsätzlich die Anforderungen.
Ich habe gelernt, indem ich KI-Fragen gestellt habe.
Obwohl die LightGBM-Funktion von Python sehr leistungsstark ist, behauptet die KI lediglich, es handele sich um einen Random Forest.
Ich führe es mithilfe des von AI bereitgestellten Python-Codes und JSL-Aufrufen aus.
Laut Statistik ist sein Effekt besser als der des Random Forest von JMP Pro.
Natürlich werde ich die Parameter auch nicht allzu sehr verändern.Nur ein einfacher Vergleich.
Laut KI wurde die von Bootstrap Forest in JMP Pro 19 generierte Vorhersageformel deutlich verbessert.
Ich konnte JMP Pro 19 aber nicht verwenden.
Danke!
Betreff: JMP Pro „Bootstrap Forest“ vs. Python „lightgbm“?JMP Partition ist ein Entscheidungsbaum (die Grundlage/der Kern jeder baumbasierten Methode wie LightGBM oder Random Forest).
Sei vorsichtig mit den Antworten von KIs. Ich weiß nicht, welche du verwendest, aber bei sehr spezifischen und technischen Themen neigen sie zu Fehlinterpretationen. Ich nutze meistens Gemini (von Google), wenn ich tiefer in ein technisches Thema einsteigen möchte, da ich es am interessantesten finde. Aber auch dort gibt es manchmal Fehlinterpretationen.
LightGBM ist eindeutig KEIN Random Forest, sondern ein Boosted Tree-Algorithmus (siehe die Beschreibung der Unterschiede zwischen den beiden Typen in meinem ersten Beitrag).
Ich empfehle Ihnen, die technische Dokumentation zu LightGBM zu lesen, um mehr darüber zu erfahren: https://github.com/Microsoft/LightGBM und https://lightgbm.readthedocs.io/en/stable/index.html
Und die zugehörige Arbeit LightGBM: Ein hocheffizienter Gradient Boosting Entscheidungsbaum .
Der beobachtete „bessere“ Effekt könnte auf die Verwendung von Boosting zurückzuführen sein. Dieses Verfahren führt tatsächlich tendenziell zu besseren Vorhersagen (da sequentielle Entscheidungsbäume versuchen, Fehler vorheriger Bäume so weit wie möglich zu reduzieren, was zu einem Ensemble mit hoher Präzision führt), da es die Verzerrung verringert. Um jedoch Überanpassung zu vermeiden, ist eine robuste Validierungsstrategie erforderlich, da die Reduzierung der Verzerrung die Varianz erhöhen kann ( siehe Bias-Varianz-Tradeoff – Wikipedia ). Mit einem sehr präzisen Algorithmus, der sehr spezifische Muster lernt, besteht die Gefahr, dass Sie das Rauschen „anpassen“ und inkonsistente Vorhersagen erhalten, wenn Sie das Modell auf neue, unbekannte Daten anwenden.
Ein wesentlicher Unterschied zwischen Random Forest und Boosted Tree liegt in der Empfindlichkeit dieser Algorithmen gegenüber der Hyperparameter-Optimierung: Random Forest ist sehr robust gegenüber Hyperparameter-Anpassungen und liefert auch ohne diese gute Ergebnisse, während Boosted Tree unter Umständen eine intensivere Hyperparameter-Optimierung erfordert, um bessere Ergebnisse zu erzielen. Weitere Informationen und einen Vergleich der Bedeutung der Hyperparameter-Optimierung für die Leistung verschiedener Algorithmen finden Sie in [1802.09596] Anpassbarkeit: Bedeutung von Hyperparametern von Algorithmen des maschinellen Lernens .
Um zu erfahren, wie man Hyperparameter-Tuning in JMP durchführt, können Sie verwandte Beiträge wie Boosted Tree - Abstimmungstabellen-Design konsultieren.
Ich hoffe, diese ergänzende Antwort hilft Ihnen weiter.
Betreff: JMP Pro „Bootstrap Forest“ vs. Python „lightgbm“?Danke, Experten!
Meine Frage bezieht sich auf Gemini 2.5 Pro.
Es heißt, lightgbm sei JMP weit überlegen.
Bei Programmierfragen nutze ich immer den Expertenmodus von Grok4. Er ist intelligent und sucht online nach Antworten. Da die Anzahl der kostenlosen Nutzungen pro Tag begrenzt ist, schätze ich jede Gelegenheit dazu.
Betreff: JMP Pro „Bootstrap Forest“ vs. Python „lightgbm“?Gestern wurde grok4.1 aktualisiert. Ich habe jedoch den Eindruck, dass die KI-Illusion dadurch verstärkt wurde.
Betreff: JMP Pro „Bootstrap Forest“ vs. Python „lightgbm“?Haha, erwarte nicht, dass eine KI alles „weiß“, insbesondere nicht in Bezug auf spezifische Anwendungsfälle. Sie „weiß“ nichts und zeigt lediglich die wahrscheinlichste Wortfolge an, die zu deiner Suchanfrage passt. Sie hat kein Gespür für richtig oder falsch, sondern nur für Ähnlichkeit/Wahrscheinlichkeit basierend auf ihrem Trainingsdatensatz, der alle richtigen und falschen Ergebnisse enthält.
Die Aussage „ LightGBM ist JMP weit überlegen “ ist bedeutungslos, da sie einen spezifischen Algorithmus (LightGBM) mit einer kommerziellen Software (JMP) vergleicht, die mehrere Algorithmen des maschinellen Lernens unterstützt. Das ist völliger Unsinn.
Seien Sie außerdem vorsichtig mit allgemeinen Aussagen wie „Modell A ist immer besser als Modell B“. Solche Aussagen sollten stets mit einer gesunden Portion Skepsis betrachtet werden. Sie basieren entweder nicht auf Daten, sondern auf anderen Motiven, oder sie stützen sich bestenfalls auf Vergleichsstudien. Diese Vergleichsstudien und Datensätze spiegeln jedoch möglicherweise nicht Ihre spezifische Situation und Ihre Daten wider, sodass deren „Rangfolge“ für Ihre Situation ungeeignet und/oder irrelevant sein kann.
Je nach Datensatz, Zielsetzungen, benötigter Präzision und Einsatzumgebung kann der eine oder andere Algorithmus besser geeignet sein. Bei verrauschten Daten würde ich einem Random Forest eher vertrauen als einem Boosted Tree, da bei letzterem das Risiko der Überanpassung höher ist. Bei präzisen und rauscharmen Messungen und einem ausreichend großen Datensatz, um ihn in repräsentative Trainings-, Validierungs- und Testdatensätze aufzuteilen, könnte ich hingegen einen Boosted Tree anstelle eines Random Forest verwenden, um bessere Vorhersageergebnisse zu erzielen.
Ausprobieren und lernen scheint die sicherste und beste Option zu sein.
Betreff: JMP Pro „Bootstrap Forest“ vs. Python „lightgbm“?Danke!
Darf ich fragen, wie der Bootstrap Forest von JMP Pro nach dem Training zur Berechnung von Vorhersagen für neue, vorherzusagende Daten verwendet werden kann?
Nehmen wir Daten mit Zeitreihen als Beispiel.
Beim Programmieren bestehe ich darauf, das Expertenmodell von grok4 zu verwenden.
Betreff: JMP Pro „Bootstrap Forest“ vs. Python „lightgbm“?Hallo @lala ,
Ich bin mit Zeitreihenprognosen nicht vertraut, aber das Bootstrap-Forest-Modell kann wie jedes andere Modell verwendet werden: Klicken Sie im roten Dreieck neben der Bootstrap-Plattform auf „Spalten speichern“ > „Vorhersageformel speichern“. Eine neue Spalte mit der Bootstrap-Forest-Formel wird in Ihrer Datentabelle angezeigt.
Um anschließend Ergebnisse für eine andere Datentabelle vorherzusagen, können Sie die Formelspalte für die Vorhersage aus Ihrer ursprünglichen Datentabelle in die neue kopieren. Achten Sie darauf, dass die Eingabevariablen die gleichen Namen haben, damit die Formel problemlos berechnet werden kann.
Ich hoffe, das hilft Ihnen weiter.
