Störung im Bootstrap Forest mit Tuning Design Table?Hallo zusammen,
Ich habe einen Fall, in dem ich einen Bootstrap-Forest-Ansatz in Kombination mit einer Tuning-Designtabelle anwenden möchte. Beim Befolgen der Anweisungen in der JMP-Hilfe stieß ich auf das Problem, dass nur zwei der sechs beschriebenen Hyperparameter in der Tuning-Tabelle es in die Anzahl der Modelle schafften, die entsprechend der Laufnummer der Tuning-Tabelle erstellt wurden.
Wurde dieses Problem auch von jemand anderem erkannt?
Ich habe das bereits mit besprochen @Jonas_Rinne und wir haben keine zufriedenstellende Lösung gefunden. Oder ist es ein Bug?
Prädiktive Modellierung und maschinelles LernenBetreff: Fehlfunktion im Bootstrap Forest mit Tuning Design Table?Hallo @Jonas_Rinne Und @Egon_Gross1 ,
Ich habe letztes Jahr eine Tuning-Designtabelle zur Feinabstimmung eines Boosted Tree (ähnliche Hyperparameter) zu diesem Thema verwendet: https://community.jmp.com/t5/Discussions/Boosted-Tree-Tuning-TABLE-DESIGN/mp/609591/highlight/true#M81062
Ich sitze nicht hinter meinem Computer, also ist das das Beste, was ich jetzt tun kann, aber ich kann morgen ein paar Tests machen, wenn es helfen kann (und wenn jemand anderes vorher keine Lösung gefunden hat). Die Benennung der Spalten ist sehr empfindlich, daher könnte dies erklären, warum einige Hyperparameter-Spalten verwendet werden und andere nicht.
Ich hoffe, das könnte in der Zwischenzeit helfen,Betreff: Fehlfunktion im Bootstrap Forest mit Tuning Design Table?Hallo @Egon_Gross1 Und @Jonas_Rinne ,
Ich mache ständig Modell-Tuning mit Tuning-Tabellen und habe sogar Vorlagen für NN, Boosted Trees, Bootstrap Forest und XGBoost erstellt.
Ich hatte noch nie ein Problem damit, dass Hyperparameter nicht in eine Optimierungstabelle übernommen wurden, außer wenn sie konstant waren. Normalerweise verwende ich die raumfüllende Design-DOE-Plattform zusammen mit meinen Tuning-Vorlagentabellen, um die größere Tuning-Tabelle mit allen Läufen zu erstellen.
Eine Möglichkeit könnte der Name sein, die andere besteht darin, dass Sie wahrscheinlich sicherstellen müssen, dass den Spalten auch die richtige Designrolle in ihren Metadaten zugeordnet ist. Wenn einer Spalte diese Rolle fehlt, funktionieren die DOE-Plattformen möglicherweise nicht ordnungsgemäß.
Es sieht so aus, als ob auf den JMP-Hilfeseiten die richtigen Spaltennamen mit der Rolle für eine Optimierungstabelle verknüpft sind. Im Anhang finden Sie meine Vorlagendatentabellen. Ich hoffe, sie können Ihnen helfen.
DS
Betreff: Fehlfunktion im Bootstrap Forest mit Tuning Design Table?Es scheint eine gewisse Inkonsistenz zwischen der Hilfeseite und dem Skriptindex zu geben. Folgendes werden auf der Hilfeseite als Spaltennamen für die verschiedenen Hyperparameter in der Tuning-Tabelle vorgeschlagen:
Im Scripting-Index werden die Spalten etwas anders benannt (Split/Splits):
Hat jemand schon einmal das gleiche Problem gehabt? Haben wir die falschen Spaltennamen verwendet oder liegt es an etwas anderem? Die ersten beiden Hyperparameter funktionieren einwandfrei.
Betreff: Fehlfunktion im Bootstrap Forest mit Tuning Design Table?@Egon_Gross1 Und @Jonas_Rinne - Vielen Dank für Ihre Frage. Ich beschäftige mich derzeit auch mit dem technischen Support von JMP. Es scheint, dass die Tuning-Tabelle, die Sie uns in Ihrem Beispiel mitgeteilt haben, damit übereinstimmt @SDF1 hat es angegeben, der einzige Unterschied besteht darin, dass bei ihnen offenbar nicht für jede Spalte die Codierungsspalteneigenschaft angegeben ist.Ich habe es mit Ihrem bereitgestellten Beispiel in beide Richtungen mit demselben Zufallsstartwert (=1234) versucht und es scheint keinen Unterschied zu machen.Ich werde meinerseits weiter recherchieren und ein Update bereitstellen, sobald ich weitere nützliche Informationen sammeln kann.Prost, @PatrickGiuliano
Betreff: Fehlfunktion im Bootstrap Forest mit Tuning Design Table?Hallo @SDF1 Und @PatrickGiuliano Und @Jonas_Rinne Und @Victor_G ,
Vielen Dank für all Ihre Beiträge und Ihre Unterstützung.
Beim Ausprobieren verschiedener Ansätze – mit Ausnahme des NN-Versuchs (mittlerweile) – funktionierten die bereitgestellten Tunung-Tabellen, mit Ausnahme der für das RF-Verfahren. Ich habe dies mit mehreren Tabellen aus dem Beispielordner versucht. Nach Verwendung der Optimierungstabelle enthielt der Abschnitt „Zusammenfassungen des Modellvalidierungssatzes“ nur die Spalten „N Terme, N Bäume, N angegebene Bäume und RSquare“. Die anderen Tuning-Parameter wurden nicht angezeigt und ich bezweifle, dass sie verwendet wurden.
Grüße
Egon
Betreff: Fehlfunktion im Bootstrap Forest mit Tuning Design Table?Hallo @Egon_Gross1 ,
Ich hatte noch nie Probleme mit den zuvor hochgeladenen Vorlagentabellen. Wie genau verwenden Sie die Tuning-Tabelle oder generieren Sie eine aus der Vorlagentabelle? Auch hier gilt: Wenn ein Optimierungsparameter konstant ist, ignorieren die DOE-Plattformen diesen Parameter und nehmen ihn nicht in eine Optimierungstabelle auf. Mir ist unklar, warum Sie ein Problem haben, da diese Vorlagen bei mir jedes Mal einwandfrei funktionieren, wenn ich sie verwendet habe. Wenn Sie von jedem Schritt, den Sie im Prozess ausführen, Screenshots bereitstellen können, kann dies dabei helfen, das Grundproblem herauszufinden.
Danke!,
DS
Betreff: Fehlfunktion im Bootstrap Forest mit Tuning Design Table?Hallo @SDF1 ,
Leider kann ich die Ergebnisse reproduzieren. Um Ihnen eine Zusammenfassung zu ermöglichen, habe ich ein PDF hinzugefügt, das meine Schritte für einen regulären Bootstrap und für den mit der Tuning-Tabelle zeigt. Wenn es etwas Verdächtiges gibt, bin ich für Ihre Hilfe dankbar.
KR
Egon1
Betreff: Fehlfunktion im Bootstrap Forest mit Tuning Design Table?Hallo @Egon_Gross1 ,
Die Tuning-Tabelle und die Bootstrap-Forest-Plattform funktionieren wie vorgesehen und werden einigermaßen korrekt verwendet.
Daher ist die Ausgabe, die Sie für Ihre Modellanpassung anzeigen, zunächst die Standardausgabe für die Bootstrap-Forest-Plattform, wo in der Tabelle „Modellvalidierungssatz-Zusammenfassungen“ nur „N Terme“, „N Bäume“, „N angegebene Bäume“ und „RSquare“ aufgeführt sind. Die anderen Parameter sind unten im Übersichtsfeld „Spezifikationen“ aufgeführt. Hier finden Sie die Parameter „Mindestaufteilung pro Baum“ und „Mindestgrößenaufteilung“ für optimal Nur Modell. JMP speichert nicht alle Daten für jeden Lauf der Tuning-Tabelle. Wenn Sie das tun möchten, müssen Sie Ihren eigenen JSL-Code schreiben. Ich habe dies getan und in JMP ein verallgemeinertes automatisiertes Optimierungsprogramm erstellt, sodass ich Modelle auf verschiedenen Plattformen ausführen kann und die Werte für die Anpassungsgüte für jeden Durchlauf des Modells aufgezeichnet werden. Anschließend können Sie die Ergebnisse tatsächlich visualisieren, um sie dann einzugrenzen Die Passform könnte tatsächlich besser sein – superhohe R^2-Werte sind nicht immer das beste Modell, da es möglicherweise nicht so anpassungsfähig an Änderungen ist. Manchmal ist es besser, sich andere Kennzahlen anzusehen.
Wie auch immer, ich habe erwähnt, dass die Tuning-Tabelle „einigermaßen“ richtig verwendet wurde. Damit meine ich, dass Sie die von mir gesendeten Abstimmungstabellen wirklich als Faktoren verwenden sollten, die Sie in ein raumfüllendes Design laden können. Gehen Sie zu DOE > Special Purpose > Space Filling Design, klicken Sie dann auf das rote Dreieck und wählen Sie Load Factors. Geben Sie die Anzahl der Durchläufe an, die Sie durchführen möchten, und klicken Sie dann auf „Schnelles flexibles Füllen“. Sie erhalten eine neue Datentabelle, die mit Platz gefüllt ist, um den Hyperparameterraum zu erkunden. Bitte beachten Sie, dass in den von mir gesendeten Vorlagen die erste Zeile die niedrigeren Einstellungen des DOE und die zweite Zeile die hohen Einstellungen des DOE enthält. Wenn Sie dann die Modellierungsplattform (NN oder Bootstrap Forest) ausführen, wählen Sie dieses neue schnelle, flexible Fülldesign als Abstimmungstabelle aus.
Übrigens teile ich gerne den allgemeinen JSL-Tuning-Code mit Ihnen, wenn Sie möchten. Lassen Sie es mich einfach wissen. Ich habe vor einiger Zeit eine Präsentation darüber für den JSL Scripters Club gehalten. Es hat seine Grenzen, ist aber auch sehr nützlich.
Viel Glück!,
DS
Betreff: Fehlfunktion im Bootstrap Forest mit Tuning Design Table?Hallo @SDF1 ,
Vielen Dank für Ihre Erläuterungen und Kommentare, die mir wirklich sehr geholfen haben!
Ich ging davon aus, dass die Präsentation der Ergebnisse einigermaßen ähnlich zu den anderen Plattformen sei, was offensichtlich falsch war. Die Verwendung Ihrer Tuning-Tabelle hat auch gut funktioniert und ich habe eine „Model Validation-Set Summary“-Tabelle für alle definierten Läufe der Tuning-Tabelle erhalten.
Vielleicht ist es interessant für @PatrickGiuliano Und @Jonas_Rinne um die „Vollversion“ aller Qualitätsmessergebnisse in einer entsprechenden Tabelle basierend auf Ihrem JSL-Skript zu implementieren.
Aufgrund Ihres Angebots, die JSL zu erhalten, würde ich mich sehr darüber freuen – vielen Dank im Voraus.
Vielen Dank für alle Unterstützung und Ideen.
KR
Egon1
Betreff: Fehlfunktion im Bootstrap Forest mit Tuning Design Table?Hallo @Egon_Gross1 ,
Im Anhang finden Sie den JSL-Code zum Ausführen der allgemeinen Optimierung für mehrere Modellierungsplattformen von JMP.
Danke!,
DS
Betreff: Fehlfunktion im Bootstrap Forest mit Tuning Design Table?Wow, das ist ein wirklich tolles Tool zur Feinabstimmung verschiedener Modellparameter. Danke für das Teilen!
Betreff: Fehlfunktion im Bootstrap Forest mit Tuning Design Table?Hallo @Egon_Gross1 Ich habe mich tatsächlich beim Plattformentwickler erkundigt und er hat bestätigt, dass BF tatsächlich alle angegebenen Optimierungstabellenspalten verwendet, wie @SDF1 hier kommentiert hat, diese aber einfach nicht meldet. Wir arbeiten an einer Lösung für dieses Problem und es sollte in den JMP 18-Entwicklungszyklus integriert werden (nach der ersten Veröffentlichung von JMP 18.0 später im ersten Quartal 2024). Prost, @PatrickGiuliano (JMP Tech Support)
