Arbeiten Sie an der prädiktiven Modellierung? Erstellen Sie Modelle auf verschiedenen Plattformen und suchen nach einer einfacheren Möglichkeit, Ihre Modelle im Hyperparameter-Bereich zu optimieren? Wenn ja, dann könnte diese interaktive GUI für Sie sein.
Dieses Add-In für die allgemeine automatische Optimierung funktioniert auf vier JMP-Modellierungsplattformen: Neural Net (NN), Boosted Trees (BT), Bootstrap Forest (RF) und XGBoost (XGB). Der Zweck des Add-Ins besteht darin, den Hyperparameterraum für jede dieser Plattformen einzugrenzen, indem Tuning-Tabellen verwendet werden, die den Hyperparameterraum durchsuchen können.
Das Add-In führt für jede Einstellung der Tuning-Tabelle ein Modell aus und zeichnet die Statistiken der Anpassung zur späteren Überprüfung durch den Benutzer auf. Es wird dringend empfohlen, die Anpassung mit der Standard-JMP-Plattform unter Verwendung der optimierten Optimierungsparameter dieses Add-Ins erneut auszuführen. Der Benutzer kann dann die Modellleistung mit den in JMP integrierten Methoden auf jeder Plattform überwachen.
Folgende Dateien stehen zum Download bereit:
- genat.jmpaddin: Das Add-In-Installationsprogramm für Generalized Auto Tuning für JMP
- PowderMetallurgy_mod.jmp: Eine modifizierte Version der Pulvermetallurgie-JMP-Datei, die nominale, numerische und ordinale Y-Spalten sowie eine zweistufige Validierungsspalte (Zug und Validierung) enthält, die durch Y-Numerisch geschichtet ist, und eine dreistufige Validierungsspalte (Zug, validieren, testen) auch durch Y Numeric geschichtet. Diese Datei soll als Übung verwendet werden (und überprüfen Sie, ob das Add-In wie erwartet funktioniert).
- NN Tuning.jmp: Dies ist das Tuning-Tabellenformat für die NN-Plattform
- BT Tuning.jmp: Dies ist das Tuning-Tabellenformat für die BT-Plattform
- RF Tuning.jmp: Dies ist das Tuning-Tabellenformat für die RF-Plattform (Bootstrap Forest)
- XGB Tuning.jmp: Dies ist das Tuning-Tabellenformat für die XGBoost-Plattform
Nach dem Herunterladen und Installieren des Add-Ins gibt es im Add-Ins-Menü eine neue Dropdown-Option mit dem Namen "Generalized Auto Tuning".
Durch Auswahl des Add-Ins wird ein neues Fenster geöffnet, in dem die Datentabelle, die Optimierungstabelle und die Modellierungsmethode ausgewählt werden können. Die Datentabelle ist die Tabelle, die die Antwort- und Faktorspalten enthält, während die Optimierungstabelle die geeignete Optimierungstabelle ist, die der Modellierungsmethode entspricht. Durch Klicken auf die Schaltflächen zum Auswählen von Tabellen wird ein Auswahlfenster geöffnet, in dem festgelegt wird, welche Tabellen für diesen Zweck verwendet werden. Die Standardmodellierungsmethode ist NN. Durch Auswahl der Schaltfläche "Rückruf" wird die Modellierungsmethode auf die zuvor verwendete Methode eingestellt (außer beim ersten Ausführen).
Klicken Sie nach Auswahl der Daten- und Optimierungstabellen sowie der Modellierungsmethode auf "OK", um das nächste Schnittstellenfenster zu öffnen, in dem Spalten aus der Datentabelle in ausgewählte Rollen umgewandelt werden. Y, Antwort; X Faktor; Validierung usw. In diesem Fenster können Sie auch die geeignete Validierungsmethode auswählen (basierend auf der ausgewählten Modellierungsmethode). Beispielsweise kann die NN-Plattform Holdback für ausgeschlossene Zeilen, Holdback, Kfold und Validierungsspalte als Validierungsoptionen akzeptieren. Jede Modellierungsplattform in JMP akzeptiert nur bestimmte Validierungsoptionen.
Klicken Sie auf "OK", nachdem Sie die entsprechenden Spalten in ihre Rollen umgewandelt und die entsprechenden Validierungsoptionen ausgewählt haben. Dadurch wird der Modellierungsprozess basierend auf den Daten und Tuning-Tabellen gestartet, die dem Add-In zugeführt werden. Zwei neue Fenster werden geöffnet. Die erste ist eine Ausgabedatentabelle, die mit dem Namen "Ausgabe von" beginnt, gefolgt vom Namen der Optimierungstabelle, der Validierungsmethode und dem Namen der Eingabedatentabelle. Diese Ausgabedatentabelle enthält alle Eingabeparameter für das Modell sowie alle relevanten Ausgabestatistiken, abhängig vom Datentyp der Antwortspalte: nominal, ordinal oder numerisch. Das andere Fenster, das angezeigt wird, ist ein Fenster "Gesamtmodellierungsfortschritt", in dem visuell angezeigt wird, wie weit der Gesamtprozess mit der Optimierungstabelle fortgeschritten ist (dies können je nach Optimierungstabelle Hunderte oder Tausende von Zeilen sein).
Nachdem das Add-In alle in der Optimierungstabelle definierten Modellierungsschritte ausgeführt hat, können die Statistiken mit den Optimierungsparametern verglichen werden. Zum Beispiel das Generalized R2 für den Trainings-, Validierungs- und Testsatz gegen N_Boosts usw. Oder die Tabelle kann nach der interessierenden Statistik sortiert werden. Der Benutzer kann dann optimale Einstellungen für die Rückkehr und Ausführung innerhalb der Standard-JMP-Plattform festlegen.
Dies ist das erste Mal, dass ich ein Add-In versuche, und es ist keineswegs fehlerfrei. Ich musste einige Funktionen nachschlagen und einige von JMP Staff veröffentlichte Skripte verwenden, z. B. wie man eine "Rückruf" -Schaltfläche zum Laufen bringt. Bitte probieren Sie es aus und wenn Sie Fehler im Add-In finden, lassen Sie es mich bitte wissen und ich werde versuchen, sie so schnell wie möglich zu beheben.
Einige HINWEISE zur Add-In-Funktionalität:
Das Add-In erfordert vom Benutzer Vorkenntnisse in Bezug auf die erwarteten Antwortspaltentypen (z. B. kann die JMP BT-Plattform derzeit keine nominalen / ordinalen Antwortspalten mit mehr als zwei Ebenen verwenden). Oder dass einige Plattformen nur Validierungsspalten mit zwei Ebenen verwenden können, z. B. Training und Validierung. Das Add-In ist nur mit JMP Pro v15.0 und höher kompatibel (aufgrund der zweischichtigen NN- und XGB-Plattformen).
Darüber hinaus gibt es bestimmte Spalten, die der Modellierungsroutine aus den Tuning-Tabellen (einschließlich Tuning-Tabellen) zugeführt werden. Werte für die verschiedenen "Läufe" der Tuning-Tabelle können manuell eingegeben oder über die DOE-Plattform in JMP generiert werden. Bitte beachten Sie, dass bei Verwendung der DOE-Plattform eine konstante Tuning-Spalte von der DOE-Plattform nicht in die Tuning-Tabelle aufgenommen wird. Wenn das Add-In die Modellierungsschritte startet, wird daher der Standardwert für den Optimierungsparameter verwendet, sofern er nicht manuell in die endgültige Optimierungstabelle eingegeben wird.
Vielen Dank für Ihren Blick und das Ausprobieren.
Viel Glück!,
DS
