Betreff: Optimierung neuronaler NetzwerkeHallo Scott,
Sehr praktisches Add-In. Zuvor musste ich manuell einen raumfüllenden Entwurf erstellen, um die NN-Plattform zu erkunden. Werde es mal testen! Gibt es Pläne, die Anzahl der Schichten in der NN-Plattform zu erweitern? Kann auch irgendein zufälliges Tuning in der Genreg-Plattform implementiert werden?
Danke,
Weine
Betreff: Optimierung neuronaler NetzwerkeHallo, @Vins !.
Ich wollte mich nur dazu äußern. GenReg kann bereits optimiert werden, setzen Sie einfach den Alpha-Hyperparameter auf „.“ und JMP wird es optimieren. Auf mehreren Ebenen im NN liegt das eher in den Händen von JMP Development als in Scotts Händen. Sie sollten die Anfrage in die stellen JMP-Wunschliste damit sie wissen, dass Sie tiefere NNs sehen möchten.
Am besten,
M
Betreff: Optimierung neuronaler Netzwerke@Vins -
Derzeit übergibt das Add-In lediglich Parameter an die JMP NN-Plattform, die NNs mit bis zu zwei Schichten erstellt. Wenn sich die Plattform ändert (mehr Ebenen, Aktivierungsfunktionen usw.) und genügend Interesse besteht, kann ich das Add-In aktualisieren. Ich möchte Zweiter werden @MikeD_Anderson Klicken Sie auf den Vorschlag von und gehen Sie zur Wunschliste, wenn es Funktionen gibt, die Sie gerne in zukünftigen JMP-Versionen sehen würden.
Lassen Sie mich wissen, wie Ihr Testlauf verläuft!
-Scott
Betreff: Optimierung neuronaler NetzwerkeDas ist toll. Ich habe mich gefragt, wann so etwas in JMP Pro Einzug halten würde, aber es war eine großartige Initiative, dieses Add-in dafür zu entwickeln.+50 Punkte für Gryffindor!
Betreff: Optimierung neuronaler NetzwerkeTolles Tool, vielen Dank. Ich habe es gerade an verschiedenen Datensätzen getestet, es spart mir viel Zeit und finde Bedingungen (Parameter), die ich aus Zeitgründen nicht unbedingt getestet hätte. Danke Scott!!
Betreff: Optimierung neuronaler NetzwerkeGute Arbeit @scott_allen über die schöne Einrichtung und Funktionalität dieses Add-Ins!
Zwei Bedenken/Warnungen:
1. Die neuronale Plattform wirft einen Blick auf die Validierungsdaten, während sie die Modellanpassung durchführt. Daher sind die Validierungsergebnisse undichten und übermäßig optimistisch.Daher glaube ich nicht, dass sie eine gute Schätzung der Generalisierungsleistung bieten oder eine gute Möglichkeit bieten, verschiedene Modelle im Tuning-Design zu vergleichen.Der einzige mir bekannte Weg, dies zu umgehen, besteht darin, eine dreistufige Validierungsspalte (Training, Validierung und Test, erstellbar mit Analysieren > Prädiktive Modellierung > Validierungsspalte erstellen) zu verwenden und dann nur die Testergebnisse zum Vergleichen von Modellen zu verwenden.Ich habe gerade überprüft, ob das Add-In diesen Fall behandelt, und um den allgemeinen Punkt zu überprüfen, stellen Sie Validierung R2 und Test R2 grafisch dar.
2. Wenn Sie viele Modelle auf einen einzelnen Test-Holdout-Satz werfen, führt dies höchstwahrscheinlich zu einer Überanpassung dieses Testsatzes.Dies geschah mit der Autotune-Funktionalität in XGBoost (die denselben Fast-Flexible-Design-Ansatz verwendet) und führte zu einer Änderung, bei der automatischen Abstimmung nur ein Ensemble-Modell auszugeben und eine Verschachtelung innerhalb jeder Falte zu verwenden, um Undichtigkeiten zu vermeiden.
@Vins Beliebig tiefe NNs sind im neuen Torch Deep Learning-Add-In verfügbar; Bitte melden Sie sich an, um es auszuprobieren JMP 18 Early Adopter Es verfügt noch nicht über Autotuning, könnte aber in Zukunft verfügbar sein.
Betreff: Optimierung neuronaler Netzwerke@russ_wolfinger
Tolle Punkte. Ich stimme beiden zu und hoffe, dieses Add-In weiterzuentwickeln, um diese Probleme zu beheben.
Mein erstes Ziel bestand darin, den aktuellen Arbeitsablauf bei der Modellgenerierung zu automatisieren. Jetzt möchte ich über die Einbindung von „Leitplanken“ nachdenken oder dabei helfen, Möglichkeiten zur Einbindung zusätzlicher Validierungsmethoden zu finden.
Mir gefällt auch die Idee der Ensemble-Modelle. Ich erwäge die Hinzufügung einer einfachen Möglichkeit für den Benutzer, Modelle an die Plattform „Modelle vergleichen“ zu übergeben. Aber es könnte besser sein, dies ebenfalls zu automatisieren, basierend auf einer Modellanpassungsstatistik. Denkanstoß!
Betreff: Optimierung neuronaler Netzwerke@scott_allen Ich habe der Wunschliste weitere Schichten zu NN hinzugefügt.
@russ_wolfinger Ich habe das Torch Deep Learning Add-In bereits für mehrere Testläufe in EA5 verwendet. Ich bekomme bessere Modelle als das xgboost-Add-In. Allerdings kehre ich immer zu Ihrem xgboost-Add-In zurück. Ich speichere eine Tabelle mit „Gewinn“, „Splits“, „Abdeckung“ und Bewertungen für jede Variable. Mit dieser Tabelle wähle ich nur Variablen mit Werten ungleich 0 aus und führe xgboost mit einem kleineren Satz von Prädiktoren erneut aus. Normalerweise erhalte ich nach 2-3 Runden keine Prädiktoren ungleich Null. Auf diese Weise filtere ich unwichtige Variablen heraus und kann den Profiler dazu bringen, ein kleineres Modell zu visualisieren. Meine Prädiktoren liegen normalerweise bei 60-300.000. Ich würde gerne eine Option in der sehen Torch Deep Learning-Add-in, mit dem ich auf eine Tabelle mit Werten zugreifen kann, mit denen ich unwichtige Variablen entfernen kann.
Wird es in xgboost ein erweitertes Fast Flexible Design geben, das auch die anderen ~ 30 erweiterten Optionen einschließlich kategorialer Parameter umfasst?Und zuletzt @russ_wolfinger Wird die nächste EA-Anwenderversion eine Optimierungstabelle für das Torch Deep Learning-Add-in haben? Ich kann es kaum erwarten, die Modelle sind deutlich besser!
Betreff: Optimierung neuronaler Netzwerke@Vins Vielen Dank für das Feedback.Ich denke, Ihr Ansatz zur Variablenreduzierung in XGBoost ist vernünftig (ich habe das Gleiche selbst getan), da diese Variablen mit der Wichtigkeit 0 in keinem der Modelle verwendet werden.Sowohl die Wichtigkeit von Variablen als auch das Autotuning stehen für Torch auf der „To-Do“-Liste.
Die automatische Optimierung aller erweiterten Optionen durch XGBoost würde eine viel größere und unübersichtlichere Benutzeroberfläche erfordern, und wir können darüber nachdenken.In der Zwischenzeit gibt es die Option „Tuning Design Table“, mit der Sie eine sekundäre JMP-Tabelle mit Designpunkten angeben können, die beispielsweise durch Aufruf von DOE FFF direkt für die Parameter erstellt wird, die Sie optimieren möchten.
Wir beschäftigen uns jetzt auch verstärkt mit Bayes'schen Optimierungsansätzen.Da ist ein Add-in .
Betreff: Optimierung neuronaler NetzwerkeAktualisieren
Das Neural Network Tuning-Add-In wurde aktualisiert.Version 1.1 steht jetzt zum Download zur Verfügung und Version 1 wurde entfernt. Diese Version enthält eine Reihe von Fehlerbehebungen und allgemeinen Verbesserungen, die auf dem Feedback der Benutzer basieren:
Fehlerbehebung
- Informative fehlende Werke.
- Es werden verschiedene Warnungen ausgegeben, um JMP-Fehlermeldungen zu vermeiden, wenn bei den Spaltenspezifikations- oder Parameterspezifikationsschritten Probleme auftreten.
- Mehrstufige nominale und ordinale Antworten werden jetzt unterstützt.
Verbesserungen
- Allgemeine Schnittstellenaktualisierungen
- Die KFold-Validierung ist jetzt verfügbar
- Durch Klicken auf die Schaltfläche „Hilfe“ kann ein Hilfefenster geöffnet werden. Das Hilfefenster enthält zusätzliche Informationen dazu, wie Modellvalidierung, Modellvergleich und Speichern von Modellen in Version 1.1 gehandhabt werden.
- Die Modellvalidierung wird jetzt immer mit einer Säule durchgeführt, um die Reproduzierbarkeit des Modells zu unterstützen.
- Der Modellvergleich wird jetzt mithilfe der Plattform „Modell vergleichen“ in einer doppelten (und versteckten) Datentabelle durchgeführt.
- Speichern Sie Modelle direkt aus dem Tuning-Ergebnisfenster mit der Schaltfläche „Modelle speichern“.
- Wenn eine zuvor gespeicherte Datentabelle geladen wird, warnt Sie das Add-In, wenn sich die X-Variablen in der gespeicherten Datentabelle von den X-Variablen unterscheiden, die beim Start des Add-Ins angegeben wurden.
- Die Ausgabe des Diagrammerstellers verfügt jetzt über einen Spaltenumschalter, mit dem Sie die R2-Werte für Training, Validierung oder Tests im Vergleich zu jedem Parameter anzeigen können.
- Zwei weitere Modellvisualisierungsdiagramme werden als Registerkarten im Ergebnisfenster hinzugefügt. Diese sind auch interaktiv mit der Datentabelle, um die Identifizierung der besten Modelle zu erleichtern.
- Das Fenster „Modellfortschritt“ enthält einige Aktualisierungen:
- Die Gesamtmodellierungszeit wird angezeigt
- Die durchschnittliche Zeit pro Modell wird angezeigt
- Für den Fall, dass die Gesamtmodellierungszeit länger als gewünscht ist, steht im Modellfortschrittsfenster eine Schaltfläche „Abbrechen“ zur Verfügung. Jedes Modell, das während des Modellierungsschritts fertiggestellt wurde, wird im Ergebnisfenster gespeichert. Beachten Sie, dass diese Schaltfläche bei langer Modellierungszeit „verzögern“ kann und möglicherweise einige Klicks erforderlich sind, um den Befehl zu registrieren.
- In der Datentabelle gespeicherte Modelle verfügen über einen aktualisierten Abschnitt „Notizen“ mit allen Parametern, die zum Generieren des Modells verwendet wurden.
Betreff: Optimierung neuronaler NetzwerkeAktualisieren
Version 1.2 ist jetzt verfügbar. Diese Version enthält eine Reihe von Fehlerbehebungen und zusätzlichen Verbesserungen, die auf dem Feedback der Benutzer basieren:
Fehlerbehebung
- Compare Models bringt statt aller zuvor generierten Modelle nur kürzlich erstellte NN-Modelle in die Compare Models-Plattform
- Modellvergleiche mit nominalen und ordinalen Y-Werten funktionieren jetzt
- Weitere kleinere Korrekturen
Verbesserungen
- Sie können jetzt Tuning-Parameter abrufen
- Verschiedene Optionen zum Speichern von Modellen hinzugefügt
- Durch das Anzeigen der Tuning-Tabelle wird eine Kopie der Tabelle erstellt
- Die Datentabelle wird nun als Registerkarte im Ergebnisfenster gespeichert
- Eindeutige Modell-IDs hinzugefügt, um den Vergleich von Modellen mit unterschiedlichen Zufallsstartwerten zu erleichtern
- Ein neues Diagramm ist verfügbar, wenn mehrere zufällige Startwerte verwendet werden
Tuning neuronaler NetzeAktualisierung
27. November 2023 - Version 1.1 – Verbesserungen und Fehlerbehebungen, Details finden Sie in einem Beitrag unten
28. November 2023 - Version 1.11 – kleinere Fehlerbehebung
15. Dezember 2023 - Version 1.2 – Verbesserungen und Fehlerbehebungen, Details finden Sie in einem Beitrag unten
Zweck
Das Neural Network Tuning-Add-In ist eine alternative Plattform für neuronale Netze, die eine einfache Möglichkeit bietet, zahlreiche neuronale Netze zu generieren, um den besten Parametersatz für die Struktur der verborgenen Schicht, die Verstärkungs- und Anpassungsoptionen zu ermitteln.
Wie es funktioniert
Der Benutzer gibt die Anzahl der auszuführenden neuronalen Netzwerkmodelle an und legt den Parameterbereich und die Anpassungsoptionen fest. Mit den Optimierungsparametern als Faktoren und dem Trainings-, Validierungs- und Test-R wird ein schnelles, flexibles, raumfüllendes DOE generiert 2 Werte als Antworten.
Jeder Versuch im DOE wird an die Neural Network-Plattform und den R weitergeleitet 2 Die Werte werden in einer Ausgabe-DOE-Tabelle aufgezeichnet. Nachdem alle Modelle ausgeführt wurden, wird die Tabelle nach Validation R sortiert 2 Außerdem wird eine Reihe von Diagrammen angezeigt, die dem Benutzer dabei helfen, die wichtigsten Effekte zur Maximierung des Validierungs-R zu identifizieren 2 Werte.
Zusätzliche Modelle können durch Anpassen der Tuning-Parameter und erneutes Ausführen des DOE generiert werden. Die neuen Läufe werden an die ursprüngliche Tabelle angehängt.
Die Datentabelle kann gespeichert und erneut in die Plattform geladen werden, um den Fortschritt zu speichern und weitere Analysen erneut zu starten. Dies ist eine Möglichkeit, neuronale Netze zu optimieren, die möglicherweise viel Rechenzeit in Anspruch nimmt.
Videoanleitung
Betreff: Optimierung neuronaler NetzwerkeHallo @Marco2024
Um zwei oder mehr Variablen zu analysieren, müssen Sie für jede ein Modell erstellen und dann die Vorhersageausdrücke in den Profiler laden:
- Erstellen Sie ein NN-Modell für Ihre erste Ausgabe (Y) und speichern Sie den Vorhersageausdruck, indem Sie auf die Schaltfläche „Modelle speichern“ klicken. Die Option „Profiler-Formeln“ speichert eine einzelne Formelspalte in Ihrer Datentabelle.
- Wiederholen Sie dies für alle Y-Variablen, die Sie vergleichen möchten.
- Starten Sie den Profiler (Grafik > Profiler) und laden Sie Ihre Vorhersageausdrücke.
Dadurch wird ein Profiler für jede Ihrer übereinander gestapelten Y-Variablen bereitgestellt, der Ihnen beim Vergleich und der Co-Optimierung Ihres Systems hilft.
Betreff: Optimierung neuronaler NetzwerkeHallo Scott,
Ich freue mich, Sie begrüßen zu dürfen......Ich konnte mit meinem Benutzernamen den Blog nicht betreten, um Ihnen zu antworten......, ich freue mich über Ihre Antwort auf meine Anfrage!!..... Unten ist mir aufgefallen die folgende:
1. Beobachtungen:
- Das Plugin funktioniert nicht auf Spanisch
- Das Plugin speichert das oder die gewählten Modelle nicht in der Tabelle
2. Anfragen:
- Könnte es für das Plugin eine Option geben, in einem Schritt nach 1- und 2-schichtigen neuronalen Netzen zu suchen ... entsprechend dem vom Benutzer angegebenen Parameterbereich?
Grüße,
Marco
Betreff: Optimierung neuronaler NetzwerkeHallo Scott,
Beobachtung 2 (Komplement speichert keine Modelle) bleibt wirkungslos, das Komplement speichert die Modelle.
Grüße,
Marco
Betreff: Feinabstimmung neuronaler NetzeHallo Scott,
Eine Frage: Könnte das Plugin die Möglichkeit haben, neuronale Netze zu generieren, die in Echtzeit aus den Eingaben lernen (inkrementelles Lernen), die also keine statischen neuronalen Netze sind?
Grüße,
Marco
