Bayes'sche Optimierung – Export des zugrunde liegenden ModellsHallo,
Ich habe mit der neuen Plattform für Bayes'sche Optimierung experimentiert und hatte viel Spaß dabei. Nun möchte ich die Ergebnisse mit denen einiger Modelle des maschinellen Lernens vergleichen. In der Ausgabe sehe ich, dass Sie ein „Leave-on-out“-R² erhalten, aber basiert dieses tatsächlich auf einer einzelnen zufälligen Zeile? Oder findet im Hintergrund eine Aufteilung des Datensatzes in Trainings- und Validierungsdaten statt? Kann ich erfahren, welche Zeile(n) als Holdback ausgewählt wurden?
Kann man sich das eigentliche Modell ansehen? Ich habe die Optionen „Alle Modellanpassungen speichern“ und „Skript für die nächste Iteration speichern“ verwendet, bin mir aber nicht sicher, ob das die vollständigen Modelle sind. Ich möchte sehen, wie gut das Modell neue Daten vorhersagt, auch wenn mir bewusst ist, dass dies vielleicht nicht der eigentliche Zweck dieser Plattform ist.
Alternativ könnte ich das optimale GP-Modell in Gaussian Process „laden“? Ich sehe keine einfache Möglichkeit dafür, insbesondere da ich mehrere Thetas habe, aber wenn ich das in der GP-Plattform generierte optimale GP ausführen könnte, würde das möglicherweise all diese Probleme/Fragen lösen!
Fortgeschrittene statistische ModellierungBetreff: Bayes'sche Optimierung – Export des zugrundeliegenden ModellsHallo @abmayfield ,
Da die Dokumentation zur Bayes'schen Optimierung derzeit noch recht begrenzt ist, kann es schwierig sein, Ihre Fragen zu beantworten.
Die Anpassungs- und Validierungsstrategien scheinen sich zwischen klassischer GP und GP aus OB zu unterscheiden: Bayes'sche Optimierungs-GP vs. eigenständige GP . Die Leave-One-Out-Strategie wird auf beiden Plattformen verwendet, die Ergebnisaggregation kann jedoch unterschiedlich sein: Jackknife für klassische GP vs. klassisches LOO für GP-OB.
Es ist frustrierend, dass ich die Vorhersageformel des OB-Modells nicht speichern kann. Ich habe jedoch einen Workaround gefunden, um das in der OB-Plattform verwendete Modell anzunähern: Da die Parameterwerte der OB-Plattform (im Bericht zum Gaußprozessmodell) verfügbar sind, habe ich die klassische Gaußprozessplattform neu gestartet und dabei den im OB-Modell ermittelten Theta-Wert verwendet. Dies ist nicht perfekt, da der Achsenabschnitt in beiden Modellen unterschiedlich ist, aber zumindest kann ich das in der OB-Plattform verwendete Vorhersagemodell annähern.
Ich hoffe, diese erste Antwort hilft Ihnen weiter.
Betreff: Bayes'sche Optimierung – Export des zugrundeliegenden ModellsVielen Dank für Ihre Anmerkungen. Obwohl es weiterhin hilfreich wäre, das zugrundeliegende Modell einzusehen, gehe ich davon aus, dass das Modell gut ist, sofern ich zusätzliche Daten (zur Validierung) hinzufüge, das Modell erneut ausführe (oder ein neues generiere) und sich weder die Anpassungsgüte noch die optimale Lösung wesentlich ändern. Hätte ich hingegen neue Daten hinzugefügt und die neue Lösung wäre völlig anders, würde ich annehmen, dass das alte Modell Mängel aufweist und das neue (das ohnehin generiert würde) akzeptieren. Ich würde mir allerdings wünschen, mehr als eine Stichprobe zurückhalten zu können. Vielleicht erhalte ich durch genügend Iterationen aber ein besseres Verständnis des tatsächlichen Validierungs-R².
