914225_de-DE

liliconcom

Bayesianische Optimierung GP vs. eigenständiges GP

Hallo,

Ich versuche, das Verhalten von Gaußprozessmodellen in den Plattformen „Gaußprozess“ vs. „Bayesianische Optimierung“ (JMP Pro 19.0.1) zu verstehen.

Anpassung dieser einfachen simulierten (deterministischen) Daten:

Mit Gaußprozess:

mit Bayes'scher Optimierung

Warum schrumpft der Konfidenzbereich beim BO-Modell an den Datenpunkten nicht auf 0, wie ich es beim GP-Modell beobachte?

Danke

Matthäus

ps.

Dies ist die Formel für Y:

4.3 + -2 * (:X - 1) ^ 2 + Exp( -3 * (:X + 3) ^ 2 ) + 3 * Sin( :X + 2 )

Fortgeschrittene statistische ModellierungBetreff: Bayes'sche Optimierung GP vs. eigenständiges GP

Hallo @matteo_patelmo ,

Die technische Dokumentation zur Bayes'schen Optimierung ist derzeit noch recht begrenzt, und einige technische Details zur Berechnung von Konfidenz-/Fehlerintervallen sind nicht verfügbar. Es gibt möglicherweise mehrere Aspekte, die zu den beobachteten Unterschieden zwischen den beiden Plattformen führen:

Benutzereingaben:

• Die angemessene Verwendung des kontinuierlichen Korrelationstyps für Ihren Datensatz (in der Bayes'schen Optimierung stehen mehr Korrelationstypen zur Verfügung als in der GP (nur Gaußsche und kubische Korrelation)),
• Die Verwendung von „Nugget-Parameter schätzen“ in GP ermöglicht es dem Vorhersagemodell, das Rauschen zu glätten, anstatt perfekt zu interpolieren. Diese Option ist in klassischem GP nicht standardmäßig aktiviert, der Nugget-Parameter wird jedoch in OB standardmäßig geschätzt, was die Unterschiede vergrößern kann (jedoch nicht in Ihrem Beispiel mit einer exakt bekannten Formel).

Funktionsweise der JMP-Plattformen:

• Die Anpassung (und Validierungsprozedur) von klassischer GP im Vergleich zu GP aus OB.
  • In der klassischen GP basiert das Anpassungs- und Validierungsverfahren auf der Jackknife-Methode. Dabei wird ein Leave-One-Out-Verfahren angewendet, bei dem die Metriken anhand der beibehaltenen Stichproben (Trainingsstichproben) berechnet und anschließend die Ergebnisse für jede LOO-Stichprobe gemittelt werden.
  • In GP von OB scheint das Anpassungs- und Validierungsverfahren etwas anders zu sein und basiert vermutlich auf einem klassischen LOO-Verfahren (nicht hundertprozentig sicher), bei dem die Metriken anhand der ausgeschlossenen Stichproben (Teststichproben) berechnet werden. Dies könnte zu einer erhöhten Unsicherheit im Profiler und zu abweichenden Vorhersagewerten führen.
    Man kann sehen, dass die Anpassung zwischen den beiden Plattformen unterschiedlich ist, denn wenn man seinen Datensatz mit den gleichen Korrelationstypen startet und den Nugget-Parameter auf beiden Plattformen schätzt, sind die Werte für Theta, Nugget-Parameter und GP-Varianz unterschiedlich.
• Die Berechnung von Konfidenzintervallen:
  In der klassischen Gaußprozessmodellierung (GP) werden Konfidenzintervalle mithilfe der Varianzformel und Quantilen berechnet. Wie lassen sich Vorhersage-/Konfidenzintervalle aus einem Gaußprozessmodell speichern? Die Varianzformel verwendet den Theta-Wert und den Abstand jedes Punktes im Bereich zum nächstgelegenen Messpunkt. Daher die „Null-Unsicherheit“ an den Positionen bereits gemessener Punkte.
  Der Gaußprozess von OB liefert einen „Messfehler“: „Der Messfehler wird als Produkt des Nugget-Parameters τ und der Varianz des Gaußprozesses σ² berechnet. “ Es scheint, dass der Messfehler auch verwendet wird, um eine Situation der „Unsicherheit Null“ in dem bereits beprobten Bereich zu vermeiden und so den experimentellen Fehler widerzuspiegeln.

Selbstverständlich müssen diese Interpretationen noch vom technischen Personal von JMP bestätigt werden; dies sind lediglich meine Eindrücke aus der bisherigen Funktionsweise der beiden Plattformen und den erzielten Ergebnissen.

Wir hoffen, vom technischen Personal von JMP Rückmeldungen zu erhalten, um Ihre interessante Frage besser beantworten zu können!

Betreff: Bayes'sche Optimierung GP vs. eigenständiges GP

Vielleicht kann hier jemand von JMP antworten?

Mithilfe der Konfidenzintervalle wird der beste Ort für die nachfolgende Messung vorhergesagt.
Unterschiedliches Vertrauen führt zu unterschiedlichen Vorhersagen, richtig?

Betreff: Bayes'sche Optimierung GP vs. eigenständiges GP

So einfach ist es nicht, da sich die beiden GP-basierten Plattformen bei der Berechnung von Konfidenzintervallen unterschiedlich verhalten.
Bei der Berechnung der Konfidenzintervalle in OB gibt es immer einen gewissen Fehler, wohingegen bei der klassischen GP-Plattform der Fehler für die Messpunkte auf 0 gesetzt wird (daher meine anfängliche Antwort bezüglich des Unterschieds zwischen Fehler-/Intervallberechnung und -anzeige).

Je nach verwendeter Erfassungsfunktion und Berechnung der Konfidenzintervalle können unterschiedliche Empfehlungen für den nächsten "optimalen" Abtastpunkt abgegeben werden:

Maximierung der Bayes'schen Wünschbarkeit:

Maximierung der erwarteten Verbesserungswünsche (Optimierung der vorhergesagten Reaktion in Bezug auf das Ziel):

Maximierung der Bayes'schen Standardabweichungs-Wünschbarkeit (Fokus auf Bereiche mit der größten Unsicherheit):

Betreff: Bayes'sche Optimierung GP vs. eigenständiges GP

Ah, richtig!
Wichtig ist es, auch für Messpositionen mit von Null verschiedenen Konfidenzintervallen zu beginnen.
Enormer Unterschied zu den Anpassungssimulationsergebnissen.

Schwierig – ohne ein Modell – und mit nur einem einzigen Datenpunkt an dieser Stelle.

Betreff: Bayes'sche Optimierung GP vs. eigenständiges GP

Danke @Victor_G für Ihre Einblicke. Warten wir auf weitere Erläuterungen vom JMP-Team.

Matthäus

Betreff: Bayes'sche Optimierung GP vs. eigenständiges GP

Gaußprozess + Nugget-Parameter:
Wie speichert man Vorhersage-/Konfidenzintervalle aus einem Gaußprozessmodell?

Betreff: Bayes'sche Optimierung GP vs. eigenständiges GP

@hogi , bitte lies dir die Konversation durch, das ist genau derselbe Link, den ich in meiner ersten Antwort angegeben habe.

Warten wir auf eine offizielle Erklärung der JMP-Techniker, die an der Bayes'schen Optimierung arbeiten ( @chris_gotwalt1 ?).

Betreff: Bayes'sche Optimierung GP vs. eigenständiges GP

Ah, Entschuldigung, ich habe den Link nicht gleich angeklickt – er war nämlich unter klassischer Allgemeinmedizin aufgeführt.
Sie haben Recht, es ist derselbe Link. Er umfasst auch den Teil mit dem Nugget-Parameter.

Betreff: Bayes'sche Optimierung GP vs. eigenständiges GP

Ich versuche, diesen Thread wiederzubeleben und hoffe, dass mir jemand helfen kann.

Matthäus