Problemstellung bei der Suche nach optimalen Einstellungen für eine Mischung mittels Bayes'scher OptimierungMit einem DOE mit 24 Läufen konnte ich sehr gute Modelle und optimale Einstellungen für eine ternäre Mischung und einen kategorialen Effekt finden, wie bereits in der vorangegangenen Diskussion dargestellt; die Analyse und die Screenshots der Ergebnisse zur Zielerreichung finden Sie im Anhang.
frankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.pngfrankderuyck_0-1788534496337.png
Mit Isomer 2 ist das Ergebnis schlechter; unterhalb der Einstellungen beim Sperren von Isomer 2
frankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.pngfrankderuyck_1-1788534633931.png
Ausgehend von einem Kandidaten-Raumfüllungssatz mit 9 Läufen (siehe Anhang Erfolgreicher 9-Lauf) oder einem Kowalski-Satz mit 12 Läufen können die optimalen Einstellungen mit Isomer 1 ermittelt werden.
Ausgehend von einem 6-Run-Kandidatensatz für die raumfüllende Optimierung erhalte ich jedoch immer die schlechteren optimalen Einstellungen für Isomer 2, selbst nach mehreren zusätzlichen raumfüllenden Optimierungsläufen! Was habe ich falsch gemacht und wie kann ich aus diesem 6-Run-Kandidatensatz die optimalen Einstellungen für Isomer 1 gewinnen?
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungHallo @frankderuyck ,
Haben Sie Ihre JMP-Version wie in der vorherigen Diskussion besprochen aktualisiert?
Wenn ich mir Ihre letzte Datei ansehe, scheinen die Modelle bereits recht gut zu sein, wenn man die BayesOpt-Plattform von Grund auf neu startet und nur die 6 anfänglichen Speicherfüllungsläufe verwendet:
Victor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.pngVictor_G_0-1788772508694.png
Anstatt also die automatische Empfehlung „Besten Trainingslauf replizieren“ zu verwenden (ich habe diesen Lauf im Batch gelöscht), erzwinge ich manuell die Verwendung der Akquisitionsfunktion „ Max Multimodell Standardabweichung “ und füge einen Lauf im aktuellen Batch hinzu, da die Unterscheidung zwischen Isomer 1 und 2 aufgrund der Unsicherheit der Modellvorhersagen schwierig ist (Sie können sich die Konfidenzintervalle zwischen den Isomertypen im Profiler ansehen).
Beim Neustart der Plattform mit diesem neu hinzugefügten Lauf scheint der Profiler zuverlässiger zu sein, und die Standardlaufempfehlung erfolgt automatisch mit der Erfassungsfunktion „ Maximale erwartete Verbesserung “ mit Einstellungen, die nahe an Ihrem Optimum liegen:
Victor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.pngVictor_G_1-1788773154124.png
Sobald dieser automatisch empfohlene Lauf hinzugefügt wurde, empfiehlt die Plattform als nächstes, diesen besten Trainingslauf zu wiederholen:
Victor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.pngVictor_G_2-1788773243902.png
Angesichts der relativ geringen Komplexität Ihrer beiden Antworten ist es möglich, mit einem raumfüllenden Design mit 6 Durchläufen zu beginnen und mit 3 zusätzlichen Durchläufen eine angemessene optimale Empfehlung zu erhalten, vorausgesetzt, Sie überlegen, welche Akquisitionsfunktion angesichts des Lernens der Modelle und ihrer Verhaltensweisen am relevantesten ist, und Sie erzwingen diese Option manuell.
Anbei finden Sie meine Ausführungssituation im Vergleich zu Ihrem Beispiel mit 6 Durchläufen. Erstellt mit JMP Pro 19.1.3
NACHTRAG: Ich habe die Spalte Y bei der Optimierung übersehen. Ich erhalte aber auch ohne Berücksichtigung dieser Spalte gute Ergebnisse, da sie anscheinend negativ mit Spalte 6.2 korreliert ist.
Bei der Betrachtung von Y und den beiden anderen Antworten aus Spalte 6 benötigen Sie möglicherweise einen zusätzlichen Max Multimodell Standardabweichung -Lauf (also insgesamt zwei, nacheinander), bevor der Profiler eine gute Reihenfolge und ein gutes Verhalten der verschiedenen Isomerentypen anzeigt:
Victor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.pngVictor_G_0-1788778413164.png Victor_G_0-1788778413164.png
Nachdem Sie 2 Läufe mit maximaler Multimodell-Standardabweichung hinzugefügt haben, können Sie die Optimierung starten, indem Sie das Kriterium der maximalen erwarteten Verbesserung anwenden. Sie sollten eine Lösung erhalten, die derjenigen Ihrer vorherigen erfolgreichen Versuche sehr ähnlich ist (siehe Datei „Erfolgreicher 6-Lauf-Starter für schnelles, flexibles Fülldesign 2“).
Ich hoffe, diese Antwort hilft Ihnen.
Betreff: Problem der Ermittlung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungHallo Victor, ja, ich habe auf die neueste JMP-Version aktualisiert. Leider kann ich Ihre Ergebnisse nicht reproduzieren. BO beginnt immer mit der Platzfüllung. Wenn die Replikation bei Isomer 2 startet und ich mit dem Ergebnis nicht zufrieden bin, wechsle ich zu Max Multimodel St dev, aber auch das funktioniert nicht. In einem früheren Webcast zu BO wurde empfohlen, auf das Max Max Pro-Kriterium umzuschalten, aber auch das funktioniert nicht. Meine Ergebnisse sind im Anhang (es gibt 3 Ausgänge Y123).
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungWoher wissen Sie, dass beim ersten BO-Lauf Max Multimodel St dev anstelle von Space Filling erforderlich ist?
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungHallo @frankderuyck ,
Ich würde empfehlen, Ihr Szenario von Grund auf neu zu erstellen, nur die 6 ersten Durchläufe zum Füllen des Speicherplatzes beizubehalten und alle anderen Durchläufe zu löschen.
Bitte starten Sie die BayesOpt-Plattform mit den Standardeinstellungen neu und erzwingen Sie zweimal die Hinzufügung eines Durchlaufs mit dem Kriterium „Maximale Standardabweichung mehrerer Modelle“. Sie sollten dann für diese beiden Durchläufe die gleichen Ergebnisse erhalten. Anschließend können Sie die Optimierung mit dem Kriterium „Maximale erwartete Verbesserung“ erzwingen. Die Plattform empfiehlt Ihnen ein Optimum, das dem in Ihrer Versuchsplanung (DoE) ermittelten Optimum sehr nahe kommt (bei gleichen Eingangswerten wie im zweiten Durchlauf mit „Maximale Standardabweichung mehrerer Modelle“).
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungIch kann Ihre Ergebnisse nicht reproduzieren, wenn ich mit Max Multimodel St Dev beginne?
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungIch habe vergessen, diesen Kriterienteil zu beantworten:
- Das MaxPro-Kriterium „Maximize“ ermöglicht eine modellunabhängige Erkundung Ihres Designraums. Es berücksichtigt weder die Ergebnisse noch die Erkenntnisse des Gaußprozessmodells, sondern ist lediglich eine Option, die auf der Maximierung der Abstände zwischen Punkten basiert. Ziel ist es, Punkte/Experimente in Bereichen des Designraums hinzuzufügen, die bisher „leer“ sind (maximale Abstände zwischen bestehenden und neu empfohlenen Punkten).
- Die Funktion „Maximierung der Standardabweichung mehrerer Modelle“ ist eine modellbasierte Untersuchung Ihres Designraums. Sie berücksichtigt die Ergebnisse und Erkenntnisse des Gaußprozessmodells und empfiehlt Bereiche mit der höchsten Vorhersageunsicherheit.
In Ihrem Szenario mit sechs Durchläufen schneiden die Modelle anfangs gar nicht schlecht ab: Der R²-Wert für Y ist zwar am niedrigsten, liegt aber bei 0,3566, was darauf hindeutet, dass das Modell bereits einige Zusammenhänge erkannt hat. Der R²-Wert für Y2 und Y3 ist sehr hoch, daher ist eine modellfreie Exploration wahrscheinlich nicht der beste nächste Schritt. Es ist sinnvoller, die Lernerfolge der Modelle zu nutzen und zu versuchen, die Unsicherheit ihrer Vorhersagen zu reduzieren.
Ich hoffe, diese Antwort hilft Ihnen.
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungIch bin mir nicht sicher, was Sie genau gemacht haben, aber es scheint, als hätten Sie das Optimum erreicht, und zwar mit nur einem Durchlauf mit dem Kriterium „Maximale Standardabweichung mehrerer Modelle“ und einem Durchlauf mit dem Kriterium „Maximale erwartete Verbesserung“? Mission erfolgreich?
Ich benötigte zwei Durchläufe mit Max Multimodel Std Dev und einen Durchlauf mit Max Expected Improvement (gleiche Eingabewerte wie beim zweiten Max Multimodel Std Dev), um mich dem Optimum anzunähern.
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungStandardmäßiger R²-Wert = 0,25? Zu Beginn nicht auf 0,7 ansteigen?
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungHierfür gibt es keine festen Regeln. Das JMP BayesOpt-Entwicklungsteam hat einen Schwellenwert von 0,25 gewählt, um das Modell in die Explorationsphase (R² < 0,25) oder Exploitationsphase (R² > 0,25) zu lenken. Dies ist jedoch eine Faustregel, die auf ihren Arbeiten und Simulationen basiert und nicht Ihr einziges Kriterium sein sollte. Es gibt immer wieder Szenarien, in denen dieser Schwellenwert nicht ausreichend ist.
Betrachten Sie stattdessen das Modell, den Profiler und die Diagramme und ermitteln Sie die beste Maßnahme, die die gesammelten Informationen verbessert, entweder durch:
- Durchsetzung modellfreier Exploration, um sicherzustellen, dass der Designraum ausreichend erkundet wird (Max-Pro-Kriterium).
- Durchsetzung modellbasierter Exploration zur Nutzung der ersten initialen Modelle und Reduzierung ihrer Vorhersageunsicherheiten (Multimodell-Standardabweichungs- oder Bayes'sches Wünschenswertheitsstandardabweichungskriterium).
- Ausgewogenheit zwischen Exploration und Exploitation (Kriterium der oberen Konfidenzgrenze) oder
- Nutzen Sie die Vorhersagen Ihrer Modelle und beginnen Sie mit der Optimierung (Maximale erwartete Verbesserung oder Kriterium der maximalen Bayes'schen Wünschenswürdigkeit).
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungKein Erfolg nach Verdopplung der maximalen Standardabweichung des Multimodells, geringe Attraktivität bei Isomer 1 und BO kehrt zu Isomer 2 zurück.
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungFrank, bitte beginne NUR mit deinen 6 ersten Durchläufen zum Auffüllen des leeren Bereichs, ohne dass sich BO-Skripte in der Tabelle befinden (entferne die Skripte und lösche alle anderen Zeilen).
Starten Sie anschließend die BayesOpt-Plattform mit den Standardeinstellungen, entfernen Sie alle automatischen Batch-Empfehlungen und fügen Sie 1 Max Multimodel Std Dev für 2 Iterationen hinzu. Sie sollten dann mit Isomer 1 Ergebnisse nahe Ihrem Optimum erzielen (und diese mit meinen Tests übereinstimmen). Sobald die beiden aufeinanderfolgenden Max Multimodel Std Dev-Läufe hinzugefügt wurden, sollte die korrekte Reihenfolge der Isomerentypen angezeigt werden.
Victor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.pngVictor_G_0-1788783078290.png
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungHallo Victor, ich habe deine Anweisungen (siehe Anhang) befolgt, kann deine Ergebnisse aber nicht reproduzieren. Die mit den 6 initialen raumfüllenden Rs erstellten Modelle sind schlecht, daher verstehe ich nicht, warum man hier mit der maximalen Multimodell-Standardabweichung beginnen sollte: Lernen die schlechten Gaußprozessmodelle nicht viel?
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungIhr Ergebnis enthält nur 2 Ausgaben; es müssen drei sein.
Betreff: Problem der Ermittlung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungUnd bereits nach 6 anfänglichen Raumfüllungsläufen ist Gaussian Y1 sehr schlecht, sodass zusätzliche Raumfüllungsläufe erforderlich sind, um eine akzeptable Modellleistung zu erzielen; leider erkennt BO jedes Mal wieder Isomer 2 als optimal (?).
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungIch habe dasselbe Problem mit dem DOE-Algorithmus (siehe Anhang) ab dem 10. Durchlauf zur raumfüllenden Simulation. Was ist schiefgelaufen? Wir haben im Labor nachgeprüft, und die optimale Lösung liegt bei Isomer 1. Isomer 2 liefert schlechtere Ergebnisse, und Isomer 3 ist völlig unbrauchbar. Wichtig ist anzumerken, dass sich der BO-Algorithmus des DOE-Algorithmus ab dem 9. Durchlauf zur raumfüllenden Simulation schnell auf die richtige Einstellung für Isomer 1 umstellt!
Betreff: Problem der Ermittlung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungErfolgreicher Versuch mit neun Durchläufen zur raumfüllenden Versuchsplanung. Merkwürdig, dass die Ergebnisse bei einer geringeren Anzahl von Durchläufen zufriedenstellend sind.
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungHier einige Antworten auf Ihre zahlreichen Anfragen:
- Sie können die Ergebnisse reproduzieren. Vergleichen Sie dazu die Eingabe- und Antwortwerte des zweiten Max Multimodel Std Dev-Laufs mit meiner Datei. Wenn Sie nach diesem zweiten Lauf die BayesOpt-Plattform zwingen, einen Lauf mit Max Expected Improvement (anstatt des automatisch empfohlenen MaxPro-Raumfüllungskriteriums) hinzuzufügen, wird dieser zweite hinzugefügte Lauf wiederholt und liegt nahe am erwarteten Optimum für Isomer 1.
- In den von mir gesendeten Dateien gab es drei Ausgaben: Y, Spalte 6 1 und Spalte 6 2.
- Die MaxPro-Raumfüllungskriterien verbessern das Modell indirekt, indem sie die Erkundung des Designraums erzwingen und dabei die Abstände zwischen bestehenden und neuen Designpunkten maximieren. Der Effekt auf das Modell ist ungewiss und hängt von der Komplexität der Zielgröße ab. Daher bezeichne ich diese Option in der JMP-Hilfe und in meiner Antwort als „modellfreie“ Erkundungsoption. Im Gegensatz dazu basieren die Multimodell-Standardabweichung und die Bayes'sche Standardabweichung auf der modellbasierten Erkundung des Designraums: Sie nutzen das Modell und seine Vorhersageunsicherheiten, um Experimente in Bereichen mit der größten Unsicherheit zu empfehlen.
Um eine akzeptable Modellleistung zu erzielen, benötigen Sie also beides:- Die raumfüllenden Läufe gewährleisten eine gute Abdeckung des Designraums und stellen sicher, dass das Modell das erlernte Verhalten verallgemeinern kann und dass dieses Verhalten repräsentativ für das reale Phänomen im Designraum ist.
- Bayesianische/Multimodell-Standardabweichungsläufe gewährleisten die Reduzierung der Vorhersageunsicherheiten und das Erreichen eines akzeptablen Genauigkeitsniveaus.
Bitte lesen Sie meine vorherige Erklärung hier .
Es ist sehr zeitaufwendig, all Ihre verschiedenen Szenarien zu prüfen. Sie sollten Folgendes beachten:
- Die Bayes'sche Optimierung hat zum Ziel, Ihre Zielvorgaben zu erreichen: Sobald ein akzeptables Ergebnis (basierend auf Ihren Bedingungen) erreicht ist, konvergiert die Schleife dagegen, unabhängig davon, ob das Optimum global oder lokal liegt. Je nachdem, wie präzise Ihre Zielvorgaben sind (und wie komplex die Zielfunktion ist), kann es daher zu einer vorzeitigen Konvergenz kommen oder auch nicht.
- In der BayesOpt-Plattform wird die Explorations-/Exploitationsstrategie standardmäßig automatisch anhand des R²-Schwellenwerts (Standardwert = 0,25) festgelegt: Liegt der R²-Wert des Modells unter dem Schwellenwert, werden MaxPro-Raumfüllungsläufe empfohlen. Liegt er darüber, beginnt die Exploitation mit Läufen, die das Kriterium der maximalen erwarteten Verbesserung erfüllen. Die übrigen Optionen müssen manuell festgelegt werden.
- Ich empfehle Ihnen dringend, sich Zeit zu nehmen, um Ihr Modell zu betrachten und zu untersuchen; BayesOpt mag wie eine automatische Experimentierschleife mit guten Standard-Experimentvorschlägen aussehen, aber Sie können bessere Ergebnisse erzielen, indem Sie die für die Modelle erforderlichen spezifischen Läufe erzwingen.
- Ihre verschiedenen Szenarien mit unterschiedlicher Anzahl an raumfüllenden Läufen liefern Informationen unterschiedlicher Menge und Genauigkeit. Je weniger Läufe Sie zu Beginn haben, desto schwieriger wird die Aufgabe. Daher sollten Sie den Modellen umso mehr Sorgfalt und Aufmerksamkeit widmen, indem Sie ausreichend viele Läufe mit den richtigen Informationen durchführen. Dies kann entweder durch die Erkundung des Designraums mit MaxPro-Raumfüllungsläufen oder durch die Verbesserung der Modellunsicherheiten mit Bayesian/Multimodel Std Dev-Läufen erfolgen. Die Strategie und die Wahl der Akquisitionsfunktionen, die Anzahl paralleler oder sequenzieller Läufe usw. sollten sich nach den verfügbaren Informationen, der Genauigkeit und dem Lerneffekt der erzielten Modelle richten.
Ich hoffe, diese Antwort hilft Ihnen, Ihre abweichenden Ergebnisse zu verstehen. Bitte lesen Sie die Dateien, die ich Ihnen zuvor zugesendet habe, sorgfältig durch. Sie konnten meine Ergebnisse reproduzieren; Sie müssen lediglich dieselben Durchläufe mit dem Profiler und den entsprechenden Erfassungsfunktionen durchführen (und die automatische Auswahl deaktivieren, die zu einem MaxPro-Speicherplatz-füllenden letzten Durchlauf führt).
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungHallo Victor, in deinem oben beschriebenen erfolgreichen 6-Lauf sehe ich nur zwei Ausgaben: Spalte 6.1 und Spalte 6.2 (siehe unten). Es gibt eine dritte Ausgabe (Y), die ich aber nicht sehe.
frankderuyck_0-1788860113377.pngfrankderuyck_0-1788860113377.pngfrankderuyck_0-1788860113377.pngfrankderuyck_0-1788860113377.pngfrankderuyck_0-1788860113377.png
Auch mit 10 Durchläufen kann YI die optimalen Einstellungen nicht ermitteln (siehe Anhang; ich habe die 3 Ausgänge als Y1, Y2 und Y3 neu codiert).
Was habe ich falsch gemacht? Es ist wichtig für uns, das zu verstehen.
Bei neun ersten Durchläufen funktioniert es immer einwandfrei, warum?
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher Optimierung„Raumfüllende Versuche zur Sicherstellung einer guten Abdeckung des Designraums --> Ich habe schnelle, flexible Raumfüllung verwendet, ist das in Ordnung? Ist eine Bewertung des anfänglichen Versuchsdesigns (DOE) notwendig? Ich habe einige Webinare gesehen, in denen man mit nur sehr wenigen anfänglichen Versuchen beginnt, manchmal sogar mit einem OFAT; ich nehme an, das funktioniert nur, wenn das Modell einfach und die Daten nicht zu verrauscht sind, richtig? Das ist nicht immer der Fall, und wir wissen es nicht im Voraus.“
Stellen Sie sicher, dass das Modell das erlernte Verhalten generalisieren kann und dass dieses Verhalten repräsentativ für das reale Phänomen im Designraum ist. -- > In meinen Beispielen haben die Modelle ein R² > 0,8. Gibt es weitere Kriterien?
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungHallo @frankderuyck ,
@frankderuyck schrieb:
Hallo Victor, in deinem oben beschriebenen erfolgreichen 6-Lauf sehe ich nur zwei Ausgaben: Spalte 6.1 und Spalte 6.2 (siehe unten). Es gibt eine dritte Ausgabe (Y), die ich aber nicht sehe.
In meinem ersten Beitrag hatte ich bereits erwähnt, dass ich die Y-Spalte vergessen hatte. Die BayesOpt-Plattform konnte jedoch alle drei Zielgrößen optimieren, da Y negativ mit Spalte 6 2 korreliert zu sein schien. Letztendlich konnte ich also, selbst mit nur zwei statt drei Zielgrößen, ein Optimum finden, das Ihrem für alle drei Zielgrößen sehr nahe kommt. Die anderen Tests habe ich mit allen drei Zielgrößen durchgeführt.
@frankderuyck schrieb:
Auch mit 10 Durchläufen kann YI die optimalen Einstellungen nicht ermitteln (siehe Anhang; ich habe die 3 Ausgänge als Y1, Y2 und Y3 neu codiert).
Was habe ich falsch gemacht? Es ist wichtig für uns, das zu verstehen.
Bei neun ersten Durchläufen funktioniert es immer einwandfrei, warum?
Ich werde meinen vorherigen Beitrag nicht wiederholen, tut mir leid. Alle Informationen darüber, wie Sie Ihre Optimierung erfolgreich durchführen können, beginnend mit 6 oder 9 raumfüllenden Läufen, finden Sie in meinen vorherigen Antworten, zur Diagnose Ihres Modells, zur Wahl der Akquisitionsfunktion usw. Ich kann die von Ihnen genannten Szenarien leider nicht alle bewerten.
@frankderuyck schrieb:
„Raumfüllende Versuche zur Sicherstellung einer guten Abdeckung des Designraums --> Ich habe schnelle, flexible Raumfüllung verwendet, ist das in Ordnung? Ist eine Bewertung des anfänglichen Versuchsdesigns (DOE) notwendig? Ich habe einige Webinare gesehen, in denen man mit nur sehr wenigen anfänglichen Versuchen beginnt, manchmal sogar mit einem OFAT; ich nehme an, das funktioniert nur, wenn das Modell einfach und die Daten nicht zu verrauscht sind, richtig? Das ist nicht immer der Fall, und wir wissen es nicht im Voraus.“
Ja, ein raumfüllendes, schnelles und flexibles Design ist oft eine gute Wahl, da dieser Designtyp viele Randbedingungen und Einflussfaktoren berücksichtigen kann. Beachten Sie dazu meinen vorherigen Kommentar zur Anzahl der Durchläufe und der Informationsgenauigkeit, die von der Komplexität der Antwortfläche abhängt.
@frankderuyck schrieb: Stellen Sie sicher, dass das Modell das erlernte Verhalten generalisieren kann und dass dieses Verhalten repräsentativ für das reale Phänomen im Designraum ist. -- > In meinen Beispielen haben die Modelle ein R² > 0,8. Gibt es weitere Kriterien?
R² ist eine Modellmetrik, aber es gibt viele weitere. Ich empfehle zunächst eine grafische Analyse, insbesondere die Darstellung der Ist-Werte im Vergleich zu den vorhergesagten Werten, da diese deutlich aussagekräftiger ist. So lässt sich überprüfen, ob das Modell die allgemeine Tendenz erfasst hat, ob die Ungenauigkeit des Modells lokal (bei hohen oder niedrigen Antwortwerten) oder global auftritt usw.
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungKönnten Sie mir bitte Ihre BO-Ergebnisse mit den drei Antworten zusenden? Vielen Dank.
Betreff: Problem zur Bestimmung optimaler Einstellungen für eine Mischung mittels Bayes'scher OptimierungSiehe meine erste Antwort! Ich habe zwei Dateien angehängt: eine mit der Optimierung für zwei Zielgrößen (funktioniert aber auch für drei Zielgrößen), die andere speziell für drei Zielgrößen: https://community.jmp.com/t5/Discussions/Problem-to-find-optimal-settings-for-a-mixture-with-Bayesian/mp/969382/highlight/true#M110464
