Bayes'sche Optimierung: Maximierung des MaxPro-KriteriumsHallo liebe Community und JMP-Experten,
Ich bin verwirrt über die Bezeichnung einer der Optionen im Batch-Customizer für Bayes'sche Optimierung.Eine der Optionen heißt:Maximierung des MaxPro-Kriteriumsin der Plattform für Bayes'sche Optimierung. Die Hilfe in diesem Abschnitt erwähnt: „ Diese Option ist eine modellfreie Erkundung des Faktorraums, die die Replikation von Faktoreinstellungen sowohl in den Trainingsdaten als auch im aktuellen Batch vermeidet. Verwenden Sie diese Option für jede Batchgröße, wenn eines oder mehrere der Modelle nicht gut passen. “
Bezüglich der Definition dieses MaxPro-Kriteriums im Hilfebereich „ Details zur schnellen flexiblen Füllkonstruktion“ heißt es: „ Das MaxPro-Kriterium maximiert das Produkt der Abstände zwischen potenziellen Designpunkten unter Berücksichtigung aller Faktoren. Dies unterstützt das Ziel, gute raumfüllende Eigenschaften bei Projektionen von Faktoren zu erzielen .“ Weiterhin wird erwähnt, dass das MaxPro-Kriterium „ Punkte in den Clustern sucht, die das folgende Kriterium minimieren “ ( bevor die Formel betrachtet wird):
Da das Produkt der quadrierten Abstände im Nenner der Formel steht, maximiert die Minimierung dieses Kriteriums die Abstände zwischen potenziellen Designpunkten. Die Maximierung des MaxPro-Kriteriums kann daher tatsächlich zu kleineren Abständen zwischen Punkten führen, was das Risiko erhöht, dass Läufe gehäuft oder „gestapelt“ auftreten, wenn kleinere Teilräume des experimentellen Raums betrachtet werden.Betrachtet man den Bayesian Optimization Profiler, so scheint die Formel, die dieser Akquisitionsfunktion zugrunde liegt, nicht (quadrierte) Abstände im Nenner (wie im ursprünglichen MaxPro-Kriterium), sondern im Zähler zu verwenden. Dies zeigt sich in dem konkaven Optimierungsprofil, das einer -X²-Formel entspricht, die Abstände zwischen den ursprünglichen Designpunkten berücksichtigt. Die MaxPro-Akquisitionsfunktion erreicht ihr Maximum dort, wo die Abstände zwischen dem neuen Punkt und den ursprünglichen Designpunkten am größten sind.
Kann mir jemand die Verwirrung zwischen dem „MaxPro-Minimierungskriterium“ von raumfüllenden Designs und dem „MaxPro-Maximierungskriterium“ der Bayes’schen Optimierung aufklären? Verwendet das MaxPro-Kriterium in der Bayes’schen Optimierungsplattform dieselbe Formel wie in der raumfüllenden Plattform? Welche Formel wird in der Erfassungsfunktion für das MaxPro-Raumfüllungskriterium angezeigt?
Dank im Voraus !
Fortgeschrittene statistische ModellierungVersuchsplanungBetreff: Bayes'sche Optimierung: Maximierung des MaxPro-KriteriumsGibt es eine Möglichkeit, von JMP-Experten oder fortgeschrittenen Benutzern eine Antwort auf diese konkrete Frage/Unklarheit zu erhalten?
Ich hoffe sehr, dass die Dokumentation für JMP BayesOpt erweitert wird, da einige grundlegende Informationen fehlen, beispielsweise zu Kernel-/kontinuierlichen Korrelationstypen, Formeln und Abbildungen. Es gibt bereits eine gute Dokumentation zu den Funktionstypen, die bei der Auswahl des Kernels eine Rolle spielen.
https://fr.mathworks.com/help/stats/kernel-covariance-function-options.html
https://www.comsol.fr/support/learning-center/course/surrogate-modeling-theory-271/more-on-covariance-functions-96531
https://indico.cern.ch/event/1407896/contributions/6068668/attachments/2947366/5179857/Lecture_2_vkain_BO.pdf
...
Betreff: Bayes'sche Optimierung: Maximierung des MaxPro-KriteriumsHallo @Victor_G ,
Ich stimme Ihrer Einschätzung und Ihren Fragen zur neuen BeysOp-Plattform vollkommen zu. Seit ich Anfang des Jahres davon erfahren habe, wollte ich sie unbedingt mit meinen Kollegen ausprobieren. Dabei muss ich aber auch den potenziellen Nutzen gegen den Ressourcen- und Zeitaufwand abwägen und meine Kollegen nicht in die Irre führen, ohne dass sie vorher die Grundlagen der BayesOp-Implementierung in JMP verstehen – dieser Aspekt hat sich als die größte Herausforderung erwiesen.
Hier finden Sie einige brauchbare Web-Tutorials zu den frühen Entwicklungsstadien und den jüngsten Neuerungen in JMP 19 Pro:
https://community.jmp.com/t5/Phil-Kay-s-Blog/Active-Learning-in-JMP-Chris-Gotwalt-ENBIS-Workshop/ba-p/835262
https://community.jmp.com/t5/Learn-JMP-Events/Developer-Tutorial-Bayesian-Optimization/ev-p/894910
Sie sind recht gut darin, eine sehr allgemeine Beschreibung der Funktionsweise zu geben (gut für das Management, insbesondere die zweite bis etwa Minute 20), aber ich konnte immer noch keine detaillierteren Erklärungen finden, oder viel darüber, wie man die Algorithmen der Optimierungs- und Erfassungsfunktionen für die jeweilige Aufgabe abstimmen/anpassen kann.
In den Tutorials räumen sie ein, dass die Gefahr besteht, in lokalen Maxima stecken zu bleiben, behaupten aber auch, dass ihre Methode dies umgehen kann, da sie den Wunsch nach Erkundung und Optimierung in Einklang bringt. Die Erklärung ist etwas vage, und ich verstehe, dass sie nicht alle Details offenlegen können, aber ein tieferer Einblick wäre hilfreich. Insbesondere für diejenigen von uns in der Industrie, die den Wert dieses Ansatzes erkennen, aber auch ein umfassenderes Verständnis als nur eine Blackbox wünschen, um – falls die Dinge nicht wie erwartet laufen (was meistens der Fall ist) – Anpassungen vornehmen zu können und so weiterhin wertvolle Informationen aus der geleisteten Arbeit zu gewinnen.
Nur ein paar meiner Gedanken, nachdem ich versucht habe, mehr über diese neueste Plattform in JMP zu erfahren.
Vielen Dank für die zusätzlichen Links und Ressourcen!
DS
Betreff: Bayes'sche Optimierung: Maximierung des MaxPro-KriteriumsHallo, vielen Dank für Ihr Interesse an der Bayes'schen Optimierung in JMP Pro. Ich verstehe Ihre Verwirrung bezüglich der Formulierung „MaxPro maximieren“. JMP maximiert tatsächlich den Kehrwert des MaxPro-Kriteriums. Dies diente dazu, alle Optionen für die Datenerfassung als Maximierungen darzustellen, anstatt dass einige Minimierungen und andere Maximierungen sind. Im Nachhinein wäre die Formulierung „Raumfüllungskriterium maximieren“ besser gewesen, und die Details zur Maximierung des Kehrwerts des MaxPro-Kriteriums sollten in der Dokumentation vermerkt werden.
Betreff: Bayes'sche Optimierung: Maximierung des MaxPro-KriteriumsDanke @chris_gotwalt1 !
Mir war klar, dass etwas anders (und möglicherweise umgekehrt) war, als ich die Akquisitionsfunktion des MaxPro-Kriteriums aus dem Bayesian Optimization Profiler und die Gleichung aus dem Abschnitt zum raumfüllenden Design verglich. Danke für die Erklärung.
Ich verstehe zwar den vereinfachten Ansatz zur Maximierung einer beliebigen Akquisitionsfunktion, aber die gleiche Benennung dieses Kriteriums wie beim raumfüllenden Design hat mich verwirrt.
Ich hoffe, die Dokumentation wird überarbeitet und erweitert, um jegliche Verwirrung zu vermeiden und den Nutzern mehr Informationen über die Möglichkeiten dieser BayesOpt-Plattform zu bieten.
Am besten,
Betreff: Bayes'sche Optimierung: Maximierung des MaxPro-KriteriumsHallo @SDF1 ,
Vielen Dank für Ihre Antwort und die ergänzenden Links.
Diese Links mögen zwar für den praktischen Einstieg in BayesOpt hilfreich sein, bieten aber keinen tieferen Einblick in einige technische Entscheidungen wie Kernel, Akquisitionsfunktionsformen (und Gleichungen) usw.
Es gibt keine Garantie, das globale Optimum zu erreichen. Ich habe bereits im Discovery Seminar einen Anwendungsfall zu BO vorgestellt, bei dem ich durch die Verwendung eines reinen "Auto"-Modus (blindes Befolgen der Plattformempfehlungen für die Hinzufügung der nächsten Läufe) ein suboptimales Ergebnis erhalte als durch das Erzwingen der Exploration zu Beginn oder, noch besser, durch den Start mit initialen Läufen, die mit einem raumfüllenden Ansatz erstellt wurden:
Daher bin ich etwas skeptisch gegenüber den von Ihnen erwähnten Behauptungen: Wenn Ihr Ziel während der BO-Schleifen erreicht wurde (egal ob es sich um ein lokales oder globales Optimum handelt), dann empfiehlt die Plattform, den Punkt zu replizieren, und hier endet es.
Das Thema globales vs. lokales Optimum war eine häufig gestellte Frage in diesem JMP Discovery Seminar, ebenso wie die Frage, wie man die Vorhersagen des Modells nutzen und ihnen vertrauen kann. Ich zeigte, dass die Berechnung von Merkmalswichtigkeits-/Sensitivitätsindizes auf Basis des im Bayes'schen Optimierungszyklus verwendeten Gaußprozesses stark irreführend sein kann: https://www.linkedin.com/posts/victorguiller_bayesianoptimization-designofexperiments-activity-7475080705866174465-e3uV
Diese Art der Erklärbarkeitsmethode liefert lediglich eine Erklärung für den vom Algorithmus beschrittenen Pfad, nicht aber unbedingt für die „tatsächliche“ Wichtigkeit/Sensitivität der Faktoren.
Vielen Dank für die Diskussion und die Links!
Am besten,
Betreff: Bayes'sche Optimierung: Maximierung des MaxPro-KriteriumsHallo @Victor_G ,
Ja, ich stimme Ihnen vollkommen zu, was die Bedenken bezüglich des Algorithmus und der Genauigkeit der Iterationen bei der Suche nach einem globalen Maximum (oder sogar nach mehreren Maxima) betrifft. Um es klarzustellen: Ich habe keine Aussagen über die Fähigkeiten des Algorithmus getroffen, sondern lediglich einige Aussagen aus den Online-Webinaren wiederholt. Wie ich bereits in meiner ersten Antwort erwähnte, eignen sich diese Webinare gut für den Einstieg, gehen aber nicht detailliert auf die Methodik, die Algorithmen und deren Optimierung ein – sie richten sich eher an Gelegenheitsnutzer von JMP und der Versuchsplanungsmethodik.
Bis zu einem gewissen Grad stimme ich dem zu und verstehe, was in den Präsentationen zur BO-Plattform vermittelt wird. In der Praxis ist es oft nicht so wichtig, ein tiefes Verständnis der Wechselwirkungen aller Faktoren zu haben und über ein ausgeklügeltes Modell zu verfügen. Es genügt, zu wissen, dass man 85–90 % des Weges zurückgelegt hat und einen stabilen Prozess zur Generierung des gewünschten Ergebnisses besitzt. Die restlichen 10–15 % lassen sich mit kleinen Anpassungen optimieren, sobald man sich dem Optimum nähert. Besonders wünschenswert ist es jedoch, sich diesem Optimum schnell anzunähern, insbesondere wenn noch wenig über den operativen Bereich bekannt ist.
Eines der Beispiele hat bisher nicht gezeigt, was passiert, wenn man in der Nähe eines Optimums startet. Wie verhält sich der Explore- vs. Exploit-Algorithmus, wenn man bereits eine BO-Optimierung durchgeführt und ein Maximum gefunden hat? Was passiert, wenn man den Prozess mit einigen Punkten in der Nähe dieses Maximums neu startet? Bleibt er hängen oder durchsucht er den Lösungsraum weiter? Mir fallen mehrere Szenarien ein, in denen es mindestens zwei globale Maxima geben könnte, die mit zwei verschiedenen Einstellungen erreicht werden können – eine davon wäre aus Produktionssicht möglicherweise praktischer. Wenn der BO-Algorithmus jedoch immer bei einem der lokalen Maxima hängen bleibt, ohne ausreichend zu erkunden, könnten wichtige Informationen verloren gehen.
Vielen Dank für Ihre Vergleiche zwischen BO im „Auto“- und im überwachten Modus und wie gut die verschiedenen Ansätze das gewünschte Ziel erreichen. Wie bei anderen experimentellen Ansätzen sehe ich es eher als iterativen Prozess und ein weiteres Werkzeug im Repertoire. Die Webinare erwecken fast den Eindruck, als könnte dies der neue Ersatz für DOE werden, obwohl die Referenten dies verneinen. Dennoch schwingt da so ein Unterton mit, der suggeriert, es sei der nächste große Trend. Wie bei allem gilt: Vorsicht ist geboten.
Eine meiner wichtigsten Erkenntnisse ist, dass bei allen computergestützten Modellierungsverfahren (ob ML, KI oder Gen-KI) die Überwachung des Prozesses entscheidend ist. Unüberwachte computergestützte Modellierung oder Generierung kann leicht zu Fehlfunktionen führen. Ich habe verschiedenen KI-Plattformen Anweisungen gegeben, Silhouetten von Personen bei unterschiedlichen Tätigkeiten zu generieren – recht einfach, ohne Details, nur eine Silhouette. Die verschiedenen KIs erzeugten jedoch mühelos zusätzliche Gliedmaßen an den Personen – drei Beine oder vier Arme. Selbst nach der Rückmeldung, dass ein Fehler in der Generierung der KI vorlag, war die nächste Iteration immer noch eine Fehlfunktion. Der Prozess erfordert daher weiterhin eine intensive menschliche Überwachung und Kontrolle. Aktuell scheint auch die BO-Plattform sorgfältiger Überwachung zu bedürfen.
Einfach eine gesunde Portion Skepsis.
DS
Betreff: Bayes'sche Optimierung: Maximierung des MaxPro-KriteriumsHallo DS,
Entschuldigung für das Missverständnis, ich bin davon ausgegangen, dass die Ansprüche vom JMP-Team stammen, nicht von Ihnen (Entschuldigung für die Verwirrung in meiner Antwort).
Sie haben Recht, die anfänglichen Startpunkte (Verteilung und Lage) sind genauso wichtig wie die Entscheidungen, die Sie nach dem Start der BO-Schleife treffen. Je nachdem, wie nahe die Startpunkte an einem Optimum liegen, kann der Algorithmus von diesem Bereich „angezogen“ werden, insbesondere wenn er mit Ihrem Zielwert und Ihrer Zielsetzung übereinstimmt. Um die Exploration zu erzwingen, kann es hilfreich sein, Läufe mit einem raumfüllenden Kriterium (MaxPro) hinzuzufügen, da dieses Punkte mit maximalem Abstand zu bereits vorhandenen Punkten generiert (oder Läufe mit einer Akquisitionsfunktion, die Unsicherheiten berücksichtigt, wie z. B. Multimodel Std Dev oder Upper Confidence Bound) . Die Entscheidungen der Nutzer bei der Verwendung von BO können die Projektergebnisse erheblich beeinflussen.
Genau, BO ist eine weitere Methode für intelligentes Experimentieren. Ich denke auch, dass es in der Praxis effektiver sein kann, in jeder Iteration mehrere Läufe durchzuführen (nicht nur einen) und die Art der Läufe mithilfe verschiedener Akquisitionsfunktionen zu variieren, um die Diversität der Läufe zu gewährleisten und einen vorzeitigen Abbruch der Exploration zu vermeiden. Wir könnten beispielsweise fünf Läufe pro Iteration in Betracht ziehen: ein oder zwei Exploitationsläufe, zwei (oder mehr) Explorationsläufe und weitere Läufe in einem ausgewogenen Modus. Ich sehe BO mit Akquisitionsfunktionen als Option für kleine DoE-Experimente, bei denen die Akquisitionsfunktionen der Designoptimierung ähneln und die Designerweiterung hinsichtlich der Laufgröße sehr flexibel ist. Dies geht jedoch auf Kosten einiger statistischer Verfahren und Schutzmechanismen wie Blockierung oder anderer Rauschunterdrückungstechniken, sodass die beiden Methoden nicht direkt austauschbar sind. Ich stimme zu: Vorsicht ist geboten. Beginnen Sie mit den experimentellen Einstellungen und Einschränkungen und wählen Sie erst DANN die Experimentiermethode.
Ja, Computermodellierung wie maschinelles Lernen eignet sich hervorragend zum Erkennen von Mustern und erweitert die Modellierungsoptionen. Die Ergebnisse sollten jedoch stets mit Vorsicht interpretiert werden, da manche Algorithmen anfällig für Überanpassung (oder bei GenAI für Fehlinterpretationen) sein können. Nutzen Sie daher immer Fachwissen, kritisches Denken und statistisches Vorgehen, um die Modellergebnisse zu beurteilen.
Vielen Dank für die Diskussion. Ich bin schon sehr gespannt darauf, wie sich die BayesOpt-Plattform (und die Dokumentation!) in den zukünftigen Versionen weiterentwickeln wird.
Am besten,
Betreff: Bayes'sche Optimierung: Maximierung des MaxPro-KriteriumsDanke für die interessante Diskussion. Vereinfacht gesagt, denke ich, dass es sich hierbei um zwei grundlegend verschiedene Herangehensweisen an Experimente handelt.
Ein Ansatz ist algorithmischer Natur. Ziel ist es, Einstellungen zu finden, die ein erwünschtes Ergebnis liefern. Ob die zugrunde liegenden Mechanismen verstanden werden, ist weitgehend irrelevant, solange der Algorithmus zuverlässig zu einer zufriedenstellenden Lösung konvergiert.
Der zweite Ansatz betrachtet Experimente als Lernprozess. Ziel ist es nicht nur, geeignete Einstellungen zu identifizieren, sondern auch zu verstehen, warum sie funktionieren. Dieses mechanistische Verständnis ermöglicht es uns, die Leistung in neuen Situationen vorherzusagen, veränderte Bedingungen zu erkennen, Erkenntnisse in zukünftige Konstruktionen einfließen zu lassen und robustere Produkte und Prozesse zu entwickeln.
Keine der beiden Philosophien ist an sich richtig oder falsch – sie optimieren lediglich unterschiedliche Ziele. Geht es nur darum, ein einzelnes System so schnell wie möglich zu optimieren, kann die Bayes'sche Optimierung äußerst attraktiv sein. Soll hingegen wissenschaftliches oder ingenieurtechnisches Wissen generiert werden, das über das aktuelle Problem hinausgeht, müssen Experimente so konzipiert sein, dass sie Mechanismen aufdecken und nicht nur nach einem Optimum suchen.
Meine Sorge ist, dass wir diese Methoden manchmal nur anhand der Frage bewerten: „Haben wir eine bessere Lösung gefunden?“ Ich denke, eine ebenso wichtige Frage ist: „Was haben wir gelernt, das auch im nächsten Projekt noch nützlich sein wird?“ Das sind nicht immer dieselben Dinge.
Daten können aufzeigen, wo ein Optimum existiert. Das Verständnis der Mechanismen erklärt, warum es existiert. Nur Letzteres ermöglicht es uns, vorherzusagen, was geschehen wird, wenn sich die Welt unweigerlich verändert.
