899077_de-DE

liliconcom

Wie planen Sie, die Bayessche Optimierung zu präsentieren?

Hallo Leute,

Ich bin gespannt, wie die Leute die Bayes'sche Optimierung in ihren SE-Workflow einbringen und positionieren wollen. Werden Sie sie in DoE-Sitzungen einbeziehen? Sie mit der Produktionsverbesserung verknüpfen? Sie überall zeigen? Wo werden Sie darüber sprechen?

Es wird interessant sein zu sehen, ob es nach Ansicht der Leute in ihre derzeitige Arbeitsweise bzw. in ihre Gespräche mit Kunden und Interessenten „passt“ oder ob sich eine neue Methode herausbildet!

Danke!
Ben

Betreff: Wie planen Sie, die Bayessche Optimierung zu präsentieren?

Sehr gute Frage, @Ben_BarrIngh .

Es wäre interessant zu hören, was wir bisher aus den Gesprächen mit Kunden darüber gelernt haben.

Ich habe mit einigen Kunden gesprochen, die bereits an der Methode interessiert sind. Ich habe auch mit einigen unserer größeren Kunden gesprochen, bei denen BayesOpt einen Mehrwert bieten und/oder ein Grund für mehr Pro sein kann. Die Positionierung von BayesOpt in beiden Situationen ist relativ einfach. Und das sollten unsere Prioritäten sein.

Ich habe weder mit unseren zahlreichen Kleinkunden (die durchschnittliche Anzahl an JMP-Benutzern pro Konto liegt bei 2 bis 3) noch mit potenziellen Kunden über BayesOpt gesprochen. Wie sprechen wir in solchen Situationen über BayesOpt? Sollten wir überhaupt mit neuen Interessenten über BayesOpt sprechen?

@Ben_BarrIngh – können Sie ein typisches Beispiel für die Art von Konten geben, an die Sie denken?

Betreff: Wie planen Sie, die Bayessche Optimierung zu präsentieren?

Hallo @Phil_Kay ,

Vielen Dank für die Antwort. Mich interessiert besonders, wie wir Gespräche über BayesOpt beginnen:

A) Neue Kunden, die einfach ihre Experimente verbessern möchten – bieten wir BayesOpt im selben Atemzug wie DoE an? Konzentrieren wir uns auf das Endziel (Verstehen vs. Erreichen eines Optimums) und unterscheiden dann? Welche Wertaussagen (metrikbasiert, Zeitersparnis, Ressourcenprozentsatz) können wir treffen, um ein überzeugendes Argument zu liefern?

(In diesem Sinne hat @malcolm_moore1 diese Infografik gefunden : https://www.active-learning.uk/2024).

Aktuelle Kunden, die DoE kennen – Für Kunden, die DoE kennen, aber keine Pro-Kunden sind: Welche Probleme wollen wir angehen, die Bayes-Optimierung ins Gespräch bringen? Wenn wir ein DoE-Inspirationsprojekt durchführen – sprechen wir über die DoE-Tools und stürzen uns dann auf die Bayes-Optimierung? Oder führt das zu Verwirrung? Benennen wir unsere Inspirationsprojekte in „Moderne Experimente“ oder ähnlich um, um den Rahmen richtig zu gestalten?

Danke,

Ben

Betreff: Wie planen Sie, die Bayessche Optimierung zu präsentieren?

Hallo Leute,

Soweit ich von Kunden gehört habe, halten nicht alle sequentielles Experimentieren für praktikabel. Manche von ihnen haben Zeitbeschränkungen und bevorzugen parallele Tests, selbst auf Kosten einiger zusätzlicher Durchläufe.

Ich würde mit Kunden über Bayes-Opt sprechen, wenn ich wüsste, dass ihre Läufe entweder sehr teuer sind, mit Rohstoffen durchgeführt werden, von denen sie nicht genug haben, oder wenn das zugrunde liegende Modell sehr komplex ist. Wenn Zeit ein Problem darstellt und sie ihre Läufe nicht parallel durchführen können (z. B. aufgrund fehlender Ausrüstung), würde ich auch mit ihnen über Bayes-Opt sprechen.

Viele kommen mit dem Gedanken an DoE zu uns. Wenn die oben genannten Kriterien erfüllt sind, würde ich Bayes Opt in eine DoE-Demo einbeziehen. Wie in Amsterdam besprochen, möchten wir es nicht als „bessere Alternative“ zu DoE darstellen, sondern als eine Methode, die in manchen Fällen besser geeignet ist, während DoE in anderen Fällen die Methode der Wahl wäre.

Betreff: Wie planen Sie, die Bayessche Optimierung zu präsentieren?

Hallo,

Ich möchte diese Situationszusammenfassungen, die Florian, Stéphane und Owen für BayesOpt entwickelt haben, dem Gespräch hinzufügen. Im Anschluss an die Zusammenfassungen haben sie außerdem einen Elevator Pitch hinzugefügt, der einige der Herausforderungen auflistet, mit denen Kunden konfrontiert werden können und für die BayesOpt eine Lösung sein könnte:

• Hohe experimentelle Kosten begrenzen die Anzahl möglicher Experimente

• Teure oder nur wenige verfügbare Rohstoffe erlauben keine endlosen Experimente

• Zeitdruck lässt keine umfangreichen Studien zu

• Optimierung in der laufenden Produktion erlaubt keine Ausfälle

• Komplexität und hohe Dimensionalität erfordern systematisches Vorgehen

Betreff: Wie planen Sie, die Bayessche Optimierung zu präsentieren?

Danke, dass du diese Diskussion angestoßen hast, @Ben_BarrIngh . Schön zu sehen, was wir in so kurzer Zeit gelernt haben. Große Ähnlichkeiten bestehen zwischen den Aussagen von @Lisa_Daroque und @HadleyMyers zu Zielproblemen, bei denen BayesOpt sinnvoll sein könnte. Auf Unternehmensebene werden beide Tools (DoE und BayesOpt) benötigt – fördern wir die Verwendung des jeweils passenden Tools für das jeweilige Problem.

Bitte teilen Sie weiterhin Ihre Lernerfahrungen mit BayesOpt und JMP 19 im Allgemeinen.

Betreff: Wie planen Sie, die Bayessche Optimierung zu präsentieren?

Hallo @Lisa_Daroque ,

Tolle Grafik, die hilft wirklich, es zu verdeutlichen. Glauben Sie, dass wir für diejenigen mit Knappheits-/Ressourcenbeschränkungen den Glauben an BayesOpt „aussetzen“ müssten? Ich frage mich, ob die Leute es als „Zauberei“ ansehen würden, wenn wir behaupten, dass wir mit einer kleinen/geringeren Anzahl von Experimenten Optimums erreichen.

Prost,
Ben

Betreff: Wie planen Sie, die Bayessche Optimierung zu präsentieren?

Tolles Thema. Ich würde gerne mehr darüber erfahren, da JMP 19 nächste Woche veröffentlicht wird. Mir gefällt die Idee von @Ben_BarrIngh , Bayesianische Optimierung in Verbindung mit DOE zu zeigen. @bradleybowen wird Workshop-Materialien mit drei Fallstudien unterschiedlicher Komplexität teilen. Er muss sicherstellen, dass in der Produktionsversion alles wie erwartet funktioniert. Sie sollten jedoch kurz nach der Veröffentlichung Zugriff darauf haben.

Betreff: Wie planen Sie, die Bayessche Optimierung zu präsentieren?

Danke @Ben_BarrIngh und allen anderen für Ihr Feedback und Ihren Beitrag.

Ich habe mir alle 6 Videos auf der von Ihnen geposteten Seite angesehen und hatte ein bittersüßes Gefühl.

Fünf von sechs stammen von unseren Kunden (wenn ich mich nicht irre):

• Alle haben ein starkes Interesse an Körpergeruch (das ist gut)
• Alle von ihnen verwenden bereits stark Open Source für BO (das ist schlecht)

Mir ist aufgefallen, dass sie, wie Sie bereits sagten, BO mit DOE vergleichen (siehe Screenshot unten), daher möchte ich Bens Fragen um zwei weitere ergänzen:

• Sehen wir das Risiko darin, Menschen mit einer bereits als Open Source verfügbaren Lösung, die in ihrem Unternehmen bereits verwendet wird, an BO zu wenden?
• Was können wir tun, um dies zu vermeiden und die zusätzlichen Ausgaben für die Verwendung von BO in JMP Pro zu rechtfertigen?

Danke

Marco

Betreff: Wie planen Sie, die Bayessche Optimierung zu präsentieren?

Danke, dass du dich damit befasst hast, @MarcoSalfi . Hier sind meine Gedanken zu deinen beiden Fragen:

• Sehen wir das Risiko darin, Menschen mit einer bereits als Open Source verfügbaren Lösung, die in ihrem Unternehmen bereits verwendet wird, an BO zu wenden?
• Was können wir tun, um dies zu vermeiden und zusätzliche Ausgaben für die Verwendung von BO in JMP Pro zu rechtfertigen?

Ich sehe hier keinen Unterschied zu üblichen Verkaufssituationen, in denen es oft eine etablierte Lösung gibt, selbst wenn diese nur Excel oder Papier ist. Versuchen Sie, wenn möglich, die Probleme des Kunden zu verstehen und herauszufinden, was er mit aktuellen Lösungen nicht beheben/erreichen/vermeiden kann. Wenn kein Problem vorliegt oder der Kunde Veränderungen ablehnt, sollten Sie weitermachen. Wenn ein Problem vorliegt, das wir mit BayesOpt (oder anderen Funktionen) lösen können, sollten Sie versuchen, eine spezifische Situationszusammenfassung für die jeweilige Situation zu erstellen. Im Fall von BayesOpt müssen die Konsequenzen einer Nichtänderung groß genug sein, um die Zahlung der Lizenzgebühr für Pro zu motivieren, und eine Situationszusammenfassung ist äußerst hilfreich, um solche Möglichkeiten zu nutzen.

Es wird interessant sein, andere/zusätzliche Ansichten zu Ihren Fragen zu erhalten.

Betreff: Wie planen Sie, die Bayessche Optimierung zu präsentieren?

Meine Meinung zu Open-Source-Lösungen für BayesOpt (oder Datenanalyse im Allgemeinen) ist, dass die Wartung von Code, der auf Open-Source-Bibliotheken basiert, ein Albtraum ist.
Dies gilt insbesondere, wenn Sie Bibliotheken verwenden, die in akademischen Umgebungen entwickelt wurden, und plötzlich nicht mehr in die Bibliothek investiert wird.
Außerdem benötigen Sie einen Mix aus vielen Bibliotheken, da viele davon nur einen Teil der Lösung anbieten.

Nach dem, was ich in Python und R für die Bayes-Optimierung gesehen habe, ist BayesOpt von JMP eine weitaus bessere Lösung.

Betreff: Wie planen Sie, die Bayessche Optimierung zu präsentieren?

@LuizaFabreti Ich möchte hinzufügen, dass es andere Softwareoptionen gibt, insbesondere Citrene, die einen Optimierungsansatz basierend auf Bayesscher Optimierung bieten. Wir haben einen Kunden, der diese Software verwendet hat, aber nie sinnvolle Ergebnisse erzielt hat. Er erzählte uns, dass er über 100.000 Dollar ausgegeben hat, in Wirklichkeit wahrscheinlich sogar noch viel mehr, und dann mit leeren Händen dastand. Er ist inzwischen Beta-Nutzer der neuen Bayes-Opt-Plattform und hat einige der Innovationen vorangetrieben, die Chris und sein Team seitdem implementiert haben.

Die Moral der Geschichte ist also, dass es wahrscheinlich mehr Leute gibt, die sich an sequentieller Optimierung versuchen, als wir denken, und es schadet nie, sie wissen zu lassen, dass JMP jetzt über eine integrierte Bayes-Opt-Plattform in JMP Pro verfügt.

Betreff: Wie planen Sie, die Bayessche Optimierung zu präsentieren?

Ich freue mich, dass diese Diskussion weitergeht. Natürlich muss ich auch ein paar Kommentare abgeben.

Wettbewerber: Es gibt einige kommerzielle Tools und auch zahlreiche Open-Source-Lösungen. Wichtig ist, dass nicht alle den gleichen Umfang haben und der Umfang meist sehr eng oder spezifisch ist. BoTorch ist die Basis vieler Open-Source-Lösungen.

Die Vorteile, die mir Kunden bisher zu Open-Source-Implementierungen genannt haben:

- es ist kostenlos (haha)

- es ist flexibler und auf ihre Bedürfnisse zugeschnitten

- Es ist einfacher, in „Closed Loop Optimization-Aufgaben“ eingebunden zu werden, bei denen ein Experiment vorgeschlagen, ausgeführt, analysiert und ein weiteres vorgeschlagen wird, bis ein Ziel erreicht ist

Eine der Lösungen, die mehrere unserer Kunden entwickelt haben (Danke an @JessicaHorsch für die Entdeckung), ist BoFire ( https://arxiv.org/pdf/2408.05040 ). Der Hauptautor ist zufällig mein Kunde und ist offensichtlich fest davon überzeugt, dass diese Lösung die einzige Möglichkeit sein wird, mit der Chemieunternehmen in Zukunft experimentieren können. Er räumt aber auch ein, dass die Blackbox-Optimierung nicht alle Anforderungen von Wissenschaftlern und Ingenieuren erfüllt. Und mein Befürworter bei Evonik bestätigte, dass dies seiner Meinung nach zum Erfolg, aber auch zum absoluten Misserfolg führen kann (weil es sich um eine Blackbox handelt).

In einer anderen Situation fragte ein Kunde nach einer Möglichkeit, historische Daten oder sein aktuelles Wissen und sogar mechanistische Informationen aus Reaktionen usw. zu implementieren, um neue Experimente vorzuschlagen.

Für mich fühlt es sich mittlerweile fast so an, als wäre BO irgendwo zwischen „Oh, das, ja, das machen wir auch“ und dem absoluten Killer-Feature, das wir herumzeigen müssen, wann immer wir können.

Ich denke, wir müssen zunächst sorgfältig qualifizieren und ein Gefühl für die Art von Menschen entwickeln, mit denen wir sprechen. Gleichzeitig können wir selbstbewusst dafür werben, denn es handelt sich um eine einzigartige und leistungsstarke Implementierung, die wie immer, kombiniert mit allen Funktionen von JMP (Pro), gut in ein leistungsstarkes Toolset eingebettet ist.