Lernen Sie aus dem Feedback unseres JMP Pro Workshops mit Chris G. in HeidelbergHier beschreibe ich meine Erkenntnisse aus dem Heidelberg Workshop mit Chris Gotwalt zur Bayesschen Optimierung:
Einige kurze Fakten:
- 48 Anmeldungen - ca. 40 im Raum
- Thema Bayesianische Optimierung
- viel Interesse
- etwa 60 % hatten JMP Pro
- Die meisten waren mit DoE vertraut und zielten darauf ab, Prozesse schneller und mit den geringsten Kosten zu optimieren
Annahmen und Bestätigungen zu exotischen Situationen:
- Mehrere Antworten, 𝑦_𝑖 (𝑥)
- Alle Hände gingen hoch und baten um Bestätigung, dass es ihnen wichtig ist und dass sie das brauchen.
- „Batch“-Erweiterung von mehr als einem Lauf
- Fast alle haben Situationen, in denen sie Batch-Experimente durchführen müssen, also nicht nur die nächsten, sondern z. B. die nächsten 4, 6 oder eine beliebige andere Zahl. Gründe dafür sind meistens
- das Experiment dauert zu lange, um auf den nächsten Vorschlag zu warten,
- aber auch Materialmangel (nicht immer verfügbar) ist ein weiterer Grund.
- Erwähnte Erwartungen:
- wie man die Entwicklungszeit verkürzt
- Ziel der analytischen Abteilung (Design Expert-Benutzer)
- Kollegen davon zu überzeugen, DOE einfacher zu verwenden, da sie sagen, dass so viele Läufe nicht durchgeführt werden können.
- Geben Sie den Benutzern Optionen für etwas anderes als DOE. Warum sollte ich Experimente durchführen, die mir nichts bringen? Ich möchte nur ein gutes Ergebnis
- Kosten -> weniger Läufe
- Was erhoffen Sie sich zu bekommen?
Fragen aus dem Publikum:
- Was ist, wenn Faktoren nicht wichtig sind?
- Antwort: Es werden Faktoren ignoriert, die keinen Einfluss haben. Die Option „Variable Wichtigkeit“ hilft dabei, die leistungsgeordneten Faktoren anzuzeigen.
Können Antworten gewichtet werden? (ein weiterer „exotischer“ Fall)
- Antwort: Ja, es wird in der Bayes-Opt-Erwünschtheit im Profiler angewendet. Konkurrierende Ziele oder komplizierte Spärlichkeit können ebenso behandelt werden wie das Ziel/Spezifikationslimit-Ziel.
Wie werden lokale Min/Max-Probleme behandelt?
- Antwort: Vergleichen Sie es ein wenig mit Newton, das könnte passieren, aber wenn Sie nicht zufrieden sind, können Sie problemlos andere Bereiche erkunden, z. B. mit hoher Varianz.
Kann ich kategorische Antworten/Faktoren verwenden? (ein weiterer „exotischer“ Fall)
- Antwort: Ja, aber die Korrelation basiert nicht auf der Entfernung wie bei kontinuierlichen Antworten
Was ist, wenn ich weiß, dass die Antwort sehr laut sein wird? Wie gehe ich hier damit um? (ein weiterer „exotischer“ Fall)
- Antwort: Sie müssen Strategien entwickeln: Führen Sie zunächst eine MSA durch, um die Varianz zu ermitteln, und verwenden Sie Replikate, um die Variabilität zu mitteln
Kann ich neue Faktoren hinzufügen? (ein weiterer „exotischer“ Fall)
- Antworten Sie mit Ja, auch mitten im Projekt
Anwendungsfälle:
- Chris G.: Formulierungen und Mischungen sind der Anwendungsfall Nummer eins, da alle Störfaktoren und Einschränkungen kein Problem mehr darstellen. Denn es ist entfernungs- und nicht entwurfsraumabhängig! Inflationsfaktoren spielen überhaupt keine Rolle.
- Kunden erwähnten:
- PID-Regler-Tuning: Ein Durchlauf dauert 15–30 Minuten, aber es ist mühsam, jedes Mal rein und raus zu gehen, daher sind Batch-Läufe für sie sehr wichtig (im Vergleich zu einfachen Bayes-Opt-Lösungen mit nur dem nächsten Durchlauf).
- Hyperparameter-Training und -Modellierung
- GMP-Umgebung, in der Sie nicht zu stark variieren können und z. B. auf 2 Chargen beschränkt sind, die überhaupt ausgeführt werden können
- Kann in der Forschung (Pharma) große Wirkung haben, möglicherweise weniger beispielsweise in der Prozesscharakterisierung
- Überzeugen Sie Ihre Kollegen, DOE zu verwenden, da es einfacher ist und Sie die Schwierigkeiten überwinden können, die sie haben, wenn sie sagen, dass so viele Läufe nicht möglich sind.
Vorschläge: @chris_gotwalt1 @DanielValente
- P&G/BASF: Es wäre toll, wenn man die Möglichkeit hätte, Vorabinformationen hinzuzufügen (z. B. aus bekannten chemischen Reaktionen/Formeln oder dass man sicher weiß, dass es sich um ein lineares Modell handelt), um die Wunschkurve zu beeinflussen.
Allgemeine Zusammenfassung:
- Großes Interesse
- Unsere Plattform scheint gut in die Landschaft zwischen Bofire (für Python-Programmierer) und selbst entwickelten Lösungen (sehr einfach für Geschäftsleute) zu passen.
- Es ist viel mehr, als die meisten Bayes-Optimierungstools leisten können – sprechen Sie über die „exotischen“ Bayes-Opt-Situationen
Weitere Kommentare:
- Wie gehe ich mit Fragen zur zugrunde liegenden Auswahl und Mathematik um?
- Die Leute wollen das und sehen, dass es vielen JMP-Benutzern hilft, und wollen es in JMP haben. Das ist ein wichtiger Grund, über den Wert zu sprechen, den sie erzielen könnten, wenn alle diese Benutzer dies verwenden würden, und eine ROI-Berechnung durchzuführen, um zu sehen, wie eine ELA/eine bestimmte Anzahl von Pro-Lizenzen im Vergleich abschneidet. Lassen Sie den Befürworter beispielsweise den Unterschied zwischen früheren Experimenten und dem, was passiert wäre, wenn wir nach dem ersten Experiment BO durchgeführt hätten, aufzeigen. Führte es zu einem anderen Weg/wurde die Antwort früher gefunden/wann waren wir in die falsche Richtung gegangen? Es geht darum, andere (dieselben Ingenieure, die die Experimente immer wieder durchführen) von ihren Annahmen zu überzeugen.
Betreff: Lernen Sie aus dem Feedback unseres JMP Pro-Workshops mit Chris G. in HeidelbergNoch ein Kommentar: Organisationen haben wahrscheinlich bereits eine Lösung im Einsatz, z. B. BoFire (Python-Paket) oder etwas Einfacheres. Die meisten von ihnen haben nicht alle exotischen Situationen in ihren Tools oder sind für Programmierer gedacht.
Wir sind da, um mit dem, was wir jetzt haben, einen großen Teil des Marktes zu erobern.
Betreff: Lernen Sie aus dem Feedback unseres JMP Pro-Workshops mit Chris G. in HeidelbergTolle Zusammenfassung des Feedbacks. Nur noch ein paar Fragen und Antworten, die mir aufgefallen sind.
Was ist, wenn der Tisch von woanders kommt?
- Antwort: Keine Sorge, Sie können alle Einschränkungen im Profiler hinzufügen
Ein Beispiel, das zeigt, wie sich der Profiler durch Läufe weiterentwickelt?
- Antwort: Ja, das wäre schön! Chris meinte, dass dies vielleicht in Zukunft hinzugefügt wird. In seiner Präsentation gelang es ihm, die Weiterentwicklung des Profilers manuell anhand mehrerer Folien zu zeigen, aber es war viel Arbeit.
Geben Sie beim Optimieren auch Gewichte an?
- Antwort: Ja, genau wie wir es im Profiler tun, können Sie sie im laufenden Betrieb ändern, und wenn Sie die Erwünschtheit ändern (z. B. Maximieren im Abriebfall), werden die Erwünschtheiten für die Bayes-Option automatisch angepasst.
Was ist, wenn die Bereiche nicht gut genug oder eng sind?
- Antwort: Sie können die Bereiche einfach im Profiler ändern und dann werden sie berücksichtigt
Können wir den Formel-/Vorhersageprofiler speichern?
- Antwort: Es gibt keinen direkten Weg, dies zu tun. Man muss zur Datentabelle zurückkehren und die Plattform „Gaußscher Prozess“ öffnen, wo man das Modell speichern kann (beachten Sie, dass dies eine andere Formel/ein anderes Modell ist als das, das von der Plattform „Bayesianische Optimierung“ erstellt wurde).
Betreff: Lernen Sie aus dem Feedback unseres JMP Pro-Workshops mit Chris G. in HeidelbergDanke fürs Teilen, Martin. Haben Sie eine Idee zum Ablauf des Workshops? Haben Sie ein Beispiel gezeigt und das Publikum dann ein Beispiel mit Ihnen durcharbeiten lassen? Sollten wir Ihrer Meinung nach eines der Beispiele ergänzen oder ändern, um vier Durchläufe gleichzeitig statt nur einem durchzuführen?
Betreff: Lernen Sie aus dem Feedback unseres JMP Pro-Workshops mit Chris G. in HeidelbergVielen Dank an alle für die Einblicke in die Diskussionen rund um BayesOpt. Ich teile die Meinung einiger Teilnehmer des Londoner Workshops: „Viele Wissenschaftler möchten die Bayessche Optimierung ausprobieren, aber ich befürchte, dass sie bei der Anwendung der Methode etwas falsch machen.“ Das hat mich zu der Frage veranlasst, ob einige unserer fortgeschrittenen Nutzer statistische Gatekeeper sind und die Nutzung durch Mainstream-Nutzer verhindern könnten.
Perfektion ist ein edles und schwer zu erreichendes Ziel. Wissenschaftlern und Ingenieuren dabei zu helfen, auf Versuch und Irrtum zu verzichten, ist das erstrebenswerte Ergebnis. Wissenschaftlern und Ingenieuren zu helfen, erfüllendere Arbeit zu leisten und vorhersehbarere und oft bessere Geschäftsergebnisse zu erzielen (als mit Versuch und Irrtum). Wäre es möglich, unsere statistischen Gatekeeper zu ermutigen, sich weniger auf die Perfektion bei der Anwendung statistischer Experimentiermethoden zu konzentrieren, sondern Wissenschaftler und Ingenieure mehr auf die Unterstützung ihrer Weiterentwicklung und auf eine Weise, die für alle funktioniert. Im Zuge dieser Weiterentwicklung könnten Wissenschaftler und Ingenieure feststellen, dass sie sowohl DoE als auch BayesOpt benötigen, aber der Ausgangspunkt sollte bei ihnen und ihrem Vorgesetzten liegen.
Bitte achten Sie auf den statistischen Gatekeeper. Versuchen Sie, ihn über die Herausforderung nachzudenken, Wissenschaftler und Ingenieure dabei zu unterstützen, ihre experimentellen Ansätze so weiterzuentwickeln, dass sie für Wissenschaftler oder Ingenieure am attraktivsten sind. Wenn der statistische Gatekeeper sich nicht weiterentwickeln möchte, müssen wir vielleicht andere Kaufbeeinflusser finden, die dringend von Versuch und Irrtum abweichen müssen. Finden Sie einen Weg, an Dynamik zu gewinnen, während die Bayessche Optimierung in der wissenschaftlichen Gemeinschaft für Aufsehen sorgt.
Betreff: Lernen Sie aus dem Feedback unseres JMP Pro-Workshops mit Chris G. in Heidelberg@malcolm_moore1 – Interessant, dass Sie das ansprechen. Einige meiner Accounts enthalten solche Leute. Einige von uns an der Ostküste positionieren BayesOpt als ein Werkzeug, das am besten von KMUs genutzt wird, die die Experimente durchführen – und zwar direkt bei den KMUs –, anstatt es als Technik für die Statistikteams zu bewerben. Der Gedanke dahinter ist, dass es mögliche neue Experimente anregt, die KMUs helfen, die multidimensionale Natur von Fertigungsdaten zu meistern. Es scheint auch sehr gut mit etwas wie einem DSD als Seed-Set zu funktionieren – was auf eine hybride DOE-Strategie hindeutet, die für Fertigungsteams gut geeignet sein könnte. Dabei werden (größtenteils) automatisierte Techniken in JMP verwendet.
Betreff: Lernen Sie aus dem Feedback unseres JMP Pro-Workshops mit Chris G. in Heidelberg@MikeD_Anderson , es erscheint mir sehr sinnvoll, sich auf die KMU zu konzentrieren, wenn wir auf Widerstand seitens der statistischen Gatekeeper stoßen, die eher in den größeren Unternehmen angesiedelt sind. Bitte lassen Sie uns wissen, wie es mit der Einführung von BayesOpt bei den KMU läuft.
Geben Sie die größeren Unternehmen vielleicht nicht auf, bevor Sie nicht versucht haben, die Kaufbeeinflusser zu finden, die BayesOpt wirklich brauchen und mit einer schrittweisen Verbesserung im Vergleich zu ihrem Leben vor BayesOpt zufrieden sind.
Betreff: Lernen Sie aus dem Feedback unseres JMP Pro-Workshops mit Chris G. in HeidelbergHallo Pete,
Der Ablauf des Arbeitsablaufs war: Chris erzählte etwas über Bayes-Optik im Allgemeinen, erstes Beispiel, Mittagessen, Chris erläuterte es ausführlicher, zweites Beispiel praktisch, drittes Beispiel kurz, Zusammenfassung.
Ich denke, das erste (einfache) Beispiel ist für die meisten ein guter Einstieg. Der zweite Fall, an dem sie arbeiten, ist praxisorientierter und kam laut Feedback für die Mehrheit gut an. Ich glaube nicht, dass es wirklich notwendig ist, den Anwendungsfall anzupassen, solange man die Option erwähnt. Chris hat diesen Teil auch in einigen Folien gezeigt, also ist er abgedeckt.
Für unsere SE-Demos/Inspires wäre es jedoch gut, den Batch-Anwendungsfall als umfassendes Beispiel zur Verfügung zu haben.
Trotzdem bin ich der Meinung, dass wir nur einen sehr kurzen Pitch auf der Plattform zeigen und mehr über die potenziellen Anwendungsfälle der Kunden sprechen/diskutieren sollten, um diese anzuwenden. Hauptsächlich in die Richtung, die bereits von Malcolm und Mike erwähnt wurde.
Betreff: Lernen Sie aus dem Feedback unseres JMP Pro-Workshops mit Chris G. in Heidelberg@malcolm_moore1 – Das fand ich auch interessant. Ich vermute, dass diese Gatekeeper auch befürchten, dass ihre DOE-Expertise überflüssig werden könnte. Ich habe gehört, dass es bereits Versuche mit Bayesscher Optimierung gibt, allerdings mit verschiedenen Open-Source-Programmen, was den Gatekeeper sehr beunruhigt. Vorausgesetzt, wir haben Vertrauen und Glaubwürdigkeit beim Gatekeeper aufgebaut, sollte die Aktivierung von BayesOpt in JMP Pro eine attraktivere Lösung sein.
Was würden Sie bevorzugen:
- Möchten Sie Ihren Kollegen dabei helfen, die Möglichkeiten dieses spannenden neuen Ansatzes in JMP Pro zu erkunden?
- Lassen Sie Ihre Kollegen in Python allein mit der Bayesschen Optimierung herumspielen?
Ich stimme zu, dass es in anderen Fällen das Richtige ist, nach Wegen zu suchen, den Gatekeeper zu umgehen.
Betreff: Lernen Sie aus dem Feedback unseres JMP Pro-Workshops mit Chris G. in HeidelbergSchön zu sehen, wie BayesOpt so erfolgreich wird! Falls jemand an einer einfachen Demo zur Hyperparameteroptimierung interessiert ist:
1. Führen Sie XGBoost mit aktivierter Autotune-Option aus.
2. Unten in der Ausgabe befindet sich eine Tabelle mit Statistiken zu jedem Lauf. Klicken Sie mit der rechten Maustaste und wählen Sie „In Datentabelle erstellen“.
3. Führen Sie BayesOpt auf dieser Tabelle aus, um die nächstbesten Kandidaten-Hyperparameter zu bestimmen.
4. Laden Sie diese manuell zurück in XGBoost oder verwenden Sie die Option „Designtabelle“ unter „Erweitert“.
Betreff: Lernen Sie aus dem Feedback unseres JMP Pro-Workshops mit Chris G. in HeidelbergDanke @malcolm_moore1 . Das ist etwas, was mir in den letzten Wochen schon öfter begegnet ist. Ich habe zwei Gründe dafür gefunden (beide mit dem gleichen „Gatekeeping“-Ergebnis):
1. Angst vor Kontroll-/Machtverlust (weil es sich derzeit um ihr Fachgebiet handelt usw.)
2. Sie befürchten, dass die Leute zufällige Experimente anstelle von DOE durchführen (sie haben gepredigt, dass die Leute DOE anstelle von OFAT usw. durchführen sollten).
Dabei handelte es sich um zwei verschiedene Persönlichkeiten, doch beide Typen waren mehr oder weniger gegen eine breitere Verwendung von BO.
In beiden Fällen sagten mir Benutzer: „Oh, eigentlich ist das (iterativ, kleine Versuchsreihen) genau die Art und Weise, wie wir vorgehen und unsere Experimente durchführen – wir sollten BO verwenden.“
Der zweiten Gruppe von „Torwächtern“ können wir die Entscheidung erleichtern, indem wir ihnen vermitteln, dass BO tatsächlich eine einfache Möglichkeit ist, Menschen an datenbasierte Entscheidungen heranzuführen. Denn ohne viel Wissen führen sie mit BO im Grunde DOE durch (ohne es zu wissen). Demo-BO mit einer Faktorentabelle als Ausgangspunkt (2-3 Durchläufe). Das hilft ihnen tatsächlich bei ihrer Mission, mehr Menschen dazu zu bringen, DOE oder, wie ich es nennen würde, intelligente Experimentiermethoden zu nutzen.
Für die erste Gruppe ist es wahrscheinlich am besten, jemand anderen zum Reden zu finden.;)
Betreff: Lernen Sie aus dem Feedback unseres JMP Pro-Workshops mit Chris G. in HeidelbergTolle Einsicht, Florian. Für das vierte Quartal schlage ich vor, dass wir uns auf die potenziellen Nutzer von BayesOpt konzentrieren, die motiviert sind und dringend Veränderungen wollen. Nutzen Sie diese Möglichkeiten und unterstützen Sie sie dann dabei, Erfolge zu demonstrieren.
Wenn wir mehr Zeit haben (nächstes Jahr), können wir vielleicht die persönlichen Erfolge der „Gatekeeper“ untersuchen. Ich höre von Personalabbau in einigen Statistikteams unserer größeren Kunden. Vor diesem Hintergrund ist eine Idee, die wir mit den „Gatekeepern“ erörtern könnten, wie BayesOpt dem Statistikteam hilft, Wissenschaftlern und Ingenieuren zu ermöglichen, einen größeren organisatorischen Mehrwert zu schaffen und ihrem Unternehmen zu helfen, den Wertbeitrag des Statistikteams zu verstehen. Jetzt etwas zu tun, das die Ergebnisse verbessert, ist besser, als nach Perfektion zu streben (was selten geschieht).
Betreff: Feedback aus unserem JMP Pro Workshop mit Chris G. in HeidelbergHallo,
Nach Gesprächen mit dem oberen Management (Leiter MSAT, Standortleiter usw.) kristallisierte sich ein wichtiger Anwendungsfall heraus, der großen Anklang fand: die Zusammenarbeit mit Kunden, die bei der Entwicklung/dem Betrieb eines Prozesses kein vollständiges Experiment durchführen möchten. In all meinen Meetings stellten sie viele Fragen und nickten zustimmend, als ich fragte, ob ihnen das im Vergleich zu ihrer aktuellen Vorgehensweise helfen würde.
Ich dachte, es könnte für euch alle von Interesse sein.;)
