Zahlreiche Studien belegen die Wirksamkeit verschiedener Strategien zur Prozessoptimierung. Üblicherweise werden dabei die „One Factor at a Time“-Experimente (OFAT) mit einem Versuchsplanungsansatz verglichen. Bei unbekannten, hochdimensionalen Prozessräumen (z. B. > 10 Faktoren) greifen Forschende häufig auf OFAT-Methoden zurück, da diese leicht zu interpretieren sind. Die Durchführung mehrerer Experimente mit demselben Ziel, nur um die beste Strategie zu ermitteln, wäre jedoch mit hohen Kosten und logistischen Herausforderungen verbunden. Um diese Probleme zu umgehen, nutzten wir einen PCR-Simulator mit 12 unbekannten kontinuierlichen und kategorialen Faktoren, um diese Fragestellungen zu untersuchen.
Unser Team verfügt über jahrzehntelange Erfahrung in der Prozessoptimierung der Elektronikmaterialindustrie (ehemalige Mitarbeiter von Apple u. a.). Wir suchten gezielt nach einem Simulator aus einem uns völlig unbekannten Forschungsgebiet, der eine Vielzahl von Faktoren und deren komplexe Wechselwirkungen auf verschiedene Zielgrößen simulieren kann. Zur Automatisierung der Experimente verwendeten wir ein Python-Webautomatisierungsskript. Mithilfe des Simulators und unseres Skripts können wir zahlreiche Experimente durchführen und dabei reale Rahmenbedingungen und Budgets aus unserer beruflichen Praxis simulieren. Unter Einhaltung der Budgetvorgaben vergleichen wir die Effizienz und Genauigkeit von vier Strategien: zwei in der Industrie gängige OFAT-Strategien sowie zwei Strategien aus dem DOE- und Advanced-DOE-Bereich. Alle experimentellen Analysen und Modellierungen werden mit JMP durchgeführt, um die Strategien objektiv zu vergleichen.
Hallo und herzlich willkommen zu diesem Webinar zum Thema „Vergleich von Optimierungsstrategien und komplexen, mehrdimensionalen Prozessen“. Mein Name ist Asit Rairkar, und mein Kollege ist Jeffrey Kelly. Das Webinar findet im Rahmen der JMP Discovery USA Konferenz im Oktober 2024 statt. Hier ist die Gliederung unseres Vortrags: Wir stellen uns vor, erläutern unsere Motivation und unseren Arbeitsansatz, geben einen kurzen Überblick über die Methodik und den Hintergrund der vier von uns gewählten Ansätze zur Prozessoptimierung, präsentieren unsere Ergebnisse und diskutieren diese. Wir geben Anregungen für zukünftige Arbeiten und laden Sie herzlich ein, mit uns darüber zu diskutieren, wie wir dieses Thema weiter vertiefen können.
Mein Name ist Asit Rairkar. Ich bin Präsident von Samaasa Consulting, einem JMP-Partnerunternehmen für Schulungen und Beratung in JMP und Prozessoptimierung. Fast zwei Jahrzehnte lang war ich im Silicon Valley bei Apple tätig. Ich hatte Führungspositionen bei Apple, Applied Materials, dem Solar-Startup Miasolé und Novellus inne, die später von LAM Research übernommen wurden. Meine Tätigkeitsschwerpunkte lagen in der Prozess- und Produktentwicklung von Batterien, Photovoltaik und Halbleitern, hauptsächlich im Bereich Dünnschichten und insbesondere elektronischer Materialien. Seit über 20 Jahren bin ich ein begeisterter Verfechter von JMP und dem US-Energieministerium (DOE). Meine Leidenschaft für das DOE begann mit Kursen bei Dr. Montgomery, dem Autor des Standardwerks, an der Arizona State University, wo ich promovierte. Wir freuen uns über Ihre Kontaktaufnahme. Unsere LinkedIn-Profile finden Sie hier, und meine E-Mail-Adresse lautet asit@samaasa.com. Wir würden uns sehr über Ihre Kritikpunkte, Kommentare, Vorschläge, Verbesserungsvorschläge oder einfach Diskussionen zu diesem Thema oder zu allem anderen, was Sie gerne mit uns besprechen möchten, freuen.
Damit übergebe ich das Wort an Jeff, der sich selbst vorstellt.
Mein Name ist Jeff Kelly. Ich bin Verfahrenstechniker und spezialisiert auf Batterien und Halbleiter, insbesondere Dünnschichtprozesse. Ich habe bei Switchback Systems, Apple, einem kleinen Batteriehersteller namens IPS und Micron Technologies in Boise, Idaho, gearbeitet, wo ich meine Karriere in der Halbleiterindustrie begann. Dort habe ich auch angefangen, JMP für Versuchsplanungen und andere Analysen zu nutzen. Ich arbeite seit etwa 20 Jahren mit JMP. Meine erste Lizenz war, glaube ich, für JMP 4. Zurück zu Asit, um mit dem Vortrag zu beginnen.
Vielen Dank. Wir arbeiten zusammen bei Apple und kennen uns seit zehn Jahren. Ich habe schon oft zu ähnlichen und anderen Themen zusammengearbeitet und mich mit ihm ausgetauscht. Wir freuen uns sehr, dass wir dieses Projekt wieder gemeinsam angehen.
Die Motivation für unseren Vortrag ist ganz einfach. Es handelt sich um ein häufig diskutiertes Thema, doch immer wieder treffen wir auf Kunden und Teams in großen wie kleinen Unternehmen, die weiterhin Experimente mit jeweils nur einem Faktor durchführen möchten. Dies gilt insbesondere bei einer Vielzahl von Faktoren und komplexen Prozessräumen, da die schrittweise Untersuchung eines einzelnen Faktors die Erklärung und Durchführung deutlich vereinfacht. Hinzu kommt, dass der Vergleich von OFAT und DOE stets anhand einer kleinen Faktorenmenge durchgeführt oder präsentiert wird. Für eine große Faktorenmenge ist dieser Vergleich sehr schwierig. Außerdem werden nur wenige verschiedene Varianten von OFAT und DOE untersucht. Und schließlich ist die wichtigste Motivation, dass ich diesen Vergleich schon immer in meiner gesamten Karriere durchführen wollte. Aber wie Sie sich vorstellen können: Hätte ich ein Führungsteam in einem meiner Unternehmen gefragt, ob es das Vierfache an Budget für vier verschiedene Lösungsansätze für dasselbe Problem – rein zu akademischen Zwecken – zur Verfügung stellen könnte, hätte uns niemand dieses Budget bewilligt.
Wir wollten OFAT unbedingt objektiv mit modernen Versuchsplanungsverfahren vergleichen, insbesondere bei komplexen, nicht-monotonen Prozessen, wie sie in der Abbildung rechts dargestellt sind und viele komplexe Maxima und Minima aufweisen. Wenn Fachexperten den Prozessverlauf so beschreiben, sind Ingenieure und Wissenschaftler gegenüber Versuchsplanungsverfahren skeptisch und beschränken sich auf Experimente mit jeweils nur einem Faktor. Das ist unsere Motivation. Damit übergebe ich wieder an Jeff, der unseren Ansatz und unsere OFAT-Methoden erläutern wird, und anschließend übernehme ich die Durchführung von Versuchsplanungsverfahren. Vielen Dank.
Da die Durchführung in der Realität zu kostspielig gewesen wäre, benötigten wir einen Simulator und fanden schließlich diesen PCR-Simulator online. Er ist webbasiert und ermöglichte uns den Vergleich der vier Strategien, die wir für die Versuchsplanung (DOE) verwendeten. Er verarbeitet elf kontinuierliche Variablen und einen kategorialen Faktor. Entschuldigung, elf kontinuierliche Faktoren und einen kategorialen Faktor, und liefert dann zwei kontinuierliche Zielgrößen. Für uns ist das eine absolute Blackbox. Wir sind keine PCR-Experten, kennen die Technologie nicht und verstehen auch die zugrundeliegende Chemie nicht im Detail. Der Simulator bot uns die Möglichkeit, bei der Versuchsplanung diszipliniert vorzugehen und die Zahlen nicht zu verändern, während wir sie eingaben, um die gewünschten Ergebnisse zu erzielen. Zusätzlich kodierten wir die Eingaben und Ausgaben. Die Analyse in JMP war etwas weniger transparent und lieferte uns die Ergebnisse, die wir für den Vergleich der verschiedenen DOE-Strategien benötigten. Es ist von Vorteil, wenn man sich mit solchen Dingen beschäftigt, insbesondere wenn man dies in der realen Welt tut, über Fachwissen in den Bereichen verfügt, in denen man Tests durchführen möchte.
Es bietet viele Möglichkeiten zur Anleitung und Versuchsplanung und hilft Ihnen, bessere Entscheidungen zu treffen. In diesem Fall bot es meiner Meinung nach aber einen guten Vergleich. Nächste Folie.
Wir wollten festhalten, wie sich dies in der realen Welt widerspiegelt und inwiefern unser Simulator dies entweder abbildet oder ihm widerspricht. Einer der Hauptgründe für die Wahl eines Simulators ist das begrenzte Versuchsbudget, das wir in der Praxis beobachten. Würde man ein vollständiges faktorielles Design mit 12 Faktoren wie in unserem Simulator durchführen, wären über 4.000 Läufe nötig. Selbst mit dem Simulator wäre dies mit Automatisierung schwierig umzusetzen und würde sehr lange dauern. Daher beschränkten wir unsere experimentelle Umsetzung auf 30 Läufe pro Versuchsdesigntyp. Dies entspricht dem Budget in der Praxis. Ein weiteres reales Szenario ist, dass kategoriale Faktoren von Ingenieuren im Prozessbereich manchmal vermieden oder im Vorfeld festgelegt werden. Beispielsweise wählt man einen Hersteller einer Chemikalie aus, bevor man die Optimierung für diese Chemikalie durchführt. Manche vermeiden diese Vorgehensweise, da sie Versuchsdesigns in vielerlei Hinsicht verkompliziert. Daher wählten wir für unsere OFAT-Designs die Faktoren einzeln aus und führten die entsprechenden Berechnungen im Vorfeld durch.
Ein weiterer Aspekt des OFAT-Designs ist die willkürliche Reihenfolge der Eingangsparameter. Daher haben wir uns für den kategorischen Faktor entschieden. In der Praxis gibt es jedoch auch Faktorbeschränkungen. Diese sind in den Prozess, die Ausrüstung, die Substrate, die Gefäßgröße usw. integriert. In unserem Simulator werden diese Beschränkungen vom Simulator selbst vorgegeben. Sie hängen vom Volumen der in der PCR enthaltenen Chemikalien ab. Durch Experimente konnten wir die Gleichung für die Faktorbeschränkung ermitteln. Dies schränkte den Bereich der verwendbaren Parameter bzw. der Eingangsparameter ein.
Ein Problem, auf das wir in der Praxis immer wieder stoßen, ist das Verhältnis von Experimentierzeit zu Messzeit. Je nach Prioritäten des Labors, an das wir die Daten senden, kann die Durchführung eines Experiments eine Stunde oder einen Tag dauern, während die Messdatenerhebung bis zu einer Woche in Anspruch nehmen kann. Mit dem Simulator ändert sich das. Er liefert uns sofort Ergebnisse, und wir können diese Daten anschließend nahezu umgehend in JMP analysieren. Dadurch wird der Prozess deutlich beschleunigt. Es kann aber auch umgekehrt sein; all diese Faktoren haben wir berücksichtigt.
Fehlgeschlagene Durchläufe. In der Praxis kommt es immer wieder zu Fehlschlägen und verpassten Durchläufen. Das kann an Stromausfällen oder Geräteausfällen liegen. Techniker können im Urlaub Fehler machen – in der Praxis ist alles möglich. In diesem Fall konnten wir die verpassten Experimente mithilfe von Automatisierung kompensieren. Darauf gehen wir im nächsten Punkt genauer ein, wo wir die Rezeptverwaltung beschrieben haben. In der Praxis steht Ihnen die Rezeptverwaltung möglicherweise nicht zur Verfügung. Idealerweise hätten Sie ein System, in dem Sie Werte eingeben können, die dann direkt auf die Maschine übertragen werden und Ihre Experimente exakt nach Programmierung ausführen. Wir konnten dies mithilfe eines Python-Skripts und der Plattform Selenium emulieren und alle Eingaben automatisieren. Dies entspricht unserer Rezeptverwaltung. In der Praxis können auch extreme Einstellungen die Geräteleistung beeinträchtigen. So etwas wie bei einem Netzteil für ein Spotter-System: Wenn man mit der höchsten und niedrigsten Einstellung arbeitet, verfälscht das die Ergebnisse.
Sie werden keine guten Ergebnisse erzielen. Wenn Sie Tests an solchen und vielen anderen Systemen durchführen, vermeiden Sie die oberen und unteren Grenzwerte Ihrer Prozessanlagen. Auch in unserem Simulationssystem haben wir dies vermieden; die entsprechenden Grenzwerte sind aus ähnlichen Gründen in den Folien im Anhang aufgeführt.
Dann noch das Problem des Rauschens in der realen Welt. Alles Mögliche kann Rauschen in jedes Prozesssystem einbringen – Mensch, Maschine, Methode usw. Sogar der Simulator selbst erzeugt eingebautes Rauschen. Innerhalb der Programmierung stellten wir fest, dass selbst bei gleichen Eingangsparametern nur ein geringer Anteil des Rauschens als Ausgangssignal auftritt. Das konnten wir selbst erleben. Nächste Folie.
Wir verwendeten vier verschiedene Versuchsdesigns. Das erste, OFAT2, ist ein sequenzielles Design, bei dem jeweils ein Faktor variiert wird. Wir testeten verschiedene Einstellungen und änderten diese nacheinander. Das zweite Design, OFAT2, ist ebenfalls ein sequenzielles Design, bei dem jeweils ein Faktor variiert wird. Wir gruppierten die Faktorkombinationen und optimierten sie am Ende mit einer neuen Basislinie. DSD steht für definitives Screening-Design und raumfüllendes Design.
Wir werden OFAT1 behandeln und darauf etwas genauer eingehen. Wie bereits erwähnt, optimieren wir jeweils einen Parameter und setzen ihn für die jeweilige Einstellung auf das Optimum. Diese Strategie setzen wir dann fort. Rechts sehen Sie eine Tabelle. Es handelt sich um ein hypothetisches Experiment. Die Ergebnisse sind nicht real, sondern rein hypothetisch. Im ersten Durchlauf betrachten wir X4. Wir vergleichen L1 mit L2 und stellen fest, dass L1 einen höheren Wert hat. Wir optimieren für Y. Diesen L1-Wert übertragen wir auf den Vergleich von X1 plus und minus und erhalten die optimale Einstellung 110. Diese Einstellung bleibt also für X1 positiv und für X4 L1. Nun betrachten wir X2 und vergleichen die Einstellungen plus und minus. Interessanterweise war die optimale Einstellung für X2 die Null-Einstellung, die wir bereits im vorherigen Vergleich verwendet haben – also 110.
Wir setzen X2 auf 0 und vergleichen die positiven und negativen Werte von X3. Der optimale negative Wert für X3 beträgt 115. Wir setzen alle Werte für einen neuen Basislinien-Verifizierungslauf auf 0 und erhalten einen Ausgabewert von 120, was unser oberes Optimum für diese Laufserie darstellt.
Wir fahren mit OFAT 2 fort. Auch hier gehen wir ähnlich vor, indem wir jeweils einen Faktor bearbeiten, diese aber gruppieren. Wir optimieren die Faktoren nacheinander um einen zentralen Basiswert und setzen die Faktoren einer Untergruppe auf ihren optimalen Wert, um eine neue Basislinie zu erstellen. Dieselbe Strategie setzen wir mit den anderen Gruppen in den nächsten Untergruppen fort. Wie bereits erwähnt, handelt es sich bei dem Diagramm rechts um ein weiteres hypothetisches Experiment. In der ersten Gruppe betrachten wir X1 und X4. Wir beginnen mit X4. L1 und L2 werden als kategoriale Faktoren für X4 betrachtet. Wir ermitteln einen Maximalwert von 105, setzen diesen dann auf unsere Basislinie für den Vergleich von Plus und Minus von X1 zurück und ermitteln den Minuswert als optimal. Diese neue Basislinie legen wir anhand des Minuswerts und L2 für X1 und X4 fest. Wir testen dies und erhalten einen Wert von 108. Das ist unsere neue Basislinie. Anschließend fahren wir mit dem Test für die nächste Untergruppe fort und vergleichen X2 Plus und Minus.
Wir erhalten einen optimalen Höchstwert von 115. Nach dem Zurücksetzen auf die Basiswerte führen wir X3 als Vergleich zwischen Plus und Minus durch und erhalten einen Höchstwert von 114. Aktuell sind X2 und X3 positiv und stellen unsere optimalen Werte für jeden dieser Faktoren dar. Diese Werte übernehmen wir als neue Basiswerte, unsere optimalen und bevorzugten Einstellungen für alle Faktoren: Minus-Plus-Plus-L2 mit einem Höchstwert von 125 für die Ausgabe. Anschließend, wie bereits erwähnt, werden Sie sich mit dem Bildschirmdesign und SFD befassen.
Danke, Jeff. Das waren unsere Ansätze zur Untersuchung jeweils eines Faktors, wie wir sie beide in unserer beruflichen Laufbahn kennengelernt und bei anderen Gruppen beobachtet haben. Wir verwendeten auch moderne Versuchsplanungen (DOEs). Wir verfolgten zwei Ansätze: das definitive Screening-Design … Das definitive Screening-Design ist eine Weiterentwicklung der gesättigten Versuchsplanungen und wurde 2011 von Bradley Jones von SAS, der Muttergesellschaft von JMP, eingeführt. Es ist im Vergleich zu klassischen gesättigten Versuchsplanungen wie dem Plackett-Burman-Design sehr leistungsfähig, da es relativ schlank ist. Es ist besonders vielseitig bei einer großen Anzahl von Faktoren und gemischten Faktoren, sowohl kontinuierlichen als auch kategorialen. Sein größter Vorteil ist, dass es Haupteffekte ohne Störfaktoren extrahieren kann und auch das Potenzial besitzt, Zwei-Faktor-Interaktionen und Krümmungen zweiter Ordnung selbst mit einem geringen Versuchsbudget zu erfassen. Besonders effektiv ist es in Kombination mit Fachwissen, da man so weiß, welche Faktoren quadratische oder Zwei-Faktor-Interaktionen aufweisen und diese priorisieren kann. Sie eignen sich auch für sequentielle Experimente, bei denen man zunächst nicht signifikante Faktoren auslesen und dann weitere Experimente durchführen kann, um den Prozess immer weiter zu optimieren.
Wir haben auch mit raumfüllenden Designs experimentiert, die ebenfalls zu den neueren Designs gehören. Wichtig zu wissen: Dieser Vortrag dauert nur 30 Minuten, daher können wir nicht detailliert auf die Einrichtung und Funktionsweise von DSD- und SFD-Designs eingehen und auch keine tiefgehende Analyse durchführen. Wir haben eine Demo aufgezeichnet, die auf unserer Website verfügbar ist. Darin wird die Einrichtung der Designs und die Durchführung des Experiments mit dem virtuellen PCR-Simulator erklärt. Wir haben unsere Daten erhoben und analysiert. Auf community.jmp.com finden Sie außerdem zahlreiche Informationen und Videos zur Funktionsweise von DSDs und SFDs. Bei Fragen zur Funktionsweise dieser Designs oder wenn Sie einfach nur diskutieren, Kritik üben oder Feedback geben möchten, schreiben Sie uns bitte. Wir freuen uns auf den Austausch. Die Demos für DSD und SFD finden Sie auf unserer Website unter diesem Link. Bei raumfüllenden Designs handelt es sich um eine spezielle Kategorie von Designs, bei denen der Computer-Algorithmus im Grunde Punkte im 12-Faktoren-Hyperparameterraum erzeugt, und die Punkte werden pseudozufällig so verteilt, dass jeder Punkt so weit wie möglich von anderen Punkten entfernt ist, sodass der gesamte Raum ausgefüllt wird.
Sie sind etwas kompliziert zu erklären und zu verstehen, weshalb die meisten Menschen raumfüllende Versuchspläne meiden. In Kombination mit modernen Analysemethoden und Modellierungstechniken, neuronalen Netzen und maschinellem Lernen sind sie jedoch äußerst leistungsstark. Der einzige Nachteil raumfüllender Versuchspläne besteht darin, dass sie ohne eine Rezeptmanagement-Software extrem kompliziert durchzuführen sind. Wenn beispielsweise das Versuchsplanungsteam und das Versuchsdurchführungsteam nicht identisch sind, kann die unübersichtliche Matrix der Versuchspunkte zu Verwirrung führen. Es könnten falsche Werte eingegeben oder vergessen werden, Werte aus den vorherigen Faktorkombinationen des vorherigen Versuchslaufs zu löschen. Diese Werte werden dann übernommen, und es entstehen Versuche, die nicht in der Versuchsmatrix vorgesehen sind. Daher ist die Verwendung einer Rezeptmanagement-Software bei raumfüllenden Versuchsplänen dringend zu empfehlen. Dies sind die beiden Arten von Versuchsplanungen (DOEs), die wir mit den beiden Arten von offenen Feldversuchen (OFATs) verglichen haben. Damit übergebe ich wieder an Jeff, der unsere Rohdaten erläutern wird. Hier sind die Rohdaten.
Ich glaube, jetzt werden die Ergebnisse interessant. Auf der rechten Seite, in der Grafik, vergleichen wir zwei OFATs (links, rot und blau) mit zwei moderneren DOE-Methoden (rechts, lila und grün). Auf der X-Achse (unten) sind die Durchlaufnummern und auf der Y-Achse die Zielwerte Y1 und Y2 abgetragen. Diese optimieren wir. Ein kurzer Blick darauf zeigt, dass die OFATs mit steigender Durchlaufnummer tendenziell zunehmen, da wir die optimierten Werte in den nächsten Durchlauf übernehmen. Wir sehen also diese Steigerung unseres Outputs bzw. unseres angestrebten Optimums. Im Vergleich dazu wirken die DOE-Methoden ziemlich chaotisch, und es sieht nicht so aus, als würden wir Fortschritte machen. Obwohl wir höhere Werte erzielt haben, scheint es, als würden wir hier nicht viel lernen.
Das ist der Fall, wenn ein Manager mitten im Experiment Ergebnisse sehen möchte, um Entscheidungen treffen zu können. Er wird mit dem Ergebnis des Versuchsdesigns (DOE) nicht zufrieden sein. Es wird ziemlich chaotisch wirken, während beim Optimierungsdesign (OFAT) – auch wenn wir nicht die optimalen Werte erreichen – Fortschritte erkennbar sind. Der größte Vorteil des DOE ist, dass es uns einen tiefen Einblick in die Prozessabläufe ermöglicht. Darauf basierend können wir ein Modell erstellen. Das bietet das Optimierungsdesign nicht; dort wird ein Optimum angestrebt und die Einstellungen festgelegt. Mit dem DOE erhält man ein Modell mit mathematischen Gleichungen. Man kann die gewünschten Werte eingeben, um ein Optimum zu entwerfen und den aktuellen Stand zu bestimmen. Es ermöglicht uns einen besseren Einblick in komplexere Prozessräume und ein tieferes Verständnis der tatsächlichen Vorgänge.
Damit kommen wir nun zu den Ergebnissen des DSD. Wir haben leider keine Zeit für eine vollständige Demo von DSD und SFD. Die Demo ist auf unserer Website aufgezeichnet und dort verlinkt. Wie Jeff bereits erwähnte, liegt der Vorteil von DOE und SFD darin, dass man mit dem DSD eine Modellgleichung für den gesamten Prozessraum erhält. Dadurch versteht man besser, wie der Prozess tatsächlich funktioniert. Das DSD-Design mit JMP bietet ein automatisiertes Analyseskript. Nach der Dateneingabe kann man das Skript einfach per Klick starten, wie in der Demo gezeigt. Im ersten Schritt werden alle nicht relevanten Haupteffekte des DSD ausgelesen. In diesem Fall sieht man, dass für Y1 die Effekte X1, X3 und X4 sowie einige weitere Effekte entfernt wurden, während für Y2 die Effekte X3 und X4 entfernt wurden.
Sie sehen auch, dass DSD Ihnen einen Profiler liefert, der einer Vorhersagegleichung ähnelt. Diese gibt eine Schätzung der Haupteffekte für Y1 sowie einiger Haupteffekte und quadratischer Effekte in bestimmten Faktoren, insbesondere X2, an. Sie erhalten eine Modellgleichung, genauer gesagt eine reduzierte Modellgleichung, die nicht signifikante Effekte ausblendet und eine Gleichung für die signifikanten Effekte und deren Haupteffekte, einige Zwei-Faktor-Wechselwirkungen und eine Krümmung zweiter Ordnung liefert. Diese können Sie dann zusammen mit den integrierten Optimierungsfunktionen verwenden, um die Optimierung zu maximieren. Dadurch werden Ihre vorhergesagten Ausgaben in Y1 und Y2 auf das gewünschte Niveau gebracht. In diesem Fall möchten wir Y1 und Y2 maximieren, wobei Y1 stärker gewichtet wird. Der DSD-Modellierer liefert Ihnen also eine Reihe von Faktoreinstellungen, die laut Modellgleichung die besten Ergebnisse in Y1 und Y2 liefern. Diese verwenden wir in der ersten Runde, um in den Simulator zurückzukehren und Validierungsexperimente durchzuführen. Darüber hinaus werden wir in zukünftigen Arbeiten auf sequenziellen Experimenten aufbauen und die Optimierung noch weiter vorantreiben.
Gleiches gilt für SFD. Wie bereits erwähnt, handelt es sich beim SFD um ein komplexes Design mit über den gesamten 12-Parameter-Hyperparameterraum verteilten Punkten. Auch hier bietet JMP ein integriertes Skript zur Modellanalyse. Die Demo ist auf unserer Website verfügbar. Sie können sich gerne ansehen, wie die Versuchsplanung (DOEs) aufgebaut, die Daten erhoben und analysiert wurden. Die Funktionsweise unserer DSDs und SFDs wird dabei nicht detailliert erläutert. Bei Fragen dazu kontaktieren Sie uns bitte. JMP stellt Ihnen ein integriertes Skript zur Verfügung. Führen Sie es aus, und das SFD-Gaußprozessmodell liefert Ihnen eine sehr komplexe, nicht-monotone Prozessprofiloberfläche in den 12 Parametern. Sie werden feststellen, dass einige Faktoren scheinbar keinen signifikanten Einfluss auf die Y1- und Y2-Antworten haben. SFD bietet Ihnen jedoch auch die Möglichkeit, ein nicht-monotones Vorhersageprofil zu erstellen und einige der Erhebungen und Senken zu erklären, die mit einfachen DSDs nicht erfasst werden können. Das SFD-Modell ist tendenziell eher prädiktiv als erklärend, da es nicht viel Wert darauf legt, was Haupteffekte oder quadratische Effekte sind.
Es liefert Ihnen eine Vorhersagegleichung mit insgesamt 12 Parametern, die Sie mithilfe der in JMP integrierten Optimierungsfunktionen maximieren können. Dadurch erhalten Sie eine Einstellung – eine Kombination von X1 bis X12 –, die laut Modellgleichung das beste Ergebnis für Y1 und Y2 liefert. Wir verwenden diese faktorisierten Gleichungen, geben sie in den Simulator oder Ihre Versuchsanlage ein und führen Validierungsläufe durch. Anschließend vergleichen wir die Ergebnisse mit dem Versuchsplan (DOE) und untereinander bzw. mit dem OFAT-Modell und untereinander.
Genau das haben wir getan. Wir haben vier Ansätze verfolgt und drei Validierungsläufe für die finalen, vorhergesagten OFAT-Ergebnisse bzw. die prognostizierten optimalen Werte von Y1 und Y2 durchgeführt. Wie bereits erwähnt, haben wir Y1 vorläufig als etwas wichtiger als Y2 eingestuft. Man sieht, dass die beiden OFATs links Y1 nur auf einen Bereich von 100–250 und Y2 auf 97–98 maximieren können. Die DOEs hingegen erzielen ein besseres Prozessoptimum, das Y1 auf über 350 und Y2 auf nahezu 99 bringt. Man erkennt auch, dass die Ergebnisse eine gewisse Variabilität aufweisen. Dies ist eine bekannte Schlussfolgerung von DOE-Experten – auch wenn Befürworter immer wieder bezweifeln –, dass DOEs im Vergleich zu OFATs deutlich besser und effizienter bei der Prozessoptimierung sind, selbst bei vielen Einflussfaktoren und einem sehr komplexen Prozessraum.
Die drei Hauptvorteile von Versuchsplanungen (DOEs) sind: Erstens liefern sie eine Vorhersagegleichung oder ein Modell für den Prozessraum. In Kombination mit Fachwissen sind sie noch leistungsfähiger, da dieses Fachwissen die Versuchsplanung steuert und die Ergebnisse der DOEs genutzt werden können. Durch die Analyse der DOE-Ergebnisse und die Verknüpfung mit dem eigenen Fachwissen lässt sich die wissenschaftliche Aussagekraft der DOEs, die Funktionsweise des Prozesssystems und die Entwicklung besserer Experimente sowie weiterer Optimierungen besser verstehen. Zweitens eignen sich DOEs im Vergleich zu OFAT (Optimal Function Assessment) deutlich besser für zukünftige Experimente. Bei OFAT wird jeweils nur ein Faktor verändert, was zu schrittweisen Verbesserungen führt, die möglicherweise nicht die besten Ergebnisse liefern und kein umfassendes Verständnis des Prozessraums ermöglichen. Zusammenfassend lässt sich sagen, dass DOEs OFAT überlegen sind. Diese Erkenntnis ist insbesondere für die JMP-Community, vor allem für DOE-Experten und JMP-Befürworter, nicht neu.
Wir haben dies jedoch für ein komplexes 12-Faktoren-System getan, und zwar umfassend mit vier verschiedenen Ansätzen.
Ich bin sehr zufrieden mit diesen Ergebnissen und wir würden uns über weitere Gespräche freuen, die uns zu zukünftigen Projekten führen. Dies sind lediglich einige Vorschläge, aber wir freuen uns über Ihr Feedback. Bitte schreiben Sie uns, wenn Sie Kritik, Anmerkungen, Vorschläge oder Diskussionsbeiträge haben. Sollten wir diese Arbeit fortsetzen und die nötigen Kapazitäten haben, würden wir gerne unsere Versuchsbudgets erhöhen und weitere Durchläufe mit jeweils 30 Versuchen durchführen, wie wir es in unserer Unternehmensgeschichte üblicherweise gesehen haben. Wir würden außerdem die Faktoreinstellungen basierend auf den Prozessmodellen erweitern, die Versuchsdesigns verbessern und weitere Durchläufe einbeziehen, um bestimmte Wechselwirkungen zu entkoppeln und die Ergebnisse weiter zu optimieren. Wir würden weitere Analysemethoden anwenden. Wir könnten neuronale Netze, selbstvalidierende Ensemble-Modellierung und Bayes'sche Optimierung einsetzen, wobei uns letztere noch nicht so vertraut ist. Wir lernen also ständig dazu und möchten aus diesem Beispiel lernen. Wir möchten auch weitere Simulatoren entwickeln. Simulatoren bieten Lernenden einen großen Vorteil, da experimentelle Budgets nicht immer leicht zu beschaffen sind.
Abschließend möchten wir Python-Skripte direkt in JMP integrieren, damit Studierende und Lehrende Versuchsplanungen (DOEs) erstellen, diese in einer Simulation automatisieren, die Daten schnell abrufen und Optimierungsstrategien direkt analysieren und vergleichen können. Dies ist ein Punkt für zukünftige Gespräche. Wir freuen uns auf Ihre Rückmeldung. Kontaktieren Sie uns gerne über LinkedIn oder per E-Mail an asit@samaasa.com.
An dieser Stelle möchten wir uns ganz herzlich bei allen bedanken, die zu diesem Projekt beigetragen haben. Unser besonderer Dank gilt Phelan & Associates für die Entwicklung des virtuellen PCR-Simulators. Ihre Referenzen finden Sie in unserer Literaturliste. Wir haben versucht, sie zu kontaktieren, konnten sie aber leider nicht erreichen. Sollten sich Möglichkeiten für eine Zusammenarbeit ergeben, würden wir uns sehr freuen, davon zu hören. Vielen Dank an Jackie und Kirsten für die Ermöglichung dieser Aufzeichnung. Ein herzliches Dankeschön geht auch an die gesamte JMP-Community für die Organisation der JMP-Konferenz. Wir sind Ihnen unendlich dankbar. Vielen Dank!
