Die Versuchsplanung (Design of Experiments, DOE) ist eine statistische Methode, die die Durchführung von Experimenten steuert, diese analysiert, um die relevanten Variablen zu ermitteln, und den untersuchten Prozess oder das Phänomen optimiert. Der Einsatz von DOE in der Produktentwicklung kann zu Produkten führen, die einfacher und kostengünstiger herzustellen sind, eine höhere Leistung und Zuverlässigkeit aufweisen und kürzere Entwicklungszeiten erfordern.
Heutzutage wird maschinelles Lernen (ML) aufgrund der zunehmenden Verfügbarkeit großer und komplexer Datensätze häufig als Datenanalysewerkzeug eingesetzt. Allerdings können sich nicht alle Anwendungen Big Data leisten. Beispielsweise sind in der Pharma- und Chemieindustrie die experimentellen Datensätze aufgrund von Kostenbeschränkungen und des Zeitaufwands für die Datengenerierung typischerweise klein. Dennoch hat sich die Integration von maschinellem Lernen in die Versuchsplanung als effektiver Weg erwiesen, um Formulierungen mit kleinen, kostengünstiger und schneller zu erhebenden Datensätzen zu optimieren.
Diese Präsentation gliedert sich in drei Teile. Zunächst wird die relevante Literatur zum maschinellen Lernen für die Versuchsplanung kurz zusammengefasst. Anschließend wird ein Anwendungsbeispiel aus dem Bereich Klebstoffe vorgestellt, um die Effizienz der Kombination von Versuchsplanung und maschinellem Lernen zu veranschaulichen. Dadurch lässt sich die Anzahl der für die Identifizierung des Designraums mit einem optimierten Katalysatorpaket erforderlichen Experimente reduzieren. Im dritten Teil, der sich mit einer industriellen Dichtungsmittelanwendung befasst, vergleichen wir anhand von Response-Surface-Daten den Vorhersagefehler des RSM-Modells mit Modellen verschiedener Algorithmen des maschinellen Lernens (RF, SVR, Lasso, SVEM und XGBoost). Dabei verwenden wir Validierungsdaten innerhalb und außerhalb des Designraums.
Hallo. Mein Name ist Stone Cheng und ich arbeite für die Henkel AG. Heute präsentiere ich Ihnen maschinelles Lernen zur Optimierung von Rezepturen mithilfe von Versuchsplanung. Zunächst werde ich kurz auf maschinelles Lernen und seine Anwendung im Bereich der Versuchsplanung eingehen. Diese Anwendung wird anhand zweier Fallstudien veranschaulicht. Fall 1 behandelt die Nutzung von Active Learning zur Ermittlung eines Versuchsraums. Fall 2 zeigt, wie maschinelles Lernen die Vorhersagegenauigkeit der Versuchsplanung verbessert.
Zu meinem Unternehmen, Henkel: Es handelt sich um einen Chemiekonzern mit einem Umsatz von 22 Milliarden US-Dollar. Wir haben zwei Geschäftsbereiche. Der eine umfasst unsere Konsumgütermarken für Waschmittel, Haushalt und Schönheitspflege. Der andere Geschäftsbereich ist der Bereich Klebstofftechnologien, zu dem ich gehöre. Wir sind ein weltweit führender Anbieter von Klebstoffen und beliefern 800 Branchen mit über 20.000 Produkten.
Maschinelles Lernen ist ein sehr boomendes Thema, wie zahlreiche in den letzten vier Jahren veröffentlichte Übersichtsartikel belegen. Es deckt ein breites Spektrum industrieller Anwendungen ab, darunter Methodik, Pharmazie, Chemie und vieles mehr im Bereich 3D-Druck, sowie die Bereiche Qualität, Innovation und Fertigung.
Typische Machine-Learning-Verfahren verwenden große Datensätze, was im Gegensatz zur Versuchsplanung (DOE) steht, bei der man mit möglichst wenigen Versuchen möglichst viel lernen möchte. Heutzutage wird DOE, allgemein gesprochen, auf zwei Arten in Kombination mit Machine Learning eingesetzt, wie in diesem Übersichtsartikel von 2021 dargestellt. Zum einen wird Machine Learning zur Analyse der DOE-Daten verwendet. Zum anderen spricht man von aktivem Lernen, bei dem die Ergebnisse der Machine-Learning-Modellierung genutzt werden, um die nächsten experimentellen Konfigurationen vorzuschlagen. In meiner Präsentation zeige ich Beispiele für beide Fälle.
In Fall 1 handelt es sich um ein zielorientiertes maschinelles Lernverfahren (DOE) zur Untersuchung des Designraums und zur Optimierung der Klebstoffformulierung. „Zielorientiert“ ist hier ein Fachbegriff, der auch als überwachtes Lernen verstanden werden kann. In Fall 1 soll die Lagerstabilität des Klebstoffs durch die Zugabe zweier Stabilisatoren verbessert werden. Die Stabilität wird anhand zweier Zielgrößen überwacht: Fließfähigkeit und Haftungserhalt.
Die Chemie ist neu für Henkel, und auch diese Chemie ist neu. Daher wurde beschlossen, den anfänglichen Bereich für Additiv 1 auf 0,1 bis 0,5 und für Additiv 2 auf 0,5 bis 3 festzulegen. Die Chemie hat jeweils einen Faktor und verschiedene DOE-Methoden, darunter faktorielle Versuche, RSM und Raumfüllungsversuche, verwendet, um den Designraum zu finden, der beide Zielvorgaben erfüllt.
Von den 22 Versuchen wurden in der Chemie zwei Versuche identifiziert, die sowohl die Anforderungen an den Durchfluss als auch an die Haftung erfüllen. Die Frage ist nun, ob es eine effizientere Methode gibt, den Designraum zu bestimmen.
Unser Ansatz zielt darauf ab, die Effizienz der Formulierungsentwicklung in zwei Phasen zu verbessern. In Phase 1 wird aktives Lernen eingesetzt, um den Designraum zu identifizieren. In Phase 2 erfolgt eine prädiktive Modellierung zur Optimierung des Klebstoffs. In Phase 1 werden im Rahmen der Raumzuführungsplanung fünf Versuche als erste Testläufe durchgeführt. Anschließend werden beide Zielgrößen mithilfe der Support-Vektor-Regression (SVR) modelliert.
Anschließend wurde anhand des Modells die Kontrollfläche erstellt und überlagert, um einen gewünschten weißen Bereich zu ermitteln, der beide Spezifikationen erfüllt. Basierend auf diesem durch die Überlappungskontur dargestellten Bereich wird dann das raumfüllende Design erweitert. Dies gilt als ein Zyklus.
Dieser Phasenzyklus wird dann zweimal wiederholt, sodass am Ende insgesamt 15 Läufe durchgeführt werden. In Phase 2 wählen wir den Designraum für die Modellierung sowie den zur Validierung verwendeten Lauf aus. Dies betrifft die Schritte 5, 6 und 7, die die Eingabe chemischer Parameter beinhalten. Diese Schritte bezeichnen wir als zielgesteuerte Schritte.
JMP Space Filling Design bietet sieben Optionen zur Auswahl der Laufpositionen. Hier ein Beispiel für ein Zwei-Faktoren-System. Ich verwende den lateinischen Hyperwürfel, da er in der Fachliteratur weit verbreitet ist. Die Operation von Phase 1 bzw. Zyklus 1 wird hier dargestellt. Nummer 1 zeigt die Laufdaten und die SVM-Vorhersagespalte. Nummer 2 zeigt die Anpassung des SVM-Modells für beide Zielgrößen. Nummer 3 ist das Konturdiagramm des Modells.
Nummer 4 ist die Überlappung der beiden Konturdiagramme, wobei der weiße Bereich die Zielvorgabe beider Zielgrößen erfüllt. Die Spitze des weißen Bereichs, die in der Lupe sichtbar ist, stellt eine neue obere Designgrenze dar, die in Schritt 5 verwendet wird, um das spezifische Design zu erweitern und 5 weitere Läufe anzufordern.
In Phase 2 des aktiven Lernens, Zyklus 2, liegen nun 10 Durchläufe für die Modellierung vor. Analog zu Phase 1 wird hier eine neue Designgrenze für die Erweiterung speziell für Phase 3 vorgeschlagen. Dies ist die Folie der letzten Phase 3; insgesamt stehen 15 Datenpunkte für die weitere Modellierung zur Verfügung.
Die Zahl 13 fasst den Designraum rechts und die Antwortkarte links zusammen. Der obere linke Bereich stellt das Zieldesign dar, das sowohl die Adhäsion als auch die Fließanforderungen berücksichtigt. Die Daten der einzelnen Phasen sind farblich gekennzeichnet: blau für Phase 1, rot für Phase 2 und grün für Phase 3. Läufe, die beide Designziele erfüllten, sind in ausgefüllten Kreisen dargestellt; Läufe, die ein oder beide Ziele nicht erreichten, sind in offenen Kreisen markiert.
Von den drei Phasen mit insgesamt 15 Durchläufen erfüllen fünf die Designvorgaben, was einer Effizienz von etwa 33 % entspricht. Dies ist deutlich besser als die 2 von 22 Durchläufen des zuvor diskutierten, nicht-aktiven Lernverfahrens (DOE), dessen Effizienz lediglich 9 % beträgt. Die Tatsache, dass maschinelles Lernen nur zehn Durchläufe (Phase 1 und 2 kombiniert) und ein DOE-Verfahren mit 22 Durchläufen benötigt, um zwei oder drei akzeptable Zielläufe zu finden, deutet darauf hin, dass das aktive Lernen eine mindestens doppelt so hohe Effizienz aufweist.
Bei einem Vorhersagemodell ist die Wahrscheinlichkeit für bessere Ergebnisse höher, wenn ein Datensatz mehr Läufe enthält, die die Zielvorgaben erfüllen. Wir haben bereits erwähnt, dass wir mit einem aktiven Lernansatz bessere Ergebnisse erwarten, da ich fünf Läufe im Weltraum und nur zwei im regulären DOE habe. Dieses Beispiel für aktives Lernen umfasst nur 15 Läufe, und wir möchten potenzielle Ausreißer vermeiden, die die Daten verfälschen könnten.
Wir entscheiden uns, die Läufe 1.2 und 1.3, die beide Designziele nicht erreichen, auszublenden. Dadurch verbleiben nur noch 13 Läufe in unserem Modellraum, der hier durch das rote Dreieck dargestellt ist. Bei der Modellvalidierung möchten wir die Vorhersagegenauigkeit des Modells in einem Bereich ermitteln, in dem beide Designziele erfüllt sind.
Wir interessieren uns nicht für die Vorhersage am äußeren Rand. Wir wählen den Erkennungspunkt im gewünschten Designraum aus. Diese sind hier durch die orangefarbenen Punkte markiert, sowie einen Punkt nahe der Grenze, nämlich 3,2 Läufe. Damit ergeben sich 10 Läufe als Trainingsdatensatz und 3 Läufe als Validierungsdatensatz.
Die Entscheidung der Chemieabteilung hinsichtlich der Modellauswahl und des Validierungslaufs ist zielorientiert. Beide Schritte, zusammen mit der Argumentation im spezifischen Design, bezeichnen wir als zielgeleiteten Schritt. Ich habe die Antwortspalte in R10 hier dupliziert. Beim Validierungslauf wurden Daten entfernt. Diese Spalte dient dem Vergleich mit dem Machine-Learning-Modell, das nun eine Validierungsoption zur Parameteroptimierung bietet. Hier ist die Liste der Machine-Learning-Modelle, die dieses Vorhersagemodell verwenden.
Die Validierungsspalte kann in allen Modellen außer zweien angewendet werden: bei der Gaußprozessregression und beim SVEM-Neuronalnetz von Predictum Inc. Das Modell jedes Algorithmus wurde ausgeführt, und die vorhergesagten Formulierungen sind in dieser Spalte gespeichert.
Der Modellvergleich erfolgte auf zwei Arten: Zum einen mithilfe der JMP-Modellvergleichsplattform, zum anderen durch manuelle Berechnung des mittleren quadratischen Fehlers. Dazu habe ich die Spalten mit den Vorhersageformulierungen übereinandergelegt und anschließend die Spalte mit dem mittleren quadratischen Fehler manuell gelöscht. Anstelle von 18 Werten befindet sich das Ergebnis des JMP-Modellvergleichs links und meine eigenen Berechnungen rechts. Durch den Vergleich der Daten in den roten und grünen Feldern beider Tabellen konnte ich die Korrektheit meiner Berechnung des mittleren quadratischen Fehlers bestätigen.
Bei der Modellvalidierung, wie die Tabelle rechts zeigt, weisen die drei Algorithmen des maschinellen Lernens mit dem niedrigsten mittleren quadratischen Fehler (RMSE) folgende Werte auf: Boosted Neural Network, Boosted SVM und RSM-Modell. Ohne Validierung zur Optimierung der Hyperparameter zeigen das Boosted Neural Network und das Boosted SVM jedoch einen höheren RMSE als ihre Vergleichsmodelle: 1,7 bzw. 0,27 oder 0,936.
Der Gen_R-Wert des SVEM_Lasso-Modells (hier im blauen Kreis dargestellt) scheint jedoch durch die Validierung kaum beeinflusst zu werden (1,397 gegenüber 1,427). Auch ohne Validierung liefern die GPR-Regression (Gaussian Processing Regression) und die anschließende SVEM-Vorhersage (ebenfalls ein neuronales Netzwerk) keine bessere Adhäsionsvorhersage als die anderen Modelle, obwohl die SVEM-Vorhersage für kleine Datensätze – wie in diesem Fall – besonders empfehlenswert war.
Zusammenfassend wird ein Beispiel für aktives Lernen mit zielorientierter Fokussierung auf Adhäsion demonstriert. Ein raumfüllendes Design, unterstützt durch SVM-basiertes maschinelles Lernen, wird verwendet, um den Designraum in drei Iterationen zu identifizieren. Aktives Lernen ist bei der Identifizierung des Designraums doppelt so effizient wie die nicht-aktive Methode.
Wir zeigen, dass verschiedene Modelle des maschinellen Lernens verglichen werden und sich einige als besser erweisen und präzisere Vorhersagen liefern als das Modell der kleinsten Quadrate. Der zielgerichtete Schritt umfasst drei hier aufgeführte Bereiche. Chemiker überwachten diese Schritte mit dem Ziel, das aktive Lernen und die Vorhersage für einen kleinen Datensatz zu verbessern. In diesem Fall wird die erweiterte Vorhersagefunktion von JMP veranschaulicht. Dies ist Fall 1.
Kommen wir zu Fall 2. Wir wenden maschinelles Lernen an, um RSM-DOE-Daten zur Anwendung von Dichtstoffen zu analysieren und so die Vorhersagegenauigkeit zu verbessern. Hintergrund: In diesem Fall geht es um einen Dichtstoff mit fünf Hauptbestandteilen und drei Zielgrößen. Der Dichtstoff wurde mit einem zentrierten, flächenzentrierten Versuchsplan mit 28 Durchläufen optimiert. Die Zielgröße Y3 weist ein zufriedenstellendes korrigiertes R² von 0,86 und einen mittleren quadratischen Fehler von 7,9 auf.
Diese optimierte Y3-Antwort liegt tatsächlich nahe am Rand des Zielbereichs. Chemiker gehen folgendermaßen vor: Erstens fügen sie vier weitere Läufe zu den 28 hinzu, wodurch sie den DOE-Faktorbereich optimal nutzen. Zweitens fügen sie sechs Sternpunkte hinzu, um einen größeren Designraum abzudecken.
Der Kunde änderte daraufhin das Projektziel. Der Chemiker musste die Wirkstoffbeladung anpassen und zehn zusätzliche Läufe durchführen, um das neue Designziel zu erreichen. Da diese zehn Läufe stark von den ursprünglichen zwanzig Läufen im gleichen Bereich abweichen, liegen sie außerhalb des Designraums. Diese zehn Läufe sind hier dargestellt. Die vier Läufe innerhalb des zentralen Komposits und die sechs Zielsternpunkte befinden sich genau hier.
Unser Ziel ist es, maschinelles Lernen auf diesen RSM-Datensatz anzuwenden, um die Vorhersagegenauigkeit verschiedener Modelle zu testen. Die Testdatensätze liegen innerhalb, nahe oder außerhalb des Designraums; es handelt sich dabei um die drei hier dargestellten Datensätze.
Hier ist das RSM-Modell mit R² und dem hervorgehobenen mittleren quadratischen Fehler dargestellt. Nach der Reduzierung der Modellterme ergeben sich drei Haupteffekte (X2, X3 und X4), eine Zwei-Faktor-Interaktion (X2 und X5) sowie ein quadratischer Effekt (X1). Alle diese Effekte sind signifikant.
Unser maschinelles Lernverfahren umfasst zwei Phasen. Zunächst wird ein Modellscreening mittels 7K-facher Kreuzvalidierung durchgeführt, um die Modellleistung schnell zu überprüfen. Anschließend optimieren wir die Hyperparameter der ausgewählten Methode, um die Vorhersagegenauigkeit zu verbessern. Zur Validierung verwenden wir zwei Methoden auf der JMP-Plattform für Modellvergleiche: eine Validierung mit fester 75/25-Aufteilung und eine 7K-fache Kreuzvalidierung.
In Phase 2 werden unbekannte Testdatensätze geprüft. Diese Testdatensätze wurden der JMP-Tabelle hinzugefügt. Sie liegen innerhalb, nahe und außerhalb des ursprünglichen Versuchsraums von 28 Läufen. Ihre Vorhersageformulierungsspalten werden gespeichert und anschließend zusammengeführt. Abschließend wird die Spalte für den mittleren quadratischen Fehler (RMSE) für den finalen Modellvergleich erstellt.
Die Ergebnisse des JMP-Modell-Screenings werden hier angezeigt. Dazu wurden Zwei-Wege-Interaktionen und quadratische Funktionen hinzugefügt sowie die 7-fache K-fache Kreuzvalidierung ausgewählt. Die Feinabstimmung jedes Modells erfolgte durch Auswahl und Klicken auf „Ausgewählte ausführen“. Hyperparameter-Tuning und Boosting wurden durchgeführt, sofern die Verlustfunktion verfügbar war. Die Vorhersageformel jedes Modells ist in einer Tabellenspalte aufgeführt. Für neuronale Netze wurde das Add-in zur Parameteroptimierung verwendet. In diesem Add-in wurden drei Protokolle ausgewählt: Protokoll 2 für zweischichtige Netze und Protokoll 12 und 16 für einschichtige Netze.
Hier ist meine JMP-Tabelle. Abschnitt 1 enthält die ursprünglichen 28 RSM-Laufdaten und die Zielgröße Y3. Abschnitt 2 enthält die beiden Validierungsspalten für den Modellvergleich. Abschnitt 3 zeigt die gespeicherten Vorhersageformeln für jedes Modell. Abschnitt 4 enthält die drei Testdatensätze. Abschnitt 5 zeigt die Vorhersageergebnisse der einzelnen Modelle.
Beim Modellvergleich interessiert uns der Einfluss der Validierungsmethode, da Unterschiede in der Größe der Trainings- und Validierungsdatensätze sowie im Mittelungsprozess bestehen. Bei der 75/25-Aufteilung werden bei der festen Validierung 21 Durchläufe für das Training und 7 Durchläufe für die Validierung durchgeführt. Bei der Kreuzvalidierung werden die Daten von 7 K-fachen Faltungen gemittelt, wobei jede Faltung 24 Durchläufe für das Training und 4 Durchläufe für die Validierung umfasst. Bei der festen Validierung gibt JMP die Ergebnisse direkt als Tabelle aus. Für die K-fache Kostenvalidierung ist jedoch eine Datenverarbeitung erforderlich.
JMP erzeugt sieben Tabellen, getrennt nach Ordnernummer. Mithilfe des Skripts „Kombinierte Datentabelle erstellen“ werden diese sieben Tabellen zu einer einzigen zusammengeführt. Anschließend können die Durchschnittswerte tabellarisch dargestellt und verglichen werden.
Links sehen Sie die Zusammenfassung des Modellvergleichs. Es handelt sich um eine Validierung mit festen Parametern. Rechts wird die konsolidierte Tabelle einer K-fachen Kreuzvalidierung verwendet. Zur besseren Veranschaulichung nutzen wir einen Diagrammgenerator. In diesem Balkendiagramm ist der mittlere quadratische Fehler (RMSE) auf der Y-Achse und das jeweilige Modell auf der X-Achse dargestellt. Modellnamen mit einem Bindestrich „t“ am Ende bedeuten, dass die Modellparameter optimiert wurden. Modelle mit einem „B“ am Ende wurden mit Boosting-Methoden versehen.
Der mittlere quadratische Fehler (RMSE) der festen Validierung (blau) ist im Allgemeinen höher als der der K-fachen Kreuzvalidierung (rot). Dies wird hier veranschaulicht. Das RSM-Modell ist links dargestellt. Es gibt mehrere Machine-Learning-Modelle mit einem geringeren Vorhersagefehler als RSM. Diese sind mit grünen Pfeilen markiert: XGBoost, zwei SVM-Modelle, zwei neuronale Netze und ein Boosted Neural Network. Sie sind nach ihrem RMSE-Wert geordnet.
Diese Schlussfolgerung basiert auf dem DOE-28-Lauf, wobei jeder Lauf entweder zum Training oder zur Validierung verwendet wird. Die Validierungsläufe dienen der Optimierung der Hyperparameter des Modells für bessere Vorhersagen. Die tatsächliche Vorhersagefähigkeit des Modells wird anhand von bisher unbekannten Läufen getestet, die weder zum Training noch zur Validierung verwendet wurden. Die Ergebnisse werden im Folgenden dargestellt.
Im zweiten Schritt des maschinellen Lernens wird das Modell anhand unbekannter Daten getestet. Die drei Datensätze wurden direkt in eine JMP-Tabelle kopiert, und der Betriebswert wird automatisch in der Spalte „Vorhersageformulierung“ angezeigt. Alle Formelspalten wurden in eine neue Tabelle eingefügt. Zusätzlich wurde eine Spalte für den mittleren quadratischen Fehler (RMSE) erstellt. Anhand der gestapelten Tabelle, des Tablets und des Diagrammgenerators wird in den nächsten beiden Folien die Testbarkeit des Modells veranschaulicht.
Betrachten wir die Modellleistung für den Datensatz „Inside“ und anschließend für den nahegelegenen Sterndatensatz. Es liegen jeweils vier bzw. sechs Läufe vor. Wie in der hervorgehobenen Tabelle rechts bzw. im Diagramm links dargestellt, zeigt dieser Bereich die Ergebnisse. Im Datensatz „Inside“ sind neun Läufe hervorgehoben, die ähnliche Vorhersagen mit einem mittleren quadratischen Fehler (RMSE) zwischen 5,6 und 7,7 liefern.
Der hier dargestellte Sterntest-Datensatz liegt nahe am Designraum. Sieben Modelle weisen einen mittleren quadratischen Fehler (RMSE) zwischen 18,2 und 21,7 mit einem Mittelwert von 20,3 auf. XGBoost und das optimierte SVM (grüner Pfeil) erzielen die besten Ergebnisse im DOE-Datensatz. Sie sind die besten im DOE-Datensatz, der hier dargestellt ist. Dies ist lediglich ein DOE-Datensatz, der sich um den DOE-Datensatz herum befindet. Sie sind im Vergleich zum RSM natürlich die besten, weisen aber einen höheren Vorhersagefehler auf.
Betrachten wir diese beiden Modelle, so weisen sie im Vergleich zum RSM oben sowohl für den internen Datensatz als auch für den Sterndatensatz einen höheren Vorhersagefehler auf. Dies deutet auf Überanpassung hin. Insgesamt erzielte jedoch dieses Modell, eine einzelne Schicht eines optimierten Boosting-Netzwerks, wie der blaue Pfeil verdeutlicht, die besten Ergebnisse für den DOE-Datensatz, den internen Testdatensatz und auch den Sterndatensatz. Dies ist das beste Ergebnis, wie Sie Ihrer Tabelle oder der hier gezeigten Grafik entnehmen können.
Im Diagramm links betrachten wir nun die Testdaten außerhalb des Designraums. Auf der y-Achse sind Beobachtung und Vorhersage dargestellt. Beachten Sie die Testlauf-ID für alle drei Datensätze. Rot steht für die Beobachtung, blau für die Vorhersage. Der Datenpunkt für die externen Testdaten befindet sich rechts von der grünen gestrichelten Linie.
Die vier hervorgehobenen Modelle schnitten sehr gut ab. Es handelt sich um das RSM-Modell und die beiden G_R-Forward-Modelle, entweder mit Pruned- oder SVEM-Funktion. Das vierte Modell ist dieses hier: ein zweischichtiges, optimiertes neuronales Netzwerk. Diese vier Modelle erzielten sehr gute Ergebnisse. Einige Modelle hingegen liefern nur schwache oder sehr schlechte Vorhersagen; dazu gehört beispielsweise das SVM-Modell.
Dann folgen optimierte neuronale Netze, diese und diese, sowie entscheidungsbasierte Methoden wie XGBoost oder Bootstrap Forest. Betrachtet man alle vier Testszenarien – den DOE-Datensatz und drei weitere Testdatensätze –, so erzielen das RSM-Modell und das G_R Pruned Forward-Modell die beste und ausgewogenste Vorhersageleistung in allen vier Szenarien.
Diese Ergebnisse sind mit Vorsicht zu interpretieren und sollten nicht verallgemeinert werden. Sie beschreiben spezifisch die Reaktion Y3. Dennoch ist dies eine wertvolle Information für Chemiker, um die Reaktion Y3 kennenzulernen. Das bedeutet, dass das RSM-Modell unter bestimmten Umständen, beispielsweise bei Projekten mit starkem Zeitdruck und fehlenden Ressourcen für weitere Versuche, zur Vorhersage von Daten außerhalb des Versuchsraums eingesetzt werden kann. In solchen Fällen kann der Einsatz von RSM zur Vorhersage außerhalb des Versuchsraums erwogen werden. Selbstverständlich sind in diesem zweiten Schritt Bestätigungsversuche unerlässlich.
Zusammenfassend lässt sich sagen, dass für den DOE-Datensatz und die beiden Testdatensätze, die innerhalb und nahe des Designraums ausgeführt wurden, mehrere Modelle des maschinellen Lernens eine bessere Leistung als RSM aufweisen. Das beste Modell ist ein einschichtiges, nicht optimiertes Boosted Neural Network. Für den Testdatensatz außerhalb des Designraums erzielten vier Modelle sehr gute Ergebnisse: RSM, zwei Gen_Reg-Forward-Methoden sowie das zweischichtige, optimierte Neural Network.
Berücksichtigt man alle vier Szenarien, so erweisen sich RSM und das Gen_Reg-Pruned-Forward-Modell insgesamt als die besten. Wie diese beiden Fallstudien zeigen, erweitert maschinelles Lernen die Möglichkeiten des traditionellen Versuchsplanungsverfahrens (DOE) und ermöglicht so eine effektive Formulierung.
An dieser Stelle möchte ich meinem Kollegen Dr. Dai und Herrn Du für ihre Mitarbeit an diesen beiden Fallstudien und dem Henkel AMI-Managementsystem danken. Mein Dank gilt auch dem JMP-Supportteam von Henkel, Nick, Jon und Mark, für ihre hervorragende Schulung und Unterstützung. Vielen Dank fürs Zuhören und Ansehen dieses Videos.
