Methoden des maschinellen Lernens (ML) werden in Branchen wie der Chemie-, Maschinenbau- und Pharmaindustrie häufig zur Analyse von Versuchsplanungsdaten (DOE) eingesetzt, finden aber in der Lebensmittelindustrie, insbesondere bei der Rezeptoptimierung, nur begrenzte Beachtung.
Um diesem Problem zu begegnen, untersuchten wir maschinelles Lernen und sequentielles Lernen für die Rezepturentwicklung mit dem Ziel, die Produktqualität zu optimieren. Wir kombinierten Versuchsplanung (DOE) mit maschinellem Lernen, um aus elf Kandidaten optimale Kombinationen aus einem, zwei oder drei Inhaltsstoffen auszuwählen. Die Dosierung der Inhaltsstoffe wurde anhand der Anzahl der kombinierten Inhaltsstoffe angepasst: 0–1 für einzelne Inhaltsstoffe, 0–0,5 für Paare und 0–0,33 für Dreierkombinationen. Nach der Bewertung der Haupteffekte aller zwölf Inhaltsstoffe konzentrierten wir uns auf fünf Schlüsselbestandteile. Für die Zwei-Zutaten-Kombinationen wurde ein vollständiger faktorieller Versuchsplan angewendet, wobei für jede Dreierkombination ein Datenpunkt bei maximaler Dosierung erfasst wurde. Drei vielversprechende Kombinationen wurden anschließend mithilfe eines raumfüllenden Versuchsplans weiter analysiert, um den gesamten Parameterraum zu untersuchen.
Anschließend wurden ML-Modelle zur Vorhersage der Produktqualität entwickelt. Sequenzielles Lernen steuerte weitere Experimente, um das Modell für eine spezifische Kombination zu verfeinern. Mit diesem Ansatz konnte die optimale Mischung in weniger als 100 Laborexperimenten ermittelt werden. Dies demonstriert die Effizienz der Kombination von ML, sequenziellem Lernen und Versuchsplanung (DOE) zur Reduzierung des experimentellen Aufwands bei gleichzeitiger Identifizierung leistungsstarker Zutatenmischungen.
Hallo zusammen. Heute geht es um die Optimierung von Rezepturen mithilfe von maschinellem Lernen, sequenziellem Lernen und Versuchsplanung. Ich bin Junaid Mehmood und arbeite als Prozesstechnologe bei Danone R&I in Utrecht.
Bevor wir zum eigentlichen Thema kommen, möchte ich Ihnen kurz Danone vorstellen. Unsere Mission ist es, möglichst vielen Menschen durch gesunde Ernährung zu mehr Gesundheit zu verhelfen. Mit unserem vielfältigen Portfolio, das auf gesunde Ernährung ausgerichtet ist, beziehen wir unsere Rohstoffe aus lokalen Märkten, achten auf Nachhaltigkeit und Innovation. Ihnen sind vielleicht die meisten unserer globalen Marken bekannt, wie Activia, AptaMil, Evian oder Apro, aber wir verfügen auch über einen großen Markt mit zahlreichen lokalen Marken.
Wie Sie vielleicht bemerkt haben, bestehen die meisten unserer Produkte aus Lebensmitteln oder Lebensmittelderivaten und natürlich Wasser. Das bedeutet, dass wir uns mit einer Vielzahl von Rezepturen auseinandersetzen. Bei der Rezeptentwicklung und den Innovationsbestrebungen bei Danone ist es unser Ziel, einen hohen Qualitätsstandard zu wahren, der zu einem hervorragenden Geschmack führt, und gleichzeitig einen hohen Nährwert zu gewährleisten. Wir möchten kontinuierlich Innovationen entwickeln, die auf den Bedürfnissen und Vorlieben unserer Kunden basieren.
Es ist nicht einfach, denn Innovationen bei Lebensmitteln bringen zahlreiche Herausforderungen mit sich. Zum einen können sich die Verbraucherpräferenzen von Jahr zu Jahr ändern. Da Nachhaltigkeit derzeit im Fokus steht, müssen wir kontinuierlich innovativ sein.
Zweitens müssen wir die Lebensmittelsicherheitsvorschriften einhalten. Dies kann dazu führen, dass ein Produkt, das auf einem Markt zugelassen ist, auf einem anderen möglicherweise nicht zugelassen ist. Außerdem wollen wir für unser Produkt selbst sorgen und es daher von Natur aus sicher machen, da die meisten unserer Produkte für Babys und manchmal auch für Patienten bestimmt sind, die keine orale Nahrung zu sich nehmen können.
Wir wollen ein ausgewogenes Preis-Leistungs-Verhältnis für unser Produkt finden. Wir streben nach höchstmöglicher Qualität, denn auch sehr gute Qualität ist gefragt, aber wenn sie zu teuer ist, kauft sie niemand.
Vor diesem Hintergrund sieht unser Produktentwicklungsprozess üblicherweise folgendermaßen aus. Dieser Ablauf ist recht allgemein gehalten, und jedes Lebensmittelunternehmen, das Lebensmittelprodukte herstellt, folgt einem ähnlichen Vorgehen. Am Anfang steht entweder die Ideenfindung für ein neues Produkt oder wir haben unsere Marktforschung abgeschlossen und möchten bestimmte Eigenschaften unseres Produkts verändern. Darauf aufbauend wählen wir dann die Zutaten und die Herstellungsverfahren aus.
Die Auswahl der Zutaten und Verarbeitungsprozesse ist eng miteinander verknüpft. Ein Verfahren, das für eine bestimmte Zutat geeignet ist, kann für eine andere ungeeignet sein. Es handelt sich um einen Kreislauf, in dem wir Zutaten und Verfahren anhand ihres Nährwerts auswählen. Sind sie nachhaltig? Bei den Prozessen ist es wichtig, dass sie skalierbar und effizient sind und die Produktkosten nicht erhöhen.
Der nächste Schritt ist die Prototypenentwicklung, die wir hauptsächlich in unseren Laboren der Forschungs- und Entwicklungszentren durchführen. Dort führen wir unsere Laborversuche im kleinen Maßstab durch. Wir erstellen Geschmacksprofile, optimieren bestimmte Prozesse oder gehen zurück zum ersten Schritt und wählen eine andere Zutat. Anschließend testen wir das Produkt in unseren Pilotanlagen auf seine Skalierbarkeit. Schließlich führen wir einen Produktionsversuch durch. Bevor wir das Produkt auf den Markt bringen können, müssen wir als letzten Schritt Haltbarkeits- und Stabilitätstests durchführen. Bestimmte Produktarten benötigen eine behördliche Zulassung, andere nicht; dies hängt von der jeweiligen Produktart ab.
Ob im Labormaßstab, im Pilotmaßstab oder in der Produktion – die Charakterisierung unseres Produkts basiert auf seinen Eigenschaften, wie beispielsweise seinen organoleptischen Merkmalen und bestimmten anderen Eigenschaften, etwa seiner Verarbeitbarkeit, wie Viskosität. Diese Eigenschaften bilden die Grundlage für die Optimierung unserer Prozesse.
Im heutigen Projekt, das ich vorstellen werde, konzentrieren wir uns hauptsächlich auf Laborversuche. Diese umfassen drei Hauptkomponenten: Zutaten, Verfahren und die eigentlichen Experimente. Wenn wir uns nur auf Zutaten und Verfahren konzentrieren, geht es uns natürlich um Mikro- und Makronährstoffe. Diese müssen Bestandteil des Produkts sein, aber das Produkt muss auch gut schmecken.
Ich habe ja bereits die Haltbarkeit besprochen. Hinzu kommen Konservierungs- und Stabilisatoren sowie Texturgeber, die die Verarbeitbarkeit des Produkts verbessern. Insgesamt wird es dadurch im Verarbeitungsprozess besser verarbeitbar. Bei der Prozessauswahl spielen Temperaturkontrolle, Mischen, Verarbeitungsgeschwindigkeit und weitere Faktoren eine Rolle.
Dies sind die Entscheidungen, die im Vorfeld getroffen werden, bevor wir mit den Laborversuchen beginnen, oder während wir unsere Laborversuche durchführen, kehren wir zu diesen Zutaten und Auswahlen zurück und ändern sie, je nachdem, was im Hinblick auf ein typisches Produkt sinnvoller erscheint.
Bei der Auswahl und Prüfung von Inhaltsstoffen achten wir auf deren Funktionalität, den Bedarf an Mikronährstoffen (z. B. bestimmte Mineralien oder Vitamine), die sensorischen Eigenschaften (Geschmack) und die regulatorischen Anforderungen. Darauf basierend legen wir die Mindest- und Höchstmenge jedes Inhaltsstoffs fest. In Laborversuchen untersuchen wir dann, wie sich die einzelnen Inhaltsstoffe auf die Produkteigenschaften (Geschmack, Textur und Stabilität) auswirken.
Wenn es jedoch um Höchstmengen bestimmter Zutaten geht, die wir in Rezepturen verwenden dürfen, sind diese in der Regel durch regulatorische Vorgaben eingeschränkt, insbesondere bei Aromen, Zucker und Konservierungsstoffen. Daher müssen wir uns genau daran halten... Wir müssen unter dieser bestimmten Grenze bleiben.
In diesem speziellen Projekt, für das wir maschinelles Lernen, sequentielles Lernen und Versuchsplanung kombinierten, wollten wir Geschmack und Textur optimieren. Dazu untersuchten wir elf verschiedene Zutaten und suchten nach Kombinationen aus einer, zwei oder drei Zutaten, die Geschmack und Textur verbessern.
Dann haben wir sieben verschiedene Ziele. Bei dreien davon handelt es sich um Zielgrößen, die wir minimieren wollten, bei zweien wollten wir sie maximieren und bei den restlichen wollten wir sie konstant halten, sodass sich die beiden spezifischen Moleküle nicht verändern, selbst wenn wir diese Kombination von Zutaten verwenden.
Dann gab es bestimmte regulatorische Anforderungen. Wenn wir von diesen elf Zutaten nur eine verwenden, dürfen wir maximal eine verwenden. „Eins“ ist in unserer Terminologie ein Wert, und im Sinne der Versuchsplanung (DOE) bedeutet das die maximale Menge der Zutat, die wir verwenden dürfen. Kombinieren wir zwei Zutaten, dürfen wir maximal 0,5 verwenden. Kombinieren wir drei Zutaten, beträgt die maximale Menge 0,33. Unter diesen Bedingungen mussten wir herausfinden, welche drei Zutaten den besten Geschmack oder die beste Textur ergeben.
Wenn man alle möglichen Kombinationen betrachtet, ergeben sich bei zwei Zutaten 55 Kombinationsmöglichkeiten. Bei drei Zutaten und 165 möglichen Kombinationen ergeben sich daraus 11. Kombiniert man alle, sind das insgesamt 231 Kombinationen. Für jede einzelne dieser Kombinationen ein Experiment durchzuführen, ist schlichtweg zu aufwendig. Man kann nicht einfach... Man könnte zwar drei oder vier Jahre daran arbeiten und zu einem Ergebnis kommen, aber das ist nicht wünschenswert.
Hierfür entwickelten wir ein sequenzielles Verfahren, bei dem wir zunächst fünf von elf Inhaltsstoffen anhand ihrer Haupteffekte untersuchten. Anschließend testeten wir aus diesen fünf Inhaltsstoffen Kombinationen von zwei und drei Inhaltsstoffen, um die leistungsstärkste Kombination zu ermitteln. Im dritten Schritt ermittelten wir dann, welche dieser Kombinationen die beste Wirkung erzielt. Abschließend nutzten wir die Modellvorhersagen, um die optimale Konzentration der jeweiligen Inhaltsstoffe in der jeweiligen Kombination zu bestimmen. Wir werden jeden dieser Schritte im Detail erläutern.
Für das Faktorscreening, das wir uns angesehen haben, haben wir jeweils einen Faktor untersucht. Obwohl man in einem DOE-Kurs (Design of Experiments) normalerweise davon abrät, war ein Screening in diesem speziellen Fall nicht möglich. Der Grund dafür sind die Annahmen, die einem Screening zugrunde liegen: Jeder Faktor kann unabhängig von den anderen verändert werden, und alle Faktoren sind in jedem Durchlauf vorhanden. Das trifft in unserem Fall nicht zu. Wir können in diesem speziellen Rezept nicht einfach vier oder fünf Zutaten mischen. Daher konnten wir uns nur auf eine einzige Zutat konzentrieren.
Zweitens, wenn wir über die Modellierung des Screening-Designs nachdenken, erstellen wir normalerweise nur ein Modell und betrachten die Parameterwerte. In diesem speziellen Fall ist das jedoch nicht möglich, da wir uns vom Projektziel entfernen, sobald wir weitere Faktoren hinzufügen.
Letztendlich haben wir in dieser Phase keine Wechselwirkungen berücksichtigt. Erstens würde dies die Anzahl der Versuche drastisch erhöhen. Zweitens unterscheidet sich die Interaktion zwischen Lebensmittelformulierung und Mundschleimhaut deutlich von üblichen Prozessbedingungen. Je nach Dosierung könnten Synergien entstehen oder sich gegenseitig aufheben. Wir wissen bereits, dass es nichtlineare Effekte geben wird, und deren Einbeziehung in dieser Phase ist nicht sinnvoll.
Wenn wir nun einen Faktor nach dem anderen betrachten, haben wir dies in diesem Fall auf drei verschiedenen Stufen getan: 0,33, 0,67 und 1. Darauf basierend haben wir insgesamt 33 Läufe durchgeführt, und natürlich haben wir viele Replikate. Wenn ich mich in dieser Präsentation jedoch auf die Behandlungen oder Läufe konzentriere, beziehe ich die Replikate nicht mit ein. In diesem Fall haben wir 33 individuelle Läufe.
Nachdem wir diese Laborversuche durchgeführt haben, erstellen wir eine Korrelationsmatrix, die auf der gewünschten Wirkung jeder einzelnen Reaktion basiert. Die Abbildung rechts dient lediglich der Veranschaulichung. Drei der Reaktionen möchten wir minimieren, zwei maximieren, und die verbleibenden zwei sollen unverändert bleiben.
Dies ist die Korrelations-Heatmap. Auf der X-Achse sind alle Faktoren dargestellt, auf der Y-Achse alle Reaktionen. Wie oben rechts angegeben, wollten wir drei davon minimieren, und wir sehen, dass sie minimiert werden. Nun müssen wir entscheiden, welcher Faktor der beste ist. Y₄ und Y₅ wollen wir maximieren, während Y₆ und Y₇ unverändert bleiben sollen.
Korrelationen allein reichen jedoch nicht aus, um ein vollständiges Bild zu erhalten. Selbst wenn sich der Antwortwert von Stufe eins oder drei nur geringfügig ändert, kann eine sehr gute Korrelation vorliegen. Aus diesem Grund haben wir uns zusätzlich die Kovarianz-Heatmap angesehen. Die Kovarianz zeigt uns die relative Änderung der Zielgröße im Vergleich zur Änderung der Ausgangsgröße um eine Einheit an.
Durch die Kombination dieser beiden Informationen konnten wir 6 der insgesamt 11 Zutaten eliminieren. Betrachtet man die verbleibenden Zutaten, so zeigt sich eine sehr starke negative Korrelation mit den drei Zielgrößen, die wir minimieren möchten. Das bedeutet, dass entweder die Zielgrößen, die wir maximieren möchten, nicht erhöht werden oder sie bereits maximiert sind. Für die übrigen Zutaten, in diesem Fall Y₆ und Y₇, besteht keine sehr starke Korrelation. Das heißt, sie bleiben unverändert.
So haben wir es beschlossen. Im ersten Schritt haben wir die Zutaten von elf auf insgesamt fünf reduziert. Im nächsten Schritt nenne ich sie der Einfachheit halber 1 bis 5. Sie unterscheiden sich zwar von den ursprünglichen 1 bis 5, aber für unser nächstes Gespräch nenne ich sie einfach X₁ bis X₅.
Wir möchten nun alle möglichen Kombinationen auswerten und die beste ermitteln. Wir haben zwei Zutaten. Bei drei Zutaten ergeben sich 10 Kombinationsmöglichkeiten, also insgesamt 20. Ein vollständiger faktorieller Versuchsplan mit quadratischen Haupteffekten und Wechselwirkungen würde 330 Versuche erfordern. Das ist bereits zu viel.
Dann haben wir noch unsere einzelnen Komponenten, was insgesamt 340 Duplikate ergibt. Umso weniger Experimente wollen wir durchführen, da dies zu viel Zeit und Ressourcen in Anspruch nehmen würde.
Um dieses Problem zu lösen, haben wir uns entschieden, Zwei-Faktor-Experimente mit zwei Faktoren durchzuführen und die Daten anschließend zu einer Versuchsmatrix für Drei-Faktor-Kombinationen zusammenzuführen. Ich werde das genauer erläutern. Bei Zwei-Faktor-Experimenten beträgt der maximale Faktorwert 0,5, bei Drei-Faktor-Experimenten 0,3. Betrachten wir nun die Kombination X₁, X₂, X₃, so können wir alle Daten von X₁, X₂, der Zwei-Faktor-Kombination X₁, X₃ und X₂, X₃ zusammenfassen. Dadurch entfällt die Notwendigkeit, alle Experimente für Drei-Faktor-Kombinationen separat durchzuführen.
Betrachten wir eine bestimmte Kombination etwas genauer, so sah der Ansatz folgendermaßen aus: Zunächst entwarfen wir Zwei-Faktor-Kombinationen mithilfe eines raumfüllenden Versuchsdesigns und behandelten diese als kontinuierliche Matrix von 0 bis 0,5. Anschließend verfuhren wir analog mit einem Drei-Faktor-Design, wobei wir den Bereich von 0 bis 0,33 annahmen. Alle diese Behandlungen wurden dann in einer Tabelle für alle Zwei- und Drei-Faktor-Versuche zusammengefasst. Abschließend verwendeten wir die Funktion „Kovariatenfaktoren“ des Moduls „Benutzerdefiniertes Design“ in JMP, um unser endgültiges Design zu erhalten.
Lassen Sie uns die einzelnen Schritte im Detail betrachten. Im ersten Schritt haben wir, wie bereits erwähnt, 30 verschiedene Läufe für Zwei-Faktor-Kombinationen erstellt. So sieht unser Parameterraum aus. Er ist natürlich identisch. Nur unsere X- und Y-Variablen ändern sich für X₁, X₂; X₁, X₃; und X₂, X₃. Wir versuchen in diesem Fall, den gesamten Parameterraum zu untersuchen. Anschließend haben wir dasselbe für Drei-Faktor-Kombinationen durchgeführt, wobei unser Maximalwert nun 0,33 beträgt und wir auch hier ein raumfüllendes Design verwenden.
Wir können nun alle diese Läufe in einer Tabelle zusammenfassen. Visualisiert man dies, ergibt sich folgendes Gesamtbild der 120 Läufe. An den Wänden sind die Läufe mit zwei Faktoren dargestellt, und in der Mitte, markiert durch die roten Punkte, befinden sich die Läufe mit drei Faktoren. Bei Läufen mit zwei Faktoren liegt der Bereich zwischen 0 und 0,5, bei Kombinationen mit drei Faktoren zwischen 0 und 0,33.
Anschließend können wir unser JMP-Modul für benutzerdefinierte Designs öffnen und die Schaltfläche „Kovariatenfaktor“ auswählen. Wir können alle drei Spalten auswählen, in denen die verschiedenen Werte enthalten sind. Das hier für das benutzerdefinierte Modul ausgewählte Modell umfasst dann den Haupteffekt, die quadratischen Effekte und alle Interaktionseffekte.
Anschließend testeten wir verschiedene Durchläufe (16, 19, 22), verglichen die Ergebnisse miteinander und führten eine Designbewertung durch, um die minimale Anzahl an Durchläufen zu ermitteln, die für das bestmögliche Design aus allen 120 möglichen Durchläufen erforderlich ist. Daraus resultiert dieses Modell. Wir stellten fest, dass dieses Design gute Optimalitätskriterien liefert und die Korrelation zwischen den verschiedenen Termen in unserem Modell recht gering ist.
Bei genauerer Betrachtung ähnelt dies stark einem vollständigen faktoriellen Versuchsplan, da die Punkte für die Zwei-Faktor-Kombinationen in den Ecken verteilt sind. Für die Drei-Faktor-Kombinationen wurden zwei weitere Punkte hinzugefügt. Zusätzlich wurden in diesem Fall auch zentrale Punkte eingefügt. Dies war unser erster Hinweis darauf, dass wir in diesem Fall tatsächlich einen vollständigen faktoriellen Versuchsplan verwenden können. Im Nachhinein hätten wir vielleicht damit beginnen sollen, aber ich beschreibe hier lediglich unseren Arbeitsablauf.
Da es wie ein vollständiger faktorieller Versuchsplan aussah, sind wir tatsächlich zu diesem zurückgekehrt. Jeder weiß, dass die Versuchsmatrix bei einem vollständig faktoriellen Versuchsplan so aussieht, und in diesem Fall beträgt das Maximum 0,5. Bei einem vollständig faktoriellen Versuchsplan mit drei Kombinationen sieht die Versuchsmatrix folgendermaßen aus.
Wie ich bereits erwähnt habe, gibt es jedoch einen zusätzlichen Punkt für die vollständige faktorielle Versuchsplanung, den wir selbst hinzugefügt haben, nämlich den maximalen Grenzwert für Drei-Faktor-Kombinationen.
In diesem speziellen Fall sind diese Versuche für die Untersuchung von Wechselwirkungen und quadratischen Effekten wichtig. Hierbei handelt es sich um Versuche, bei denen jeweils nur ein Faktor verändert wird. Da wir diese Versuche zur Untersuchung der Haupteffekte bereits im ersten Schritt durchgeführt haben, haben wir die vorhandenen Daten lediglich ergänzt. Das bedeutet, dass wir im zweiten Schritt nur noch Versuche für die jeweiligen Zutaten durchführen müssen, bei denen zwei oder drei Zutaten verändert werden. Dadurch hat sich die Gesamtzahl der Versuche drastisch reduziert. Aus 340 Versuchen konnten wir nun nur noch 60 durchführen und alle 20 verschiedenen Kombinationen gemeinsam auswerten.
Entscheidend ist, dass bei einem vollständig faktoriellen Versuchsplan, der normalerweise orthogonal ist, in diesem speziellen Fall keine Orthogonalität vorliegt. Das bedeutet, dass wir dies bei der Analyse berücksichtigen müssen.
Die Gesamtzahl der Durchläufe in Schritt zwei reduzierte sich somit auf nur noch 50. Nachdem wir alle Durchläufe für alle möglichen Kombinationen durchgeführt hatten, führten wir eine multikriterielle Bewertung durch. Dazu berechneten wir eine Distanzmetrik im Vergleich zu unserem Zielwert. Wir haben unsere Zielwerte für Y₁, Y₂, Y₃, Y₄ und Y₅ definiert. Wir möchten einen Zielwert minimieren, einen maximieren und zwei davon konstant halten. Anhand dieser Metrik ermittelten wir dann, welche Kombinationen unserem Zielwert am nächsten kommen und welche am weitesten davon entfernt sind.
Wir haben die zehn Läufe analysiert, die unserem Ziel am nächsten kamen, und die häufigsten Kombinationen ermittelt. Diese Kombinationen sehen in etwa so aus. Wir fanden Kombinationen mit zwei bzw. drei Molekülen, die unserem Projektziel am nächsten kamen.
Obwohl wir wissen, dass unser Modell hier nicht gut funktionieren wird, da uns noch nicht genügend Daten vorliegen und auch keine Orthogonalität gegeben ist, wollten wir trotzdem sehen, wie das Modell für jede dieser Kombinationen aussieht. Für die fünf soeben beschriebenen Kombinationen sehen die folgenden Werte für R² sowohl bei Zwei- als auch bei Dreifaktorkombinationen aus.
In diesem speziellen Modell haben wir Haupteffekte, Interaktionseffekte und quadratische Effekte. Wenn wir uns nur auf eine Zwei-Faktor-Kombination für eine dieser Kombinationen konzentrieren, zeigt diese Grafik die tatsächlichen p-Werte. Dabei fiel auf, dass für einige der Zielvariablen die p-Werte... Keiner der Parameter war signifikant. Bei einigen Zielvariablen sind einzelne Parameter signifikant, jedoch nicht für alle Zielvariablen gleich, obwohl wir in diesem Fall einen guten R²-Wert erzielen. Dies ist zu erwarten, da wir nur über einen begrenzten Datensatz verfügen und unser Modell in diesem Fall möglicherweise überangepasst ist.
Dasselbe galt für Dreifaktorenkombinationen. Wir stellten jedoch fest, dass bei Dreifaktorenkombinationen mindestens ein oder zwei Parameter für alle Zielgrößen signifikant sind. Aber auch hier gilt: Nicht alle Parameter sind für alle Zielgrößen gleich. Das war für uns der erste Hinweis darauf, dass jeder Parameter individuell modelliert werden muss. Für jeden Parameter müssen wir herausfinden, welche Faktoren signifikant sind.
Um diesen Punkt nun noch deutlicher zu machen: Selbst mit diesem begrenzten Datensatz haben wir quadratische Effekte entfernt, woraufhin unsere R²-Werte stark sanken. Dies deutete darauf hin, dass quadratische Effekte für einige dieser Parameter wichtig sind und wir sie berücksichtigen müssen. In Schritt drei betrachten wir von den fünf untersuchten Kombinationen nur noch diejenigen mit drei Zutaten, da wir diese nicht nur gut modellieren konnten, sondern unsere Faktoren auch einen Einfluss auf diese Parameter hatten. Nun müssen wir herausfinden, welcher dieser Faktoren welche Zielgröße beeinflusst.
Um die Daten für diese speziellen Kombinationen zu erweitern, haben wir fünf zusätzliche Läufe mit dem Augment Design-Modul von JMP durchgeführt und dabei ein raumfüllendes Design verwendet. Nun liegen uns für jede Kombination mindestens 20 Randdatenpunkte vor, anhand derer wir ein Modell evaluieren können. Wie bereits erwähnt, wird das Modell für jede Zielvariable unterschiedlich aussehen. Wir könnten einfach verschiedene Modelle ausprobieren und so für jedes Modell ein geeignetes finden. Stattdessen haben wir jedoch einen Machine-Learning-Ansatz gewählt, bei dem wir verschiedene Modelle für jede Zielvariable mithilfe der Methode der kleinsten Quadrate, LASSO und Elastic Net evaluiert haben. Zusätzlich haben wir Support Vector Regression mit linearem und polynomialem Kernel angewendet.
Anschließend führten wir eine Kreuzvalidierung mit der Leave-One-Out-Methode durch. Bei dieser Methode wird das Modell mit allen Datenpunkten außer einem trainiert. Dieser eine Datenpunkt dient dann zur Vorhersage, und der Fehler wird berechnet. Dieser Vorgang wird für alle Datenpunkte wiederholt. Anschließend kann der mittlere quadratische Fehler (RMSE) berechnet werden. Anhand dieses Fehlers lässt sich das beste Modell ermitteln. Dadurch wird eine Überanpassung vermieden, da immer ein Datenpunkt für die Vorhersage ausgelassen wird. Gleichzeitig stehen aus unserem begrenzten Datensatz genügend Datenpunkte zur Verfügung, um ein gutes Modell zu trainieren.
Nach Anwendung dieses Verfahrens erhalten wir gute Modelle für die Kombinationen von X₂, X₃ und X₄ mit einem sehr geringen mittleren quadratischen Fehler und einem recht guten R²-Wert. Da unsere Vorhersagegenauigkeit für diese spezielle Kombination gut ist, ist der unerklärte Fehler für diese Kombination gering. Daher verwenden wir diese Kombination weiter. So sehen die tatsächlichen, experimentellen und vorhergesagten Werte aus. Modelle sind zwar keine absolute Wahrheit, aber dennoch gut genug, um Vorhersagen für diese spezielle Kombination zu treffen.
Im nächsten Schritt verwenden wir diese Modelle für Monte-Carlo-Simulationen. Mithilfe dieser Simulationen berechneten wir erneut... Basierend auf der Zielgröße und der Distanzmetrik ermittelten wir die simulierten Werte, die unserem Zielwert am nächsten kommen. Anschließend führten wir ein Clustering dieser Simulationen durch, um drei verschiedene Läufe zu finden, mit denen wir im Labor das Experiment durchführen können.
Von diesen drei Läufen erreichte einer unser Ziel. Wir konnten Y₁, Y₂ und Y₃ minimieren, Y₄ und Y₅ maximieren und Y₇ beibehalten. In diesem Schritt haben wir Y₆ übersprungen, da wir Y₆ auch nach all diesen Läufen noch nicht vorhersagen konnten.
Um nun auf den Produktworkflow zurückzukommen: Dies war nur ein Schritt im gesamten Prozess. Wir haben nun die Laborphase abgeschlossen. Jetzt geht es in die Pilotanlage. Dort testen wir die Skalierbarkeit, anschließend die Produktionsläufe und dann die weiteren Schritte.
Damit komme ich zu meiner Zusammenfassungsfolie. In diesem speziellen Fall verwendeten wir einen iterativen, schrittweisen Versuchsplanungsansatz (DOE), mit dem wir die optimale Kombination mit nur 100 statt 500 Experimenten ermitteln konnten. Anschließend wurde ein raumfüllendes Versuchsdesign in Kombination mit maschinellem Lernen effektiv eingesetzt, um den experimentellen Raum zu erkunden. Abschließend stellten wir fest, dass die Kombination aus maschinellem Lernen, DOE-Daten und diesem sequenziellen Ansatz es ermöglicht, ein besseres Modell zu finden, selbst wenn die anfängliche Hypothese falsch ist. An dieser Stelle möchte ich mich bedanken.
