| Lautsprecher |
Transkript |
| David Wong-Pascua |
Okay, also. |
| |
Sequentiell und stetig gewinnt das Rennen. Also, hallo zusammen, ich bin David und leitender Wissenschaftler bei CatSci. Was ist CatSci? |
| |
CatSci ist ein Innovationspartner für ganzheitliche chemische Prozesse, Forschung und Entwicklung. Wir arbeiten mit Organisationen wie JMP UK zusammen, um sicherzustellen, dass alle unsere Entscheidungen datenbasiert sind. |
| |
Für uns geht es darum, es gleich beim ersten Mal und jedes Mal richtig zu machen. Wir entwickeln für jedes Projekt maßgeschneiderte, zweckdienliche Lösungen. Unser absoluter Fokus liegt darauf, die Erwartungen unserer Kunden zu erfüllen. |
| |
Wir arbeiten in verschiedenen Bereichen, darunter in der Früh- und Spätphase der Entwicklung. Wir verfügen über Prozess-Know-how, langjährige Erfahrung in der Katalyse – ein Kernmerkmal unserer Identität – und exzellente Kompetenzen in analytischer Chemie und Materialwissenschaft. |
| |
Eine der Herausforderungen, denen wir bei CatSci gegenüberstehen, besteht in der Auswahl kategorialer Variablen im Vorfeld der Prozessoptimierung. |
| |
Diese Schwierigkeit ist bei unserer Katalysator-Screening-Arbeit am deutlichsten. |
| |
Auf den Bildern auf der Folie sind einige der Geräte und Instrumente zu sehen, die wir für die Durchführung des Katalysator-Screenings verwenden. |
| |
Links haben wir vorgefertigte Katalyse-Kits, die 24 vordosierte Kombinationen aus Metallvorläufer und Ligand enthalten. |
| |
In der Mitte befindet sich ein Hydrogenator, in dem sich eine 48-Well-Platte befindet, die rechts zu sehen ist. |
| |
Dadurch können 48 Einzelexperimente gleichzeitig durchgeführt werden. |
| |
Diese Instrumente sind für hohen Durchsatz und kleine Maßstäbe ausgelegt und es ist nicht ungewöhnlich, 10 oder mehr dieser Platten für unsere Kunden laufen zu lassen, was insgesamt fast 500 Experimente ergibt. |
| |
Warum also müssen wir eine relativ große Zahl an Experimenten durchführen und welche Vorteile ergeben sich daraus für die Effizienzsteigerung? |
| |
Zunächst einmal ist der chemische Raum, der erforscht werden muss, extrem groß. |
| |
Bei jeder Reaktion, jeder chemischen Reaktion gibt es viele Faktoren, die eine Auswirkung haben können, wie etwa Temperatur, Konzentration und Stöchiometrie. |
| |
Was die Erforschung einer katalytischen Reaktion jedoch besonders schwierig macht, ist die Tatsache, dass es viele wichtige kategorische Faktoren gibt; dazu gehören Metallvorläufer, Ligand, Reagenz, Lösungsmittel und Zusatzstoff. |
| |
Ein weiteres Merkmal katalytischer Reaktionen ist, dass es häufig Wechselwirkungen höherer Ordnung gibt. Das bedeutet, dass für ein Katalysatorsystem (eine bestimmte Kombination aus Metallvorläufer und Ligand) |
| |
Zur Beurteilung der Leistung sind umfangreiche Lösungsmittel- und Zusatzstoffprüfungen erforderlich. |
| |
Es ist nicht richtig, eine bestimmte Kombination aus Metallvorläufer und Ligand auszuschließen, nur weil sie in einem bestimmten Lösungsmittel schlecht funktioniert. Möglicherweise haben Sie nicht das richtige Lösungsmittel oder den richtigen Zusatz dafür. |
| |
Eine der einfachsten Möglichkeiten, den Nutzen einer effizienteren Screening-Methode zu erklären, besteht darin, die Materialpreise zu betrachten. |
| |
Viele unserer Katalyseprojekte beinhalten Edelmetalle wie Platin, Palladium, Ruthenium, Iridium und Rhodium. Einige dieser Metalle gehören zu den seltensten Elementen der Erdkruste, was sich in ihrem Preis widerspiegelt. |
| |
Schon eine kurze Google-Suche nach den Preisen zeigt, dass der Preis für Rhodium um mehr als eine Größenordnung höher ist als der von Gold. |
| |
Ein weiterer großer Kostenfaktor beim Katalyse-Screening sind die Liganden. Zwar gibt es auch günstige Liganden, doch viele der leistungsstärksten Liganden für die asymmetrische Synthese sind proprietäre Liganden, wie beispielsweise Josiphos von Solvias. |
| |
und eine der am häufigsten erhältlichen und billigsten Sorten, J001, ist immer noch doppelt so teuer wie Gold. |
| |
Durch die Reduzierung der Anzahl der Experimente können die Kosten für Verbrauchsmaterialien gesenkt werden. Die größte Wirkung erzielen wir jedoch, wenn wir für einen Kunden mit einem Herstellungsprozess im Tonnenmaßstab die optimale Lösung finden. |
| |
In diesen Fällen können durch eine zehnfache Reduzierung der Katalysatorbeladung oder die Entdeckung eines alternativen, günstigeren Katalysators, beispielsweise der Austausch eines Rhodiumkatalysators gegen einen Rutheniumkatalysator, Millionen von Dollar pro Jahr eingespart werden. |
| |
Und jetzt übergebe ich an Ben, der erläutern wird, wie das JMP UK-Team dieses Problem gelöst hat. |
| Ben Francis |
Also vielen Dank, David. |
| |
Es ist also klar, dass |
| |
CatSci und viele andere Unternehmen, die CatSci ähneln, stehen vor großen Herausforderungen mit großen Formulierungsräumen, |
| |
die Wechselwirkungen sehr hoher Ordnung aufweisen können. Die Wissenschaft ist also sehr, sehr komplex und es ist wichtig, welche Experimente wir durchführen, um diese Komplexität zu entschlüsseln. |
| |
Leider ist die Option, einfach jede einzelne Kombination zu testen, aufgrund der von David dort beschriebenen Kosten weder wirklich sinnvoll noch praktikabel. |
| |
Und letztendlich müssen wir einen Ansatz verfolgen, der die Datenwissenschaft einbezieht, um die Beziehungen numerisch zu verstehen. |
| |
Um also fortzufahren und die gewählte Formulierung auf ein Fertigungsszenario anzuwenden ... ein Szenario mit mehreren Fertigungsarten - müssen wir wissen, dass sie jedes Mal funktioniert, wie David sagte. |
| |
Also haben wir die Literatur durchsucht, weil wir bei JMP sehr an der Anwendung von DOE interessiert sind und das Gefühl hatten, dass dies eine besondere Situation von DOE war. |
| |
Und wie wir es treffend benannt haben, handelt es sich um ein großes DOE. Wir suchten also nach einer Fallstudie, auf die wir einen großen DOE-Ansatz anwenden konnten, und fanden eine Arbeit von Perera et al. |
| |
Die Studie wurde 2018 veröffentlicht und untersuchte eine Plattform für dieses Reaktionsscreening. Interessant war dabei, dass fünf kategorische Faktoren zum Einsatz kamen. |
| |
Und das klingt vielleicht nicht nach allzu viel. Sie mussten Reaktant 1 und 2, Ligand, Reagenzien und Lösungsmittel untersuchen, aber die Komplexität dessen, was in diesem Artikel dargestellt wurde, lag in den Ebenen der einzelnen Faktoren. |
| |
Vier, drei, zwölf, acht und vier Ebenen ergeben zusammen 4.608 verschiedene Kombinationen. |
| |
In der Arbeit von Perera et al. wurde jede einzelne getestet, was offensichtlich keine praktikable Lösung für jedes Unternehmen der Welt darstellt. Wie David zuvor dargelegt hat, wurde lediglich jede Kombination getestet. |
| |
Sie können hier auf der Heatmap sehen, dass sie sich ein Bild davon machen konnten, dass es einige ertragreiche Regionen gibt |
| |
und einige weniger ertragreich, und einige auch sehr niedrig. Es gab also viele Tests, die letztendlich zu wenig Prozessverständnis führten |
| |
und sehr hohe experimentelle Kosten. |
| |
Das führte letztendlich dazu, dass sie eine Kombination fanden, die sie dann in der Zeitung verarbeiten konnten und sagten: „Sehen Sie, das ist die allgemeine |
| |
Beim ersten Mal war es richtig, aber war es von da an jedes Mal richtig, wenn man es in ein Szenario mit einer Mehrtonnen-Produktion umsetzte? Würde es weiterhin die geforderten Spezifikationen erfüllen? |
| |
Reduziert die große DOE-Lösung den Ressourcenbedarf? |
| |
Ist es gleich beim ersten Mal richtig und ist es jedes Mal richtig? Und wie wir diese Fragen messen und wie wir abgeschnitten haben |
| |
Um den Ressourcenbedarf zu reduzieren, haben wir zunächst nur ein Experiment mit insgesamt 480 Durchläufen konzipiert. Dies entspricht 1048 Arbeitsplatten, also etwa 10 % der in der Studie durchgeführten Durchläufe. |
| |
Ob es gleich beim ersten Mal klappt, wurde gemessen, indem man sich ansah, wie viele der im Papier identifizierten ertragreichen Kombinationen (die 80) entweder getestet oder vorhergesagt wurden. |
| |
durch das generierte Modell. Und letztendlich erwarteten wir bei 10 % der Läufe mindestens acht ertragreiche Kombinationen aus unseren...aus unseren DOEs |
| |
(und eine hohe Ausbeute wird hier durch einen Wert von über 95 % angezeigt). |
| |
Und schließlich, und das ist entscheidend, ob das Modell bei jeder Messung die richtigen Ergebnisse liefert, wenn man die allgemeinen Diagnosewerte des Modells, die R-Quadrate, betrachtet. Und können wir letztendlich feststellen, ob wir Prozesseinblicke haben? Sind Beziehungen sinnvoll? Sind Kombinationen und Interaktionen sinnvoll? |
| |
Um uns auch hier einen Überblick zu verschaffen, haben wir den vollständigen Datensatz von 4.608 untersucht. Wir haben festgestellt, dass das R-Quadrat 0,89 beträgt, und zwar mit der Methode des verstärkten Baums. |
| |
Ich übergebe nun an Phil, der unseren ersten großen DOE-Ansatz darlegen wird. |
| Phil Kay |
Danke, Ben; danke, David, für die schöne Szenerie. Wir haben uns drei verschiedene Ansätze angesehen. |
| |
Wir werden uns damit befassen und prüfen, ob wir eine geringere Anzahl der in diesem Artikel tatsächlich getesteten Durchläufe durchführen und trotzdem dieselben nützlichen Informationen wie Ben erhalten können. |
| |
Ich werde zwei dieser drei Ansätze erläutern. Dabei handelt es sich um extreme Ansätze. Es gibt einen konservativen und einen gierigen Ansatz. Anschließend wird Ryan den eher hybriden, ausgewogenen Ansatz erläutern, von dem wir dachten, dass er letztendlich am besten funktionieren würde. |
| |
Nach dem konservativen Ansatz handelt es sich also um einen Standardansatz des DOE. Wir entwerfen ein kundenspezifisches Design mit 480 Durchläufen und 10 Blöcken, was 10 Platten in der Katalysator-Screening-Ausrüstung entspricht, die David uns gezeigt hat. |
| |
Und die wichtigsten Ergebnisse waren, dass wir in diesem 480 Durchläufe umfassenden Experiment richtig vorhersagen konnten, dass 13 der ertragreichsten Kombinationen auch ertragreich sein würden. |
| |
Und wir waren in der Lage, aus diesem Datensatz von 480 Durchläufen ein Modell zu erstellen, das, als wir es mit Daten testeten, die in diesem Experiment nicht verwendet worden waren, |
| |
das R-Quadrat lag bei etwa 0,73, also eigentlich ziemlich gut. Ausgehend von diesem kleineren Experiment ... aus dem großen veröffentlichten Experiment - haben wir ein ziemlich gutes Modell und ein ziemlich gutes Verständnis des Systems als Ganzes gewonnen. |
| |
Wir haben daraus einige wirklich interessante Erkenntnisse gewonnen. So mussten wir maschinelles Lernen einsetzen, um aus diesen Daten nützliche Modelle zu erstellen. Das war für uns eine kleine Überraschung. Ich werde das etwas genauer erläutern. |
| |
Und wir haben durch die Daten, die wir mit diesem konservativen Ansatz gesammelt haben, einige gute Erkenntnisse gewonnen. Sie haben uns ein gutes Verständnis des gesamten Faktorraums vermittelt und gezeigt, warum bestimmte Kombinationen gut funktionieren. |
| |
Dadurch konnten wir alternative Regionen identifizieren. Wenn wir also eine ertragreiche Kombination finden, die aber nicht praktikabel ist, weil sie zu teuer ist, |
| |
Wenn der Katalysator zu teuer ist oder vielleicht gefährlich oder giftig und für einen industriellen Prozess nicht geeignet ist, stehen uns viele Alternativen zur Verfügung, weil wir den gesamten Bereich kennen. |
| |
Also, wie haben wir das gemacht? |
| |
Benutzerdefiniertes Design in JMP. Wir |
| |
Ich habe einen 480-Lauf entworfen, in diesem Fall ein optimales Design in 10 Blöcken. Die 10 Blöcke repräsentieren also 10 48-Well-Platten, für die David uns die Ausrüstung gezeigt hat. |
| |
Besonders hervorzuheben ist hierbei, dass wir für die Haupteffekte ein Modell im Custom-Design vorgeben. |
| |
für die Wechselwirkungen zweiter und dritter Ordnung. Und mit den Wechselwirkungen dritter Ordnung und all den Ebenen dieser kategorischen Faktoren, |
| |
Es gibt einfach eine riesige Anzahl von Parametern, die geschätzt werden müssen. Daher konnten wir kein Experiment entwerfen, um alle diese explizit zu schätzen. Wir müssen, wenn möglich, die Wechselwirkungen dritter Ordnung berücksichtigen, sodass dies ein Bayesianisch-I-optimales Design in 480 Durchläufen ist. |
| |
Sie können dieser Abbildung entnehmen, dass wir uns gerade die verschiedenen Runden der Experimente der verschiedenen ... 10 verschiedenen Platten ansehen. |
| |
Und Sie können sehen, wie wir durch Hinzufügen der nächsten Platte im Experiment unsere Untersuchung des Faktorraums als Ganzes erweitern. |
| |
Wir konzentrieren uns nicht auf bestimmte Regionen, sondern füllen lediglich die Lücken in unserem Wissen über den gesamten Faktorraum. |
| |
Das sind also 480 Durchläufe, die wir in unserem Experiment verwendet haben, und die verbleibenden 4.128 Zeilen, die wir aus diesem veröffentlichten Datensatz haben. Wir können diese Testdaten verwenden, um zu sehen, wie gut unsere Modelle im Vergleich zu einem zurückgehaltenen Datensatz abschneiden. |
| |
Aufgrund unseres DOE-Hintergrunds und unserer Erfahrung erwarteten wir, dass |
| |
Wenn wir ein Experiment für ein bestimmtes Modell entwerfen, liefern uns Standardregressionstechniken die nützlichsten Modelle. |
| |
Wir haben hier also JMP Pro verwendet und verwenden die verallgemeinerte Regression, um ein vollständiges Modell dritter Ordnung anzupassen. |
| |
Wir verwenden hier eine Beta-Verteilung, die Vorhersagen zwischen null und eins schwanken lässt. Daher konvertieren wir den prozentualen Ertrag in eine Skala von null bis eins. Das ist nur ein kleiner Trick, den Sie bei der Modellierung solcher Ertragsdaten möglicherweise verwenden möchten, wenn Sie JMP Pro verwenden. |
| |
Und wir verwenden eine Vorwärtsauswahl mit AICc als Validierungsmethode, um die wichtigen Effekte auszuwählen. |
| |
Und wir wiederholen dies nach jeder Runde, also mit der ersten Runde mit 48 Läufen, dann mit der zweiten Runde mit 96, dann mit der dritten mit 144, bis hin zur 10. Runde, in der wir die vollen 480 Läufe haben. |
| |
Hier können Sie den Filter „Allgemeine Registrierung“ sehen, um sich nur die ersten drei Runden anzusehen. |
| |
Dies ist also das Modell, das wir für die ersten drei Runden durch die Verwendung von Gen Reg, Vorwärtsauswahl und AICc-Validierung erhalten. |
| |
Und ich denke, es ist kein besonders gutes Modell, es basiert nur intuitiv auf unserem Verständnis der chemischen Vorgänge. Wir sehen nur zwei der im Modell beteiligten Faktoren, daher wurden nur zwei Haupteffekte als signifikant ausgewählt. |
| |
Wir können das Modell also in der Datentabelle speichern und dann sehen, wie gut das Modell die zurückgehaltenen Daten, unseren Testsatz, vorhersagt. |
| |
die restlichen 4.128 Zeilen, die nicht in unserem Experiment enthalten waren. Und das können wir für jede Runde tun. Und wir haben das für jede Runde getan, sodass wir 10 Modelle haben, die wir mit Gen Reg erstellt haben. |
| |
Alternativ könnten wir uns auch mit Methoden des maschinellen Lernens befassen. Hier betrachten wir noch einmal die ersten drei Runden. |
| |
Und um uns viele verschiedene Modellierungstechniken wirklich schnell anzusehen, verwenden wir die Modellprüfung in JMP 16 Pro. |
| |
Wir geben dort einfach den Ertrag und die Faktoren in die Y- und X-Felder ein. Wir haben eine Spalte für die Validierung der zurückgehaltenen Daten eingerichtet, um 25 % der Daten nach dem Zufallsprinzip zur Validierung zurückzuhalten. |
| |
Klicken Sie auf OK, und es werden alle verschiedenen Modellierungstechniken durchlaufen, sodass wir nun einen Bericht erhalten, der uns sagt |
| |
wie gut diese ... all diese verschiedenen Modellierungstechniken, einschließlich einiger allgemeiner Regelmodelle, neuronaler Netze und verschiedener Baummethoden. |
| |
Und wir haben die beiden besten ausgewählt. Und tatsächlich stellten wir über alle Runden des Experiments hinweg fest, dass neuronale ... verstärkte neuronale Netzmodelle und Bootstrap-Forest-Modelle die leistungsstärksten Modelle waren. |
| |
Wir können also die Vorhersageformeln erneut speichern und sie auf den Testdatensatz anwenden, der nicht am Experiment beteiligt war, um sie zu vergleichen und zu sehen, wie gut unsere verschiedenen Modelle im Vergleich zu diesem Testdatensatz abschneiden. |
| |
Und wir verwenden hier Modellvergleich und JMP Pro, also vergleichen wir alle unsere Gen-Reg-Modelle, unsere neuronalen Netzmodelle und unsere Bootstrap-Forest-Modelle. |
| |
Und jetzt sehen Sie eine visuelle Darstellung des R-Quadrats im Vergleich zu diesem Testdatensatz. Wie gut diese Modelle zum zurückgehaltenen Testdatensatz passen. |
| |
Und Sie können die allgemeine Regel, die Standard-Regressionsmodelle mit Vorwärtsselektion in Rot sehen, beginnend |
| |
in der ersten Runde ist das eigentlich das beste Modell, aber es verbessert sich nicht wirklich, und dann wird es gegen fünf plötzlich sehr schlecht, bevor es in der nächsten Runde wieder richtig gut wird. Also sehr instabil und gegen Ende immer schlechter, wahrscheinlich Überanpassung. |
| |
Die Methoden des maschinellen Lernens hingegen sind |
| |
Nach der dritten Runde schneiden sie am besten ab, besser als unsere Standard-Regressionstechniken, und sie verbessern sich kontinuierlich. Und tatsächlich, |
| |
Sie können sehen, dass die neuronalen Netze dort in Grün am Anfang besser abschneiden und dass der Bootstrap-Wald gegen Ende die verstärkten neuronalen Netzmodelle übertrifft. |
| |
Die Quintessenz hier ist also, dass Sie selbst in einer Situation, die Sie vielleicht als relativ einfach betrachten, die Methoden des maschinellen Lernens in JMP Pro wirklich brauchen, um die besten und zuverlässigsten Modelle für diese Art von Systemen oder Prozessen zu erhalten. |
| |
Jetzt betrachten wir Diagramme der tatsächlichen Ertragsergebnisse für alle 4.608 veröffentlichten Läufe im Vergleich zu den Vorhersagen unseres besten Modells am Ende der zehnten Runde, nach den vollen 480 Läufen. Das war also ein Bootstrap-Wald auf der rechten Seite. |
| |
Und es ist nicht schlecht, man kann die wichtigen Verhaltensweisen erkennen, die es aufgreift. Es identifiziert die Regionen mit niedrigem Ertrag und die Regionen mit dem höchsten Ertrag. Es gibt also … |
| |
Besonders oben rechts verwenden sie einen Iod(?)-Reaktanten und die Boronsäure und den Boronsäureester |
| |
Reaktanten dort. |
| |
Vergleichen wir dies nun mit dem anderen Extrem. Die erste Runde mit 48 Läufen war genau gleich; wir beginnen mit denselben 48 Läufen. Anschließend erstellen wir ein Modell und verwenden dieses Modell, um herauszufinden, welche der verbleibenden Läufe |
| |
Welcher der insgesamt verbleibenden 4.560 Läufe wird laut Modell den höchsten Ertrag haben? Und so machen wir dann weiter in allen weiteren Runden bis zur Runde 10. |
| |
Und in diesem Fall sagen wir mehr von den hohen Erträgen und Kombinationen richtig voraus, aber wenn wir das endgültige Modell nach 10 Runden erhalten und es mit den Daten vergleichen |
| |
Das R-Quadrat, das wir im Experiment nicht verwendet haben, ist schrecklich. Es liegt bei 0,33. Das Modell, das wir erhalten, liefert also keine guten Vorhersagen über das System als Ganzes. |
| |
Wir verstehen also eine ertragreiche Region gut und finden Kombinationen und Faktoren, die gut funktionieren. Aber das hilft uns nicht, das System als Ganzes zu verstehen. Wir sind nicht... |
| |
wir verringern nicht die Variabilität unseres Verständnisses des Systems als Ganzes. |
| |
Um Ihnen zu zeigen, wie dieses System, dieser Ansatz funktioniert, hier sind unsere gesamten 4.608 Läufe, alle möglichen Kombinationen. Und wie ich in Runde 1 erwähnt habe, ist das dasselbe wie in Runde 1 mit dem konservativen Ansatz, also ein optimales |
| |
Es gibt dort eine Reihe von Punkten, und Sie können sehen, dass sie gleichmäßig über den Faktorraum verteilt sind. |
| |
Wir haben ein Modell an die Daten dieser 48 Läufe angepasst. |
| |
Und wir verwenden dieses Modell, um den Ertrag aller anderen möglichen Kombinationen vorherzusagen und wählen dann aus diesen die 48 ertragreichsten Vorhersagen aus. |
| |
Das sind diese. Sie sehen also, sie konzentrieren sich auf den ertragreicheren Bereich des … wir … wir erkunden nicht mehr den gesamten Faktorraum. |
| |
Und wenn wir von Runde 1, 2, 3 bis zu Runde 10 gehen, sehen Sie, dass wir jedes Mal Läufe zum Experiment hinzufügen, die genau in der ertragreichen Zone oben links liegen. Wir konzentrieren uns also wirklich nur auf einen Bereich des Faktorraums. |
| |
Und wenn wir hier den tatsächlichen Wert mit dem prognostizierten Wert vergleichen, können Sie sehen, dass es in der Region oben links ziemlich gut funktioniert. |
| |
Aber anderswo liefert es erwartungsgemäß ziemlich schlechte Prognosen; das ist wahrscheinlich nicht weiter überraschend. Wir haben nicht das gesamte System untersucht. Wir haben uns nur auf die ertragsstarke Region konzentriert. |
| |
Und wenn Sie es mit unserem konservativen Ansatz auf der linken Seite vergleichen (Sie haben also bereits die Grafik auf der linken Seite gesehen), wenn Sie sich ansehen, wie das Modell |
| |
verbesserte sich in den Runden eins bis zehn, und dann verwendeten wir in jeder Runde erneut die Modell-Screening-Plattform, um das beste Modell zu finden. |
| |
Und es stellte sich heraus, dass das verstärkte neuronale Netz in jeder Phase tatsächlich das beste Modell war. Nun, Sie können wieder sehen, dass es irgendwie instabil ist, wie die allgemeine Regulierung beim konservativen Ansatz. |
| |
Manchmal ist es okay, aber es ist nie ... es ist nie konkurrenzfähig mit unseren besten Modellen aus dem konservativen Experiment. |
| |
Dies sind also die beiden Extreme. Ich übergebe nun an Ryan, der über einen ausgewogeneren oder hybrideren Ansatz für dieses Problem sprechen wird. |
| Ryan Lekivetz |
Also danke dafür, Phil. Und |
| |
Mitten in einer Präsentation möchte ich mich bei Phil, Ben und David bedanken, dass ich daran teilnehmen durfte. Als Entwickler macht es Spaß, ein bisschen herumzuexperimentieren. Ich bin Entwickler der DOE-Plattformen in JMP. |
| |
Wie Phil hier schon erwähnt hat, handelt es sich bei dem Ansatz, den ich hier betrachte, um einen hybriden Ansatz. |
| |
Also gut, die Idee hier ist, dass wir uns den Unterschied zwischen Optimierung und Exploration ansehen werden. |
| |
Wenn man also an den gierigen Ansatz denkt, von dem Phil sprach, dann ist das genau diese Optimierung. Ich strebe strikt nach dem Besten, darauf konzentriere ich mich ausschließlich. Bei dem konservativen Ansatz hingegen stand allein die Exploration im Vordergrund. |
| |
Die Idee hier ist also, ob wir irgendwo in der Mitte ankommen können, um |
| |
vielleicht optimieren und gleichzeitig den Raum noch ein wenig erkunden? |
| |
Ich erkläre Ihnen, was ich hier gemacht habe. Ich habe mit drei vorbereiteten Wellplatten angefangen. Ich habe drei Blöcke der Größe 48 verwendet und die Haupteffekte mit If Possible 2FIs durchgeführt. |
| |
Der Grund dafür ist, dass ich den Modellen nach nur 48 Durchläufen manchmal nicht wirklich vertraut habe. Ich sagte mir: „Okay, lass es uns ein bisschen einbrennen. Versuchen wir es mit 144 oder Drei-Well-Platten, dann kann ich dem Modell vielleicht etwas mehr vertrauen.“ |
| |
Denn selbst wenn Sie diesen gierigen Ansatz verfolgen, werden Sie, wenn Ihr Modell schlecht war, in die schrecklichen Regionen geraten. Das wird Ihnen nicht viel helfen. |
| |
Und noch einmal, also wie zuvor werde ich am Ende immer noch insgesamt 10 Wellplatten oder insgesamt 10 Blöcke machen. |
| |
Ich werde in den nächsten Folien etwas mehr darüber sprechen. Ich habe tatsächlich durchgehend XGBoost verwendet. Ich hatte also vorhergesagt, dass XGBoost verwendet wird, und es gibt einen Grund, warum ich darauf eingehen werde. |
| |
dafür, dass Sie das tun. |
| |
Die Idee hier bestand jedoch darin, im Wesentlichen den Vorhersagewert zu berücksichtigen. Anstatt mich also strikt an die besten 48 zu halten, sagte ich, ich werde einen Schwellenwert festlegen. |
| |
Gut, nach den ersten drei habe ich also bei 50 angefangen. Also sagte ich: „Geben Sie mir die Vorhersagewerte, die größer als 50 sind, und wenn ich mit weiteren Wellplatten weitermache, werde ich in jeder Runde um fünf erhöhen.“ |
| |
Ich meine, das war ziemlich willkürlich; das lag zum Teil daran, dass wir wussten, dass wir insgesamt nur 10 Runden hatten, und auch daran, dass ich anhand der Vorhersage irgendwie erkennen konnte, wie groß das Set war. |
| |
Richtig, also je nach den Daten, wenn es so aussieht, als wäre dieser Satz immer noch riesig, als läge die Vorhersage bei etwa 50, könnten Sie es entsprechend ändern. |
| |
Die Idee besteht hier also darin, langsam mit der Erkundung der hoffentlich ertragreicheren Regionen zu beginnen. |
| |
Und hatten wir Recht? Nun, wir haben tatsächlich 27 der 80 ertragreichsten Kombinationen erhalten, die über 95 liegen, was nicht weit vom gierigen Ansatz entfernt ist. |
| |
Und wenn man das R-Quadrat betrachtet, wieder einmal mit all den zurückgehaltenen Daten, so lag das R-Quadrat des finalen Tests bei 0,69, also gar nicht so weit vom konservativen Ansatz entfernt. Also nur das... |
| |
Ich meine, Sie sollten vielleicht vorsichtig sein, wenn Sie sich nur diese beiden Zahlen ansehen, aber auf dieser Grundlage scheint dieser Hybrid tatsächlich das Beste aus beiden Welten zu bieten. Sie machen zwar einen Kompromiss, aber Sie bekommen etwas Gutes. |
| |
Dies sind nur einige Einblicke in diesen Ansatz. Ich würde sagen, dass wir letztendlich ein besseres Verständnis der mit hohen Renditen verbundenen Faktorräume gewonnen haben. |
| |
Ich denke, die Gier – wenn Sie sich daran erinnern, wo diese Punkte waren – war wirklich oben links konzentriert, sodass dieser Bereich nicht wirklich weiter erkundet wurde. |
| |
Und Sie können sich vorstellen, wenn ... |
| |
Wenn sich der Preis dort über Nacht vervierfacht, weiß man nichts mehr über den Rest der Region. |
| |
Richtig, und mit diesem hybriden Ansatz erhalten wir mehr von dem Wie und Warum, einige der Kombinationen, und es gibt uns bessere Alternativen |
| |
Auch hier gilt: Wenn Sie andere Faktoren berücksichtigen müssen, sind Sie vielleicht bereit, ein kleines bisschen Ertrag zu opfern, weil es auf der Grundlage anderer Messungen bessere Alternativen gibt. |
| |
Und nun, die Idee hier... ja, also, lassen Sie mich kurz darauf eingehen, wie das im Custom-Design umgesetzt wurde. Mein Ansatz war also |
| |
Verwendung von Kovariaten im benutzerdefinierten Designer, was meiner Meinung nach manchmal etwas unterschätzt wird. |
| |
Die Idee ist, dass ich einfach den gesamten Datensatz genommen habe, also die gesamten 4.608 Läufe, |
| |
Und für jede Runde ... Sie können sich das vorstellen: Zuerst habe ich das Design mit 144 Durchläufen genommen und dann gesagt: „Gut, ich nehme eine Teilmenge dieses vollständigen Datensatzes. Wenn ich sie bereits in einem früheren Design ausgewählt habe, muss ich sicherstellen, dass sie enthalten ist.“ |
| |
Und geben Sie mir dann auch die prognostizierten Erträge über diesem bestimmten Wert, also noch einmal für das vierte Design, das bei 50 und 55, 60 usw. begonnen wurde. |
| |
Also in der Datentabelle |
| |
Ich wähle die Designpunkte aus früheren Experimenten aus und achte darauf, dass diese hervorgehoben sind. Unter „Faktor hinzufügen“ gibt es dann die Option „Kovariate“. Und ich denke, das ist … |
| |
Viele Leute haben noch nie wirklich Kovariaten gesehen und ich habe es hier erwähnt, weil ich glaube, ich könnte wahrscheinlich einen ganzen Vortrag nur mit Kovariaten verbringen, |
| |
aber es wird tatsächlich ein paar Blogeinträge geben (wenn sie nicht online sind, wenn Sie dieses Video sehen, wahrscheinlich innerhalb weniger Tage, wenn Sie dies hier sehen) |
| |
Hier werde ich etwas ausführlicher auf die Verwendung von Kovariaten eingehen. Die Idee dahinter ist – Sie haben vielleicht schon einmal etwas über Kandidatenmengen gehört. Die Idee ist also … |
| |
hier ist dieser Datensatz, der die Teilmenge der zuvor ausgewählten Daten und dergleichen war, und er sagt dem benutzerdefinierten Designer, dass er nur diese Entwurfspunkte auswählen kann. |
| |
Das geht nicht wie gewohnt. Wir werden ständig versuchen, die Koordinaten zu ändern. Der JMP-Designer erhält den Befehl, diese Läufe in seinem Design zu verwenden. Insbesondere |
| |
Eine der Möglichkeiten, Kovariaten zu verwenden, besteht darin, zuvor ausgewählte Designpunkte zu erzwingen. Auf diese Weise ist es tatsächlich wie eine Designerweiterung. |
| |
Verwenden eines Kandidaten nach der Verwendung von Kovariaten. |
| |
Und natürlich kann ich in diesem Fall die Designpunkte, mit denen ich zuvor experimentiert habe, nicht einfach über Bord werfen. Eigentlich geht es uns nur darum, die nächsten 48 auszuwählen. |
| |
Und ich sollte hier trotzdem noch erwähnen, wenn Sie an das individuelle Design denken … |
| |
In jedem dieser Fälle habe ich Folgendes gemacht: die Zwei-Faktor-Interaktionen und dann, wenn möglich, die Drei-Faktor-Interaktionen. |
| |
Aber es gab... das war eigentlich eher ein Mechanismus, um den Designraum zu erkunden, richtig. Das Modell, das ich angepasst habe |
| |
habe XGBoost im Nachhinein verwendet, das Design war also nicht für ein XGBoost-Modell oder ähnliches optimiert. |
| |
Dies war eher ein Ersatz dafür, den Designraum zu erkunden, in dem die prognostizierte Ausbeute gut aussieht. Insbesondere, da es sich um die kategorischen Faktoren handelte, wird sichergestellt, dass eine gute Balance erreicht wird. Noch etwas ist zu erwähnen: |
| |
Wenn Sie möchten, könnten Sie die Antwort verwenden, da das zugrunde liegende Modell, XGBoost oder ähnliches, nicht verwendet wird. In diesem Fall wurde der Ertrag als weitere Kovariate vorhergesagt. Dies würde dazu beitragen, ein besseres Gleichgewicht zwischen hohem und niedrigem Ertrag zu erreichen. |
| |
Antworten, wenn versucht wird, das Design zu erstellen. |
| |
Wir haben das hier also nicht näher untersucht, aber ich denke, dass es in Zukunft sinnvoll wäre, das zu tun. |
| |
Nun zur prognostizierten Ausbeute. Wie ich bereits erwähnt habe, als Phil über einige der anderen Machine-Learning-Techniken sprach, die er ausprobiert hatte, |
| |
Für mein ??? habe ich mich eigentlich hauptsächlich auf XGBoost konzentriert. |
| |
Und wenn Sie auf die linke Seite schauen, einer der Gründe, warum ich das getan habe, war, zu versuchen |
| |
Ich verwende die Kreuzvalidierung mit K-Falten, wobei ich die Designnummer verwende, die im Wesentlichen der Wellplatte als jede zusätzliche Falte entspricht. Anstatt also die verschiedenen K-Falten zufällig auszuwählen, |
| |
Es hieße: Ich schaue mir die Mikrotiterplatte an und versuche, sie für jeden einzelnen Test zu verwenden. Stellen Sie sich vor: Beim ersten Test hatte ich nur drei Mikrotiterplatten. |
| |
Es sollte jede dieser Wellplatten nehmen, sie hinhalten und dann sehen, wie gut die Vorhersage auf der Grundlage der beiden verbleibenden sein würde. Und bis ich bei der zehnten ... der zehnten Wellplatte angekommen wäre, wäre es tatsächlich so etwas wie das Zehnfache. |
| |
Ein Teil meiner Überlegungen bestand darin, darüber nachzudenken, wie ich das Modell gegenüber der nächsten Wellplatte, die Sie noch nicht gesehen haben, robust machen könnte. |
| |
Und in Wirklichkeit würde Sie das vielleicht auch schützen, wenn mit einer bestimmten Mikrotiterplatte etwas passiert, |
| |
Dann erhalten Sie vielleicht auch davor ein wenig Schutz. |
| |
Und noch etwas habe ich mit XGBoost gemacht: Wenn Sie die XGBoost-Plattform starten, also über das Add-In, sehen Sie oben ein kleines Kontrollkästchen für das, was wir ein Tuning-Design nennen. |
| |
Und so, mit diesem Tuning-Design, |
| |
Tatsächlich wird hinter den Abdeckungen ein raumfüllendes Design angebracht und das Ganze wird für die verschiedenen Hyperparameter ausgeführt. |
| |
Also, was ich jedes Mal getan habe, wenn ich das getan habe, |
| |
Ich würde ein Tuning-Design für 50 Läufe wählen, aber einfach den Hyperparameter-Raum erkunden. Und so würde ich das Modell wählen, das ich in jeder Runde |
| |
war diejenige mit dem besten Validierungs-R-Quadrat. Und auch hier basiert das Validierungs-R-Quadrat nur auf den mir vorliegenden Designpunkten. Das war also die K-fache Faltung mit dem... |
| |
mit diesen verschiedenen Mikrotiterplatten. In diesem Fall ist das Validierungs-R-Quadrat also nicht... Ich verwende diese Daten nicht, da sie mir in Wirklichkeit noch nicht vorliegen. |
| |
Aber ich habe nur gesagt, dass ich diese Validierungstechnik mit den Well-Platten verwendet habe. Das ist also der Grund, warum ich hauptsächlich XGBoost verwendet habe. Ich habe einfach etwas anderes ausprobiert. |
| |
Ich verwende die K-Falt-Technik und verwende auch sehr gerne die Raumfüllung, wenn es um XGBoost geht. |
| |
Schauen wir uns das mal an. Wir sehen hier die Punkte, die in den aufeinanderfolgenden Runden ausgewählt werden. Nun, |
| |
wenn Sie daran denken, was beim gierigen Ansatz passiert ist, meine ich, der Fokus lag wirklich oben links. |
| |
Richtig, aber jetzt, wenn Sie diesen hybriden Ansatz sehen, |
| |
Wenn es beginnt, sich in die Runden vorwärts zu bewegen, sehen Sie, dass diese Punkte etwas mehr ausgefüllt werden, aber wir erhalten auch eine bessere ... eine bessere Stichprobe von Punkten, insbesondere auf der linken Seite. |
| |
Richtig, wenn man es aus dieser Perspektive betrachtet, gibt es jetzt viel bessere Alternativen für diese ertragreichen Regionen. |
| |
Ich denke schon... wenn wir jetzt die tatsächlichen Zahlen mit den Prognosen vergleichen, |
| |
Ich denke tatsächlich, dass das auch irgendwie aufschlussreich war, weil wir eine bessere Erkundung durchgeführt haben. |
| |
In den ertragsstarken Regionen, die vielleicht |
| |
ist nicht ganz so hoch gekommen, denke ich. Wenn Sie nach unten links schauen, haben wir meiner Meinung nach im Hybridmodell viel bessere Arbeit geleistet, indem wir einige der möglicherweise praktikablen Alternativen aufgegriffen haben. |
| |
Das Schöne an dieser Methode ist auch, dass ich mich auf mehr als nur den Ertrag konzentrieren kann. |
| |
Richtig, wenn Sie also daran denken... |
| |
Ich könnte eine sekundäre Reaktion haben, sei es eine Art Toxizität, es könnten Kosten sein, irgendetwas in der Art, das, |
| |
Ich kann mich auf mehr als nur den Ertrag konzentrieren, wenn ich mir diese prognostizierten Werte ansehe. Wenn Sie also an so etwas wie den Greedy-Ansatz denken, |
| |
Wenn Sie beginnen, sekundäre Kriterien hinzuzufügen, die Sie berücksichtigen möchten, ist es viel schwieriger, mit dem Abwägen zu beginnen. Mit diesem Teilmengenansatz hingegen ist es überhaupt nicht schwierig, dabei eine sekundäre Antwort hinzuzufügen. |
| |
Ich denke, ich übergebe jetzt an Ben, der das Fazit ziehen wird. |
| Ben Francis |
Also, |
| |
Vielen Dank an David, Phil und Ryan für die Hintergrundinformationen zu unserem Vorgehen und die zwei, drei sehr guten Lösungen und Wege, |
| |
Sehen Sie, wie wir dieses Problem angehen. Und bei all diesen Ansätzen ist klar, dass JMP den Wissenschaftlern einen Mehrwert bietet. Wir haben die Ressourcen für Experimente im Vorfeld um das Zehnfache reduziert. Wir haben nur 10 % der Läufe genutzt. Und |
| |
Letztendlich ermöglichten wir in jeder Situation die Erfüllung der Spezifikationen und die Bereitstellung einer ertragreichen Lösung aus den Experimenten. |
| |
Darüber hinaus haben wir aber auch gezeigt, wie wir je nach Ziel und Strategie des Unternehmens, das diesen Ansatz verfolgt, unterschiedlich tiefes Prozessverständnis erreichen können. |
| |
Nun, Sie werden vielleicht bemerken, dass wir drei von JMP sehr daran interessiert sind, wie CatSci dieses Problem angeht. Wir haben nicht unbedingt |
| |
Wir haben das Problem von CatSci abgezogen und selbst gelöst. Wir stellen die Werkzeuge bereit, um es im Rahmen des DOE anzugehen. Und dies war eine fantastische Zusammenarbeit zwischen David als Kunde, |
| |
Ich und Phil auf der Seite des technischen Vertriebs und Ryan in der Produktentwicklung. Und es ist wichtig, dass wir alle das Ganze aus einer anderen Perspektive betrachten. |
| |
um diese Art von Lösung zu ermöglichen, können wir, wie ich bereits sagte, ein tiefgreifendes Prozessverständnis auf unterschiedliche Weise anstreben, je nach den Zielen, die erreicht werden müssen. |
| |
Wir haben auf dem Weg einige Dinge herausgefunden, die für uns bei JMP wirklich spannend sind und zu Produktverbesserungen führen werden, die wir dann an Sie weitergeben |
| |
als Kunden. Wir haben gelernt, dass maschinelle Lernansätze in dieser großen DOE-Situation anwendbar sind und wie Sie wissen, mit JMP einfach anzuwenden sind. Wir haben auch gelernt, bei den Validierungsansätzen Vorsicht walten zu lassen, und das können wir uns noch genauer ansehen. |
| |
Letztendlich haben wir hier also eine Menge Arbeit im Hinblick auf die großen Herausforderungen des DOE präsentiert und wir sind sicher, dass es viele Unternehmen gibt, die sich ähnlich wie CatSci mit dieser Art von Problemen befassen. |
| |
Wir laden Sie alle ein, unsere Arbeit näher zu erkunden. Hier haben wir zwei Links zur Community, wo wir Ressourcen und das Video dazu veröffentlichen. |
| |
Außerdem gibt es einen öffentlichen JMP-Beitrag, der Ihnen die Möglichkeit bietet, die hier verwendeten Daten praxisnah zu nutzen. Wir bedanken uns bei allen Teilnehmern dieser Präsentation fürs Zuschauen. |
