Lautsprecher
|
Transkript
|
| David.Wong-Pascua |
Okay, also. |
| |
Sequentiell und stetig gewinnt das Rennen. Hallo allerseits, ich bin David und ein leitender Wissenschaftler bei CatSci. Was ist CatSci? |
| |
CatSci ist ein Innovationspartner für durchgängige chemische Prozesse, Forschung und Entwicklung. Wir arbeiten mit Organisationen wie JMP UK zusammen, um sicherzustellen, dass alle unsere Entscheidungen von Daten abhängen. |
| |
Für uns geht es darum, es beim ersten Mal richtig zu machen und jedes Mal richtig zu machen. Formulierung maßgeschneiderter, perfekter Lösungen für jedes Projekt; und unser absoluter Fokus liegt darauf, die Erwartungen unserer Kunden zu erfüllen. |
| |
Wir arbeiten in einer Reihe von Bereichen, einschließlich der frühen und späten Entwicklungsphase. Wir verfügen über Prozesskompetenz, eine lange Geschichte der Katalyseerfahrung, die seit jeher ein zentrales Merkmal unserer Identität ist, und wir verfügen über hervorragende Fähigkeiten in der analytischen Chemie und in den Materialwissenschaften. |
| |
Eine der Herausforderungen bei CatSci ist die Auswahl kategorialer Variablen vor der Prozessoptimierung. |
| |
Diese Schwierigkeit ist bei unseren Katalysatorscreening-Arbeiten am ausgeprägtesten. |
| |
In den Bildern auf dem Objektträger sehen wir einige der Geräte und Instrumente, auf die wir uns verlassen, um ein Katalysatorscreening durchzuführen. |
| |
Links haben wir vorgefertigte Katalyse-Kits, die 24 vorab dosierte Kombinationen aus Metallvorläufer und Ligand enthalten. |
| |
In der Mitte befindet sich ein Hydrator, in dem sich eine 48-Well-Platte befindet, die rechts zu sehen ist. |
| |
Dadurch können 48 Einzelexperimente gleichzeitig durchgeführt werden. |
| |
Diese Instrumente sind für hohen Durchsatz und kleinen Maßstab ausgelegt, und es ist nicht ungewöhnlich, 10 oder mehr dieser Platten für unsere Kunden zu betreiben, was bis zu fast 500 Experimenten entspricht. |
| |
Warum müssen wir also eine relativ große Anzahl von Experimenten durchführen und was sind die Vorteile für die Verbesserung der Effizienz? |
| |
Zuallererst ist der chemische Raum, der erforscht werden muss, extrem groß. |
| |
Für jede Reaktion, jede chemische Reaktion gibt es viele Faktoren, die sich auswirken können, wie Temperatur, Konzentration und Stöchiometrie. |
| |
Was die Exploration für eine katalytische Reaktion jedoch besonders schwierig macht, ist die Tatsache, dass es viele wichtige kategoriale Faktoren gibt. Dazu gehören Metallvorläufer, Ligand, Reagenz, Lösungsmittel und Additiv. |
| |
Ein weiteres Merkmal katalytischer Reaktionen ist, dass es häufig Wechselwirkungen hoher Ordnung gibt. Dies bedeutet also, dass für ein Katalysatorsystem (eine bestimmte Kombination aus Metallvorläufer und Ligand) |
| |
Es müssen umfangreiche Lösungsmittel- und Additivsiebe vorhanden sein, um die Leistung zu messen. |
| |
Es ist nicht richtig auszuschließen, kurz zuvor eine bestimmte Kombination aus methalem Vorläufer und Ligand zu sagen ... nur weil sie in einem bestimmten Lösungsmittel schlecht funktioniert. Es kann sein, dass Sie nicht das richtige Lösungsmittel oder den richtigen Zusatzstoff dafür haben. |
| |
Eine der einfachsten Möglichkeiten, den Nutzen einer effizienteren Screening-Methode zu erklären, besteht darin, den Materialpreis zu betrachten. |
| |
Viele unserer Katalyseprojekte umfassen Edelmetalle wie Platin, Palladium, Ruthenium, Iridium und Rhodium. Einige dieser Metalle gehören zu den seltensten Elementen in der Erdkruste, was sich in ihrem Preis widerspiegelt. |
| |
Nur eine schnelle Google-Suche ihrer Preise, Sie können hier sehen, dass der Preis für Rhodium mehr als eine Größenordnung teurer ist als Gold. |
| |
Ein weiterer großer Aufwand für das Katalyse-Screening sind die Liganden. Während es billige Liganden gibt, sind viele der leistungsstärksten Liganden für die asymmetrische Synthese proprietäre Liganden wie Josiphos von Solvias. |
| |
und einer der am häufigsten erhältlichen und billigsten, J001, ist immer noch doppelt so teuer wie Gold. |
| |
Eine Reduzierung der Anzahl der Experimente kann daher die Kosten für Verbrauchsmaterialien senken. Die größte Auswirkung wird jedoch erzielt, wenn wir die optimale Lösung für einen Kunden mit einem Multiton-Herstellungsprozess finden. |
| |
In diesen Fällen kann eine zehnfache Verringerung der Katalysatorbeladung oder die Entdeckung eines alternativen billigeren Katalysators, beispielsweise durch den Austausch eines Rhodiumkatalysators gegen einen Rutheniumkatalysator, Millionen von Dollar pro Jahr einsparen. |
| |
Und jetzt übergebe ich es Ben, der besprechen wird, wie das Team von JMP UK dieses Problem angegangen ist. |
| Ben Francis |
Vielen Dank, David. |
| |
Es ist also klar, dass |
| |
CatSci und viele andere Unternehmen, die CatSci ähnlich sind, stehen vor großen Herausforderungen mit großen Formulierungsräumen. |
| |
die Wechselwirkungen sehr hoher Ordnung haben können. Die Wissenschaft ist also sehr, sehr komplex und es ist wichtig, was wir tun, um zu experimentieren, um diese Komplexität zu enträtseln. |
| |
Leider ist die Option, nur jede einzelne Kombination zu testen, aufgrund der Kosten, die David dort dargelegt hat, nicht wirklich sinnvoll oder praktikabel. |
| |
Und letztendlich müssen wir einen Ansatz verfolgen, der Datenwissenschaft umfasst, um die Beziehungen numerisch zu verstehen. |
| |
Um fortzufahren und die gewählte Formulierung auf eine Fertigung anzuwenden ... ein Szenario mit mehreren Fertigungsverfahren, müssen wir wissen, dass es jedes Mal funktioniert, wie David sagte. |
| |
Wir haben also nach Literatur gesucht, weil wir bei JMP sehr an der Anwendung von DOE interessiert sind und wir der Meinung waren, dass dies eine besondere Situation von DOE ist. |
| |
Und wie wir es treffend genannt haben, ist es ein großes DOE. Also suchten wir nach einer Fallstudie, um einen großen DOE-Ansatz anzuwenden, und fanden eine Arbeit von Perera et al. |
| |
veröffentlicht im Jahr 2018, und sie suchten nach einer Plattform für dieses Reaktionsscreening. Und was in diesem Szenario interessant war, war, dass sie fünf kategoriale Faktoren hatten. |
| |
Und das klingt vielleicht nicht nach zu viel. Sie mussten sich die Reaktanten 1 und 2, den Liganden, die Reagenzien und das Lösungsmittel ansehen, aber die Komplexität dessen, was in diesem Artikel vorgestellt wurde, war die Menge der einzelnen Faktoren. |
| |
Vier, drei, zwölf, acht und vier Ebenen ergeben zusammen 4.608 verschiedene Kombinationen. |
| |
In der Veröffentlichung von Perera et al. Haben sie nun jeden einzelnen getestet, was für jedes Unternehmen auf der Welt offensichtlich keine praktikable Lösung ist. Sie haben lediglich jede Kombination getestet, wie David zuvor dargelegt hat. |
| |
Sie können hier auf der Wärmekarte sehen, dass sie eine Vorstellung davon bekommen haben, dass es einige ertragreiche Regionen gibt |
| |
und einige weniger ertragreiche und einige auch sehr niedrige. Es gab also viele Tests, um letztendlich nicht wirklich viel Prozessverständnis zu erlangen |
| |
und sehr hohe experimentelle Kosten. |
| |
Dies endete letztendlich in einer Situation, in der sie eine Kombination fanden, zu einer Kombination kamen, die sie dann in der Zeitung verarbeiten konnten und sagten: Schau, das ist, das sind die allgemeinen |
| |
es war richtig, das erste Mal, aber war es von diesem Zeitpunkt an jedes Mal richtig, wenn sie das in ein Multiton-Herstellungsszenario einbauten? Würde es weiterhin die erforderliche Spezifikation liefern? |
| |
Reduziert die große DOE-Lösung den Ressourcenbedarf? |
| |
Wird es beim ersten Mal richtig gemacht und wird es jedes Mal richtig gemacht? Und wie wir diese Fragen messen können und wie wir uns verhalten haben |
| |
Zum einen im Hinblick auf die Reduzierung des Ressourcenbedarfs durften wir nur ein Experiment mit insgesamt 480 Läufen entwerfen. Dies ahmte 10 48 Arbeitsplatten nach, und dies sind ungefähr 10% der im Papier durchgeführten Läufe. |
| |
Wird es beim ersten Mal richtig gemacht, wurde gemessen, wie viele der in dem Papier identifizierten High-Yield-Kombinationen, die 80, entweder getestet oder vorhergesagt wurden |
| |
durch das erzeugte Modell. Und letztendlich hatten wir bei 10% der Läufe damit gerechnet, mindestens acht High-Yield-Kombinationen aus unseren ... aus unseren DOEs herauszuholen |
| |
(und eine hohe Ausbeute wird hier durch einen Wert von mehr als 95% angezeigt). |
| |
Schließlich und entscheidend ist, dass es jedes Mal richtig gemacht wird, wenn es anhand der allgemeinen Diagnose des Modells, der R-Quadrate, gemessen wurde. Und können wir uns das letztendlich ansehen und sehen, ob wir Prozesskenntnisse haben? Sind Beziehungen sinnvoll? Sind Kombinationen und Interaktionen sinnvoll? |
| |
Was wir also getan haben, um uns auch hier ein Par für den Kurs zu geben, war die Verwendung des vollständigen Datensatzes von 4.608. Wir stellten fest, dass das R-Quadrat davon 0,89 betrug, und dies war eine Methode mit verstärktem Baum. |
| |
Jetzt werde ich Phil übergeben, der den ersten großen DOE-Ansatz skizzieren wird, den wir gewählt haben. |
| Phil Kay |
Danke, Ben; Danke, David, dass du die Szene so schön gemacht hast. Wir haben uns also drei verschiedene Ansätze angesehen |
| |
Um dies in Angriff zu nehmen und zu sehen, ob wir eine reduzierte Anzahl der Läufe durchführen können, die tatsächlich in diesem Artikel getestet wurden, und dennoch die gleichen nützlichen Informationen wie Ben erhalten, wie beschrieben. |
| |
Ich werde also zwei dieser drei Ansätze durchgehen, und diese beiden sind eine Art extremer Ansätze. Es gibt einen konservativen Ansatz und einen gierigen Ansatz, und dann wird Ryan über den hybriden, ausgewogenen Ansatz sprechen, von dem wir dachten, dass er letztendlich am besten funktionieren würde. |
| |
Nach dem konservativen Ansatz ist dies also ein Standard-DOE-Ansatz. Wir entwerfen ein 480-maliges kundenspezifisches Design mit 10 Blöcken, was 10 Platten in der Katalysatorsiebausrüstung darstellt, die David uns gezeigt hat. |
| |
Und die Hauptergebnisse waren, dass wir aus diesem 480-maligen Experiment korrekt vorhersagen konnten, dass 13 der Kombinationen mit der höchsten Ausbeute hohe Kombinationen sind. |
| |
Und wir konnten aus diesem 480-Lauf-Datensatz ein Modell erstellen, das, als wir es mit Daten testeten, die in diesem Experiment nicht verwendet wurden, |
| |
Das R-Quadrat war ungefähr 0,73, also ziemlich gut. Wir erhalten ein ziemlich gutes Modell, ein ziemlich gutes Verständnis des Systems als Ganzes aus diesem kleineren Experiment ... aus dem großen Experiment, das veröffentlicht wurde. |
| |
Einige wirklich interessante Erkenntnisse, die wir daraus gewonnen haben, waren, dass wir maschinelles Lernen verwenden mussten, um nützliche Modelle aus diesen Daten zu erhalten, und das war für uns eine kleine Überraschung. Ich werde das etwas genauer besprechen. |
| |
Und wir haben aus diesen Daten, die wir mit diesem konservativen Ansatz gesammelt haben, ein gutes Verständnis gewonnen. Es gab uns ein gutes Verständnis des gesamten Faktorraums, warum bestimmte Kombinationen gut funktionieren. |
| |
Es ermöglichte uns, alternative Regionen zu identifizieren. Wenn wir also eine Kombination mit hohen Erträgen finden, ist dies jedoch nicht praktikabel, da es zu teuer ist. |
| |
Der Katalysator ist zu teuer, oder vielleicht sind sie gefährlich oder giftig und für einen industriellen Prozess nicht geeignet. Dann haben wir viele Alternativen, weil wir den gesamten Raum verstehen. |
| |
Wie haben wir das gemacht? |
| |
Kundenspezifisches Design in JMP. Wir |
| |
entwarf einen 480er Lauf, ich optimales Design, in diesem Fall in 10 Blöcken. Also noch einmal, die 10 Blöcke, die 10 48 Wellplates darstellen, für die David uns die Ausrüstung gezeigt hat. |
| |
Hier ist zu beachten, dass wir ein Modell im benutzerdefinierten Design angeben, das für die Haupteffekte vorgesehen ist. |
| |
für die Wechselwirkungen zweiter Ordnung und die Wechselwirkungen dritter Ordnung. Und mit den Interaktionen dritter Ordnung und all diesen Ebenen dieser kategorialen Faktoren, |
| |
Es gibt nur eine große Anzahl von Parametern, die geschätzt werden müssen, daher konnten wir kein Experiment entwerfen, um all diese explizit zu schätzen. Wir müssen die Interaktionen dritter Ordnung so weit wie möglich einfügen, damit dies ein Bayes'sches I-optimales Design in 480 Läufen ist. |
| |
Sie können diesem Bild entnehmen, dass wir nur die verschiedenen Runden der Experimente durchsehen, die verschiedenen ... 10 verschiedenen Platten. |
| |
Und Sie können sehen, wie wir mit der Hinzufügung der nächsten Platte im Experiment unsere Erforschung des Faktorraums als Ganzes erweitern. |
| |
Wir konzentrieren uns nicht auf bestimmte Regionen. Wir füllen nur die Räume in unserem Wissen über diesen ganzen Faktor Raum aus. |
| |
Das sind also 480 Läufe, die wir in unserem Experiment verwendet haben, und die verbleibenden 4.128 Zeilen, die wir aus diesem veröffentlichten Datensatz haben. Wir können diese Testdaten verwenden, um zu sehen, wie gut unsere Modelle mit einem zurückgehaltenen Datensatz, diesen Testdaten, verglichen werden. |
| |
Jetzt haben wir von all unseren DOE-Hintergründen und unserer Erfahrung erwartet, dass |
| |
Wenn wir dann ein Experiment für ein bestimmtes Modell entwerfen, werden uns Standardregressionstechniken die nützlichsten Modelle liefern. |
| |
Wir haben hier also JMP Pro verwendet und verwenden die generalisierte Regression, um ein vollständiges Modell dritter Ordnung anzupassen. |
| |
Jetzt verwenden wir hier tatsächlich eine Beta-Verteilung, die Vorhersagen zwischen null und eins abprallt, sodass wir die prozentuale Rendite in die Skala von null zu eins umwandeln. Es ist nur ein kleiner Trick, wenn Sie Ertragsdaten wie diese modellieren, möchten Sie diese möglicherweise verwenden, wenn Sie über JMP Pro verfügen. |
| |
Und wir verwenden die Vorauswahl mit AICc als Validierungsmethode, um die wichtigen Effekte auszuwählen. |
| |
Und wir wiederholen dies nach jeder Runde, also mit der ersten Runde von 48 Läufen, dann der zweiten Runde von 96, dann der dritten mit 144, bis zur 10. Runde, in der wir die vollen 480 Läufe haben. |
| |
Hier sehen Sie den Filter, der dort auf gen reg eingestellt ist, um sich die ersten drei Runden dort anzusehen. |
| |
Für die ersten drei Runden ist dies das Modell, das wir unter Verwendung von Genreg, Vorwärtsauswahl und AICc-Validierung erhalten. |
| |
Und es ist kein großartiges Modell, denke ich, nur intuitiv von unserem Verständnis dessen, was wir von der Chemie erwarten würden. Wir sehen nur zwei der Faktoren, die an dem Modell beteiligt sind, daher werden nur zwei Haupteffekte als signifikant ausgewählt. |
| |
So können wir dieses Modell in der Datentabelle speichern und dann sehen, wie gut dieses Modell die zurückgehaltenen Daten, unseren Testsatz, vorhersagt. |
| |
die restlichen 4.128 Zeilen, die nicht in unserem Experiment waren. Und das können wir für jede Runde tun. Und das haben wir für jede Runde gemacht, also haben wir 10 Modelle, die wir mit gen reg gebaut haben. |
| |
Als Alternative dachten wir, es lohnt sich, einige Methoden des maschinellen Lernens zu betrachten. Und hier schauen wir uns noch einmal die ersten drei Runden an. |
| |
Als schnelle Möglichkeit, viele verschiedene Modellierungstechniken zu betrachten, verwenden wir das Modell-Screening in JMP 16 Pro. |
| |
Wir geben nur die Ausbeute und die Faktoren in den Y- und X-Werten ein. Wir haben eine Holdback-Validierungsspalte eingerichtet, um 25% der Daten zufällig für die Validierung zurückzuhalten. |
| |
Klicken Sie auf OK, und es werden alle diese verschiedenen Modellierungstechniken durchlaufen, sodass wir jetzt einen Bericht erhalten, der uns darüber informiert |
| |
Wie gut diese ... all diese verschiedenen Modellierungstechniken, einschließlich einiger Genreg-Modelle, neuronaler Netze und verschiedener Baummethoden. |
| |
Und wir haben dort die beiden besten ausgewählt. Tatsächlich haben wir in allen Runden des Experiments festgestellt, dass neuronale ... verstärkte neuronale Netzmodelle und Bootstrap-Forest die Modelle mit der besten Leistung sind. |
| |
Wir können also die Vorhersageformeln wieder speichern und diejenigen im Testdatensatz verwenden, die nicht an dem Experiment beteiligt waren, um sie zu vergleichen und zu sehen, wie gut unsere verschiedenen Modelle mit diesem Testdatensatz abschneiden. |
| |
Und wir verwenden hier Modellvergleich und JMP Pro, also vergleichen wir alle unsere Genreg-Modelle, unsere neuronalen Netzmodelle und unsere Bootstrap-Waldmodelle. |
| |
Und jetzt sehen Sie sich ein Bild des R-Quadrats gegenüber diesem Testdatensatz an. Wie gut passen diese Modelle zum Datensatz für zurückgehaltene Tests? |
| |
Und Sie können das Genreg sehen, die Standard-Regressionsmodelle, bei denen die Vorwärtsauswahl in Rot verwendet wird |
| |
In der ersten Runde ist das eigentlich das beste Modell, aber es verbessert sich nicht wirklich und wird dann gegen fünf plötzlich sehr schlecht, bevor es in der nächsten Runde wieder richtig gut wird. Also sehr instabil und gegen Ende immer schlimmer, wahrscheinlich überpassend. |
| |
Die Methoden des maschinellen Lernens sind andererseits: |
| |
Nach der dritten Runde schneiden sie am besten ab, besser als unsere Standard-Regressionstechniken, und sie verbessern sich vollständig. Und tatsächlich, |
| |
Sie können sehen, dass Neurale dort besser in Grün beginnen und gegen Ende die Bootstrap-Gesamtstruktur die Modelle des verstärkten neuronalen Netzes übertrifft. |
| |
Die Take-Home-Methode hier ist also, auch wenn Sie dies als relativ einfache Situation betrachten, dass Sie die Methoden des maschinellen Lernens in JMP Pro wirklich benötigen, um die besten Modelle zu erhalten, die zuverlässigsten Modelle für diese Art von Systemen oder Prozessen. |
| |
Jetzt sehen wir uns nur die Diagramme der tatsächlichen Ertragsergebnisse für alle 4.608 Läufe an, die veröffentlicht wurden, im Vergleich zu den Vorhersagen unseres besten Modells am Ende der zehnten Runde nach den vollen 480 Läufen dort. Das war also rechts ein Bootstrap-Wald. |
| |
Und es ist nicht schlecht, Sie wissen, Sie können sehen, welche wichtigen Verhaltensweisen es aufgreift. Es identifiziert die Regionen mit niedrigen Erträgen und es identifiziert die Regionen mit den höchsten Erträgen. Also gibt es, |
| |
Besonders oben rechts verwenden sie einen Jod (?) - Reaktanten sowie Boronsäure und Boronsäureester |
| |
Reaktanten dort. |
| |
Also vergleichen wir dies mit dem anderen extremen Ansatz. Die erste Runde von 48 Läufen war also genau die gleiche. Wir beginnen mit den gleichen 48 Läufen. Dann bauen wir ein Modell und verwenden dieses Modell, um herauszufinden, welches aus allen verbleibenden Läufen |
| |
Von den verbleibenden 4.560 Läufen gibt es, von denen das Modell vorhersagt, dass sie den höchsten Ertrag haben würden, und dann machen wir das in allen folgenden Runden bis zu 10 weiter. |
| |
Und in diesem Fall sagen wir mehr von der hohen Ausbeute und den Kombinationen korrekt voraus, aber wenn wir das endgültige Modell nach 10 Runden erhalten und das mit den Daten vergleichen |
| |
Das R-Quadrat, das wir im Experiment nicht verwendet haben, ist schrecklich. Es ist .33. Das Modell, das wir erhalten, macht also keine guten Vorhersagen über das Gesamtsystem. |
| |
Wir bekommen also ein gutes Verständnis für eine Region mit hohen Erträgen und finden Kombinationen, Einstellungen der Faktoren, die gut funktionieren, aber es ermöglicht uns nicht wirklich, das System als Ganzes zu verstehen. Waren nicht... |
| |
Wir reduzieren nicht unsere Variabilität in unserem Verständnis des Systems als Ganzes. |
| |
Um Ihnen zu zeigen, wie dieses System und dieser Ansatz funktionieren, sind dies unsere vollständigen 4.608 Läufe, alle möglichen Kombinationen. Und wie ich in Runde 1 erwähnt habe, ist dies dasselbe wie in Runde 1 mit dem konservativen Ansatz Ich optimal |
| |
Wenn Sie dort Punkte setzen, können Sie sehen, dass sie gleichmäßig über den Faktorraum verteilt sind. |
| |
Wir passen ein Modell an die Daten dieser 48 Läufe an. |
| |
Und wir verwenden dieses Modell, um den Ertrag aller anderen möglichen Kombinationen vorherzusagen, und wählen dann aus diesen die 48 Vorhersagen mit dem höchsten Ertrag aus. |
| |
Welches ist diese. Sie sehen also, sie konzentrieren sich auf die Region mit den höheren Erträgen des ... wir sind nicht ... wir erforschen nicht mehr den gesamten Faktorraum. |
| |
Und wenn wir von Runde 1, 2, 3 bis Runde 10 gehen, können Sie sehen, dass wir jedes Mal, wenn wir hinzufügen ... dem Experiment Läufe hinzufügen, die sich gerade in dieser Zone mit hoher Ausbeute oben befinden links. Wir konzentrieren uns also nur wirklich auf eine Region des Faktorraums. |
| |
Und wenn wir die tatsächlichen mit den hier vorhergesagten vergleichen, können Sie sehen, dass es in dieser Region oben links ziemlich gute Arbeit leistet. |
| |
Aber anderswo macht es ziemlich schreckliche Vorhersagen, wie wir vielleicht erwarten würden; das ist wahrscheinlich nicht so überraschend. Wir haben nicht im gesamten System experimentiert. Wir haben uns wirklich nur auf diese ertragreiche Region konzentriert. |
| |
Und wenn Sie es mit unserem konservativen Ansatz auf der linken Seite vergleichen (Sie haben also bereits die Handlung auf der linken Seite dort gesehen), wenn Sie sich ansehen, wie das Modell aussieht |
| |
Durch die Runden eins bis 10 verbessert, und dann verwendeten wir in jeder Runde erneut die Modell-Screening-Plattform, um das beste Modell zu finden. |
| |
Und es stellte sich heraus, dass in jeder Phase das verstärkte neuronale Netz das beste Modell war. Nun, Sie können wieder sehen, dass es irgendwie instabil ist wie das Genreg aus dem konservativen Ansatz. |
| |
Es ist manchmal in Ordnung, aber es ist nie ... es ist nie konkurrenzfähig mit unseren besten Modellen aus dem konservativen Experiment. |
| |
Das sind also die beiden Extreme, und ich werde auf Ryan übergehen, der über einen ausgewogeneren oder hybriden Ansatz für dieses Problem sprechen wird. |
| Ryan Lekivetz |
Also danke für diesen Phil. Und |
| |
Ich muss mich gerade mitten in einer Präsentation bei Phil, Ben und David dafür bedanken, dass ich daran teilnehmen durfte. Als Entwickler macht es eigentlich Spaß, ein bisschen herumzuspielen. Ich bin also Entwickler auf den DOE-Plattformen in JMP. |
| |
Wie Phil hier erwähnt hat, ist der Ansatz, den ich hier betrachte, ein hybrider Ansatz. |
| |
Okay, die Idee hier ist also, dass wir uns mit dieser Idee der Optimierung im Vergleich zur Exploration befassen. |
| |
Wenn Sie also an den gierigen Ansatz denken, über den Phil gesprochen hat, dann ist das wirklich diese Optimierung. Ich gehe streng zum Besten, das ist alles, worauf ich mich konzentrieren werde. Während dieser konservative Ansatz alles, was sich interessierte, die Erforschung war. |
| |
Und so ist die Idee hier, können wir irgendwo in die Mitte kommen |
| |
Vielleicht optimieren, während Sie den Raum noch ein wenig erkunden? |
| |
Also werde ich sagen, was ich hier getan habe ... also habe ich tatsächlich mit drei der Brunnenplatten angefangen, die vorzeitig eingestellt wurden, richtig. Also habe ich diese drei Blöcke der Größe 48 gemacht und nur die Haupteffekte mit If Possible 2FIs gemacht. |
| |
Der Grund dafür ist, dass ich den Modellen mit nur 48 Läufen manchmal nicht wirklich vertraute. Ich sagte, nun, lass es uns ein bisschen einbrennen. Probieren wir die 144 oder drei Well-Platten aus, damit ich dem Modell vielleicht ein bisschen mehr vertrauen kann. |
| |
Denn in gewisser Weise werden Sie, selbst wenn Sie an diesen gierigen Ansatz denken, wenn Ihr Modell schlecht war, in die schrecklichen Regionen gehen. Es wird dir nicht viel helfen. |
| |
Und wieder so ... so wie zuvor werde ich am Ende immer noch 10 Gesamtbrunnenplatten oder 10 Gesamtblöcke machen. |
| |
Und ich werde in den zukünftigen Folien ein wenig darüber sprechen, aber ich habe XGBoost tatsächlich durchgehend verwendet. Die Art und Weise, wie ich vorausgesagt habe, war die Verwendung von XGBoost, und es gibt einen Grund, warum ich dazu kommen werde |
| |
dafür. |
| |
Die Idee hier war jedoch, im Wesentlichen den prädiktiven Wert zu bestimmen. Anstatt streng nach den besten 48 zu streben, werde ich einen Schwellenwert festlegen. |
| |
Richtig, also habe ich nach den ersten drei mit 50 angefangen. Also sagte ich, gib mir die Vorhersagewerte, die größer als 50 sind, und wenn ich weiter auf Brunnenplatten gehe, werde ich jede Runde um fünf erhöhen. |
| |
Ich meine, das war ziemlich willkürlich; Ein Teil davon war zu wissen, dass wir nur 10 Runden und insgesamt hatten, und das liegt auch daran, dass ich anhand der Vorhersage sehen konnte, wie groß dieser Satz war. |
| |
Richtig, also abhängig von den Daten, wenn es so aussah, als wäre dieser Satz immer noch riesig, dass der vorhergesagte Wert etwa 50 betrug, könnten Sie ihn so ändern. |
| |
Die Idee hier ist also wirklich nur, langsam zu erkunden, was hoffentlich die Regionen mit dem höheren Ertrag sein sollten. |
| |
Und so hatten wir recht? Nun, also haben wir tatsächlich 27 von den 80 Kombinationen mit den höchsten Erträgen erhalten, die über 95 liegen, was nicht so weit vom gierigen Ansatz entfernt war. |
| |
Und wenn Sie sich das R-Quadrat mit all diesen Holdout-Daten noch einmal so vorstellen, dass der letzte Test-R-Quadrat dort 0,69 betrug, was wirklich nicht einmal so weit vom konservativen Ansatz entfernt war. Also nur die ... |
| |
Ich meine, Sie mögen ... Sie möchten jetzt vielleicht vorsichtig sein, wenn Sie sich nur diese beiden Zahlen ansehen, aber auf dieser Grundlage scheint dieser Hybrid tatsächlich das Beste aus beiden Welten zu sein. Ich meine, du tauschst damit ab, aber du bekommst etwas Gutes. |
| |
Also nur ein paar Einblicke in diesen Ansatz. Wirklich, ich würde am Ende sagen, dass wir die mit hoher Ausbeute verbundenen Faktorräume besser verstanden haben. |
| |
Ich denke, die Gierigen, wenn Sie zurückdenken können, wo diese Punkte waren, waren sie wirklich in der oberen linken Ecke konzentriert, so dass es nicht wirklich viel mehr Erkundung dieses Raums gab. |
| |
Und Sie können sich vorstellen, wenn ... |
| |
Wenn sich der Preis dort über Nacht plötzlich vervierfacht, wissen Sie jetzt nichts mehr über den Rest der Region. |
| |
Richtig, und so erhalten wir mit diesem hybriden Ansatz mehr davon, wie und warum, einige der Kombinationen, und es gibt uns bessere Alternativen |
| |
Auch hier gilt: Wenn Sie andere Faktoren berücksichtigen müssen, sind Sie bereit, ein kleines Stück des Ertrags zu opfern, da es auf der Grundlage anderer Messungen bessere Alternativen gibt. |
| |
Und so, wirklich, die Idee hier ... yep, also lassen Sie mich einfach darauf eingehen, wie dies tatsächlich im benutzerdefinierten Design gemacht wurde, richtig. Also ging ich so vor |
| |
Verwenden von Kovariaten im benutzerdefinierten Designer, was meiner Meinung nach manchmal unterschätzt wird. |
| |
Aber die Idee ist, dass ich nur den vollständigen Datensatz genommen habe, damit die gesamten 4.608 ausgeführt werden. |
| |
und für jede Runde ... also können Sie sich vorstellen, dass ich zuerst diese genommen habe ... Ich habe das 144-Run-Design genommen und dann gesagt, nun, ich werde eine Teilmenge dieses vollständigen Datensatzes nehmen. Wenn ich es bereits in einem früheren Design ausgewählt habe, muss ich sicherstellen, dass es enthalten ist. |
| |
Und dann geben Sie mir auch die vorhergesagten Erträge über diesem bestimmten Wert, also noch einmal für das vierte Design, das bei 50 und 55, 60 usw. begonnen wurde. |
| |
Also in der Datentabelle |
| |
Jetzt wähle ich die Entwurfspunkte aus, die in früheren Experimenten verwendet wurden. Also stelle ich sicher, dass diese hervorgehoben werden. Und dann kundenspezifisches Design, wenn Sie unter Add-Faktor gehen, gibt es dort eine Option namens Kovariate. Und wieder denke ich, dass es ... |
| |
Viele Leute haben noch nie zuvor wirklich Kovariaten gesehen und, wie ich hier erwähnte, weil ich denke, ich könnte wahrscheinlich ein ganzes Gespräch damit verbringen, nur über Kovariaten zu sprechen. |
| |
Aber es wird tatsächlich ein paar Blogeinträge geben (wenn sie nicht verfügbar sind, wenn Sie dieses Video sehen, wahrscheinlich innerhalb weniger Tage, wenn Sie es ansehen). |
| |
Hier werde ich ein bisschen mehr darüber sprechen, wie man Kovariaten wirklich benutzt. Aber die Idee ist, dass Sie vielleicht schon einmal etwas gehört haben, das als Kandidatenset bezeichnet wird, also ist die Idee ... |
| |
Hier ist dieser Datensatz, der die Teilmenge des zuvor ausgewählten Datensatzes war, und alles, was dem benutzerdefinierten Designer mitteilt, dass Sie nur diese Entwurfspunkte auswählen können. |
| |
Sie können nicht die Standardmethode verwenden, wir werden weiterhin versuchen, die Koordinaten und alles so zu ändern. Dem benutzerdefinierten JMP-Designer wird mitgeteilt, dass Sie diese Läufe in Ihrem Design und insbesondere in Ihrem Design verwenden müssen |
| |
Eine der Optionen bei der Verwendung von Kovariaten besteht darin, dass Sie zuvor ausgewählte Entwurfspunkte erzwingen können. Auf diese Weise wird also tatsächlich eine Entwurfserweiterung durchgeführt |
| |
Verwenden eines Kandidaten nach Verwendung von Kovariaten. |
| |
Und natürlich, weil ich in diesem Fall die Designpunkte, mit denen ich zuvor experimentiert habe, nicht wirklich wegwerfen kann. Eigentlich wollen wir nur die nächsten 48 auswählen. |
| |
Und ich sollte hier auch nur erwähnen, wenn Sie an das kundenspezifische Design denken ... |
| |
Also habe ich in jedem von diesen ... also die Zwei-Faktor-Wechselwirkungen und dann, wenn möglich, die Drei-Faktor-Wechselwirkungen gemacht. |
| |
Aber es gab ... das war wirklich eher ein Mechanismus, um den Designraum zu erkunden, richtig. Das Modell, das ich passte |
| |
Ich habe XGBoost nachträglich verwendet, daher meine ich, dass das Design nicht für ein XGBoost-Modell oder ähnliches optimiert wurde. |
| |
Dies war eher ein Ersatz für die Erkundung dieses Entwurfsraums, in dem die vorhergesagte Ausbeute gut aussieht, und insbesondere, weil es sich um die kategorialen Faktoren handelte, wird sichergestellt, dass versucht wird, ein gutes Gleichgewicht zu erreichen. Eine andere Sache zu erwähnen, |
| |
Wenn Sie ... noch einmal ... möchten, weil das zugrunde liegende Modell, der XGBoost oder ähnliches nicht verwendet wird, können Sie die Antwort verwenden. In diesem Fall sagten sie den Ertrag als eine weitere Kovariate voraus, und das würde bedeuten, ein besseres Gleichgewicht zwischen hohem und niedrigem Ertrag zu erreichen |
| |
Antworten, wenn versucht wird, das Design zu erstellen. |
| |
Wir haben das hier also nicht untersucht, aber ich denke, das wäre in Zukunft eine gültige Sache. |
| |
Also zum vorhergesagten Ertrag. Also, wie ich in ... erwähnt habe, denke ich, als Phil über einige der anderen Techniken des maschinellen Lernens sprach, die er ausprobiert hatte |
| |
Für mein ??? habe ich mich eigentlich hauptsächlich auf XGBoost konzentriert. |
| |
Und wenn Sie auf der linken Seite nachsehen, war einer der Gründe, warum ich das getan hatte, es zu versuchen |
| |
mit K-Falten Kreuzvalidierung, aber wo ich die Design-Nummer verwenden, die im Wesentlichen die Well-Platte als jede weitere Falte wäre. Anstatt also zufällig die verschiedenen K-Falten auszuwählen, |
| |
es würde sagen, ich werde auf die Brunnenplatte schauen und dann versuchen, das für jeden herauszuhalten. Wenn Sie sich also vorstellen, zum ersten Mal, als ich nur drei Brunnenplatten hatte, |
| |
es würde jede dieser Brunnenplatten nehmen, sie heraushalten und dann sehen, wie gut sie vorhersagen konnte, basierend auf den verbleibenden zwei. Und so würde es, wenn ich zum zehnten ... zum zehnten Brunnen kommen würde, tatsächlich eine Art Zehnfacher sein. |
| |
Ein Teil meiner Überlegungen dazu war, darüber nachzudenken, dieses Modell gegenüber der nächsten Bohrlochplatte, die Sie noch nicht gesehen haben, robust zu machen. |
| |
Und in Wirklichkeit würde dies Sie vielleicht auch schützen, wenn etwas mit einer bestimmten Brunnenplatte passiert wäre. |
| |
Dann bekommen Sie vielleicht auch ein bisschen Schutz davor. |
| |
Und eine andere Sache, die ich mit XGBoost gemacht habe, ist, wenn Sie die XGBoost-Plattform starten, wie durch das Add-In, sehen Sie oben ein kleines Kontrollkästchen für das, was wir als Tuning-Design bezeichnen. |
| |
Und so, mit diesem Tuning-Design, |
| |
Es passt tatsächlich ein raumfüllendes Design hinter die Abdeckungen und führt all das für die verschiedenen Hyperparameter aus. |
| |
Also, was ich für jedes Mal getan hatte, wenn ich das tat, |
| |
Ich würde ein Tuning-Design für 50 Läufe auswählen, aber nur diesen Hyperparameterraum erkunden. Und so würde ich das Modell für jede Runde wählen |
| |
war derjenige, der die beste Validierung R im Quadrat hatte. Und so verwendet die Validierung R im Quadrat in diesem Fall tatsächlich nur die Entwurfspunkte, die ich habe, richtig. Das war also die K-Falte mit dem ... |
| |
mit diesen verschiedenen Brunnenplatten. In diesem Fall ist die Validierung R im Quadrat also nicht ... Ich verwende nicht die Daten, die noch nicht gesehen wurden, da ich diese Daten in Wirklichkeit noch nicht habe. |
| |
Aber das war nur ein Hinweis darauf, dass ich diese Validierungstechnik verwendet habe, bei der ich die Bohrlochplatten verwendet habe. Das ist der Grund, warum ich XGBoost für das meiste verwendet habe. Ich habe nur etwas anderes ausprobiert |
| |
Mit dieser K-Fold-Technik mag ich es auch, die Raumfüllung zu verwenden, wenn es um diesen XGBoost geht. |
| |
Schauen wir uns das hier an. Wir sehen hier also, dass dies die Punkte sind, die in den aufeinander folgenden Runden ausgewählt werden. Jetzt, |
| |
Wenn Sie an das denken, was in der gierigen Herangehensweise geschah, dann hat es sich wirklich oben links konzentriert. |
| |
Richtig, aber jetzt, wenn Sie mit diesem hybriden Ansatz sehen, |
| |
Wenn es anfängt, sich in die Runden vorwärts zu bewegen, sehen Sie, dass es diese Punkte ein bisschen mehr ausfüllt, aber wir bekommen auch eine bessere ... eine bessere Auswahl von Punkten, besonders auf dieser linken Seite. |
| |
Richtig, wenn Sie also aus der Perspektive denken, haben Sie jetzt viel bessere Alternativen für diese Hochzinsregionen. |
| |
Ich denke schon ... wenn wir uns jetzt das tatsächliche versus das vorhergesagte ansehen, |
| |
Ich denke tatsächlich, dass dies auch eine Art Erzählung war, denke ich, weil wir besser erforscht haben. |
| |
In diesen Hochzinsregionen vielleicht |
| |
Ich denke, wenn Sie nach links unten schauen, sind wir nicht ganz so hoch geworden. Ich denke, wir haben im Hybridmodell einen viel besseren Job gemacht, indem wir einige von denen aufgegriffen haben, die möglicherweise brauchbare Alternativen sind. |
| |
Eines der schönen Dinge bei dieser Methode war auch, dass ich mich auf mehr als nur den Ertrag konzentrieren kann. |
| |
Richtig, wenn Sie in ... |
| |
Ich könnte eine sekundäre Antwort haben, ob es sich um eine Art Toxizität handelt, ob es sich um Kosten handelt, so etwas in der Art, |
| |
Ich kann mich auf mehr als nur den Ertrag konzentrieren, wenn ich mir diese vorhergesagten Werte anschaue. Und wenn Sie an so etwas wie den gierigen Ansatz denken, |
| |
Wenn Sie anfangen, sekundäre ... sekundäre Kriterien hinzuzufügen, die Sie berücksichtigen möchten, ist es viel schwieriger, mit diesem Ausgleich zu beginnen. Während es bei diesem Teilmengenansatz überhaupt nicht schwierig ist, eine sekundäre Antwort hinzuzufügen. |
| |
Ich denke, ich werde es jetzt Ben für Schlussfolgerungen übergeben. |
| Ben Francis |
So, |
| |
Vielen Dank an David, Phil und Ryan, die uns einen Hintergrund gegeben haben, warum wir uns dem nähern, und uns letztendlich zwei, drei sehr gute Lösungen und Möglichkeiten gegeben haben |
| |
Sehen Sie, wie wir dieses Problem angehen. Bei all diesen Ansätzen ist klar, dass JMP den Wissenschaftlern einen Mehrwert bietet. Wir haben also unkompliziert und im Voraus die Ressourcen für Experimente um das Zehnfache reduziert. Wir haben nur 10% der Läufe verwendet. Und |
| |
Letztendlich ermöglichten wir in jeder Situation die Fähigkeit, Spezifikationen zu erfüllen und eine Lösung mit hoher Ausbeute aus den Experimenten bereitzustellen. |
| |
Darüber hinaus haben wir gezeigt, wie wir je nach Ziel und Strategie des Unternehmens, das diesen Ansatz anwendet, unterschiedliche Ebenen des tiefen Prozessverständnisses erreichen können. |
| |
Jetzt werden Sie vielleicht feststellen, dass wir drei von JMP sehr daran interessiert sind, wie CatSci dieses Problem angeht. Wir haben nicht unbedingt genommen |
| |
das Problem weg von CatSci und es selbst zu lösen; Wir stellen die Tools zur Verfügung, um dies in Bezug auf DOE anzugehen. Und dies war eine fantastische Zusammenarbeit zwischen David als Kunde, |
| |
Ich und Phil auf der Seite des technischen Vertriebs und Ryan in der Produktentwicklung, und es ist wichtig, dass wir dies alle aus einer anderen Perspektive betrachten |
| |
Um diese Art von Lösung zu ermöglichen, können wir, wie ich bereits sagte, ein tiefes Prozessverständnis auf unterschiedliche Weise betrachten, abhängig von den Zielen, die erreicht werden müssen. |
| |
Wir haben auf dem Weg einige Dinge herausgefunden, die für uns bei JMP sehr aufregend sind und zu Produktverbesserungen führen werden, die wir dann an Sie selbst zurückgeben |
| |
als Kunden. Wir haben gelernt, dass Ansätze des maschinellen Lernens auf diese große DOE-Situation anwendbar sind und, wie Sie wissen, mit JMP einfach anzuwenden sind. Wir haben auch Vorsicht in Bezug auf die Validierungsansätze gelernt, und wir können dies weiter untersuchen. |
| |
Letztendlich haben wir hier ein gutes Arbeitsvolumen in Bezug auf große DOE-Herausforderungen präsentiert, und wir sind sicher, dass es viele Unternehmen gibt, ähnlich wie CatSci, die sich mit dieser Art von Problem befassen. |
| |
Wir alle laden Sie daher ein, diese Arbeit, die wir durchgeführt haben, weiter zu untersuchen. Wir haben hier zwei Links in Bezug auf die Community, über die wir Ressourcen und das Video dazu veröffentlichen. |
| |
sowie einen öffentlichen JMP-Beitrag, mit dem Sie die Daten, die wir in diesem Beitrag verwendet haben, in die Hand nehmen können. Von allen in dieser Präsentation möchten wir uns für das Zuschauen bedanken. |
