Lautsprecher
|
Transkript
|
| David.Wong-Pascua |
Okay, also. |
| |
Sequential and Steady gewinnt das Rennen. Also, hallo zusammen, ich bin David und leitender Wissenschaftler bei CatSci. Was ist CatSci? |
| |
CatSci ist ein Innovationspartner für ganzheitliche chemische Prozesse, Forschung und Entwicklung. Wir arbeiten mit Organisationen wie JMP UK zusammen, um sicherzustellen, dass alle unsere Entscheidungen auf Daten basieren. |
| |
Für uns geht es darum, es gleich beim ersten Mal richtig zu machen und es jedes Mal richtig zu machen; Formulierung maßgeschneiderter, perfekter Lösungen für jedes Projekt; und unser absoluter Fokus liegt darauf, die Erwartungen unserer Kunden zu erfüllen. |
| |
Wir arbeiten in einer Reihe von Bereichen, einschließlich der frühen und späten Entwicklungsphase. Wir verfügen über Prozesskompetenz, eine lange Erfahrung in der Katalyse, die seit jeher ein Kernmerkmal unserer Identität ist, und über hervorragende Fähigkeiten in der analytischen Chemie und Materialwissenschaft. |
| |
Eine der Herausforderungen, vor denen wir bei CatSci stehen, ist die Auswahl kategorialer Variablen vor der Prozessoptimierung. |
| |
Diese Schwierigkeit tritt bei unserer Katalysator-Screening-Arbeit am deutlichsten hervor. |
| |
In den Bildern auf der Folie können wir einige der Geräte und Instrumente sehen, auf die wir bei der Durchführung des Katalysator-Screenings zurückgreifen. |
| |
Auf der linken Seite haben wir vorgefertigte Katalyse-Kits, die 24 vordosierte Kombinationen aus Metallvorläufer und Ligand enthalten. |
| |
In der Mitte befindet sich ein Hydrator, der eine 48-Well-Platte beherbergt, die rechts zu sehen ist. |
| |
Dadurch können 48 Einzelexperimente gleichzeitig durchgeführt werden. |
| |
Diese Instrumente sind für hohen Durchsatz und kleinen Maßstab konzipiert, und es ist nicht ungewöhnlich, dass wir für unsere Kunden zehn oder mehr dieser Platten betreiben, was insgesamt fast 500 Experimente ergibt. |
| |
Warum müssen wir also relativ viele Experimente durchführen und welche Vorteile bringt die Effizienzsteigerung? |
| |
Zunächst einmal ist der chemische Raum, der erforscht werden muss, extrem groß. |
| |
Für jede Reaktion, jede chemische Reaktion, gibt es viele Faktoren, die einen Einfluss haben können, wie zum Beispiel Temperatur, Konzentration und Stöchiometrie. |
| |
Was die Erforschung einer katalytischen Reaktion jedoch zu einer besonderen Herausforderung macht, ist die Tatsache, dass es viele wichtige kategoriale Faktoren gibt; Dazu gehören Metallvorläufer, Ligand, Reagenz, Lösungsmittel und Additiv. |
| |
Ein weiteres Merkmal katalytischer Reaktionen besteht darin, dass häufig Wechselwirkungen höherer Ordnung auftreten. Dies bedeutet also, dass für ein Katalysatorsystem (eine bestimmte Kombination aus Metallvorläufer und Ligand) |
| |
Um die Leistung beurteilen zu können, müssen umfangreiche Lösungsmittel- und Additivfilter durchgeführt werden. |
| |
Es ist nicht richtig, eine bestimmte Kombination aus Metallvorläufer und Ligand kurz zuvor auszuschließen, nur weil sie in einem bestimmten Lösungsmittel schlecht funktioniert. Es kann sein, dass Sie nicht das richtige Lösungsmittel oder den richtigen Zusatzstoff dafür haben. |
| |
Schließlich lässt sich der Nutzen einer effizienteren Screening-Methode am einfachsten anhand der Materialpreise erklären. |
| |
Bei vielen unserer Katalyseprojekte handelt es sich um Edelmetalle wie Platin, Palladium, Ruthenium, Iridium und Rhodium. Einige dieser Metalle gehören zu den seltensten Elementen in der Erdkruste und das spiegelt sich in ihrem Preis wider. |
| |
Eine kurze Google-Suche nach den Preisen zeigt, dass Rhodium mehr als eine Größenordnung teurer ist als Gold. |
| |
Ein weiterer großer Kostenfaktor beim Katalyse-Screening sind die Liganden. Obwohl es billige Liganden gibt, sind viele der leistungsstärksten Liganden für die asymmetrische Synthese proprietäre Liganden, wie z. B. Josiphos von Solvias, |
| |
und einer der am häufigsten erhältlichen und günstigsten, J001, ist immer noch doppelt so teuer wie Gold. |
| |
Durch die Reduzierung der Anzahl der Experimente können also die Kosten für Verbrauchsmaterialien gesenkt werden. Die größte Wirkung erzielen wir jedoch, wenn wir die optimale Lösung für einen Kunden mit einem Fertigungsprozess mit mehreren Tonnen finden. |
| |
In diesen Fällen kann eine zehnfache Reduzierung der Katalysatorbeladung oder die Entdeckung eines alternativen, günstigeren Katalysators, beispielsweise der Austausch eines Rhodiumkatalysators gegen einen Rutheniumkatalysator, Millionen von Dollar pro Jahr einsparen. |
| |
Und jetzt übergebe ich an Ben, der besprechen wird, wie das Team von JMP UK dieses Problem angegangen ist. |
| Ben Francis |
Vielen Dank, David. |
| |
Das ist also klar |
| |
CatSci und viele andere Unternehmen, die CatSci ähneln, stehen mit großen Formulierungsräumen vor großen Herausforderungen. |
| |
die Wechselwirkungen sehr hoher Ordnung haben können. Die Wissenschaft ist also sehr, sehr komplex und es ist wichtig, was wir tun, um zu experimentieren, um diese Komplexität zu entschlüsseln. |
| |
Leider ist die Option, einfach jede einzelne Kombination zu testen, aufgrund der von David dort dargelegten Kosten nicht wirklich sinnvoll und realisierbar. |
| |
Und letztendlich müssen wir einen Ansatz verfolgen, der Datenwissenschaft einbezieht, um die Zusammenhänge numerisch zu verstehen. |
| |
Um also fortzufahren und die gewählte Formulierung auf ein Herstellungsszenario anzuwenden, müssen wir, wie David sagte, wissen, dass es jedes Mal funktioniert. |
| |
Deshalb haben wir nach Literatur gesucht, da wir bei JMP sehr an der Anwendung von DOE interessiert sind und wir der Meinung waren, dass dies eine besondere Situation von DOE ist. |
| |
Und wie wir es treffend benannt haben, ist es ein großes DOE. Also suchten wir nach einer Fallstudie, auf die wir einen großen DOE-Ansatz anwenden konnten, und fanden einen Artikel von Perera et al. |
| |
veröffentlicht im Jahr 2018, und sie suchten nach einer Plattform für dieses Reaktionsscreening. Und das Interessante an diesem Szenario ist, dass es fünf kategoriale Faktoren gab. |
| |
Und das hört sich vielleicht nicht nach viel an. Sie mussten sich die Reaktanten 1 und 2, den Liganden, die Reagenzien und das Lösungsmittel ansehen, aber die Komplexität dessen, was in diesem Artikel dargestellt wurde, war die Höhe der einzelnen Faktoren. |
| |
Vier, drei, zwölf, acht und vier Ebenen ergeben zusammengenommen 4.608 verschiedene Kombinationen. |
| |
Nun haben sie in der Arbeit von Perera et al. jede einzelne getestet, was offensichtlich nicht für jedes Unternehmen auf der Welt eine praktikable Lösung ist, sondern nur jede Kombination getestet, wie David zuvor dargelegt hat. |
| |
Sie können hier auf der Heatmap sehen, dass sie sich ein Bild davon machen konnten, dass es einige ertragsstarke Regionen gibt |
| |
und einige sind weniger ertragreich, andere auch sehr niedrig. Es gab also viele Tests, die letztendlich zu nicht wirklich viel Prozessverständnis führten |
| |
und ein sehr hoher experimenteller Aufwand. |
| |
Letztendlich endete dies in einer Situation, in der sie eine Kombination fanden, zu einer Kombination kamen, die sie dann in der Arbeit verarbeiten konnten und sagten: Sehen Sie, das ist das Allgemeine |
| |
Es war richtig, beim ersten Mal, aber war es jedes Mal richtig, von diesem Zeitpunkt an, wenn sie das in ein Multitonnen-Fertigungsszenario überführten? Würde es weiterhin die erforderliche Spezifikation bereitstellen? |
| |
Reduziert die große DOE-Lösung den Ressourcenbedarf? |
| |
Macht es alles gleich beim ersten Mal und jedes Mal? Und die Art und Weise, wie wir diese Fragen messen können und wie wir unsere Leistung erbracht haben |
| |
Erstens durften wir im Hinblick auf die Reduzierung des Ressourcenbedarfs nur ein Experiment mit insgesamt 480 Durchläufen entwerfen. Dabei wurden 10 48 Arbeitsplatten nachgeahmt, was etwa 10 % der in der Arbeit durchgeführten Durchläufe entspricht. |
| |
Ob es auf Anhieb gelingt, wurde gemessen, indem man sich anschaute, wie viele der im Papier identifizierten Hochertragskombinationen, die 80, entweder getestet oder vorhergesagt wurden |
| |
durch das generierte Modell. Und letztendlich erwarteten wir bei 10 % der Läufe, mindestens acht ertragreiche Kombinationen aus unseren ... aus unseren DOEs herauszuholen |
| |
(und eine hohe Ausbeute wird hier durch einen Wert von über 95 % angezeigt). |
| |
Und schließlich, und das ist von entscheidender Bedeutung, ist es wichtig, jedes Mal alles richtig zu machen, wenn man sich die allgemeine Diagnose des Modells, die R-Quadrate, anschaut. Und können wir uns das letztendlich ansehen und sehen, ob wir Einblick in den Prozess haben? Machen Beziehungen Sinn? Sind Kombinationen und Interaktionen sinnvoll? |
| |
Um uns also auch hier für den Kurs zu qualifizieren, haben wir uns den vollständigen Datensatz von 4.608 angesehen. Wir haben herausgefunden, dass das R-Quadrat davon 0,89 war, und dies war eine Methode mit einem geboosteten Baum. |
| |
Nun übergebe ich die Sache an Phil, der den ersten großen DOE-Ansatz skizzieren wird, den wir gewählt haben. |
| Phil Kay |
Danke, Ben; Danke, David, dass du die Szene so schön inszeniert hast. Deshalb haben wir uns drei verschiedene Ansätze angesehen |
| |
Um dieses Problem in Angriff zu nehmen, sehen wir, ob wir eine geringere Anzahl der tatsächlich in diesem Artikel getesteten Durchläufe durchführen und trotzdem die gleichen nützlichen Informationen wie Ben erhalten können, wie beschrieben. |
| |
Ich werde also zwei dieser drei Ansätze besprechen, und diese beiden sind sozusagen die extremen Ansätze. Es gibt einen konservativen Ansatz und einen gierigen Ansatz, und dann wird Ryan den eher hybriden, ausgewogenen Ansatz besprechen, von dem wir dachten, dass er letztendlich wahrscheinlich am besten funktionieren würde. |
| |
Nach dem konservativen Ansatz handelt es sich also um einen Standard-DOE-Ansatz. Wir entwerfen ein individuelles Design für 480 Läufe mit 10 Blöcken, das entspricht also 10 Platten in der Katalysator-Screening-Ausrüstung, die David uns gezeigt hat. |
| |
Und das Hauptergebnis war, dass wir aus diesem Experiment mit 480 Durchläufen korrekt vorhersagen konnten, dass 13 der ertragsstärksten Kombinationen ertragsstark sein würden. |
| |
Und wir konnten aus diesem 480-Durchlauf-Datensatz ein Modell erstellen, das, als wir es mit Daten testeten, die in diesem Experiment nicht verwendet wurden, |
| |
Das R-Quadrat betrug etwa 0,73, also eigentlich ziemlich gut. Von diesem kleineren Experiment an erhalten wir ein ziemlich gutes Modell und ein ziemlich gutes Verständnis des Systems als Ganzes ... aus dem großen Experiment, das veröffentlicht wurde. |
| |
Einige wirklich interessante Erkenntnisse, die wir daraus gewonnen haben, waren, dass wir maschinelles Lernen nutzen mussten, um nützliche Modelle aus diesen Daten zu erhalten, und das war eine kleine Überraschung für uns. Ich werde das etwas ausführlicher besprechen. |
| |
Und wir haben aus den Daten, die wir mit diesem konservativen Ansatz gesammelt haben, einige gute Erkenntnisse gewonnen. Es gab uns ein gutes Verständnis des gesamten Faktorraums und zeigte, warum bestimmte Kombinationen gut funktionieren. |
| |
Dadurch konnten wir alternative Regionen identifizieren. Wenn wir also eine ertragreiche Kombination finden, diese aber nicht praktikabel ist, weil sie zu teuer ist, |
| |
Sind die Katalysatoren zu teuer, oder vielleicht sind sie gefährlich oder giftig und für einen industriellen Prozess nicht geeignet, dann haben wir viele Alternativen, weil wir den gesamten Raum verstehen. |
| |
Wie haben wir das gemacht? |
| |
Kundenspezifisches Design in JMP. Wir |
| |
Ich entwarf einen 480-Lauf, das optimale Design, in diesem Fall in 10 Blöcken. Also noch einmal die 10 Blöcke, die 10 48-Wellplates darstellen, für die David uns die Ausrüstung gezeigt hat. |
| |
Bemerkenswert ist hier, dass wir ein Modell in benutzerdefiniertem Design angeben, das für die Haupteffekte vorgesehen ist. |
| |
für die Wechselwirkungen zweiter Ordnung und die Wechselwirkungen dritter Ordnung. Und mit den Interaktionen dritter Ordnung und all diesen Ebenen dieser kategorialen Faktoren, |
| |
Es gibt einfach eine große Anzahl von Parametern, die geschätzt werden müssen, sodass wir eigentlich kein Experiment entwerfen konnten, um alle diese explizit zu schätzen. Wir müssen die Wechselwirkungen dritter Ordnung nach Möglichkeit einbauen, damit dies ein Bayes'sches I-optimales Design in 480 Läufen ist. |
| |
Wie Sie auf diesem Bild sehen können, schauen wir uns nur die verschiedenen Runden der Experimente an, die verschiedenen ... 10 verschiedenen Platten. |
| |
Und Sie können sehen, wie wir mit der Hinzufügung der nächsten Platte im Experiment unsere Erforschung des Faktorraums als Ganzes erweitern. |
| |
Wir konzentrieren uns nicht auf bestimmte Regionen; Wir füllen lediglich die Lücken in unserem Wissen über diesen gesamten Faktorraum. |
| |
Das sind also 480 Durchläufe, die wir in unserem Experiment verwendet haben, und die restlichen 4.128 Zeilen, die wir aus diesem veröffentlichten Datensatz haben. Wir können diese Testdaten verwenden, um zu sehen, wie gut unsere Modelle mit einem zurückgehaltenen Datensatz, diesen Testdaten, verglichen werden. |
| |
Das haben wir von all unserem DOE-Hintergrund und unserer Erfahrung erwartet |
| |
Wenn wir ein Experiment für ein bestimmtes Modell entwerfen, liefern uns Standard-Regressionstechniken die nützlichsten Modelle. |
| |
Deshalb haben wir hier JMP Pro verwendet und eine verallgemeinerte Regression verwendet, um ein vollständiges Modell dritter Ordnung anzupassen. |
| |
Nun verwenden wir hier tatsächlich eine Beta-Verteilung, die Vorhersagen zwischen null und eins schwankt, also rechnen wir den prozentualen Ertrag in die Skala von null bis eins um. Es ist nur ein kleiner Trick, dass Sie bei der Modellierung solcher Ertragsdaten diesen möglicherweise verwenden möchten, wenn Sie über JMP Pro verfügen. |
| |
Und wir verwenden die Vorwärtsauswahl mit AICc als Validierungsmethode, sodass die wichtigen Effekte ausgewählt werden. |
| |
Und das wiederholen wir nach jeder Runde, also mit der ersten Runde mit 48 Runs, dann der zweiten Runde mit 96, dann der dritten mit 144, bis hin zur 10. Runde, wo wir die vollen 480 Runs haben. |
| |
Hier können Sie den Filter sehen, der dort auf gen reg eingestellt ist, nur um sich die ersten drei Runden dort anzusehen. |
| |
Für die ersten drei Runden ist dies also das Modell, das wir mithilfe von Gen-Registrierung, Vorwärtsauswahl und AICc-Validierung erhalten. |
| |
Und ich denke, es ist kein großartiges Modell, nur intuitiv aufgrund unseres Verständnisses dessen, was wir von der Chemie erwarten würden. Da wir nur zwei der im Modell beteiligten Faktoren sehen, wurden nur zwei Haupteffekte als signifikant ausgewählt. |
| |
Wir können dieses Modell also in der Datentabelle speichern und dann sehen, wie gut dieses Modell die zurückgehaltenen Daten, unseren Testsatz, vorhersagt. |
| |
die restlichen 4.128 Zeilen, die nicht in unserem Experiment enthalten waren. Und das können wir für jede Runde tun. Und das haben wir für jede Runde gemacht, also haben wir 10 Modelle, die wir mit Gen-Reg gebaut haben. |
| |
Als Alternative dachten wir, dass es sich lohnen würde, sich einige Methoden des maschinellen Lernens anzusehen. Und hier schauen wir uns noch einmal die ersten drei Runden an. |
| |
Und als wirklich schnelle Möglichkeit, sich viele verschiedene Modellierungstechniken anzusehen, verwenden wir das Modell-Screening in JMP 16 Pro. |
| |
Wir geben dort einfach den Ertrag und die Faktoren in den Y- und X-Werten ein. Wir haben eine Holdback-Validierungsspalte eingerichtet, um 25 % der Daten nach dem Zufallsprinzip für die Validierung zurückzuhalten. |
| |
Klicken Sie auf „OK“, und es werden alle diese verschiedenen Modellierungstechniken durchlaufen, sodass wir jetzt einen Bericht erhalten, der uns darüber Auskunft gibt |
| |
Wie gut diese ... all diese verschiedenen Modellierungstechniken, einschließlich einiger Gen-Reg-Modelle, neuronaler Netze und verschiedener Baummethoden. |
| |
Und wir haben dort die beiden besten ausgewählt. Und tatsächlich haben wir in allen Runden des Experiments herausgefunden, dass neuronale...verstärkte neuronale Netzmodelle und Bootstrap-Forest die leistungsstärksten Modelle waren. |
| |
Wir können also die Vorhersageformeln wieder speichern und diejenigen des Testdatensatzes verwenden, die nicht am Experiment beteiligt waren, um sie zu vergleichen und zu sehen, wie gut unsere verschiedenen Modelle im Vergleich zu diesem Testdatensatz abschneiden. |
| |
Und wir verwenden hier den Modellvergleich und JMP Pro, also vergleichen wir alle unsere Gen-Reg-Modelle, unsere neuronalen Netzmodelle und unsere Bootstrap-Forest-Modelle. |
| |
Und jetzt sehen Sie ein Bild des R-Quadrats gegenüber diesem Testdatensatz. Wie gut passen diese Modelle zum zurückgehaltenen Testdatensatz? |
| |
Und Sie können dort die Gen-Reg sehen, die Standard-Regressionsmodelle, die die Vorwärtsauswahl in Rot verwenden, beginnend |
| |
In der ersten Runde ist das tatsächlich das beste Modell, aber es verbessert sich nicht wirklich, und dann wird es gegen fünf plötzlich sehr schlecht, bevor es in der nächsten Runde wieder richtig gut wird. Also sehr instabil und gegen Ende immer schlimmer, wahrscheinlich Überanpassung. |
| |
Die Methoden des maschinellen Lernens sind hingegen: |
| |
Nach der dritten Runde zeigen sie, dass sie die beste Leistung erbringen, besser als unsere Standard-Regressionstechniken, und dass sie sich kontinuierlich verbessern. Und tatsächlich, |
| |
Sie können sehen, dass die Neuronen dort in Grün besser starten, und gegen Ende übertrifft der Bootstrap-Wald die Modelle mit verstärkten neuronalen Netzen. |
| |
Das Fazit lautet also, dass Sie selbst in dieser, wie Sie es sich vorstellen können, relativ einfachen Situation wirklich die Methoden des maschinellen Lernens in JMP Pro benötigen, um die besten Modelle und die zuverlässigsten Modelle für diese Art von Systemen oder Prozessen zu erhalten. |
| |
Jetzt schauen wir uns nur noch Diagramme der tatsächlichen Ertragsergebnisse für alle 4.608 veröffentlichten Läufe im Vergleich zu den Vorhersagen unseres besten Modells am Ende von Runde 10 an, nach den gesamten 480 Läufen dort. Das war also ein Bootstrap-Wald auf der rechten Seite. |
| |
Und es ist nicht schlecht, Sie können sehen, welche wichtigen Verhaltensweisen es aufgreift. Dabei werden die ertragsschwachen Regionen und die ertragsstärksten Regionen identifiziert. Es gibt also, |
| |
Insbesondere oben rechts verwenden sie einen Jod(?)-Reaktanten sowie Boronsäure und Boronsäureester |
| |
Reaktanten dort. |
| |
Also vergleichen wir dies mit dem anderen extremen Ansatz. Die erste Runde mit 48 Läufen verlief also genau gleich; Wir beginnen mit den gleichen 48 Läufen. Dann erstellen wir ein Modell und verwenden dieses Modell, um herauszufinden, welcher von allen verbleibenden Durchläufen der |
| |
Von den gesamten verbleibenden 4.560 Läufen gibt es die Frage, welcher dieser Läufe laut Vorhersage des Modells den höchsten Ertrag bringen würde, und das machen wir dann in allen folgenden Runden bis zu 10 weiter. |
| |
Und in diesem Fall sagen wir richtigerweise mehr hohe Ausbeuten und Kombinationen voraus, aber wenn wir nach 10 Runden das endgültige Modell erhalten und es anhand der Daten vergleichen |
| |
Das R-Quadrat, das wir im Experiment nicht verwendet haben, ist schrecklich. Es ist .33. Das Modell, das wir erhalten, macht also keine guten Vorhersagen über das System als Ganzes. |
| |
Wir bekommen also ein gutes Verständnis für eine ertragsstarke Region und finden Kombinationen und Einstellungen der Faktoren, die gut funktionieren, aber es ermöglicht uns nicht wirklich, das System als Ganzes zu verstehen. Waren nicht... |
| |
Wir reduzieren nicht unsere Variabilität in unserem Verständnis des Systems als Ganzes. |
| |
Um Ihnen zu zeigen, wie dieses System und dieser Ansatz funktionieren, sind dies unsere vollständigen 4.608 Läufe und alle möglichen Kombinationen. Und wie ich in Runde 1 erwähnt habe, ist das dasselbe wie in Runde 1 mit dem konservativen Ansatz, das ist also ein I-Optimum |
| |
Dort gibt es eine Reihe von Punkten, und Sie können sehen, dass sie gleichmäßig über den Faktorraum verteilt sind. |
| |
Wir haben ein Modell an die Daten dieser 48 Läufe angepasst. |
| |
Und wir verwenden dieses Modell, um den Ertrag aller anderen möglichen Kombinationen vorherzusagen, und wählen dann aus diesen die 48 Vorhersagen mit dem höchsten Ertrag aus. |
| |
Das sind diese. Sie sehen also, dass sie sich auf den ertragsstärkeren Bereich konzentrieren. Wir erforschen nicht mehr den gesamten Faktorbereich. |
| |
Und wenn wir von Runde 1, 2, 3 bis zu Runde 10 gehen, können Sie sehen, dass wir jedes Mal, wenn wir hinzufügen, Läufe zum Experiment hinzufügen, die gerade in der ertragsstarken Zone oben links liegen. Wir konzentrieren uns also eigentlich nur auf einen Bereich des Faktorraums. |
| |
Und wenn wir die tatsächlichen mit den hier vorhergesagten vergleichen, können Sie sehen, dass es in der Region oben links ziemlich gute Arbeit leistet. |
| |
Aber anderswo macht es ziemlich schreckliche Vorhersagen, wie wir vielleicht erwarten; das ist wahrscheinlich nicht so überraschend. Wir haben nicht im gesamten System experimentiert. Wir haben uns wirklich nur auf diese ertragsstarke Region konzentriert. |
| |
Und wenn Sie es mit unserem konservativen Ansatz auf der linken Seite vergleichen (Sie haben also bereits die Handlung auf der linken Seite dort gesehen), schauen Sie sich an, wie das Modell aussieht |
| |
In den Runden eins bis zehn haben wir uns verbessert, und dann haben wir in jeder Runde erneut die Modell-Screening-Plattform genutzt, um das beste Modell zu finden. |
| |
Und es stellte sich heraus, dass in jeder Phase tatsächlich das verstärkte neuronale Netz das beste Modell war. Nun, Sie können wieder sehen, dass es irgendwie instabil ist, genau wie die Genregulation aus dem konservativen Ansatz. |
| |
Manchmal ist es in Ordnung, aber es ist nie... es ist nie mit unseren besten Modellen aus dem konservativen Experiment konkurrenzfähig. |
| |
Das sind also die beiden Extreme, und ich übergehe zu Ryan, der über einen ausgewogeneren oder hybrideren Ansatz für dieses Problem sprechen wird. |
| Ryan Lekivetz |
Also vielen Dank dafür, Phil. Und |
| |
Ich bin gerade mitten in einer Präsentation und muss Phil, Ben und David dafür danken, dass ich daran teilnehmen durfte. Als Entwickler macht es tatsächlich Spaß, ein bisschen herumzuspielen. Ich bin also Entwickler auf den DOE-Plattformen in JMP. |
| |
Wie Phil hier irgendwie erwähnt hat, handelt es sich bei dem Ansatz, den ich hier betrachte, um einen hybriden Ansatz. |
| |
Okay, die Idee hier ist, dass wir uns mit der Idee von Optimierung versus Exploration befassen. |
| |
Wenn Sie also an den gierigen Ansatz denken, über den Phil gesprochen hat, dann ist das wirklich diese Optimierung. Ich strebe strikt das Beste an, das ist alles, worauf ich mich konzentrieren werde. Bei diesem konservativen Ansatz ging es nur um die Erkundung. |
| |
Die Idee hier ist also, dass wir irgendwo in der Mitte hinkommen können |
| |
vielleicht optimieren und gleichzeitig den Raum ein wenig erkunden? |
| |
Ich sage also, was ich hier gemacht habe ... also habe ich tatsächlich mit drei der im Voraus eingestellten Well-Platten begonnen, richtig. Also habe ich diese drei Blöcke der Größe 48 gemacht und nur die Haupteffekte mit, wenn möglich, 2FIs gemacht. |
| |
Der Grund dafür ist, dass ich den Modellen mit nur 48 Läufen manchmal nicht wirklich vertraut habe. Ich sagte, nun, lass es uns ein wenig einbrennen. Versuchen wir es mit den 144- oder Drei-Well-Platten, dann kann ich dem Modell vielleicht etwas mehr vertrauen. |
| |
Denn in gewisser Weise werden Sie, selbst wenn Sie an diesen gierigen Ansatz denken, wenn Ihr Modell schlecht wäre, in die schrecklichen Regionen vordringen. Es wird dir nicht viel helfen. |
| |
Und wieder so ... also werde ich am Ende immer noch 10 Total-Well-Platten oder 10 Total-Blöcke erstellen. |
| |
Und darüber werde ich in den nächsten Folien ein wenig sprechen, aber ich habe tatsächlich durchgehend XGBoost verwendet. Ich habe also vorhergesagt, dass ich XGBoost verwenden werde, und es gibt einen Grund, warum ich darauf zurückkommen werde |
| |
dafür, dass du das getan hast. |
| |
Die Idee hier bestand jedoch im Wesentlichen darin, den Vorhersagewert zu ermitteln. Anstatt also strikt nach den besten 48 zu streben, sagte ich, werde ich einen Schwellenwert festlegen. |
| |
Richtig, also habe ich nach den ersten drei mit 50 angefangen. Also sagte ich, geben Sie mir die Vorhersagewerte, die größer als 50 sind, und während ich mit weiteren Well-Platten fortfahre, werde ich jede Runde fünf erhöhen. |
| |
Ich meine, das war ziemlich willkürlich; Ein Teil davon war, dass wir wussten, dass wir insgesamt nur 10 Runden hatten, und das lag auch daran, dass ich anhand der Vorhersage irgendwie erkennen konnte, wie groß das Set war. |
| |
Stimmt, wenn es also abhängig von den Daten so aussah, als wäre die Menge immer noch riesig, die Vorhersage läge bei etwa 50, könnte man sie dahingehend ändern. |
| |
Die Idee hier besteht eigentlich nur darin, langsam mit der Erkundung der hoffentlich ertragsstärkeren Regionen zu beginnen. |
| |
Hatten wir also recht? Nun, hier haben wir tatsächlich 27 der 80 ertragsstärksten Kombinationen erhalten, also jene über 95, was gar nicht so weit vom gierigen Ansatz entfernt ist. |
| |
Und wenn Sie an das R-Quadrat denken, wiederum mit all diesen Holdout-Daten, dann war das endgültige Test-R-Quadrat dort 0,69, was also wirklich nicht weit vom konservativen Ansatz entfernt war. Also nur die... |
| |
Ich meine, vielleicht möchten Sie im Moment vorsichtig sein, wenn Sie sich nur diese beiden Zahlen ansehen, aber auf dieser Grundlage scheint dieser Hybrid wirklich das Beste aus beiden Welten zu sein. Ich meine, Sie machen Kompromisse, aber Sie bekommen etwas Gutes. |
| |
Also nur ein paar Einblicke in diesen Ansatz. Letztendlich würde ich wirklich sagen, dass wir die Faktorräume, die mit hohen Renditen verbunden sind, besser verstanden haben. |
| |
Ich denke, die Gierigen, wenn Sie sich daran erinnern, wo sich diese Punkte befanden, waren wirklich oben links konzentriert, so dass es nicht wirklich zu einer weiteren Erkundung dieses Raums kam. |
| |
Und Sie können sich vorstellen, wenn... |
| |
Wenn sich dort über Nacht etwas im Preis vervierfacht, weiß man nichts mehr über den Rest der Region. |
| |
Richtig, und mit diesem hybriden Ansatz bekommen wir mehr von dem Wie und Warum, von einigen Kombinationen, und es gibt uns bessere Alternativen |
| |
Und noch einmal: Wenn Sie andere Dinge berücksichtigen müssen, sind Sie möglicherweise bereit, einen kleinen Teil des Ertrags zu opfern, weil es auf der Grundlage anderer Messungen bessere Alternativen gibt. |
| |
Und so, wirklich, die Idee hier ... ja, also lassen Sie mich kurz darauf eingehen, wie dies tatsächlich im benutzerdefinierten Design umgesetzt wurde, richtig. Der Ansatz, den ich gewählt habe, war also |
| |
Verwendung von Kovariaten im benutzerdefinierten Designer, was meiner Meinung nach manchmal etwas unterschätzt wird. |
| |
Aber die Idee ist, dass ich einfach den gesamten Datensatz genommen habe, also die gesamten 4.608 Läufe. |
| |
und für jede Runde ... Sie können sich also vorstellen, dass ich zuerst diese ... Ich habe das 144-Run-Design genommen und dann gesagt, nun, ich werde eine Teilmenge dieses vollständigen Datensatzes nehmen. Wenn ich es bereits in einem früheren Design ausgewählt habe, muss ich sicherstellen, dass es enthalten ist. |
| |
Und dann geben Sie mir auch die vorhergesagten Erträge über diesem bestimmten Wert an, also noch einmal für den vierten Entwurf, der bei 50 und 55, 60 usw. begonnen wurde. |
| |
Also in der Datentabelle |
| |
Jetzt wähle ich die Designpunkte aus, die in früheren Experimenten verwendet wurden. Deshalb stelle ich sicher, dass diese hervorgehoben sind. Und dann benutzerdefiniertes Design: Wenn Sie unter „Faktor hinzufügen“ gehen, gibt es dort eine Option namens „Kovariate“. Und wieder denke ich, dass es... |
| |
Viele Leute haben Kovariaten noch nie zuvor wirklich gesehen, und ich habe es hier erwähnt, weil ich denke, dass ich wahrscheinlich einen ganzen Vortrag damit verbringen könnte, nur über Kovariaten zu sprechen: |
| |
Aber es wird tatsächlich ein paar Blog-Einträge geben (falls sie noch nicht online sind, wenn Sie dieses Video sehen, wahrscheinlich in ein paar Tagen, wenn Sie dieses Video ansehen). |
| |
wo ich etwas mehr darüber sprechen werde, wie man Kovariaten wirklich nutzt. Aber die Idee ist, dass Sie vielleicht schon einmal etwas gehört haben, das als Kandidatensatz bezeichnet wird, also ist die Idee ... |
| |
Hier ist dieser Datensatz, der die Teilmenge der zuvor ausgewählten und dergleichen war, und er teilt dem benutzerdefinierten Designer mit, dass Sie nur diese Entwurfspunkte auswählen können. |
| |
Das geht nicht auf die übliche Art und Weise, wir werden weiterhin versuchen, die Koordinaten zu ändern und so weiter. Es bedeutet, dass Sie dem benutzerdefinierten JMP-Designer mitteilen, dass Sie diese Läufe in Ihrem Design verwenden müssen und insbesondere |
| |
Eine der Optionen bei der Verwendung von Kovariaten besteht darin, dass Sie zuvor ausgewählte Designpunkte erzwingen können, sodass es auf diese Weise tatsächlich wie eine Designerweiterung ist |
| |
Verwendung eines Kandidaten nach Verwendung von Kovariaten. |
| |
Und natürlich, weil ich in diesem Fall die Designpunkte, mit denen ich zuvor experimentiert habe, nicht wirklich außer Acht lassen kann. Eigentlich wollen wir nur die nächsten 48 auswählen. |
| |
Und ich sollte hier auch nur erwähnen, wenn Sie an das individuelle Design denken ... |
| |
Was ich also in jedem dieser Punkte gemacht habe, war ... also die Zwei-Faktor-Interaktionen und dann, wenn möglich, die Drei-Faktor-Interaktionen. |
| |
Aber es gab … das war eigentlich eher ein Mechanismus, um den Designraum zu erkunden, richtig. Das Modell, das ich angepasst habe |
| |
habe im Nachhinein XGBoost verwendet, also meine ich, dass das Design nicht für ein XGBoost-Modell oder ähnliches optimiert war. |
| |
Dies war eher ein Ersatz für die Aussage: Erforschen Sie den Designbereich, in dem die prognostizierte Ausbeute gut aussieht, und insbesondere, weil es hier um die kategorialen Faktoren ging, wird sichergestellt, dass eine gute Balance gefunden wird. Noch etwas zu erwähnen: |
| |
Wenn Sie möchten ... noch einmal, weil es nicht das zugrunde liegende Modell, den XGBoost oder etwas Ähnliches verwendet, könnten Sie die Antwort verwenden. In diesem Fall haben sie also die Rendite als eine weitere Kovariate vorhergesagt und damit versucht, ein besseres Gleichgewicht zwischen hoher und niedriger Rendite zu erreichen |
| |
Antworten, wenn versucht wird, das Design zu erstellen. |
| |
Deshalb haben wir das hier nicht untersucht, aber ich denke, das wäre eine sinnvolle Vorgehensweise in der Zukunft. |
| |
Also zum prognostizierten Ertrag. Also, wie ich in ... also, glaube ich, erwähnt habe, als Phil über einige der anderen Techniken des maschinellen Lernens sprach, die er ausprobiert hatte |
| |
Bei meinem ??? habe ich mich eigentlich hauptsächlich auf XGBoost konzentriert. |
| |
Und wenn Sie auf der linken Seite nachsehen, war einer der Gründe, warum ich das getan habe, der Versuch |
| |
Ich verwende die K-Falten-Kreuzvalidierung, wobei ich jedoch die Designnummer verwende, die im Wesentlichen die Well-Platte für jede weitere Falte wäre. Anstatt also die verschiedenen K-Falten zufällig auszuwählen, |
| |
Es würde heißen, ich werde mir die Wellplatte ansehen und dann versuchen, sie für jede einzelne herauszuhalten. Wenn Sie sich also vorstellen, dass ich beim ersten Mal nur drei Well-Platten hatte, |
| |
Es würde jede dieser Well-Platten nehmen, sie hinhalten und dann sehen, wie gut es anhand der verbleibenden beiden vorhersagen konnte. Und wenn ich dann bei der zehnten ... Platte mit der zehnten Vertiefung angelangt wäre, würde es tatsächlich so etwas wie eine Zehnfache sein. |
| |
Ein Grund dafür war, dass ich darüber nachdachte, dieses Modell robuster für die nächste Wellplatte zu machen, die Sie noch nicht gesehen haben. |
| |
Und in Wirklichkeit würde Sie das vielleicht auch schützen, wenn mit einer bestimmten Well-Platte etwas passieren sollte, |
| |
Dann erhalten Sie vielleicht auch ein wenig Schutz davor. |
| |
Und eine andere Sache, die ich mit XGBoost gemacht habe: Wenn Sie die XGBoost-Plattform starten, etwa über das Add-In, sehen Sie oben ein kleines Kontrollkästchen für das, was wir ein Tuning-Design nennen. |
| |
Und so, mit diesem Tuning-Design, |
| |
Es geht tatsächlich darum, ein raumfüllendes Design hinter die Decke zu bringen und all das für die verschiedenen Hyperparameter auszuführen. |
| |
Was ich also jedes Mal getan hatte, wenn ich das tat, |
| |
Ich würde ein Tuning-Design für 50 Läufe auswählen, aber einfach diesen Hyperparameterraum erkunden. Und so würde ich das Modell jede Runde wählen |
| |
war derjenige mit der besten Validierung R im Quadrat. Und so verwendet die Validierung im R-Quadrat in diesem Fall tatsächlich nur die Entwurfspunkte, die ich habe, richtig. Das war also die K-Faltung mit dem... |
| |
mit diesen verschiedenen Wellplatten. In diesem Fall ist das Validierungs-R-Quadrat also nicht ... Ich verwende nicht die Daten, die noch nicht gesehen wurden, weil ich diese Daten in Wirklichkeit noch nicht habe. |
| |
Aber das war nur die Verwendung dieser Validierungstechnik, bei der ich die Well-Platten verwendet habe. Das ist wiederum der Grund, warum ich für den Großteil davon XGBoost verwendet habe, ich habe einfach etwas anderes ausprobiert |
| |
Ich verwende diese K-Fold-Technik, und außerdem verwende ich die Raumfüllung auch sehr gerne, wenn es um XGBoost geht. |
| |
Werfen wir also einen Blick hierher. Wir sehen also hier, dass dies die Punkte sind, die in den aufeinanderfolgenden Runden vergeben werden. Jetzt, |
| |
Wenn man bedenkt, was bei der gierigen Herangehensweise passiert ist, meine ich, es hat sich wirklich nach oben links konzentriert. |
| |
Richtig, aber jetzt, wenn Sie diesen hybriden Ansatz sehen, |
| |
Je weiter es in die Runde geht, desto mehr füllt es die Punkte aus, aber wir erhalten auch eine bessere... eine bessere Auswahl an Punkten, insbesondere auf der linken Seite. |
| |
Richtig, wenn Sie also aus der Perspektive denken, haben Sie jetzt viel bessere Alternativen für diese ertragsstarken Regionen. |
| |
Ich denke schon ... wenn wir uns jetzt die tatsächlichen mit den vorhergesagten vergleichen, |
| |
Ich denke tatsächlich, dass das auch irgendwie aufschlussreich war, weil wir die Erkundung besser gemacht haben. |
| |
In diesen Hochertragsregionen vielleicht |
| |
nicht ganz so hoch geworden, denke ich. Wenn Sie nach unten links schauen, ist es uns im Hybridmodell meiner Meinung nach viel besser gelungen, einige der möglicherweise brauchbaren Alternativen aufzugreifen. |
| |
Das Schöne an dieser Methode war auch, dass ich mich auf mehr als nur den Ertrag konzentrieren kann. |
| |
Richtig, wenn Sie also darüber nachdenken... |
| |
Ich könnte eine sekundäre Reaktion haben, sei es eine Art Toxizität, es könnten Kosten sein, irgendetwas in der Art, |
| |
Wenn ich mir diese prognostizierten Werte ansehe, kann ich mich auf mehr als nur den Ertrag konzentrieren. Wenn Sie also an so etwas wie den gierigen Ansatz denken, |
| |
Wenn Sie anfangen, sekundäre Kriterien hinzuzufügen, die Sie berücksichtigen möchten, ist es viel schwieriger, mit der Abwägung zu beginnen. Bei diesem Subset-Ansatz ist es jedoch überhaupt nicht schwierig, dabei eine sekundäre Antwort hinzuzufügen. |
| |
Ich denke, ich übergebe es jetzt Ben für die Schlussfolgerungen. |
| Ben Francis |
So, |
| |
Vielen Dank an David, Phil und Ryan für die Hintergrundinformationen, warum wir das angehen, und für die letzten Endes, die uns zwei, drei sehr gute Lösungen und Wege dafür aufgezeigt haben |
| |
Sehen Sie, wie wir dieses Problem angehen. Und bei all diesen Ansätzen ist klar, dass JMP den Wissenschaftlern einen Mehrwert bietet. Wir sind also ganz unkompliziert vorgegangen und haben die Ressourcen für Experimente um das Zehnfache reduziert. Wir haben nur 10 % der Läufe genutzt. Und |
| |
Was wir letztendlich in jeder Situation ermöglichten, war die Fähigkeit, Spezifikationen zu erfüllen und aus den Experimenten eine ertragreiche Lösung bereitzustellen. |
| |
Darüber hinaus haben wir aber auch gezeigt, wie wir je nach Ziel und Strategie des Unternehmens, das diesen Ansatz anwendet, ein unterschiedlich tiefes Prozessverständnis erreichen können. |
| |
Nun fällt Ihnen vielleicht auf, dass wir drei von JMP sehr daran interessiert sind, wie CatSci dieses Problem angeht. Wir haben es nicht unbedingt genommen |
| |
das Problem weg von CatSci und selbst lösen; Wir stellen die Werkzeuge bereit, um dieses Problem im Hinblick auf DOE anzugehen. Und das war eine fantastische Zusammenarbeit zwischen David als Kunde, |
| |
Ich und Phil auf der Seite des technischen Vertriebs und Ryan auf der Seite der Produktentwicklung, und hier ist es wichtig, dass wir alle die Sache aus einer anderen Perspektive betrachten |
| |
Um diese Art von Lösung zu ermöglichen, können wir, wie ich bereits sagte, eine Art tiefes Prozessverständnis auf unterschiedliche Weise betrachten, abhängig von den Zielen dessen, was erreicht werden muss. |
| |
Wir haben dabei einige Dinge herausgefunden, die für uns bei JMP wirklich spannend sind und zu Produktverbesserungen führen werden, die wir dann an Sie zurückgeben |
| |
als Kunden. Wir haben gelernt, dass Ansätze des maschinellen Lernens auf diese große DOE-Situation anwendbar sind, und wie Sie wissen, sind sie mit JMP unkompliziert anzuwenden. Und wir haben auch gelernt, bei den Validierungsansätzen Vorsicht walten zu lassen, und das können wir weiter untersuchen. |
| |
Letztendlich haben wir hier also ein gutes Arbeitsvolumen im Hinblick auf große DOE-Herausforderungen präsentiert, und wir sind sicher, dass es viele Unternehmen gibt, die sich ähnlich wie CatSci dieser Art von Problemen stellen. |
| |
Deshalb laden wir Sie alle dazu ein, diese Arbeit, die wir geleistet haben, weiter zu erkunden, und wir haben hier zwei Links in Bezug auf die Community, wo wir Ressourcen und das Video dazu veröffentlichen werden, |
| |
sowie einen öffentlichen JMP-Beitrag, der es Ihnen ermöglicht, die Daten, die wir darin verwendet haben, in die Hand zu nehmen. Daher möchten wir uns bei allen Teilnehmern dieser Präsentation fürs Zuschauen bedanken. |
