Altoparlante
|
Trascrizione
|
| David.Wong-Pascua |
Va bene, quindi. |
| |
Sequenziale e costante vince la gara. Quindi, ciao a tutti, sono David e sono uno scienziato senior di CatSci. Allora, cos'è CatSci? |
| |
CatSci è un partner innovativo per processi chimici, ricerca e sviluppo end-to-end. Collaboriamo con organizzazioni come JMP UK per garantire che tutte le nostre decisioni siano guidate dai dati. |
| |
Per noi si tratta di farlo bene, la prima volta e farlo bene, ogni volta; formulare soluzioni su misura perfette per ogni progetto; e il nostro obiettivo assoluto è soddisfare le aspettative dei nostri clienti. |
| |
Lavoriamo in una serie di aree, compreso lo sviluppo nelle fasi iniziali e avanzate. Possediamo competenze di processo, una lunga storia di esperienza nella catalisi, che è sempre stata una caratteristica fondamentale della nostra identità, e abbiamo eccellenti capacità nella chimica analitica e nella scienza dei materiali. |
| |
Quindi in CatSci, una delle sfide che dobbiamo affrontare è la selezione delle variabili categoriali a monte dell'ottimizzazione del processo. |
| |
Questa difficoltà è particolarmente evidente nel nostro lavoro di screening dei catalizzatori. |
| |
Nelle immagini sulla diapositiva, possiamo vedere alcuni degli apparecchi e degli strumenti su cui facciamo affidamento per eseguire lo screening del catalizzatore. |
| |
A sinistra, abbiamo kit di catalisi premade che contengono 24 combinazioni predosate di precursore di metallo e ligando. |
| |
Al centro si trova un idrogenatore che ospita, una piastra a 48 pozzetti, visibile a destra. |
| |
Ciò consente di condurre simultaneamente 48 esperimenti individuali. |
| |
Questi strumenti sono progettati per una produttività elevata e su piccola scala, e non è raro eseguire 10 o più di queste lastre per i nostri clienti, per un totale di quasi 500 esperimenti. |
| |
Allora perché dobbiamo eseguire un numero relativamente elevato di esperimenti e quali sono i vantaggi per migliorare l'efficienza? |
| |
Quindi, prima di tutto, lo spazio chimico che deve essere esplorato è estremamente ampio. |
| |
Per ogni reazione, qualsiasi reazione chimica, ci sono molti fattori che possono avere un effetto, come la temperatura, la concentrazione e la stechiometria. |
| |
Tuttavia, ciò che rende l'esplorazione particolarmente impegnativa per una reazione catalitica è che ci sono molti importanti fattori categoriali; questi includono precursore di metalli, legante, reagente, solvente e additivo. |
| |
Un'altra caratteristica delle reazioni catalitiche è che ci sono spesso interazioni di ordine elevato, quindi ciò significa che, per un sistema catalitico (una particolare combinazione di precursore metallico e legante), |
| |
è necessario disporre di ampi filtri per solventi e additivi per valutare le prestazioni. |
| |
Non è corretto escludere di dire una certa combinazione di precursore di metalli e ligando appena prima ... solo perché si comporta male in un certo solvente. Potrebbe essere il caso che tu non abbia il solvente giusto o l'additivo giusto per questo. |
| |
Infine, uno dei modi più semplici per spiegare il vantaggio di un metodo di screening più efficiente è guardare al prezzo dei materiali. |
| |
Molti dei nostri progetti di catalisi coinvolgono metalli preziosi, come platino, palladio, rutenio, iridio e rodio. Alcuni di questi metalli sono tra gli elementi più rari nella crosta terrestre e questo si riflette nel loro prezzo. |
| |
Solo una rapida ricerca su Google dei loro prezzi, puoi vedere qui che il prezzo del rodio è più di un ordine di grandezza più costoso dell'oro. |
| |
Un'altra grande spesa per lo screening della catalisi è rappresentata dai ligandi. Sebbene esistano ligandi economici, molti dei ligandi con le migliori prestazioni per la sintesi asimmetrica sono ligandi proprietari, come Josiphos di Solvias, |
| |
e uno dei più comunemente disponibili ed economici, J001, è ancora il doppio del prezzo dell'oro. |
| |
Quindi, ridurre il numero di esperimenti può quindi diminuire il costo dei materiali di consumo, ma l'impatto maggiore si crea quando troviamo la soluzione ottimale per un cliente con un processo di produzione multitono. |
| |
In questi casi, una riduzione di dieci volte nel caricamento del catalizzatore o la scoperta di un catalizzatore alternativo più economico, ad esempio, scambiando un catalizzatore di rodio con uno di rutenio, può far risparmiare milioni di dollari all'anno. |
| |
E ora passerò la parola a Ben, che discuterà come il team di JMP UK ha affrontato questo problema. |
| Ben Francis |
Quindi grazie mille, David. |
| |
Quindi è chiaro che |
| |
CatSci e molte altre aziende simili a CatSci affrontano grandi sfide con ampi spazi di formulazione, |
| |
che può avere interazioni di ordine molto elevato. Quindi la scienza è molto, molto complessa e ciò che facciamo per sperimentare per svelare tale complessità è importante. |
| |
Sfortunatamente, l'opzione di testare solo ogni singola combinazione non è davvero sensata o praticabile, a causa dei costi che David ha delineato lì. |
| |
Infine, dobbiamo adottare una qualche forma di approccio, che coinvolga la scienza dei dati per comprendere numericamente le relazioni. |
| |
Quindi, per procedere e applicare la formulazione scelta a una produzione ... uno scenario di produzione multipla, dobbiamo sapere che funzionerà ogni volta, come ha detto David. |
| |
Quindi abbiamo cercato nella letteratura, perché in JMP siamo molto interessati all'applicazione del DOE e abbiamo ritenuto che questa fosse una situazione particolare del DOE. |
| |
E come l'abbiamo giustamente chiamato, è un grande DOE. Quindi abbiamo cercato un caso di studio a cui applicare un grande approccio DOE e abbiamo trovato un articolo di Perera et al, |
| |
pubblicato nel 2018 e hanno esaminato una piattaforma per questo screening delle reazioni. E ciò che è stato interessante in questo scenario è che avevano cinque fattori categorici. |
| |
E questo potrebbe non sembrare troppo. Dovevano esaminare i reagenti 1 e 2, il legante, i reagenti e il solvente, ma la complessità di ciò che è stato presentato in questo documento erano i livelli di ciascun fattore. |
| |
Quattro, tre, dodici, otto e quattro livelli, rispettivamente, tutti combinati insieme creano 4.608 combinazioni distinte. |
| |
Ora, nel documento di Perera et al, hanno testato ognuno di loro, che ovviamente non è una soluzione praticabile in termini di tutte le società del mondo, ma solo testando ogni combinazione, come David ha sottolineato prima. |
| |
Puoi vedere qui sulla mappa termica che sono stati in grado di avere un'idea che ci sono alcune regioni ad alto rendimento |
| |
e alcuni meno ad alto rendimento, e alcuni anche molto bassi. Quindi ci sono stati molti test che alla fine si sono conclusi con una scarsa comprensione del processo |
| |
e un costo sperimentale molto alto. |
| |
Quindi questo alla fine è finito in una situazione in cui hanno trovato una combinazione, sono arrivati a una combinazione, che sono stati quindi in grado di elaborare sul foglio e dire guarda, questo è, questi sono |
| |
era giusto, la prima volta, ma era giusto ogni volta, da quel momento in poi, se lo inserivano in uno scenario di produzione multitono? Continuerebbe a fornire le specifiche richieste? |
| |
la grande soluzione DOE riduce il fabbisogno di risorse? |
| |
Funziona bene la prima volta e lo fa bene ogni volta? E il modo in cui siamo in grado di misurare queste domande e come ci siamo comportati |
| |
era in primo luogo in termini di riduzione del fabbisogno di risorse, abbiamo consentito solo di progettare un esperimento con 480 esecuzioni in totale. E questo imitava 10 48 piani di lavoro, e questo è circa il 10% delle corse eseguite sulla carta. |
| |
Ha funzionato correttamente la prima volta è stato misurato osservando quante delle combinazioni ad alto rendimento identificate nel documento, le 80, sono state testate o previste |
| |
dal modello generato. E, in definitiva, con il 10% delle tirature, ci aspettavamo di ottenere almeno otto combinazioni ad alto rendimento dai nostri ... dai nostri DOE |
| |
(e il rendimento elevato è indicato qui da un valore superiore al 95%). |
| |
Infine, e soprattutto, fa bene ogni volta che è stato misurato guardando la diagnostica generale del modello, la R quadrata. E, in definitiva, possiamo guardare a questo e vedere se abbiamo una visione approfondita del processo? Le relazioni hanno senso? Le combinazioni e le interazioni hanno senso? |
| |
Quindi quello che abbiamo fatto per darci un par per il corso anche qui, è stato cercare di utilizzare il set di dati completo di 4.608, abbiamo scoperto che la R al quadrato di questo era .89, e questo era un con un metodo ad albero potenziato. |
| |
Quindi ora vado a passare a Phil, che delineerà il primo grande approccio DOE che abbiamo adottato. |
| Phil Kay |
Grazie, Ben; grazie, David, per aver ambientato la scena così bene. Quindi abbiamo esaminato tre diversi approcci |
| |
per affrontare questo problema per vedere se possiamo prendere un numero ridotto di quelle corse che sono state effettivamente testate in quel documento e ottenere comunque le stesse informazioni utili di Ben come delineato. |
| |
Quindi parlerò di due di questi tre approcci, e questi due sono una specie di approcci estremi. C'è un approccio conservatore e un approccio avido, quindi Ryan parlerà dell'approccio più ibrido ed equilibrato che pensavamo avrebbe probabilmente funzionato meglio alla fine. |
| |
Quindi, con l'approccio conservativo, questo è un approccio DOE standard. Progettiamo un design personalizzato da 480 corse con 10 blocchi, quindi questo rappresenta 10 piastre nell'attrezzatura di screening del catalizzatore che David ci ha mostrato. |
| |
E i risultati principali erano che, da quell'esperimento di 480 esecuzioni, siamo stati in grado di prevedere correttamente che 13 delle combinazioni a rendimento più elevato sarebbero state ad alto rendimento. |
| |
E siamo stati in grado di creare un modello da quel 480 set di dati di esecuzione che, quando lo abbiamo testato con dati che non erano stati utilizzati in quell'esperimento, |
| |
la R al quadrato era di circa 0,73, quindi piuttosto buona in realtà. Otteniamo un modello abbastanza buono, una comprensione abbastanza buona del sistema nel suo insieme da quell'esperimento più piccolo in poi ... dal grande esperimento che è stato pubblicato. |
| |
Alcune intuizioni davvero interessanti che abbiamo ottenuto da questo sono state che dovevamo usare l'apprendimento automatico per ottenere modelli utili da questi dati, e questa è stata una sorpresa per noi. Ne parlerò un po 'più in dettaglio. |
| |
E abbiamo ottenuto una buona comprensione da questi dati che abbiamo raccolto utilizzando questo approccio conservativo. Ci ha dato una buona comprensione dell'intero spazio dei fattori, perché certe combinazioni funzionano bene. |
| |
Ci ha permesso di identificare regioni alternative, quindi se troviamo una combinazione ad alto rendimento, ma non è pratica perché è troppo costosa, |
| |
i catalizzatori sono troppo costosi, o forse sono pericolosi o tossici e non suscettibili di un processo industriale, quindi abbiamo molte alternative perché abbiamo una comprensione dell'intero spazio. |
| |
Allora, come l'abbiamo fatto? |
| |
Design personalizzato in JMP. Noi |
| |
ha progettato una corsa 480, disegno ottimale, in questo caso, in 10 blocchi. Quindi, di nuovo, i 10 blocchi che rappresentano 10 48 wellplates per i quali David ci ha mostrato l'attrezzatura. |
| |
Da notare qui, specifichiamo un modello nel design personalizzato che è per gli effetti principali. |
| |
per le interazioni del secondo ordine e per le interazioni del terzo ordine. E con le interazioni del terzo ordine e tutti quei livelli di questi fattori categoriali, |
| |
c'è solo un numero enorme di parametri che devono essere stimati, quindi non potremmo effettivamente progettare un esperimento per stimarli tutti in modo esplicito. Dobbiamo mettere le interazioni del terzo ordine come, se possibile, quindi questo è un progetto ottimale bayesiano I in 480 esecuzioni. |
| |
Puoi vedere da questa immagine, stiamo solo guardando attraverso i diversi round degli esperimenti, dei diversi ... 10 diversi piatti. |
| |
E puoi vedere come, con l'aggiunta della piastra successiva nell'esperimento, stiamo aggiungendo alla nostra esplorazione dello spazio dei fattori nel suo insieme. |
| |
Non ci stiamo concentrando su nessuna regione specifica; stiamo solo riempiendo gli spazi nella nostra conoscenza di tutto lo spazio dei fattori. |
| |
Quindi sono 480 esecuzioni che abbiamo utilizzato nel nostro esperimento e le restanti 4.128 righe che abbiamo da quel set di dati pubblicato. Possiamo usare questi dati di test per vedere come i nostri modelli si confrontano su un set di dati trattenuto, questi dati di test. |
| |
Ora ce lo aspettavamo da tutto il nostro background DOE e dalla nostra esperienza |
| |
quando progettiamo un esperimento per un certo modello, le tecniche di regressione standard ci forniranno i modelli più utili. |
| |
Quindi stavamo usando JMP Pro qui e usiamo la regressione generalizzata per adattarsi a un modello completo del terzo ordine. |
| |
Ora usiamo effettivamente una distribuzione beta qui, che rimbalza le previsioni tra zero e uno, quindi convertiamo il rendimento percentuale nella scala da zero a uno. È solo un piccolo trucco che quando stai modellando dati di resa come questo, potresti volerlo usare quando hai JMP Pro. |
| |
E usiamo la selezione in avanti, con AICc come metodo di convalida, quindi questo selezionerà gli effetti importanti. |
| |
E lo ripetiamo dopo ogni round, quindi con il primo round di 48 run, poi il secondo round di 96, poi il terzo con 144, fino al decimo round dove abbiamo le 480 run complete. |
| |
Qui puoi vedere il filtro impostato su gen reg lì solo per guardare i primi tre round lì. |
| |
Quindi per i primi tre round, questo è il modello che otteniamo utilizzando gen reg, selezione in avanti, convalida AICc. |
| |
E non è un ottimo modello, penso, solo intuitivamente dalla nostra comprensione di ciò che ci aspetteremmo dalla chimica. Stiamo vedendo solo due dei fattori coinvolti nel modello, quindi sono stati selezionati solo due effetti principali come significativi. |
| |
Quindi possiamo salvare quel modello nella tabella dei dati e quindi possiamo vedere quanto bene quel modello prevede i dati trattenuti, il nostro set di test, |
| |
le restanti 4.128 righe che non erano nel nostro esperimento. E possiamo farlo per ogni round. E l'abbiamo fatto per ogni round, quindi abbiamo 10 modelli che abbiamo costruito utilizzando gen reg. |
| |
In alternativa, abbiamo pensato che valesse la pena esaminare alcuni metodi di apprendimento automatico. E qui, stiamo solo guardando di nuovo i primi tre round. |
| |
E come modo molto rapido per esaminare molte tecniche di modellazione diverse, utilizziamo lo screening del modello in JMP 16 Pro. |
| |
Inseriamo solo il rendimento e i fattori nella Y e nella X lì. Abbiamo una colonna di convalida holdback impostata per trattenere il 25% dei dati in modo casuale per la convalida. |
| |
Fare clic su OK e viene eseguito attraverso tutte queste diverse tecniche di modellazione, quindi ora otteniamo un rapporto che ce lo dice |
| |
quanto bene queste ... tutte queste diverse tecniche di modellazione, inclusi alcuni modelli gen reg, reti neurali e diversi metodi ad albero. |
| |
E abbiamo selezionato i due migliori lì. E in effetti in tutti i round dell'esperimento, abbiamo scoperto che i modelli di rete neurale potenziata neurale e la foresta bootstrap erano i modelli con le migliori prestazioni. |
| |
Quindi, ancora una volta, possiamo salvare le formule di previsione e utilizzare quelle sul set di dati di test che non sono state coinvolte nell'esperimento per confrontarle e vedere come stanno andando i nostri diversi modelli rispetto a quel set di dati di test. |
| |
E qui utilizziamo il confronto dei modelli e JMP Pro, quindi confrontiamo tutti i nostri modelli di registrazione di generazione, i nostri modelli di rete neurale ei nostri modelli di foresta bootstrap. |
| |
E ora stai guardando una visuale della R al quadrato rispetto a quel set di dati di test. In che misura questi modelli si adattano al set di dati del test trattenuto |
| |
E puoi vedere il registro gen, i modelli di regressione standard che utilizzano la selezione in avanti in rosso lì, a partire |
| |
nel primo round, questo è effettivamente il miglior modello, ma non sta migliorando davvero, e poi improvvisamente è andato molto male intorno alle cinque, prima di diventare davvero bravo nel round successivo. Quindi molto instabile e verso la fine peggiorando, probabilmente overfitting. |
| |
I metodi di machine learning, invece, sono, |
| |
dopo il terzo round, stanno dando i risultati migliori, migliori delle nostre tecniche di regressione standard e stanno migliorando completamente. E infatti |
| |
puoi vedere che i neurali iniziano meglio in verde lì, e verso la fine, la foresta bootstrap sta superando i modelli di rete neurale potenziati. |
| |
Quindi il metodo da portare a casa qui è anche con questo, quella che potresti considerare una situazione relativamente semplice, hai davvero bisogno dei metodi di apprendimento automatico in JMP Pro per ottenere i modelli migliori, i modelli più affidabili per questo tipo di sistemi o processi. |
| |
Ora stiamo solo esaminando i grafici dei risultati del rendimento effettivo per tutte quelle 4.608 analisi pubblicate rispetto alle previsioni del nostro miglior modello alla fine del round 10, dopo le 480 sessioni complete. Quindi quella era una foresta di bootstrap sulla destra. |
| |
E non è male, sai che puoi vedere, i comportamenti importanti che sta assumendo. Sta identificando le regioni a basso rendimento e sta identificando le regioni a più alto rendimento. Quindi c'è, |
| |
particolarmente in alto a destra, stanno usando un reagente di iodio (?) e l'acido boronico e l'estere boronico |
| |
reagenti lì. |
| |
Quindi, lo confrontiamo con l'altro approccio estremo. Quindi il primo round di 48 run è stato esattamente lo stesso; iniziamo con le stesse 48 piste. Quindi costruiamo un modello e usiamo quel modello per scoprire quale, tra tutte le corse rimanenti, |
| |
Delle rimanenti 4.560 esecuzioni ci sono, quale di quelle prevede il modello avrebbe il rendimento più alto, e quindi continuiamo a farlo in tutti i round successivi fino a 10. |
| |
E in questo caso prevediamo correttamente più alto rendimento e combinazioni, ma quando otteniamo il modello finale dopo 10 round e lo confrontiamo sui dati |
| |
Che non abbiamo usato nell'esperimento, la R al quadrato è terribile. È 0,33. Quindi in realtà il modello che otteniamo non sta facendo buone previsioni sul sistema nel suo insieme. |
| |
Quindi stiamo ottenendo una buona comprensione di una regione ad alto rendimento e stiamo trovando combinazioni, trovando impostazioni dei fattori che funzionano bene, ma in realtà non ci consente di comprendere il sistema nel suo complesso. Non erano... |
| |
non stiamo riducendo la nostra variabilità nella nostra comprensione del sistema nel suo insieme. |
| |
Quindi, solo per mostrarti come funziona quel sistema, quell'approccio, questo è il nostro completo 4.608 corse, tutte le combinazioni possibili, e, come ho detto nel Round 1, è lo stesso del Round 1 che usa l'approccio conservativo, quindi è un Io ottimale |
| |
insieme di punti lì, e puoi vedere che sono distribuiti uniformemente nello spazio dei fattori. |
| |
Adattiamo un modello ai dati di quelle 48 corse. |
| |
E utilizziamo quel modello per prevedere il rendimento di tutte le altre possibili combinazioni e quindi selezioniamo tra quelle le 48 previsioni con il rendimento più elevato, |
| |
quali sono quelli. Quindi puoi vedere, sono concentrati sulla regione a più alto rendimento del ... non siamo ... non stiamo più esplorando l'intero spazio dei fattori. |
| |
E se andiamo dal Round 1, 2, 3 e fino al Round 10, puoi vedere, ogni volta che aggiungiamo ... stiamo aggiungendo esecuzioni all'esperimento che si trovano proprio in quella zona ad alto rendimento in alto sinistra. Quindi ci stiamo concentrando solo su una regione dello spazio dei fattori. |
| |
E se confrontiamo l'effettivo con il previsto qui, puoi vedere che sta facendo un buon lavoro in quella regione in alto a sinistra. |
| |
Ma altrove sta facendo previsioni abbastanza orribili, come potremmo aspettarci; probabilmente non è così sorprendente. Non abbiamo sperimentato in tutto il sistema. Ci siamo davvero concentrati solo su quella regione ad alto rendimento. |
| |
E se lo confronti con il nostro approccio conservativo sul lato sinistro (quindi hai già visto la trama sul lato sinistro lì) se guardi come il modello |
| |
migliorato attraverso i round da uno a 10, quindi ogni round usavamo di nuovo la piattaforma di screening del modello per trovare il modello migliore. |
| |
E si è scoperto che in ogni fase la rete neurale potenziata era il modello migliore. Bene, puoi vedere ancora una volta che è un po 'instabile come il gen reg dall'approccio conservatore. |
| |
A volte va bene, ma non è mai ... non è mai competitivo con i nostri migliori modelli dell'esperimento conservatore. |
| |
Quindi questi sono i due estremi, e passerò a Ryan, che parlerà di un approccio più equilibrato o ibrido a questo problema. |
| Ryan Lekivetz |
Quindi grazie per questo Phil. E |
| |
proprio nel bel mezzo di una presentazione, devo dire grazie a Phil, Ben e David per avermi permesso di prendere parte a questo. Come sviluppatore è davvero divertente giocare un po '. Quindi sono uno sviluppatore delle piattaforme DOE in JMP. |
| |
Quindi, come Phil ha menzionato qui, l'approccio che sto guardando qui è un approccio ibrido. |
| |
Va bene, quindi l'idea qui è che esamineremo questa idea di ottimizzazione rispetto all'esplorazione. |
| |
Quindi, se pensi all'approccio avido di cui ha parlato Phil, questa è davvero quell'ottimizzazione. Vado rigorosamente per il meglio, questo è tutto ciò su cui mi concentrerò. Considerando che l'approccio conservatore, tutto ciò che importava era l'esplorazione. |
| |
E quindi l'idea qui è che possiamo andare da qualche parte nel mezzo |
| |
forse ottimizzare, esplorando ancora un po 'lo spazio? |
| |
Quindi dirò cosa avevo fatto qui ... quindi in realtà ho iniziato con una specie di tre dei piatti a pozzetti impostati in anticipo, giusto. Quindi ho fatto quei tre blocchi di dimensione 48 e ho fatto solo gli effetti principali con If Possible 2FIs. |
| |
Il motivo è che a volte non mi fidavo davvero dei modelli con solo 48 corse. Ho detto, beh, diamo un po 'di bruciatura. Proviamo il 144, o tre piastre a pozzetti, quindi forse posso fidarmi un po 'di più del modello. |
| |
Perché in un certo senso, anche se pensi a quell'approccio avido, se il tuo modello era cattivo, andrai nelle regioni terribili. Non ti aiuterà molto. |
| |
E ancora così ... così come prima, farò ancora 10 piastre per pozzetti totali o 10 blocchi totali alla fine. |
| |
E ne parlerò un po 'nelle prossime diapositive, ma in realtà ho usato XGBoost per tutto il tempo. Quindi il modo in cui stavo prevedendo stava usando XGBoost e c'è un motivo per cui arriverò |
| |
per averlo fatto. |
| |
Ma quindi l'idea qui era di prendere essenzialmente quello che era il valore predittivo. Quindi, invece di cercare rigorosamente i migliori 48, ho detto, stabilirò una soglia. |
| |
Bene, quindi dopo i primi tre, ho iniziato a 50 anni. Quindi ho detto, dammi valori predittivi maggiori di 50 e man mano che proseguo con ulteriori pozzetti, ne aumenterò cinque ogni round. |
| |
Voglio dire che è stato piuttosto arbitrario; parte di questo era sapere che avevamo solo 10 round in totale, e questo anche perché potevo vedere in base alla previsione quanto fosse grande quel set. |
| |
Bene, quindi a seconda dei dati, se sembrava che quel set fosse ancora enorme, che il predetto era di circa 50, potresti modificarlo. |
| |
E quindi l'idea qui è davvero solo quella di iniziare lentamente ad esplorare quelle che si spera dovrebbero essere le regioni a maggiore rendimento. |
| |
E quindi, avevamo ragione? Bene, quindi in questo, abbiamo effettivamente ottenuto 27 delle 80 combinazioni più produttive, quelle sopra 95, che non erano così lontane dall'approccio avido. |
| |
E se pensi alla R al quadrato, ancora una volta, con tutti quei dati di controllo, per essere che il test finale R al quadrato era 0,69, quindi non era nemmeno così lontano dall'approccio conservativo. Quindi solo il ... |
| |
Voglio dire, potresti essere ... potresti voler essere cauto, in questo momento, solo guardando quei due numeri, ma sulla base di questo, questo ibrido sembra davvero essere il migliore di entrambi i mondi. Voglio dire, ci stai scambiando, ma stai ottenendo qualcosa di buono. |
| |
Quindi solo alcuni spunti su questo approccio. In realtà, direi, alla fine, che abbiamo ottenuto una migliore comprensione di quegli spazi di fattori associati all'alto rendimento. |
| |
Penso che gli avidi, se riesci a ripensare a dove erano quei punti, erano davvero concentrati in quell'angolo in alto a sinistra, quindi non hanno esplorato molto di più quello spazio. |
| |
E puoi immaginare se ... |
| |
se qualcosa là dentro improvvisamente quadruplica di prezzo durante la notte, ora non sai nient'altro sul resto della regione. |
| |
Bene, e quindi con questo approccio ibrido, otteniamo un po 'di più di quel come e perché, alcune delle combinazioni, e ci offre alternative migliori |
| |
ancora una volta che, forse se hai altre cose da tenere in considerazione, sei disposto a sacrificare un po 'della resa perché ci sono alternative migliori, basate su altre misurazioni. |
| |
E quindi, davvero, l'idea qui ... sì, quindi fammi solo entrare nel modo in cui è stato effettivamente fatto nel design personalizzato, giusto. Quindi l'approccio che ho preso è stato |
| |
utilizzando le covariate nel designer personalizzato, che penso sia un po 'sottovalutato a volte. |
| |
Ma l'idea è che ho preso l'intero set di dati, quindi l'intero 4.608 viene eseguito, |
| |
e per ogni round ... quindi puoi immaginare, all'inizio, ho preso quelli ... Ho preso il progetto 144 e poi ho detto, beh, prenderò un sottoinsieme di quel set di dati completo. Se l'ho già scelto in un progetto precedente, beh, devo assicurarmi che sia incluso. |
| |
E poi, dammi anche i rendimenti previsti al di sopra di quel determinato valore, quindi di nuovo, per il quarto progetto, che era iniziato a 50 e 55, 60, ecc. |
| |
Quindi nella tabella dei dati |
| |
ora, quello che faccio è selezionare i punti di progettazione che sono stati utilizzati negli esperimenti precedenti. Quindi mi assicuro che siano evidenziati. E poi il design personalizzato, quando vai sotto il fattore di aggiunta, c'è un'opzione chiamata covariata. E ancora, penso che sia ... |
| |
Molte persone non hanno mai realmente visto le covariate prima e, ho menzionato qui, perché penso che probabilmente potrei passare un intero discorso solo parlando di covariate, |
| |
ma in realtà ci saranno un paio di post nel blog (se non sono già stati pubblicati quando vedrai questo video, probabilmente entro pochi giorni nel momento in cui lo guarderai) |
| |
dove parlerò un po 'di più su come utilizzare davvero le covariate. Ma l'idea è che potresti aver già sentito qualcosa chiamato set candidato, quindi l'idea è ... |
| |
ecco questo set di dati che era il sottoinsieme di quello scelto in precedenza e tutto il resto, e sta dicendo al designer personalizzato che puoi scegliere solo questi punti di progettazione. |
| |
Non puoi fare il modo standard, continueremo a provare a cambiare le coordinate e tutto il resto. Sta dicendo al designer personalizzato di JMP che devi usare queste sequenze nel tuo progetto e, in particolare, |
| |
una delle opzioni che utilizzano le covariate è che puoi forzare i punti di progettazione scelti in precedenza, quindi in questo modo è effettivamente come aumentare il design |
| |
utilizzando un candidato dopo aver utilizzato le covariate. |
| |
E, naturalmente, perché in questo ... in questo caso, non posso davvero buttare via quei punti di progettazione su cui ho precedentemente sperimentato. In realtà, tutto ciò che vogliamo è scegliere i prossimi 48. |
| |
E dovrei menzionarlo anche qui, però, se pensi al design personalizzato ... |
| |
Quindi in ognuno di questi, quello che stavo facendo era ... quindi le interazioni a due fattori e poi le interazioni a tre fattori, se possibile. |
| |
Ma c'era ... quello era davvero più un meccanismo per esplorare lo spazio del design, giusto. Il modello che stavo adattando |
| |
stava usando XGBoost dopo il fatto, quindi voglio dire che il design non è stato ottimizzato per un modello XGBoost o qualcosa del genere. |
| |
Questo è stato più un surrogato per dire, esplorare quello spazio di progettazione in cui la resa prevista sembra buona e, soprattutto, poiché si trattava di fattori categorici, farà in modo che cerchi di ottenere un buon equilibrio. Un'altra cosa da menzionare, |
| |
se volessi ... di nuovo, perché non sta usando quel modello sottostante, XGBoost o qualcosa del genere, potresti usare la risposta. Quindi, in questo caso, hanno previsto il rendimento come un'altra covariata, e ciò che farebbe è cercare di ottenere un migliore equilibrio tra rendimento alto e basso |
| |
risposte quando sta cercando di creare il design. |
| |
Quindi non l'abbiamo esplorato qui, ma penso che sarebbe una cosa valida da fare in futuro. |
| |
Quindi, alla resa prevista. Quindi, come ho detto in ... quindi penso che quando Phil ha parlato di alcune delle altre tecniche di apprendimento automatico che aveva provato |
| |
Per il mio ???, in realtà mi sono concentrato principalmente su XGBoost. |
| |
E se guardi nella parte sinistra, uno dei motivi per cui l'ho fatto era provare |
| |
usando la convalida incrociata delle pieghe K, ma dove uso il numero di progetto, che sarebbe essenzialmente la piastra a pozzetti come ogni piega aggiuntiva. Quindi, invece di selezionare casualmente le diverse pieghe K, |
| |
direbbe, guarderò il piatto del pozzo e cercherò di tenerlo per ciascuno. Quindi se immagini, per il primo, quando avevo solo tre piatti a pozzetti, |
| |
avrebbe preso ciascuna di quelle piastre a pozzetti, le avrebbe tenute aperte e poi avrebbe visto quanto bene poteva prevedere, in base alle due rimanenti. E quindi quando arriverei al decimo ... al decimo piatto del pozzo, sarebbe effettivamente una specie di dieci volte. |
| |
Quindi parte del mio ragionamento per questo è stato di pensare di provare a rendere quel modello robusto per il prossimo pozzetto che non hai visto. |
| |
E, in realtà, questo in realtà forse proteggerebbe anche te se accadesse qualcosa con un pozzetto in particolare, |
| |
allora, magari anche da questo ottenere un po 'di protezione. |
| |
E un'altra cosa che avevo fatto con XGBoost è stata quando avvii la piattaforma XGBoost, come attraverso il componente aggiuntivo, vedrai che c'è una piccola casella di controllo in alto per quello che chiamiamo un progetto di ottimizzazione. |
| |
E quindi, con quel design di messa a punto, |
| |
in realtà sta adattando un design di riempimento dello spazio dietro le copertine e fa funzionare tutto ciò per i diversi parametri iper. |
| |
Quindi quello che avevo fatto per ogni volta che lo facevo, |
| |
Sceglierei un progetto di messa a punto per 50 esecuzioni, ma esplora semplicemente quello spazio iperparametrico. E quindi il modello lo sceglierei ogni turno |
| |
era quello con la migliore convalida R al quadrato. E così ancora, la convalida R al quadrato in questo caso utilizza in realtà solo i punti di progettazione che ho, giusto. Quindi questo stava facendo quella piega K con il ... |
| |
con quei diversi pozzetti. Quindi in questo caso, la convalida R al quadrato non è ... Non sto usando quei dati che non sono stati ancora visti, perché ancora una volta, in realtà, non ho ancora quei dati. |
| |
Ma questo stava solo dicendo usando quella tecnica di convalida, dove stavo usando le piastre a pozzetti. Quindi, ancora una volta, questo è un po 'il motivo per cui stavo usando XGBoost per la maggior parte di questo, stavo solo provando qualcosa di diverso che |
| |
usando quella tecnica di piegatura a K, e anche, mi piace molto usare anche il riempimento dello spazio, quando si tratta di XGBoost. |
| |
E quindi diamo un'occhiata qui. Quindi vediamo qui, questi sono i punti che vengono selezionati durante i round consecutivi. Adesso, |
| |
se pensi a quello che stava succedendo nell'approccio avido, voglio dire, si stava davvero concentrando in alto a sinistra. |
| |
Bene, ma ora, se vedi con questo approccio ibrido, |
| |
quando inizia ad avanzare nei round, vedi che riempie un po 'di più quei punti, ma otteniamo anche un migliore ... un campionamento migliore dei punti, specialmente su quel lato sinistro. |
| |
Giusto, quindi se pensi dal punto di vista, ora hai alternative molto migliori per quelle regioni ad alto rendimento. |
| |
Penso di sì ... se diamo ora uno sguardo al reale rispetto a quanto previsto, |
| |
In realtà penso che anche questo sia stato un po 'significativo, credo, perché abbiamo fatto una migliore esplorazione. |
| |
In quelle regioni ad alto rendimento che forse |
| |
non è arrivato così in alto, penso, se guardi in basso a sinistra, penso che abbiamo fatto un lavoro molto migliore nel modello ibrido raccogliendo alcune di quelle che potrebbero essere valide alternative. |
| |
Una delle cose belle anche con questo metodo è che posso concentrarmi su qualcosa di più che sulla resa. |
| |
Giusto, quindi se pensi in ... |
| |
Potrei avere una risposta secondaria, che si tratti di una sorta di tossicità, potrebbe essere un costo, qualcosa del genere, |
| |
Posso concentrarmi su qualcosa di più della semplice resa quando guardo i valori previsti. Quindi, se pensi a qualcosa come l'approccio avido, |
| |
se inizi ad aggiungere secondar ... criteri secondari che vuoi considerare, è molto più difficile iniziare a fare quel bilanciamento. Considerando che con questo approccio sottoinsieme, non è affatto difficile aggiungere una risposta secondaria nel farlo. |
| |
Penso che lo consegnerò ora a Ben per le conclusioni. |
| Ben Francis |
Così, |
| |
grazie mille a David, Phil e Ryan per aver fornito un retroscena del motivo per cui ci stiamo avvicinando a questo, e poi, in ultima analisi, per darci due, tre ottime soluzioni e modi per |
| |
guarda come affrontiamo questo problema. E in tutti questi approcci, è chiaro che JMP fornisce valore agli scienziati. Quindi abbiamo una riduzione diretta e immediata delle risorse per la sperimentazione. Abbiamo utilizzato solo il 10% delle piste. E |
| |
in ultima analisi, ciò che stavamo consentendo in ogni situazione era la capacità di soddisfare le specifiche e fornire una soluzione ad alto rendimento dagli esperimenti. |
| |
Ma oltre a ciò, abbiamo anche mostrato come potremmo avere diversi livelli di profonda comprensione del processo, a seconda dell'obiettivo e della strategia dell'azienda che utilizza questo approccio. |
| |
Ora, potresti notare che, noi tre di JMP, siamo molto interessati al modo in cui CatSci affronta questo problema. Non stavamo necessariamente prendendo |
| |
il problema lontano da CatSci e risolverlo da soli; stiamo fornendo gli strumenti per affrontare questo problema in termini di DOE. E questa è stata una fantastica collaborazione tra David come cliente, |
| |
io e phil dalla parte delle vendite tecniche e Ryan nello sviluppo del prodotto, ed è fondamentale qui che lo guardiamo tutti da una prospettiva diversa |
| |
per consentire quel tipo di soluzione, che, come ho detto prima, possiamo guardare al tipo di comprensione profonda del processo in modi diversi, a seconda degli obiettivi di ciò che deve essere raggiunto. |
| |
Abbiamo scoperto alcune cose lungo il percorso, il che è davvero entusiasmante per noi di JMP e porterà a miglioramenti del prodotto, che poi restituiremo a voi stessi |
| |
come clienti. Abbiamo imparato che gli approcci di machine learning sono applicabili a questa grande situazione DOE e, come sapete, con JMP sono semplici da applicare. E abbiamo anche imparato la cautela in termini di approcci di convalida, e possiamo esaminarlo ulteriormente. |
| |
Quindi, alla fine, abbiamo presentato qui un buon volume di lavoro in termini di grandi sfide DOE, e siamo sicuri che ci sono molte aziende là fuori, simili a CatSci, che si stanno occupando di questo tipo di problema. |
| |
Quindi ti invitiamo tutti a esplorare ulteriormente questo lavoro che abbiamo svolto e abbiamo due link qui in termini di community in cui pubblicheremo le risorse e il video di questo, |
| |
così come un post pubblico di JMP, che ti consente di mettere le mani sui dati che abbiamo utilizzato all'interno di questo. Quindi da tutti in questa presentazione, vogliamo dire grazie per aver guardato. |
