| Oratore |
Trascrizione |
| David Wong-Pascua |
Va bene, quindi. |
| |
Sequenziale e costante vince la gara. Ciao a tutti, mi chiamo David e sono un ricercatore senior presso CatSci. Cos'è CatSci? |
| |
CatSci è un partner di innovazione per l'intero processo chimico, la ricerca e lo sviluppo. Collaboriamo con organizzazioni come JMP UK per garantire che tutte le nostre decisioni siano guidate dai dati. |
| |
Per noi la cosa importante è fare le cose per bene, la prima volta e ogni volta; formulare soluzioni su misura, perfette per ogni progetto; e il nostro obiettivo assoluto è soddisfare le aspettative dei nostri clienti. |
| |
Operiamo in diversi settori, tra cui lo sviluppo iniziale e avanzato. Possediamo competenze di processo, una lunga esperienza nella catalisi, che è sempre stata un tratto distintivo della nostra identità, e eccellenti competenze in chimica analitica e scienza dei materiali. |
| |
Una delle sfide che affrontiamo in CatSci è quindi la selezione delle variabili categoriali a monte dell'ottimizzazione del processo. |
| |
Questa difficoltà è particolarmente evidente nel nostro lavoro di screening dei catalizzatori. |
| |
Nelle immagini della diapositiva possiamo vedere alcuni degli apparecchi e degli strumenti su cui facciamo affidamento per eseguire lo screening del catalizzatore. |
| |
Sulla sinistra, abbiamo kit di catalisi preconfezionati che contengono 24 combinazioni predosate di precursore metallico e ligando. |
| |
Al centro si trova un idrogenatore che ospita una piastra a 48 pozzetti, visibile sulla destra. |
| |
Ciò consente di condurre contemporaneamente 48 esperimenti individuali. |
| |
Questi strumenti sono progettati per un'elevata produttività e su piccola scala, e non è raro che i nostri clienti utilizzino 10 o più di queste piastre, per un totale di circa 500 esperimenti. |
| |
Perché allora abbiamo bisogno di eseguire un numero relativamente elevato di esperimenti e quali sono i vantaggi nel migliorare l'efficienza? |
| |
Quindi, prima di tutto, lo spazio chimico da esplorare è estremamente vasto. |
| |
Per qualsiasi reazione chimica sono molti i fattori che possono avere effetto, come la temperatura, la concentrazione e la stechiometria. |
| |
Tuttavia, ciò che rende l'esplorazione particolarmente impegnativa per una reazione catalitica è la presenza di molti fattori categoriali importanti, tra cui il precursore del metallo, il legante, il reagente, il solvente e l'additivo. |
| |
Un'altra caratteristica delle reazioni catalitiche è che si verificano frequentemente interazioni di ordine elevato, quindi ciò significa che, per un sistema catalitico (una particolare combinazione di precursore metallico e legante), |
| |
sono necessarie analisi approfondite di solventi e additivi per valutare le prestazioni. |
| |
Non è corretto escludere, per esempio, una certa combinazione di precursore metallico e legante appena prima... solo perché ha prestazioni scadenti in un certo solvente. Potrebbe essere che non si disponga del solvente o dell'additivo giusto. |
| |
Infine, uno dei modi più semplici per spiegare i vantaggi di un metodo di screening più efficiente è quello di analizzare il prezzo dei materiali. |
| |
Molti dei nostri progetti di catalisi coinvolgono metalli preziosi, come platino, palladio, rutenio, iridio e rodio. Alcuni di questi metalli sono tra gli elementi più rari nella crosta terrestre e questo si riflette nel loro prezzo. |
| |
Basta una rapida ricerca su Google per scoprire i prezzi: il rodio è di un ordine di grandezza più caro dell'oro. |
| |
Un'altra spesa importante nello screening catalitico riguarda i ligandi. Sebbene esistano ligandi economici, molti dei ligandi più performanti per la sintesi asimmetrica sono ligandi proprietari, come Josiphos di Solvias. |
| |
e uno dei più comuni e convenienti, il J001, costa comunque il doppio dell'oro. |
| |
Quindi, riducendo il numero di esperimenti si può diminuire il costo dei materiali di consumo, ma l'impatto maggiore si ottiene quando troviamo la soluzione ottimale per un cliente con un processo di produzione di diverse tonnellate. |
| |
In questi casi, una riduzione di dieci volte del carico del catalizzatore o la scoperta di un catalizzatore alternativo più economico, ad esempio la sostituzione di un catalizzatore al rodio con uno al rutenio, può far risparmiare milioni di dollari all'anno. |
| |
E ora passo la parola a Ben, che ci racconterà come il team JMP UK ha affrontato questo problema. |
| Ben Francis |
Grazie mille, David. |
| |
Quindi è chiaro che |
| |
CatSci e molte altre aziende simili a CatSci affrontano grandi sfide con ampi spazi di formulazione, |
| |
che possono avere interazioni di ordine molto elevato. Quindi la scienza è molto, molto complessa e ciò che facciamo per sperimentare e svelare questa complessità è importante. |
| |
Sfortunatamente, l'opzione di testare semplicemente ogni singola combinazione non è né sensata né praticabile, a causa dei costi indicati da David. |
| |
E infine, dobbiamo adottare un qualche tipo di approccio che implichi la scienza dei dati per comprendere le relazioni numericamente. |
| |
Quindi, per procedere e applicare la formulazione scelta a uno scenario di produzione...uno scenario di produzione multipla, dobbiamo sapere che funzionerà ogni volta, come ha detto David. |
| |
Abbiamo quindi consultato la letteratura scientifica perché alla JMP siamo molto interessati all'applicazione del DOE e ritenevamo che questa fosse una situazione particolare del DOE. |
| |
E come l'abbiamo opportunamente chiamato, è un grande DOE. Quindi abbiamo cercato un caso di studio a cui applicare un approccio Big DOE e abbiamo trovato un articolo di Perera et al. |
| |
pubblicato nel 2018, e hanno esaminato una piattaforma per questo screening di reazione. La cosa interessante di questo scenario è che avevano cinque fattori categoriali. |
| |
E questo potrebbe non sembrare troppo. Hanno dovuto esaminare i reagenti 1 e 2, il legante, i reagenti e il solvente, ma la complessità di ciò che è stato presentato in questo articolo è stata la presenza di ciascun fattore. |
| |
Rispettivamente quattro, tre, dodici, otto e quattro livelli, tutti combinati insieme danno 4.608 combinazioni distinte. |
| |
Ora, nel documento di Perera et al, hanno testato ogni singola soluzione, il che ovviamente non è una soluzione praticabile per ogni azienda al mondo, ma testare ogni combinazione, come ha sottolineato David in precedenza. |
| |
Qui puoi vedere sulla mappa termica che sono riusciti a farsi un'idea che ci sono alcune regioni ad alto rendimento |
| |
e alcuni con un rendimento inferiore, e altri anche molto basso. Quindi ci sono stati molti test, ma alla fine non si è ottenuta una comprensione approfondita del processo. |
| |
e un costo sperimentale molto elevato. |
| |
Quindi alla fine si è arrivati a una situazione in cui hanno trovato una combinazione, sono arrivati a una combinazione, che sono stati poi in grado di elaborare sul documento e dire: guarda, questa è, queste sono le combinazioni generali. |
| |
Era giusto, la prima volta, ma lo era ogni volta, da quel momento in poi, se lo avessero inserito in uno scenario di produzione di molte tonnellate? Avrebbe continuato a fornire le specifiche richieste? |
| |
la grande soluzione del DOE riduce il fabbisogno di risorse? |
| |
Riesce a rispondere correttamente al primo tentativo e sempre? E il modo in cui siamo in grado di misurare queste domande e come ci siamo comportati? |
| |
Innanzitutto, per ridurre il fabbisogno di risorse, abbiamo consentito di progettare un esperimento con un totale di 480 prove. Questo simulava 1048 piastre di lavoro, ovvero circa il 10% delle prove eseguite nel documento. |
| |
Il risultato è stato misurato osservando quante delle combinazioni ad alto rendimento identificate nel documento, le 80, sono state testate o previste |
| |
dal modello generato. E, alla fine, con il 10% di esecuzioni, ci aspettavamo di ottenere almeno otto combinazioni ad alto rendimento dai nostri... dai nostri DOE. |
| |
(e in questo caso l'elevata resa è indicata da un valore superiore al 95%). |
| |
Infine, e soprattutto, è corretto ogni volta che viene misurato analizzando la diagnostica generale del modello, l'R quadrato? E, in definitiva, possiamo analizzare tutto questo e verificare se abbiamo una comprensione del processo? Le relazioni hanno senso? Le combinazioni e le interazioni hanno senso? |
| |
Quindi, per darci un'idea anche in questo caso, abbiamo esaminato l'utilizzo dell'intero set di dati di 4.608 e abbiamo scoperto che il suo R quadrato era 0,89, utilizzando un metodo ad albero potenziato. |
| |
Ora passerò la parola a Phil, che ci illustrerà il primo grande approccio del DOE che abbiamo adottato. |
| Phil Kay |
Grazie, Ben; grazie, David, per aver descritto la situazione in modo così accurato. Quindi abbiamo esaminato tre approcci diversi. |
| |
per affrontare questo problema e vedere se possiamo prendere un numero ridotto di quelle esecuzioni che sono state effettivamente testate in quel documento e ottenere comunque le stesse informazioni utili di Ben, come delineato. |
| |
Quindi parlerò di due di questi tre approcci, che sono in un certo senso estremi. C'è un approccio conservativo e un approccio avido, e poi Ryan parlerà dell'approccio più ibrido ed equilibrato che pensavamo avrebbe probabilmente funzionato meglio alla fine. |
| |
Quindi, secondo l'approccio conservativo, questo è un approccio standard del DOE. Progettiamo un progetto personalizzato da 480 prove con 10 blocchi, che rappresentano 10 piastre nell'apparecchiatura di screening del catalizzatore che David ci ha mostrato. |
| |
E i risultati principali di quell'esperimento di 480 ripetizioni sono stati che siamo stati in grado di prevedere correttamente che 13 delle combinazioni con il rendimento più elevato sarebbero state quelle ad alto rendimento. |
| |
E siamo stati in grado di costruire un modello da quel set di dati di 480 esecuzioni che, quando lo abbiamo testato con dati che non erano stati utilizzati in quell'esperimento, |
| |
L'R al quadrato era circa 0,73, quindi piuttosto buono in realtà. Otteniamo un modello abbastanza buono, una comprensione abbastanza buona del sistema nel suo complesso da quell'esperimento più piccolo in poi... dal grande esperimento che è stato pubblicato. |
| |
Alcune intuizioni davvero interessanti che abbiamo tratto da questa esperienza sono state la necessità di utilizzare il machine learning per ricavare modelli utili da questi dati, e questa è stata una sorpresa per noi. Ne parlerò più in dettaglio. |
| |
E abbiamo ottenuto una buona comprensione dai dati raccolti con questo approccio conservativo. Ci ha permesso di comprendere a fondo l'intero spazio fattoriale e perché certe combinazioni funzionano bene. |
| |
Ci ha permesso di identificare regioni alternative, quindi se troviamo una combinazione ad alto rendimento, ma non è pratico perché è troppo costoso, |
| |
Se i catalizzatori sono troppo costosi, o forse sono pericolosi o tossici e non adatti a un processo industriale, allora abbiamo molte alternative perché abbiamo una comprensione dello spazio completo. |
| |
Quindi, come abbiamo fatto? |
| |
Progettazione personalizzata in JMP. Noi |
| |
Ho progettato una corsa da 480, un progetto ottimale, in questo caso, in 10 blocchi. Quindi, ancora una volta, i 10 blocchi rappresentano 10 piastre da 48 pozzetti per le quali David ci ha mostrato l'attrezzatura. |
| |
Da notare che qui specifichiamo un modello con design personalizzato per gli effetti principali. |
| |
per le interazioni di secondo ordine e per quelle di terzo ordine. E con le interazioni di terzo ordine e tutti quei livelli di questi fattori categoriali, |
| |
C'è semplicemente un numero enorme di parametri da stimare, quindi non potremmo effettivamente progettare un esperimento per stimarli tutti in modo esplicito. Dobbiamo inserire le interazioni di terzo ordine, se possibile, quindi questo è un progetto bayesiano I ottimale in 480 esecuzioni. |
| |
Come potete vedere da questa immagine, stiamo semplicemente esaminando i diversi cicli degli esperimenti, delle diverse... 10 piastre diverse. |
| |
E potete vedere come, con l'aggiunta della piastra successiva nell'esperimento, stiamo ampliando la nostra esplorazione dello spazio fattoriale nel suo complesso. |
| |
Non ci concentriamo su alcuna regione specifica; stiamo solo riempiendo gli spazi nella nostra conoscenza riguardo all'intero spazio dei fattori. |
| |
Quindi, queste sono le 480 esecuzioni che abbiamo utilizzato nel nostro esperimento e le restanti 4.128 righe che abbiamo ricavato dal set di dati pubblicato. Possiamo usare questi dati di test per verificare l'efficacia dei nostri modelli su un set di dati trattenuto, questi dati di test. |
| |
Ora, ci aspettavamo da tutto il nostro background DOE e dalla nostra esperienza che |
| |
quando progettiamo un esperimento per un determinato modello, le tecniche di regressione standard ci forniranno i modelli più utili. |
| |
Quindi in questo caso abbiamo utilizzato JMP Pro e abbiamo utilizzato la regressione generalizzata per adattare un modello completo del terzo ordine. |
| |
Ora, in realtà, utilizziamo una distribuzione beta, che fa rimbalzare le previsioni tra zero e uno, quindi convertiamo la resa percentuale in una scala da zero a uno. È solo un piccolo trucco che, quando si modellano dati di resa come questi, potrebbe essere utile usare con JMP Pro. |
| |
Utilizziamo la selezione diretta, con AICc come metodo di convalida, in modo da selezionare gli effetti importanti. |
| |
E ripetiamo questo dopo ogni round, quindi con il primo round da 48 run, poi il secondo round da 96, poi il terzo con 144, fino ad arrivare al decimo round dove abbiamo tutti i 480 run. |
| |
Qui puoi vedere il filtro impostato su gen reg solo per dare un'occhiata ai primi tre round. |
| |
Quindi, per i primi tre round, questo è il modello che otteniamo utilizzando gen reg, selezione avanzata e convalida AICc. |
| |
E non è un gran modello, credo, solo intuitivamente, in base alla nostra comprensione di ciò che ci aspetteremmo dalla chimica. Osserviamo solo due dei fattori coinvolti nel modello, quindi ha selezionato solo due effetti principali come significativi. |
| |
Quindi possiamo salvare quel modello nella tabella dati, e poi possiamo vedere quanto bene quel modello prevede i dati trattenuti, il nostro set di test, |
| |
le restanti 4.128 righe che non erano nel nostro esperimento. E possiamo farlo per ogni round. E lo abbiamo fatto per ogni round, quindi abbiamo 10 modelli che abbiamo costruito usando gen reg. |
| |
Ora, come alternativa, abbiamo pensato che valesse la pena dare un'occhiata ad alcuni metodi di apprendimento automatico. E qui, stiamo solo esaminando di nuovo i primi tre round. |
| |
Per dare un'occhiata più rapidamente alle diverse tecniche di modellazione, utilizziamo lo screening dei modelli in JMP 16 Pro. |
| |
Inseriamo semplicemente il rendimento e i fattori in Y e X. Abbiamo impostato la colonna di convalida Holdback per trattenere casualmente il 25% dei dati per la convalida. |
| |
Fai clic su OK e vengono esaminate tutte queste diverse tecniche di modellazione, quindi ora otteniamo un report che ci dice |
| |
quanto bene queste...tutte queste diverse tecniche di modellazione, compresi alcuni modelli di reg generale, reti neurali e diversi metodi ad albero. |
| |
E abbiamo selezionato i due migliori. E infatti, in tutti i round dell'esperimento, abbiamo scoperto che i modelli di rete neurale con boosting neurale e la foresta bootstrap erano i modelli più performanti. |
| |
Ancora una volta, possiamo salvare le formule di previsione e utilizzarle sul set di dati di prova non coinvolto nell'esperimento per confrontarle e vedere quanto bene funzionano i nostri diversi modelli rispetto a quel set di dati di prova. |
| |
E qui utilizziamo il confronto dei modelli e JMP Pro, quindi confrontiamo tutti i nostri modelli di reg generale, i nostri modelli di rete neurale e i nostri modelli di foresta bootstrap. |
| |
E ora stai guardando un grafico dell'R quadrato rispetto a quel set di dati di test. Quanto bene quei modelli si adattano al set di dati di test trattenuto. |
| |
E puoi vedere il gen reg, i modelli di regressione standard che utilizzano la selezione in avanti in rosso lì, a partire |
| |
Al primo round, questo è in realtà il modello migliore, ma non migliora molto, e poi improvvisamente peggiora notevolmente intorno al quinto round, prima di tornare di nuovo molto buono nel round successivo. Quindi molto instabile e verso la fine peggiora, probabilmente per overfitting. |
| |
I metodi di apprendimento automatico, d'altra parte, sono: |
| |
Dopo il terzo round, stanno ottenendo i risultati migliori, migliori delle nostre tecniche di regressione standard e stanno migliorando costantemente. E infatti, |
| |
Come puoi vedere, i modelli neurali partono meglio in verde e, verso la fine, la foresta bootstrap supera i modelli di rete neurale potenziati. |
| |
Quindi il metodo da seguire è questo: anche in questa situazione che potresti considerare relativamente semplice, hai davvero bisogno dei metodi di apprendimento automatico di JMP Pro per ottenere i modelli migliori, i modelli più affidabili per questo tipo di sistemi o processi. |
| |
Ora stiamo solo esaminando i grafici dei risultati effettivi di rendimento per tutte quelle 4.608 esecuzioni pubblicate, confrontandoli con le previsioni del nostro modello migliore alla fine del round 10, dopo tutte le 480 esecuzioni effettuate. Quindi, quella a destra era una foresta bootstrap. |
| |
E non è male, sai, puoi vedere i comportamenti importanti che sta rilevando. Sta identificando le regioni a basso rendimento e quelle a più alto rendimento. Quindi c'è, |
| |
in particolare in alto a destra, stanno usando un reagente di iodio (?) e l'acido boronico e l'estere boronico |
| |
reagenti presenti. |
| |
Quindi, confrontiamo questo con l'altro approccio estremo. Quindi il primo round di 48 run è stato esattamente lo stesso; iniziamo con le stesse 48 run. Poi costruiamo un modello e lo usiamo per scoprire quale, tra tutte le run rimanenti, |
| |
delle restanti 4.560 esecuzioni, quale di queste prevede il rendimento più elevato, e poi continuiamo a farlo in tutti i round successivi fino a 10. |
| |
E in questo caso prevediamo correttamente una maggiore resa e combinazioni elevate, ma quando otteniamo il modello finale dopo 10 round e lo confrontiamo con i dati |
| |
Quello che non abbiamo usato nell'esperimento, l'R quadrato è pessimo. È 0,33. Quindi in realtà il modello che otteniamo non fa buone previsioni sul sistema nel suo complesso. |
| |
Stiamo acquisendo una buona conoscenza di una regione ad alto rendimento e stiamo trovando combinazioni, trovando impostazioni dei fattori che funzionano bene, ma questo non ci permette di comprendere appieno il sistema nel suo complesso. Non... |
| |
non stiamo riducendo la variabilità nella nostra comprensione del sistema nel suo complesso. |
| |
Quindi, solo per mostrarti come funziona questo sistema, questo approccio, queste sono le nostre 4.608 corse complete, tutte le combinazioni possibili, e, come ho detto nel Round 1, è lo stesso del Round 1 usando l'approccio conservativo, quindi è un I ottimale. |
| |
insieme di punti lì, e puoi vedere che sono distribuiti uniformemente nello spazio dei fattori. |
| |
Adattiamo un modello ai dati di quelle 48 prove. |
| |
E utilizziamo quel modello per prevedere il rendimento di tutte le altre possibili combinazioni e poi selezioniamo tra queste le 48 previsioni con il rendimento più elevato, |
| |
Che sono proprio quelli. Quindi, come potete vedere, si concentrano sulla regione a più alto rendimento del... non stiamo... non stiamo più esplorando l'intero spazio fattoriale. |
| |
E se passiamo dai Round 1, 2, 3 e fino al Round 10, potete vedere che ogni volta che aggiungiamo... aggiungiamo esecuzioni all'esperimento che si trovano proprio in quella zona ad alto rendimento in alto a sinistra. Quindi ci stiamo concentrando solo su una regione dello spazio fattoriale. |
| |
E se confrontiamo i dati effettivi con quelli previsti, possiamo vedere che sta facendo un ottimo lavoro in quella regione in alto a sinistra. |
| |
Ma altrove sta facendo previsioni piuttosto pessime, come ci si potrebbe aspettare; probabilmente non è poi così sorprendente. Non abbiamo sperimentato sull'intero sistema. Ci siamo concentrati solo su quella regione ad alto rendimento. |
| |
E se lo confrontiamo con il nostro approccio conservativo sul lato sinistro (quindi hai già visto il grafico sul lato sinistro lì) se osservi come il modello |
| |
migliorato nei round da uno a dieci, e poi a ogni round abbiamo utilizzato nuovamente la piattaforma di screening dei modelli per trovare il modello migliore. |
| |
E si è scoperto che, in ogni fase, la rete neurale potenziata era effettivamente il modello migliore. Beh, come potete vedere, è piuttosto instabile, come la reg generale dell'approccio conservativo. |
| |
A volte va bene, ma non è mai...non è mai competitivo con i nostri migliori modelli derivanti dall'esperimento conservativo. |
| |
Questi sono i due estremi e ora passo la parola a Ryan, che parlerà di un approccio più equilibrato o ibrido a questo problema. |
| Ryan Lekivetz |
Quindi grazie per questo, Phil. E |
| |
Proprio nel bel mezzo di una presentazione, devo ringraziare Phil, Ben e David per avermi permesso di partecipare. Come sviluppatore, è davvero divertente sperimentare un po'. Quindi, lavoro come sviluppatore sulle piattaforme DOE in JMP. |
| |
Quindi, come ha detto Phil qui, l'approccio che sto prendendo in considerazione è un approccio ibrido. |
| |
Bene, quindi l'idea è che esamineremo il concetto di ottimizzazione rispetto all'esplorazione. |
| |
Quindi, se pensate all'approccio avido di cui parlava Phil, quello è davvero l'ottimizzazione. Io punto rigorosamente al meglio, è l'unica cosa su cui mi concentrerò. Mentre quell'approccio conservativo, a cui importava solo l'esplorazione. |
| |
E quindi l'idea qui è che possiamo arrivare da qualche parte nel mezzo per |
| |
forse ottimizzare, continuando comunque a esplorare un po' lo spazio? |
| |
Allora, vi dirò cosa avevo fatto qui... in realtà ho iniziato con tre piastre di pozzetti preparate in anticipo, giusto? Ho fatto quei tre blocchi di dimensione 48 e ho fatto gli effetti principali con, se possibile, 2FI. |
| |
Il motivo è che a volte non mi fidavo molto dei modelli con solo 48 prove. Mi sono detto, beh, diamogli un po' di rodaggio. Proviamo con le piastre da 144 o quelle a tre pozzetti, così forse potrò fidarmi un po' di più del modello. |
| |
Perché in un certo senso, anche se pensi a quell'approccio avido, se il tuo modello era pessimo, finirai per finire nelle regioni peggiori. Non ti sarà di grande aiuto. |
| |
E ancora, quindi...come prima, alla fine farò comunque 10 piastre o 10 blocchi in totale. |
| |
E ne parlerò un po' nelle prossime diapositive, ma in realtà ho usato XGBoost per tutto il tempo. Quindi, il modo in cui prevedevo di usare XGBoost era quello di farlo e c'è un motivo per cui lo spiegherò. |
| |
per averlo fatto. |
| |
Ma l'idea qui era essenzialmente quella di prendere quello che era il valore predittivo. Quindi, invece di puntare rigorosamente ai 48 migliori, ho detto: "Imposterò una soglia". |
| |
Giusto, quindi dopo i primi tre, ho iniziato da 50. Quindi ho detto, datemi i valori predittivi maggiori di 50 e man mano che continuo con le piastre a pozzetti, aumenterò di cinque a ogni round. |
| |
Voglio dire che è stato abbastanza arbitrario; in parte perché sapevo che avevamo solo 10 round in totale, e anche perché in base alla previsione potevo in un certo senso vedere quanto fosse grande quel set. |
| |
Giusto, quindi a seconda dei dati, se sembrasse che quell'insieme fosse ancora enorme, e che la previsione fosse di circa 50, potresti modificarlo. |
| |
Quindi l'idea qui è semplicemente quella di iniziare lentamente a esplorare quelle che si spera diventino le regioni con i rendimenti più elevati. |
| |
E quindi, avevamo ragione? Beh, in questo caso, abbiamo effettivamente ottenuto 27 delle 80 combinazioni più redditizie, quelle superiori a 95, il che non era poi così lontano dall'approccio "avido". |
| |
E se si pensa all'R quadrato, di nuovo, con tutti quei dati di holdout, l'R quadrato del test finale era 0,69, quindi non era nemmeno così lontano dall'approccio conservativo. Quindi solo... |
| |
Voglio dire, forse dovresti essere cauto, in questo momento, solo guardando quei due numeri, ma in base a ciò, questo ibrido sembra davvero offrire il meglio di entrambi i mondi. Insomma, stai facendo un compromesso, ma... ma stai ottenendo qualcosa di buono. |
| |
Quindi, solo qualche spunto su questo approccio. In realtà, direi che alla fine abbiamo acquisito una migliore comprensione degli spazi fattoriali associati all'alto rendimento. |
| |
Penso che l'avidità, se riesci a ricordare dove si trovavano quei punti, fosse davvero concentrata in alto a sinistra, quindi non ha permesso di esplorare molto di più quello spazio. |
| |
E puoi immaginare se... |
| |
se all'improvviso il prezzo di qualcosa quadruplica da un giorno all'altro, non saprai più nient'altro del resto della regione. |
| |
Giusto, e quindi con questo approccio ibrido, otteniamo qualcosa in più su come e perché, alcune delle combinazioni, e ci fornisce alternative migliori. |
| |
ancora una volta, forse se hai altri fattori da considerare, sei disposto a sacrificare una piccola parte della resa perché, in base ad altre misurazioni, ci sono alternative migliori. |
| |
E quindi, in realtà, l'idea qui... sì, quindi lasciatemi spiegare come è stato effettivamente realizzato nel design personalizzato, giusto. Quindi l'approccio che ho adottato è stato |
| |
utilizzando le covariate nel progettista personalizzato, cosa che a volte ritengo sia un po' sottovalutata. |
| |
Ma, quindi l'idea è che ho appena preso l'intero set di dati, quindi tutte le 4.608 esecuzioni, |
| |
E per ogni round... quindi puoi immaginare, all'inizio ho preso quelli... ho preso il modello da 144 run, e poi ho detto, beh, prenderò un sottoinsieme di quel set di dati completo. Se l'ho già scelto in un modello precedente, beh, devo assicurarmi che sia incluso. |
| |
E poi, dammi anche i rendimenti previsti al di sopra di quel certo valore, quindi, ancora una volta, per il quarto progetto, che è stato avviato a 50 e 55, 60, ecc. |
| |
Quindi nella tabella dei dati |
| |
Ora, quello che faccio è selezionare i punti di progettazione utilizzati negli esperimenti precedenti. Quindi mi assicuro che siano evidenziati. E poi, per la progettazione personalizzata, quando vai sotto "Aggiungi fattore", c'è un'opzione chiamata "covariata". E di nuovo, penso che sia... |
| |
Molte persone non hanno mai visto le covariate prima e, l'ho menzionato qui, perché penso che potrei probabilmente passare un intero discorso solo a parlare di covariate, |
| |
ma ci saranno effettivamente un paio di post sul blog (se non saranno già pubblicati quando vedrete questo video, probabilmente entro qualche giorno da quando guarderete questo) |
| |
dove parlerò un po' di più di come usare davvero le covariate. Ma l'idea è... potresti aver già sentito parlare di un insieme di candidati, quindi l'idea è... |
| |
Ecco questo set di dati che era il sottoinsieme di quelli scelti in precedenza e tutto il resto, e dice al progettista personalizzato che può scegliere solo questi punti di progettazione. |
| |
Non puoi usare il metodo standard, continueremo a provare a cambiare le coordinate e cose del genere. Sta dicendo al progettista personalizzato JMP che devi usare queste esecuzioni nel tuo progetto e, in particolare, |
| |
una delle opzioni che utilizzano le covariate è quella di forzare i punti di progettazione scelti in precedenza, quindi in questo modo è come fare un aumento del design |
| |
utilizzando un candidato dopo aver utilizzato le covariate. |
| |
E, naturalmente, perché in questo... in questo caso, non posso certo scartare quegli elementi di design su cui ho già sperimentato. In realtà, tutto ciò che vogliamo fare è scegliere i prossimi 48. |
| |
E vorrei anche menzionare che, se pensate al design personalizzato... |
| |
Quindi in ognuno di questi casi, quello che facevo era... interazioni a due fattori e poi, se possibile, interazioni a tre fattori. |
| |
Ma c'era... quello era più un meccanismo per esplorare lo spazio del design, giusto? Il modello che stavo adattando. |
| |
stava usando XGBoost dopo il fatto, quindi intendo dire che quel design non era ottimizzato per un modello XGBoost o qualcosa del genere. |
| |
Questo era più un surrogato per dire: esplorate quello spazio di progettazione in cui la resa prevista sembra buona e, soprattutto, poiché si trattava di fattori categoriali, si assicurerà di cercare di ottenere un buon equilibrio. Un'altra cosa da menzionare, |
| |
Se volessi... di nuovo, dato che non si usa quel modello sottostante, XGBoost o qualcosa del genere, potresti usare la risposta. Quindi, in questo caso, hanno previsto il rendimento come un'altra covariata, e questo avrebbe cercato di ottenere un migliore equilibrio tra rendimento alto e basso. |
| |
risposte quando si cerca di realizzare il design. |
| |
Quindi non abbiamo approfondito questo aspetto qui, ma penso che potrebbe essere una cosa valida da fare in futuro. |
| |
Quindi, per quanto riguarda la resa prevista. Quindi, come ho accennato in... quindi credo che quando Phil parlava di alcune delle altre tecniche di apprendimento automatico che aveva provato |
| |
Per quanto riguarda il mio ???, in realtà mi sono concentrato principalmente su XGBoost. |
| |
E se guardi sul lato sinistro, uno dei motivi per cui l'ho fatto era per provare |
| |
Utilizzando la convalida incrociata K-fold, ma dove utilizzo il numero di progettazione, che essenzialmente corrisponderebbe alla piastra a pozzetti per ogni piega aggiuntiva. Quindi, invece di selezionare casualmente le diverse K-fold, |
| |
Direbbe: "Osservo la piastra a pozzetti e poi cerco di tenerla per ogni pozzetto". Quindi, se immaginate, per il primo, quando avevo solo tre piastre a pozzetti, |
| |
Avrei preso ciascuna di quelle piastre a pozzetto, l'avrei tenuta in mano e poi avrei visto quanto fosse precisa la previsione, basandomi sulle due rimanenti. E così, quando sarei arrivato alla decima... la decima piastra a pozzetto, sarebbe stato in realtà un decuplo. |
| |
Quindi parte del mio ragionamento era di provare a rendere quel modello robusto per quella piastra di pozzi successiva che non hai ancora visto. |
| |
E, in realtà, questo potrebbe anche proteggerti se succedesse qualcosa con una particolare piastra di pozzetto, |
| |
allora, forse potresti anche proteggerti un po' da quello. |
| |
Un'altra cosa che ho fatto con XGBoost è che quando avvii la piattaforma XGBoost, ad esempio tramite il componente aggiuntivo, vedrai una piccola casella di controllo in alto per quello che chiamiamo un progetto di ottimizzazione. |
| |
E così, con quel progetto di messa a punto, |
| |
in realtà si tratta di adattare un design che riempia lo spazio dietro le coperture e di far funzionare tutto ciò per i diversi iperparametri. |
| |
Quindi cosa ho fatto ogni volta che l'ho fatto, |
| |
Sceglierei un design di messa a punto per 50 run, ma esplorerei semplicemente quello spazio iperparametrico. E quindi il modello che sceglierei per ogni round |
| |
era quello con la migliore validazione R al quadrato. E quindi, ancora una volta, la validazione R al quadrato in questo caso utilizza in realtà solo i punti di progettazione che ho, giusto. Quindi, questo stava facendo quella K fold con... |
| |
Con quelle diverse piastre a pozzetti. Quindi, in questo caso, la convalida R al quadrato non è... Non sto usando quei dati che non sono ancora stati osservati, perché, ripeto, in realtà non li ho ancora. |
| |
Ma questo stava solo dicendo che stavo usando quella tecnica di convalida, dove usavo le piastre a pozzetti. Quindi, di nuovo, questo è il motivo per cui ho usato XGBoost per la maggior parte di questo, stavo solo provando qualcosa di diverso che |
| |
utilizzando la tecnica delle pieghe a K e, inoltre, mi piace molto usare anche il riempimento degli spazi, quando si tratta di XGBoost. |
| |
E quindi diamo un'occhiata qui. Vediamo qui, questi sono i punti che vengono scelti durante i round consecutivi. Ora, |
| |
se pensi a cosa stava succedendo nell'approccio avido, intendo dire che si stava davvero concentrando in alto a sinistra. |
| |
Giusto, ma ora, se vedi questo approccio ibrido, |
| |
man mano che si procede nei round, si vede che quei punti si riempiono un po' di più, ma otteniamo anche un campionamento migliore dei punti, soprattutto sul lato sinistro. |
| |
Giusto, quindi se la pensiamo da questa prospettiva, ora abbiamo alternative decisamente migliori per le regioni ad alto rendimento. |
| |
Penso di sì... se ora diamo un'occhiata al confronto tra i dati effettivi e quelli previsti, |
| |
In realtà penso che anche questo sia stato in un certo senso indicativo, perché abbiamo esplorato meglio. |
| |
In quelle regioni ad alto rendimento che forse |
| |
non è arrivato così in alto, penso, se guardi in basso a sinistra, penso che abbiamo fatto un lavoro molto migliore nel modello ibrido, raccogliendo alcune di quelle che potrebbero essere alternative valide. |
| |
Un altro aspetto positivo di questo metodo è che posso concentrarmi su altri aspetti oltre al semplice rendimento. |
| |
Giusto, quindi se pensi in... |
| |
Potrei avere una risposta secondaria, che sia una sorta di tossicità, potrebbe essere un costo, qualcosa del genere, |
| |
Posso concentrarmi su qualcosa di più del semplice rendimento quando osservo quei valori previsti. E quindi, se pensate a qualcosa come l'approccio avido, |
| |
Se inizi ad aggiungere criteri secondari... secondari che vuoi considerare, è molto più difficile iniziare a fare quel bilanciamento. Mentre con questo approccio basato sui sottoinsiemi, non è affatto difficile aggiungere una risposta secondaria. |
| |
Credo che ora lascerò la parola a Ben per le conclusioni. |
| Ben Francis |
COSÌ, |
| |
grazie mille a David, Phil e Ryan per averci fornito un contesto sul perché ci stiamo avvicinando a questo, e poi, in definitiva, per averci fornito due, tre ottime soluzioni e modi per |
| |
Guarda come affrontiamo questo problema. E in tutti questi approcci, è chiaro che JMP fornisce valore agli scienziati. Quindi abbiamo una soluzione semplice e immediata, abbiamo ridotto di dieci volte le risorse per la sperimentazione. Abbiamo utilizzato solo il 10% delle esecuzioni. E |
| |
in definitiva, ciò che ottenevamo in ogni situazione era la capacità di soddisfare le specifiche e di fornire una soluzione ad alto rendimento dagli esperimenti. |
| |
Ma oltre a ciò, abbiamo anche mostrato come potremmo avere diversi livelli di comprensione approfondita del processo, a seconda dell'obiettivo e della strategia dell'azienda che adotta questo approccio. |
| |
Ora, potreste notare che noi tre di JMP siamo molto interessati a come CatSci affronta questo problema. Non stavamo necessariamente prendendo in considerazione |
| |
Allontanare il problema da CatSci e risolverlo da soli; stiamo fornendo gli strumenti per affrontarlo in termini di DOE. E questa è stata una fantastica collaborazione tra David, in qualità di cliente, |
| |
io e Phil nel reparto vendite tecniche, e Ryan nello sviluppo del prodotto, ed è fondamentale qui che tutti noi guardiamo la cosa da una prospettiva diversa |
| |
per abilitare quel tipo di soluzione, che, come ho detto prima, possiamo considerare una sorta di comprensione profonda del processo in modi diversi, a seconda degli obiettivi che si vogliono raggiungere. |
| |
Abbiamo scoperto alcune cose lungo il percorso, che sono davvero entusiasmanti per noi di JMP e porteranno a miglioramenti del prodotto, che poi vi restituiremo. |
| |
Come clienti. Abbiamo imparato che gli approcci di machine learning sono applicabili a questa grande situazione del DOE e, come sapete, con JMP sono semplici da applicare. E abbiamo anche imparato la cautela in termini di approcci di convalida, e possiamo approfondire ulteriormente questo aspetto. |
| |
Quindi, in definitiva, abbiamo presentato qui un buon volume di lavoro in termini di grandi sfide del DOE e siamo certi che ci siano molte aziende là fuori, simili a CatSci, che affrontano questo tipo di problema. |
| |
Quindi vi invitiamo tutti ad approfondire ulteriormente questo lavoro che abbiamo svolto, e abbiamo due link qui per quanto riguarda la Community dove pubblicheremo risorse e il video di questo, |
| |
così come un post pubblico su JMP, che vi permette di mettere in pratica i dati che abbiamo utilizzato in questa presentazione. Quindi, da parte di tutti i partecipanti, vogliamo ringraziarvi per aver guardato la presentazione. |
