Altoparlante
|
Trascrizione
|
| David.Wong-Pascua |
Ok, allora. |
| |
Sequenziale e costante vince la gara. Quindi, ciao a tutti, sono David e sono uno scienziato senior presso CatSci. Quindi cos'è CatSci? |
| |
CatSci è un partner innovativo per processi chimici end-to-end, ricerca e sviluppo. Collaboriamo con organizzazioni come JMP UK per garantire che tutte le nostre decisioni siano guidate dai dati. |
| |
Per noi si tratta di farlo bene, la prima volta e farlo bene, ogni volta; formulare soluzioni su misura perfette per ogni progetto; e il nostro obiettivo assoluto è soddisfare le aspettative dei nostri clienti. |
| |
Lavoriamo in una serie di aree, compreso lo sviluppo iniziale e avanzato. Possediamo competenze di processo, una lunga storia di esperienza nella catalisi, che è sempre stata una caratteristica fondamentale della nostra identità, e abbiamo eccellenti capacità nella chimica analitica e nella scienza dei materiali. |
| |
Quindi in CatSci, una delle sfide che dobbiamo affrontare è la selezione di variabili categoriche a monte dell'ottimizzazione del processo. |
| |
Questa difficoltà è più evidente nel nostro lavoro di screening del catalizzatore. |
| |
Nelle immagini sulla diapositiva, possiamo vedere alcuni degli apparecchi e degli strumenti su cui facciamo affidamento per eseguire lo screening del catalizzatore. |
| |
A sinistra, abbiamo kit di catalisi preconfezionati che contengono 24 combinazioni predosate di precursore metallico e ligando. |
| |
Al centro c'è un idrogenatore che ospita una piastra da 48 pozzetti, visibile sulla destra. |
| |
Ciò consente di condurre simultaneamente 48 esperimenti individuali. |
| |
Questi strumenti sono progettati per un'elevata produttività e su piccola scala e non è raro eseguire 10 o più di queste lastre per i nostri clienti, per un totale di quasi 500 esperimenti. |
| |
Allora perché dobbiamo eseguire un numero relativamente elevato di esperimenti e quali sono i vantaggi per migliorare l'efficienza? |
| |
Quindi, prima di tutto, lo spazio chimico da esplorare è estremamente vasto. |
| |
Per qualsiasi reazione, qualsiasi reazione chimica, ci sono molti fattori che possono avere un effetto, come la temperatura, la concentrazione e la stechiometria. |
| |
Tuttavia, ciò che rende l'esplorazione particolarmente impegnativa per una reazione catalitica è che ci sono molti importanti fattori categorici; questi includono precursore metallico, ligando, reagente, solvente e additivo. |
| |
Un'altra caratteristica delle reazioni catalitiche è che ci sono spesso interazioni di ordine elevato, quindi ciò significa che, per un sistema catalitico (una particolare combinazione di precursore metallico e ligando), |
| |
sono necessari filtri estesi per solventi e additivi per misurare le prestazioni. |
| |
Non è corretto escludere di dire una certa combinazione di precursore metallico e ligando poco prima ... solo perché si comporta male in un certo solvente. Potrebbe essere il caso che tu non abbia il solvente giusto o l'additivo giusto per questo. |
| |
Infine, uno dei modi più semplici per spiegare il vantaggio di un metodo di screening più efficiente è guardare al prezzo dei materiali. |
| |
Molti dei nostri progetti di catalisi coinvolgono metalli preziosi, come platino, palladio, rutenio, iridio e rodio. Alcuni di questi metalli sono tra gli elementi più rari nella crosta terrestre e questo si riflette nel loro prezzo. |
| |
Solo una rapida ricerca su Google dei loro prezzi, puoi vedere qui che il prezzo del rodio è più di un ordine di grandezza più costoso dell'oro. |
| |
Un'altra grande spesa dello screening della catalisi sono i ligandi. Sebbene esistano ligandi economici, molti dei ligandi più performanti per la sintesi asimmetrica sono ligandi proprietari, come Josiphos di Solvias, |
| |
e uno dei più comunemente disponibili ed economici, J001, è ancora il doppio del prezzo dell'oro. |
| |
Pertanto, ridurre il numero di esperimenti può quindi ridurre il costo dei materiali di consumo, ma l'impatto maggiore si crea quando troviamo la soluzione ottimale per un cliente con un processo di produzione multitonnellata. |
| |
In questi casi, una riduzione di dieci volte del carico del catalizzatore o la scoperta di un catalizzatore alternativo più economico, ad esempio la sostituzione di un catalizzatore al rodio con uno al rutenio, può far risparmiare milioni di dollari all'anno. |
| |
E ora passo la parola a Ben, che parlerà di come il team di JMP UK ha affrontato questo problema. |
| Ben Francesco |
Quindi grazie mille, David. |
| |
Quindi è chiaro che |
| |
CatSci e molte altre aziende simili a CatSci affrontano grandi sfide con ampi spazi di formulazione, |
| |
che possono avere interazioni di ordine molto elevato. Quindi la scienza è molto, molto complessa e ciò che facciamo per sperimentare per svelare quella complessità è importante. |
| |
Sfortunatamente, l'opzione di testare solo ogni singola combinazione non è davvero sensata o fattibile, a causa dei costi che David ha delineato lì. |
| |
E alla fine, dobbiamo adottare una qualche forma di approccio, che coinvolga la scienza dei dati per comprendere le relazioni numericamente. |
| |
Quindi, per procedere e applicare la formulazione scelta a una produzione... uno scenario di produzione multipla, dobbiamo sapere che funzionerà ogni volta, come ha detto David. |
| |
Quindi abbiamo cercato la letteratura, perché in JMP siamo molto interessati all'applicazione del DOE e abbiamo ritenuto che questa fosse una situazione particolare del DOE. |
| |
E come l'abbiamo giustamente chiamato, è un grande DOE. Quindi abbiamo cercato un caso di studio a cui applicare un grande approccio DOE e abbiamo trovato un articolo di Perera et al, |
| |
pubblicato nel 2018 e hanno esaminato una piattaforma per questo screening delle reazioni. E ciò che era interessante in questo scenario è che avevano cinque fattori categorici. |
| |
E questo potrebbe non sembrare troppo. Hanno dovuto esaminare il reagente 1 e 2, il ligando, i reagenti e il solvente, ma quale fosse la complessità di ciò che è stato presentato in questo documento erano i livelli di ciascun fattore. |
| |
Quattro, tre, dodici, otto e quattro livelli, rispettivamente, tutti combinati insieme arrivano a 4.608 combinazioni distinte. |
| |
Ora, nel documento di Perera et al, hanno testato ogni singola soluzione, che ovviamente non è una soluzione praticabile in termini di tutte le aziende del mondo, basta testare ogni combinazione, come ha sottolineato prima David. |
| |
Puoi vedere qui sulla mappa termica che sono stati in grado di farsi un'idea che ci sono alcune regioni ad alto rendimento |
| |
e alcuni meno ad alto rendimento, e alcuni anche molto bassi. Quindi ci sono stati molti test per finire alla fine con una scarsa comprensione del processo |
| |
e un costo sperimentale molto elevato. |
| |
Quindi alla fine questo è finito in una situazione in cui hanno trovato una combinazione, sono arrivati a una combinazione, che sono stati poi in grado di elaborare sul foglio e dire guarda, questo è, questi sono i generali |
| |
era giusto, la prima volta, ma è stato giusto ogni volta, da quel momento in poi, se l'hanno inserito in uno scenario di produzione multitonnellata? Continuerebbe a fornire le specifiche richieste? |
| |
la grande soluzione DOE riduce il fabbisogno di risorse? |
| |
Funziona bene la prima volta e funziona bene ogni volta? E il modo in cui siamo in grado di misurare queste domande e come ci siamo comportati |
| |
era in primo luogo in termini di riduzione dei requisiti di risorse, abbiamo consentito solo di progettare un esperimento con 480 esecuzioni in totale. E questo stava imitando 10 48 piastre di lavoro, e questo è circa il 10% delle corse eseguite sulla carta. |
| |
La prima volta è stata misurata osservando quante delle combinazioni ad alto rendimento identificate nel documento, le 80, sono state testate o previste |
| |
dal modello generato. E, alla fine, con il 10% delle tirature, ci aspettavamo di ottenere almeno otto combinazioni ad alto rendimento dai nostri... dai nostri DOE |
| |
(e l'alto rendimento è qui indicato da un valore superiore al 95%). |
| |
Infine, e soprattutto, ha ragione ogni volta che è stato misurato osservando la diagnostica generale del modello, la R al quadrato. E, in ultima analisi, possiamo guardare a questo e vedere se abbiamo una visione del processo? Le relazioni hanno senso? Le combinazioni e le interazioni hanno senso? |
| |
Quindi quello che abbiamo fatto per darci una parità per il corso anche qui, è stato guardare utilizzando l'intero set di dati di 4.608, abbiamo scoperto che l'R quadrato di questo era .89, e questo era un metodo con un albero potenziato. |
| |
Quindi ora passerò a Phil, che delineerà il primo grande approccio DOE che abbiamo adottato. |
| Phil Kay |
Grazie, Ben; grazie, David, per aver ambientato la scena così bene. Quindi abbiamo esaminato tre diversi approcci |
| |
per affrontare questo per vedere se possiamo prendere un numero ridotto di quelle corse che sono state effettivamente testate in quel documento e ottenere comunque le stesse informazioni utili di Ben come delineato. |
| |
Quindi parlerò di due di questi tre approcci, e questi due sono approcci estremi. C'è un approccio conservatore e un approccio avido e poi Ryan parlerà dell'approccio più equilibrato e ibrido che pensavamo avrebbe probabilmente funzionato meglio alla fine. |
| |
Quindi, secondo l'approccio conservativo, questo è un approccio DOE standard. Progettiamo un design personalizzato da 480 cicli con 10 blocchi, quindi rappresentano 10 lastre nell'attrezzatura per lo screening del catalizzatore che David ci ha mostrato. |
| |
E i risultati principali sono stati, da quell'esperimento di 480 corse, che siamo stati in grado di prevedere correttamente che 13 delle combinazioni con il rendimento più elevato sarebbero state quelle ad alto rendimento. |
| |
E siamo stati in grado di costruire un modello da quel set di dati di 480 corse che, quando lo abbiamo testato rispetto a dati che non erano stati usati in quell'esperimento, |
| |
la R al quadrato era di circa 0,73, quindi piuttosto buona in realtà. Otteniamo un modello abbastanza buono, una comprensione abbastanza buona del sistema nel suo insieme da quell'esperimento più piccolo in poi... dal grande esperimento che è stato pubblicato. |
| |
Alcune intuizioni davvero interessanti che abbiamo ottenuto da questo erano che dovevamo utilizzare l'apprendimento automatico per ottenere modelli utili da questi dati, e questa è stata una sorpresa per noi. Ne parlerò un po' più dettagliatamente. |
| |
E abbiamo ottenuto una buona comprensione da questi dati che abbiamo raccolto utilizzando questo approccio conservativo. Ci ha dato una buona comprensione dell'intero spazio dei fattori, perché certe combinazioni funzionano bene. |
| |
Ci ha permesso di identificare regioni alternative, quindi se troviamo una combinazione ad alto rendimento, ma non è pratica perché è troppo costosa, |
| |
i catalizzatori sono troppo costosi, o forse sono pericolosi o tossici e non suscettibili di un processo industriale, quindi abbiamo molte alternative perché abbiamo una comprensione dell'intero spazio. |
| |
Quindi, come abbiamo fatto? |
| |
Progettazione personalizzata in JMP. Noi |
| |
progettato una corsa 480, ho progettato in modo ottimale, in questo caso, in 10 blocchi. Quindi, di nuovo, i 10 blocchi che rappresentano 10 piastre da 48 pozzetti per i quali David ci ha mostrato l'attrezzatura. |
| |
Da notare qui, specifichiamo un modello in design personalizzato che è per gli effetti principali. |
| |
per le interazioni di secondo ordine e le interazioni di terzo ordine. E con le interazioni del terzo ordine e tutti quei livelli di questi fattori categorici, |
| |
c'è solo un numero enorme di parametri che devono essere stimati, quindi non potremmo effettivamente progettare un esperimento per stimarli tutti in modo esplicito. Dobbiamo inserire le interazioni del terzo ordine come, se possibile, quindi questo è un progetto bayesiano I ottimale in 480 esecuzioni. |
| |
Puoi vedere da questa immagine, stiamo solo guardando attraverso i diversi cicli degli esperimenti, dei diversi... 10 piatti diversi. |
| |
E potete vedere come, con l'aggiunta della prossima lastra nell'esperimento, stiamo aggiungendo alla nostra esplorazione dello spazio dei fattori nel suo insieme. |
| |
Non ci stiamo concentrando su nessuna regione specifica; stiamo solo riempiendo gli spazi nella nostra conoscenza di quell'intero spazio dei fattori. |
| |
Quindi sono 480 esecuzioni che abbiamo utilizzato nel nostro esperimento e le restanti 4.128 righe che abbiamo da quel set di dati pubblicato. Possiamo utilizzare questi dati di test per vedere come i nostri modelli si confrontano su un set di dati trattenuto, questi dati di test. |
| |
Ora ci aspettavamo da tutto il nostro tipo di background DOE e dalla nostra esperienza |
| |
quando progettiamo un esperimento per un certo modello, le tecniche di regressione standard ci forniranno i modelli più utili. |
| |
Quindi stavamo usando JMP Pro qui e usiamo la regressione generalizzata per adattare un modello completo del terzo ordine. |
| |
Ora in realtà usiamo una distribuzione beta qui, che fa rimbalzare le previsioni tra zero e uno, quindi convertiamo il rendimento percentuale nella scala da zero a uno. È solo un piccolo trucco che quando si modellano i dati di rendimento come questo, potresti volerlo usare quando hai JMP Pro. |
| |
E usiamo la selezione diretta, con AICc come metodo di convalida, quindi selezioneremo gli effetti importanti. |
| |
E lo ripetiamo dopo ogni round, quindi con il primo round di 48 run, poi il secondo round di 96, poi il terzo con 144, fino al decimo round dove abbiamo tutti i 480 run. |
| |
Qui puoi vedere il filtro impostato su gen reg lì solo per guardare i primi tre round lì. |
| |
Quindi, per i primi tre round, questo è il modello che otteniamo usando gen reg, forward selection, convalida AICc. |
| |
E non è un grande modello, penso, solo intuitivamente dalla nostra comprensione di ciò che ci aspetteremmo dalla chimica. Stiamo vedendo solo due dei fattori coinvolti nel modello, quindi ha selezionato solo due effetti principali come significativi. |
| |
Quindi possiamo salvare quel modello nella tabella dei dati, e poi possiamo vedere quanto bene quel modello prevede i dati trattenuti, il nostro set di test, |
| |
le restanti 4.128 righe che non erano nel nostro esperimento. E possiamo farlo per ogni round. E lo abbiamo fatto per ogni round, quindi abbiamo 10 modelli che abbiamo costruito usando gen reg. |
| |
Ora, in alternativa, abbiamo pensato che valesse la pena esaminare alcuni metodi di apprendimento automatico. E qui, stiamo solo guardando di nuovo i primi tre round. |
| |
E come un modo davvero rapido di esaminare molte diverse tecniche di modellazione, utilizziamo lo screening del modello in JMP 16 Pro. |
| |
Inseriamo solo il rendimento e i fattori in Y e X sono lì. Abbiamo una colonna di convalida holdback impostata per trattenere il 25% dei dati in modo casuale per la convalida. |
| |
Fai clic su OK e passa attraverso tutte queste diverse tecniche di modellazione, quindi ora otteniamo un rapporto che ce lo dice |
| |
quanto bene queste ... tutte queste diverse tecniche di modellazione, inclusi alcuni modelli di reg di generazione, reti neurali e diversi metodi ad albero. |
| |
E abbiamo selezionato i due migliori lì. E infatti in tutti i round dell'esperimento, abbiamo scoperto che i modelli di rete neurale potenziata neurale e la foresta di bootstrap erano i modelli con le migliori prestazioni. |
| |
Quindi, di nuovo, possiamo salvare le formule di previsione e utilizzare quelle sul set di dati di test che non è stato coinvolto nell'esperimento per confrontarle e vedere come stanno andando i nostri diversi modelli rispetto a quel set di dati di test. |
| |
E qui utilizziamo il confronto dei modelli e JMP Pro, quindi confrontiamo tutti i nostri modelli di registrazione di generazione, i nostri modelli di rete neurale e i nostri modelli di foresta bootstrap. |
| |
E ora stai osservando un'immagine della R al quadrato rispetto a quel set di dati di test. Quanto bene questi modelli si adattano al set di dati del test trattenuto. |
| |
E puoi vedere il gen reg, i modelli di regressione standard che usano la selezione in avanti in rosso lì, iniziando |
| |
nel primo round, questo è in realtà il modello migliore, ma non migliora davvero, e poi improvvisamente va molto male intorno ai cinque, prima di diventare di nuovo veramente buono nel round successivo. Quindi molto instabile e verso la fine peggiorando, probabilmente overfitting. |
| |
I metodi di machine learning, invece, sono, |
| |
dopo il terzo round, si comportano al meglio, si comportano meglio delle nostre tecniche di regressione standard e stanno migliorando fino in fondo. E infatti, |
| |
puoi vedere che i neurali iniziano meglio in verde lì e, verso la fine, la foresta bootstrap sta superando i modelli di rete neurale potenziata. |
| |
Quindi il metodo da portare a casa qui è anche con questa, quella che potresti considerare una situazione relativamente semplice, hai davvero bisogno dei metodi di apprendimento automatico in JMP Pro per ottenere i modelli migliori, i modelli più affidabili per questo tipo di sistemi o processi. |
| |
Ora stiamo solo osservando i grafici dei risultati effettivi del rendimento per tutte quelle 4.608 esecuzioni che sono state pubblicate rispetto alle previsioni del nostro miglior modello alla fine del round 10, dopo le 480 esecuzioni complete. Quindi quella era una foresta bootstrap sulla destra. |
| |
E non è male, sai che puoi vedere, i comportamenti importanti che sta rilevando. Sta identificando le regioni a basso rendimento e sta identificando le regioni a più alto rendimento. Quindi c'è, |
| |
in particolare in alto a destra, stanno usando un reagente di iodio (?) e l'acido boronico e l'estere boronico |
| |
lì i reagenti. |
| |
Quindi, confrontiamo questo con l'altro approccio estremo. Quindi il primo round di 48 corse è stato esattamente lo stesso; iniziamo con le stesse 48 corse. Quindi costruiamo un modello e lo usiamo per scoprire quale, tra tutte le esecuzioni rimanenti, |
| |
delle restanti 4.560 corse ci sono, quale di quelle previste dal modello avrebbe il rendimento più alto, e quindi continuiamo a farlo in tutti i round successivi fino a 10. |
| |
E in questo caso prevediamo correttamente più alto rendimento e combinazioni, ma quando otteniamo il modello finale dopo 10 round e lo confrontiamo sui dati |
| |
Che non abbiamo usato nell'esperimento, la R al quadrato è terribile. È .33. Quindi davvero il modello che otteniamo non fa buone previsioni sul sistema nel suo insieme. |
| |
Quindi stiamo acquisendo una buona comprensione di una regione ad alto rendimento e sta trovando combinazioni, trovando le impostazioni dei fattori che funzionano bene, ma non ci consente davvero di comprendere il sistema nel suo insieme. Non erano... |
| |
non stiamo riducendo la nostra variabilità nella nostra comprensione del sistema nel suo insieme. |
| |
Quindi, solo per mostrarti come funziona quel sistema, quell'approccio, queste sono le nostre 4.608 corse complete, tutte le combinazioni possibili, e, come ho detto nel Round 1, è lo stesso del Round 1 usando l'approccio conservativo quindi è un I ottimale |
| |
insieme di punti lì, e puoi vedere che sono distribuiti uniformemente nello spazio dei fattori. |
| |
Adattiamo un modello ai dati di quelle 48 corse. |
| |
E usiamo quel modello per prevedere il rendimento di tutte le altre possibili combinazioni e poi selezioniamo tra queste le 48 previsioni con il rendimento più alto, |
| |
che sono quelli. Quindi puoi vedere, sono focalizzati sulla regione a più alto rendimento del ... non stiamo ... non stiamo più esplorando l'intero spazio dei fattori. |
| |
E se passiamo dal Round 1, 2, 3 e fino al Round 10, puoi vedere, ogni volta che aggiungiamo... aggiungiamo esecuzioni all'esperimento che si trovano proprio nella zona ad alto rendimento in alto a sinistra. Quindi ci stiamo davvero concentrando solo su una regione dello spazio dei fattori. |
| |
E se confrontiamo l'effettivo con quello previsto qui, puoi vedere che sta facendo un buon lavoro in quella regione in alto a sinistra. |
| |
Ma altrove sta facendo previsioni abbastanza terribili, come potremmo aspettarci; probabilmente non è così sorprendente. Non abbiamo sperimentato l'intero sistema. Ci siamo davvero concentrati solo su quella regione ad alto rendimento. |
| |
E se lo confronti con il nostro approccio conservativo sul lato sinistro (quindi hai già visto la trama sul lato sinistro lì) se guardi come il modello |
| |
migliorato attraverso i round da uno a 10, e poi ogni round utilizzavamo di nuovo la piattaforma di screening del modello per trovare il modello migliore. |
| |
E si è scoperto che in ogni fase, la rete neurale potenziata era il modello migliore. Bene, puoi vedere di nuovo che è un po 'instabile come il gen reg dall'approccio conservativo. |
| |
A volte va bene, ma non è mai... non è mai competitivo con i nostri migliori modelli dell'esperimento conservativo. |
| |
Questi sono i due estremi, e passerò a Ryan, che parlerà di un approccio più equilibrato o ibrido a questo problema. |
| Ryan Lekivetz |
Quindi grazie per questo Phil. E |
| |
proprio nel bel mezzo di una presentazione, devo dire grazie a Phil, Ben e David per avermi permesso di prenderne parte. Come sviluppatore è davvero divertente giocare un po'. Quindi sono uno sviluppatore sulle piattaforme DOE in JMP. |
| |
Quindi, come ha accennato Phil qui, l'approccio che sto osservando qui è un approccio ibrido. |
| |
Va bene, quindi l'idea qui è che esamineremo questa idea di ottimizzazione rispetto all'esplorazione. |
| |
Quindi, se pensi all'approccio avido di cui ha parlato Phil, questa è davvero quell'ottimizzazione. Vado rigorosamente per il meglio, è tutto ciò su cui mi concentrerò. Considerando quell'approccio conservatore, tutto ciò che interessava era l'esplorazione. |
| |
E quindi l'idea qui è che, possiamo arrivare da qualche parte nel mezzo |
| |
forse ottimizzare, esplorando ancora un po' lo spazio? |
| |
Quindi dirò cosa ho fatto qui...quindi in realtà ho iniziato con una specie di tre dei pozzetti impostati in anticipo, giusto. Quindi ho realizzato quei tre blocchi di dimensione 48 e ho appena realizzato gli effetti principali con If Possible 2FI. |
| |
Il motivo è che a volte non mi fidavo davvero dei modelli con solo 48 corse. Ho detto, beh, diamogli un po' di rodaggio. Proviamo la 144, o tre piastre a pozzetto, così poi forse posso fidarmi un po' di più del modello. |
| |
Perché in un certo senso, anche se pensi a quell'approccio avido, se il tuo modello era cattivo, andrai in regioni terribili. Non ti aiuterà molto. |
| |
E ancora così... così come prima, continuerò a fare 10 piatti a pozzetti totali o 10 blocchi totali alla fine. |
| |
E ne parlerò un po' nelle diapositive future, ma in realtà stavo usando XGBoost per tutto il tempo. Quindi il modo in cui stavo prevedendo stava usando XGBoost e c'è una ragione per cui arriverò |
| |
per averlo fatto. |
| |
Ma quindi l'idea qui era essenzialmente quella di prendere quale fosse il valore predittivo. Quindi, invece di seguire rigorosamente i migliori 48, ho detto, fisserò una soglia. |
| |
Bene, quindi dopo i primi tre, ho iniziato a 50 anni. Quindi ho detto, dammi i valori predittivi che sono maggiori di 50 e mentre continuo ad andare avanti con i piatti, aumenterò cinque ogni round. |
| |
Voglio dire che era piuttosto arbitrario; parte di ciò era sapere che avevamo solo 10 round e in totale, e questo anche perché potevo vedere in base alla previsione quanto fosse grande quel set. |
| |
Giusto, quindi a seconda dei dati, se sembrava che quel set fosse ancora enorme, che il previsto fosse circa 50, potresti modificarlo così. |
| |
E quindi l'idea qui è davvero solo quella di iniziare lentamente a esplorare quelle che si spera dovrebbero essere le regioni a rendimento più elevato. |
| |
E quindi, avevamo ragione? Bene, quindi in questo, in realtà abbiamo ottenuto 27 delle 80 combinazioni con il rendimento più alto, quelle superiori a 95, il che non era poi così lontano dall'approccio avido. |
| |
E se pensi alla R al quadrato, di nuovo, con tutti quei dati di resistenza, il test finale R al quadrato era 0,69, quindi che in realtà non era nemmeno così lontano dall'approccio conservativo. Quindi solo il... |
| |
Voglio dire, potresti essere ... potresti voler essere cauto, in questo momento, solo guardando quei due numeri, ma sulla base di ciò, questo ibrido sembra davvero essere il meglio di entrambi i mondi. Voglio dire, ci stai scambiando, ma stai ottenendo qualcosa di buono. |
| |
Quindi solo alcune intuizioni su questo approccio. Davvero, direi, alla fine, che abbiamo ottenuto una migliore comprensione di quegli spazi dei fattori associati all'alto rendimento. |
| |
Penso che gli avidi, se riesci a ripensare a dove erano quei punti, erano davvero concentrati in quella parte in alto a sinistra, quindi non ha fatto molta più esplorazione di quello spazio. |
| |
E puoi immaginare se... |
| |
se qualcosa là dentro improvvisamente quadruplica il prezzo da un giorno all'altro, ora non sai nient'altro del resto della regione. |
| |
Giusto, e quindi con questo approccio ibrido, otteniamo un po' di più di come e perché, alcune delle combinazioni, e ci offre alternative migliori |
| |
ancora una volta, forse se hai altre cose da considerare, sei disposto a sacrificare una piccola parte del rendimento perché ci sono alternative migliori, basate su altre misurazioni. |
| |
E quindi, davvero, l'idea qui ... sì, quindi fammi entrare nel modo in cui è stato effettivamente realizzato nel design personalizzato, giusto. Quindi l'approccio che ho adottato è stato |
| |
utilizzando le covariate nel designer personalizzato, che a volte penso sia un po' sottovalutato. |
| |
Ma, quindi l'idea è che ho appena preso l'intero set di dati, quindi l'intero 4608 viene eseguito, |
| |
e per ogni round...quindi puoi immaginare, all'inizio, ho preso quelli...ho preso il progetto di 144 run, e poi ho detto, beh, prenderò un sottoinsieme di quel set di dati completo. Se l'ho già scelto in un progetto precedente, beh, devo assicurarmi che sia incluso. |
| |
E poi anche, dammi i rendimenti previsti al di sopra di quel certo valore, così di nuovo, per il quarto progetto, che è stato avviato a 50 e 55, 60, ecc. |
| |
Quindi nella tabella dei dati |
| |
ora, quello che faccio è selezionare i punti di progettazione che sono stati utilizzati negli esperimenti precedenti. Quindi mi assicuro che siano evidenziati. E poi il design personalizzato, quando vai sotto il fattore di aggiunta, c'è un'opzione chiamata covariata. E ancora, penso che sia... |
| |
Molte persone non hanno mai visto le covariate prima e, ho detto qui, perché penso che probabilmente potrei passare un intero discorso solo parlando di covariate, |
| |
ma in realtà ci saranno un paio di post sul blog (se non sono attivi quando vedrai questo video, probabilmente entro pochi giorni dal momento in cui lo guarderai) |
| |
dove parlerò un po' di più su come usare veramente le covariate. Ma l'idea è che potresti aver già sentito qualcosa chiamato set candidato, quindi l'idea è... |
| |
ecco questo set di dati che era il sottoinsieme di quelli scelti in precedenza e tutto il resto, e sta dicendo al designer personalizzato che puoi solo scegliere questi punti di progettazione. |
| |
Non puoi fare il modo standard di, continueremo a provare a cambiare le coordinate e tutto il resto. Sta dicendo al progettista personalizzato di JMP, devi utilizzare queste esecuzioni nel tuo progetto e, in particolare, |
| |
una delle opzioni che utilizzano le covariate è che puoi forzare i punti di progettazione scelti in precedenza, quindi in questo modo è effettivamente come eseguire l'aumento del progetto |
| |
usando un candidato dopo aver usato le covariate. |
| |
E, naturalmente, perché in questo... in questo caso, non posso davvero buttare via quei punti di progettazione su cui ho sperimentato in precedenza. Davvero, tutto quello che vogliamo fare è scegliere i prossimi 48. |
| |
E dovrei menzionare anche qui, però, se pensi al design personalizzato... |
| |
Quindi in ognuno di questi, quello che stavo facendo era... quindi le interazioni a due fattori e poi le interazioni a tre fattori, se possibile. |
| |
Ma c'era... quello era davvero più un meccanismo per esplorare lo spazio del design, giusto. Il modello che stavo adattando |
| |
stava usando XGBoost dopo il fatto, quindi voglio dire che il design non era ottimizzato per un modello XGBoost o qualcosa del genere. |
| |
Questo era più un surrogato per dire, esplorare quello spazio di progettazione in cui il rendimento previsto sembra buono e, soprattutto, poiché si trattava di fattori categorici, si assicurerà che cerchi di ottenere un buon equilibrio. Un'altra cosa da menzionare, |
| |
se volessi ... di nuovo, perché non utilizza quel modello sottostante, XGBoost o qualcosa del genere, potresti usare la risposta. Quindi, in questo caso, hanno previsto il rendimento come un'altra covariata, e ciò che farebbe è cercare di ottenere un migliore equilibrio tra rendimento alto e basso |
| |
risposte quando sta cercando di realizzare il design. |
| |
Quindi non l'abbiamo esplorato qui, ma penso che sarebbe una cosa valida da fare in futuro. |
| |
Quindi, al rendimento previsto. Quindi, come ho detto in ... quindi penso che quando Phil parlava di alcune delle altre tecniche di apprendimento automatico che aveva provato |
| |
Per il mio ???, in realtà mi sono concentrato principalmente su XGBoost. |
| |
E se guardi sul lato sinistro, uno dei motivi per cui l'avevo fatto era provarci |
| |
usando K piega la convalida incrociata, ma dove uso il numero del progetto, che sarebbe essenzialmente la piastra del pozzetto come ogni piega aggiuntiva. Quindi, invece di selezionare casualmente le diverse pieghe K, |
| |
direbbe, guarderò il piatto del pozzo e cercherò di tenerlo per ognuno. Quindi, se immagini, per il primo, quando avevo solo tre piatti a pozzetti, |
| |
avrebbe preso ciascuno di quei piatti a pozzetto, lo avrebbe tenuto fuori e poi avrebbe visto quanto bene poteva prevedere, sulla base dei restanti due. E così quando arriverei al decimo... al decimo piatto, in realtà sarebbe una specie di dieci volte. |
| |
Quindi parte del mio ragionamento era pensare di provare a rendere quel modello robusto per quel piatto del pozzo successivo che non hai visto. |
| |
E, in realtà, questo forse ti proteggerebbe anche se succedesse qualcosa con una particolare piastra a pozzetto, |
| |
quindi, forse ottieni anche un po 'di protezione da quello. |
| |
E un'altra cosa che ho fatto con XGBoost è quando avvii la piattaforma XGBoost, come attraverso il componente aggiuntivo, vedrai che c'è una piccola casella di controllo in alto per quello che chiamiamo un design di ottimizzazione. |
| |
E così, con quel progetto di messa a punto, |
| |
in realtà sta adattando un design che riempie lo spazio dietro le copertine e esegue tutto ciò per i diversi parametri iper. |
| |
Quindi quello che avevo fatto per ogni volta che lo facevo, |
| |
Sceglierei un progetto di messa a punto per 50 corse, ma esplorerei semplicemente quello spazio iperparametrico. E così il modello che sceglierei ogni round |
| |
era quello che aveva la migliore convalida R al quadrato. E quindi di nuovo, la convalida R al quadrato in questo caso utilizza in realtà solo i punti di progettazione che ho, giusto. Quindi questo stava facendo quel K fold con il... |
| |
con quei diversi pozzetti. Quindi in questo caso, la convalida R al quadrato non è... non sto usando quei dati che non sono stati ancora visti, perché di nuovo, in realtà, non ho ancora quei dati. |
| |
Ma questo stava solo dicendo usando quella tecnica di convalida, dove stavo usando le piastre dei pozzetti. Quindi, di nuovo, questo è il motivo per cui stavo usando XGBoost per la maggior parte di questo, stavo solo provando qualcosa di diverso che |
| |
usando quella tecnica di pieghe a K, e inoltre, mi piace davvero usare anche il riempimento dello spazio, quando si tratta di XGBoost. |
| |
E quindi diamo un'occhiata qui. Quindi, così vediamo qui, questi sono i punti che vengono raccolti durante i round consecutivi. Ora, |
| |
se pensi a cosa stava succedendo nell'approccio avido, voglio dire, si stava davvero concentrando in alto a sinistra. |
| |
Giusto, ma ora, se vedete con questo approccio ibrido, |
| |
man mano che inizia ad avanzare nei round, lo vedi riempire quei punti un po' di più, ma otteniamo anche un migliore... un migliore campionamento di punti, specialmente sul lato sinistro. |
| |
Giusto, quindi se pensi dal punto di vista, ora hai alternative molto migliori per quelle regioni ad alto rendimento. |
| |
Penso di sì... se diamo un'occhiata ora all'effettivo rispetto al previsto, |
| |
In realtà penso che anche questo sia stato in qualche modo significativo, penso, perché abbiamo fatto un'esplorazione migliore. |
| |
In quelle regioni ad alto rendimento che forse |
| |
non è arrivato così in alto, penso, se guardi in basso a sinistra, penso che abbiamo fatto un lavoro molto migliore nel modello ibrido di raccogliere alcune di quelle che potrebbero essere valide alternative. |
| |
Una delle cose belle anche con questo metodo è che posso concentrarmi su qualcosa di più della semplice resa. |
| |
Giusto, quindi se ci pensi... |
| |
Potrei avere una risposta secondaria, che si tratti di qualche tipo di tossicità, potrebbe essere un costo, qualcosa del genere, |
| |
Posso concentrarmi su qualcosa di più del semplice rendimento quando guardo quei valori previsti. Quindi, se pensi a qualcosa come l'approccio avido, |
| |
se inizi ad aggiungere criteri secondari ... secondari che vuoi considerare, è molto più difficile iniziare a fare quel bilanciamento. Considerando che con questo approccio per sottoinsiemi, non è affatto difficile aggiungere una risposta secondaria nel farlo. |
| |
Penso che lo consegnerò ora a Ben per le conclusioni. |
| Ben Francesco |
COSÌ, |
| |
grazie mille a David, Phil e Ryan per aver fornito una panoramica del motivo per cui ci stiamo avvicinando a questo, e poi, alla fine, ci hanno dato due, tre ottime soluzioni e modi per |
| |
vedere come affrontiamo questo problema. E in tutti questi approcci, è chiaro che JMP fornisce valore agli scienziati. Quindi abbiamo una riduzione diretta, anticipata, di dieci volte delle risorse per la sperimentazione. Abbiamo utilizzato solo il 10% delle piste. E |
| |
alla fine, ciò che stavamo abilitando in ogni situazione era la capacità di soddisfare le specifiche e fornire una soluzione ad alto rendimento dagli esperimenti. |
| |
Ma oltre a ciò, abbiamo anche mostrato come potremmo avere diversi livelli di profonda comprensione del processo, a seconda dell'obiettivo e della strategia dell'azienda che utilizza questo approccio. |
| |
Ora, potresti notare che, noi tre di JMP, siamo molto interessati a come CatSci affronta questo problema. Non stavamo necessariamente prendendo |
| |
allontanare il problema da CatSci e risolverlo da soli; stiamo fornendo gli strumenti per affrontare questo problema in termini di DOE. E questa è stata una fantastica collaborazione tra David come cliente, |
| |
io e phil dalla parte delle vendite tecniche e Ryan dallo sviluppo del prodotto, ed è fondamentale qui che stiamo tutti guardando questo da una prospettiva diversa |
| |
per abilitare quel tipo di soluzione, che, come ho detto prima, possiamo guardare a una sorta di profonda comprensione del processo in modi diversi, a seconda degli obiettivi di ciò che deve essere raggiunto. |
| |
Lungo il percorso abbiamo scoperto alcune cose, il che è davvero entusiasmante per noi di JMP e porterà a miglioramenti del prodotto, che poi riconsegniamo a voi stessi |
| |
come clienti. Abbiamo appreso che gli approcci di apprendimento automatico sono applicabili a questa grande situazione DOE e, come sai, con JMP sono semplici da applicare. E abbiamo anche imparato la cautela in termini di approcci di convalida, e possiamo esaminarlo ulteriormente. |
| |
Quindi, alla fine, abbiamo presentato qui un buon volume di lavoro in termini di grandi sfide DOE, e siamo sicuri che ci siano molte aziende là fuori, simili a CatSci, che affrontano questo tipo di problema. |
| |
Quindi vi invitiamo tutti a esplorare ulteriormente questo lavoro che abbiamo fatto, e abbiamo due link qui in termini di Community dove pubblicheremo le risorse e il video di questo, |
| |
così come un post pubblico di JMP, che ti consente di toccare con mano i dati che abbiamo utilizzato all'interno di questo. Quindi da tutti in questa presentazione, vogliamo dire grazie per aver guardato. |
