| Oratore |
Trascrizione |
| Wayne Levin |
modello di ensemble autovalidante, poiché lo consideriamo un cambiamento di paradigma nella progettazione degli esperimenti e così via. |
| |
Eccoci qui. Il nostro programma qui è... faremo... solo una breve introduzione su chi parlerà. |
| |
Quindi, cosa, perché e come funziona SVEM. Quindi faremo una rapida panoramica del DOE e dell'apprendimento automatico, descriveremo come integrarli in SVEM, analizzeremo alcuni esperimenti SVEM nel mondo reale, e... |
| |
esamineremo alcune ricerche attuali e illustreremo il nuovo designer di set di candidati JMP, una novità di JMP 16, e poi concluderemo con i soliti passaggi successivi, domande e risposte e così via. |
| |
SVEM è un nuovo straordinario metodo per estrarre più informazioni con meno cicli sperimentali e creare modelli predittivi più accurati da piccoli set di dati, compresi i DOE. |
| |
Utilizzando SVEM, prevediamo che vi promettiamo costi inferiori, tempi di commercializzazione più rapidi e una risoluzione dei problemi molto più rapida. Esploreremo tutto questo man mano che andiamo avanti. |
| |
nella sessione. |
| |
Sono Wayne Levin e sono il presidente di Predictum. Con me ci sono Chris Gotwalt, capo data scientist di JMP, e Phil Ramsey, senior data scientist di Predictum e professore associato presso l'Università del New Hampshire. |
| |
Quindi andiamo avanti |
| |
Facciamo il punto della situazione. Il contributo di JMP alla scienza dei dati è enorme, lo sappiamo tutti, e nel settore DOE, più di 20 anni fa, sarebbe... JMP 4, con l'algoritmo di scambio delle coordinate. |
| |
E poi, circa otto anni fa, nove anni fa, abbiamo visto l'uscita dei progetti di screening definitivi. E ci piace pensare che SVEM, lo chiamiamo in breve "modellazione d'insieme auto-validante" (provate a ripeterlo velocemente tre volte), ci piace pensare che questo sia un altro contributo. |
| |
apprendimento automatico e progettazione di esperimenti. |
| |
Supera i limiti di quantità limitate di dati, giusto? Con piccole quantità di dati, non è possibile fare apprendimento automatico; normalmente servono grandi quantità di dati per farlo. |
| |
Ora abbiamo provato SVEM sul campo e diverse aziende ci hanno contattato per questo e abbiamo reso disponibile una versione di prova di SVEM. Siamo, a |
| |
Predictum, il primo a creare un prodotto in questo ambito, a lanciarlo sul mercato, e vorrei condividere con voi alcune delle cose che abbiamo imparato finora. |
| |
E uno è che SVEM funziona eccezionalmente bene. Voglio dire, quando si hanno più parametri e un numero maggiore di esecuzioni, funziona molto bene con |
| |
Modelli di ordine superiore. Forniscono previsioni più accurate e aiutano anche a recuperare i DOE non funzionanti. Quindi, ad esempio, se si dispone di progetti di screening definitivi che per |
| |
qualunque sia il motivo per cui non è possibile eseguire l'adattamento definitivo, ci sono stati inviati alcuni DOE storici che |
| |
Mancanza di potenza. Loro, sai, non hanno trovato nulla, ma con SVEM, in realtà, l'hanno trovato. È stato in grado di farlo. E sai, abbiamo avuto casi in cui c'erano alcune esecuzioni mancanti o discutibili. |
| |
Un'altra cosa che abbiamo imparato è che non è utile con il fattoriale razionale, e cose del genere. Qui siamo interessati ai modelli predittivi. |
| |
e i fattoriali frazionari non forniscono modelli predittivi; non sono progettati per questo. Quindi non vi daranno qualcosa che i dati non sono strutturati per fornire, |
| |
almeno non fino a quel punto. L'altra cosa che abbiamo imparato è che non abbiamo ancora testato appieno il potenziale di SVEM. Per farlo, abbiamo davvero bisogno |
| |
Per progettare esperimenti tenendo conto di SVEM, per cominciare, e questo significa considerare più fattori. Non vogliamo considerare solo tre o quattro fattori. Che ne dite di 10, 15 o anche di più? |
| |
Dalla ricerca di cui parleranno Chris e Phil, abbiamo capito che i progetti bayesiani I-ottimali sono i migliori... il miglior approccio da utilizzare con SVEM e anche con progetti misti. |
| |
sono stati particolarmente utili per SVEM e avrò qualcosa in più da dire a riguardo più avanti. E per quanto riguarda SVEM |
| |
Se vuoi provarlo, avremo qualche informazione alla fine, dopo che Chris e Phil ne avranno parlato. Detto questo, passo la parola a te, Chris, che... |
| |
Entriamo nel cosa, nel perché e nel come di SVEN. Quindi, la parola a te, Chris. |
| Chris Gotwalt |
Bene, perfetto, grazie Wayne. Oh, aspetta, sto condividendo il mio schermo? |
| Wayne Levin |
Non ancora. |
| |
Ecco fatto. |
| Chris Gotwalt |
Va bene, va bene, grazie, Wayne. |
| |
Ora introdurrò il concetto di modelli di ensemble autovalidanti o SVEM. |
| |
La terrò piuttosto semplice. Darò per scontato che tu abbia una certa esperienza nella progettazione e nell'analisi di esperimenti. |
| |
La cosa più importante è capire che il processo di modellazione statistica si riduce all'adattamento delle funzioni ai dati |
| |
che la variabile di risposta del predittore è funzione delle variabili di input. Ad alto livello, SVEM è un ponte tra gli algoritmi di apprendimento automatico che utilizzano applicazioni big data. |
| |
e la progettazione degli esperimenti, che è generalmente considerata un problema di analisi piccolo e valido. L'apprendimento automatico e il DOE hanno entrambi una lunga storia, ma fino ad ora erano tradizioni relativamente separate. |
| |
La nostra ricerca indica che è possibile ottenere modelli più accurati utilizzando meno osservazioni utilizzando SVEM. |
| |
Ciò significa che il miglioramento di prodotti e processi può avvenire in tempi più rapidi, utilizzando meno risorse e a costi inferiori. Quindi, se operi in un settore competitivo, |
| |
se essere i primi sul mercato è fondamentale, allora SVEM dovrebbe interessarti molto. |
| |
In particolare, crediamo che SVEM abbia un potenziale enorme nei settori farmaceutico e biotecnologico, |
| |
alta tecnologia, come la produzione di semiconduttori e nello sviluppo di prodotti di consumo. |
| |
Nel mio lavoro qui presso JMP, ho avuto una visione d'insieme di come i dati vengono gestiti in numerosi settori e ambiti applicativi. |
| |
Ho sviluppato algoritmi per la costruzione di esperimenti di progettazione ottimali, nonché procedure di analisi correlate, come modelli misti e generalizzazione dei modelli. |
| |
D'altro canto, sono anche lo sviluppatore degli algoritmi di rete neurale di JMP Pro, nonché di alcune altre tecniche di apprendimento automatico presenti nel prodotto. |
| |
Negli ultimi 20 anni ho visto l'apprendimento automatico diventare più importante nella modellazione di grandi set di dati osservativi e ho visto molti nuovi |
| |
algoritmi sviluppati. Allo stesso tempo, anche l'analisi degli esperimenti progettati è cambiata, seppur in modo più graduale negli ultimi 20 anni. |
| |
La metodologia statistica complessiva della sperimentazione industriale sarebbe stata riconoscibile a chiunque avesse letto Box, Hunter e Hunter alla fine degli anni '70. |
| |
L'apprendimento automatico e la progettazione di esperimenti vengono generalmente applicati all'industria per risolvere problemi di natura predittiva. |
| |
Utilizziamo questi strumenti per rispondere a domande come: se il sensore indica un lotto difettoso o come possiamo adattare il processo per massimizzare la resa riducendo al minimo i costi. |
| |
Sebbene entrambi siano di natura predittiva, l'apprendimento automatico e la progettazione di esperimenti sono stati generalmente applicati a tipi di dati piuttosto diversi. |
| |
Quello che farò adesso sarà fornire una rapida panoramica di entrambi e poi descrivere come li abbiamo integrati in SVEM. |
| |
Analizzerò alcuni dati di un esperimento reale per mostrarvi come funziona e perché pensiamo che nel complesso stia funzionando molto bene. |
| |
Parlerò nel complesso...parlerò...parlerò dei risultati delle simulazioni effettuate da Trent Limpkiss(?), uno studente di dottorato presso l'Università del New Hampshire, che ci hanno dato fiducia nel fatto che l'approccio è molto promettente. |
| |
Poi passerò a un esempio che mostra come è possibile utilizzare i nuovi design dei set di candidati in JMP 16 per trovare sottoinsiemi ottimali di set di dati esistenti, in modo da poter provare personalmente SVEM. |
| |
Metterò in evidenza alcune delle nostre osservazioni, ho accennato ad alcune domande future a cui speriamo di poter rispondere e poi passerò la parola a Phil, che analizzerà un caso di studio più approfondito e fornirà una demo del componente aggiuntivo SVEM. |
| |
Consideriamo i semplici dati sullo schermo. Sono dati provenienti dal processo metallurgico e vogliamo prevedere l'entità del ritiro al termine delle fasi di lavorazione. |
| |
Abbiamo tre variabili a sinistra che vogliamo utilizzare per prevedere il restringimento. La modellazione consiste nel trovare una funzione che colleghi pressione, tempo e temperatura e che preveda la risposta (restringimento) in questo caso. |
| |
Speriamo che questo modello possa generare... e possa essere generalizzato a nuovi dati in futuro. |
| |
In un contesto di apprendimento automatico, il metodo standard per farlo è suddividere i dati in due insiemi disgiunti di righe. Uno è chiamato set di addestramento e viene utilizzato per adattare i modelli e garantire che i dati non vengano sovraadattati. |
| |
Il che porta a modelli inaccurati in base alle nuove osservazioni. Abbiamo un altro sottoinsieme di dati, chiamato set di convalida, che viene utilizzato per testare vari modelli che abbiamo... |
| |
che sono state adattate al training set. In questo caso, però, si verifica un compromesso: le funzioni troppo semplici si adatteranno male ai training set e ai validation set perché non spiegano una variazione sufficiente. |
| |
Mentre i modelli troppo complessi possono adattarsi quasi perfettamente al set di addestramento, ma saranno molto imprecisi sul set di convalida. |
| |
Utilizziamo misure come la convalida R al quadrato per trovare il modello Riccioli d'oro che non sia né troppo semplice né troppo complicato. |
| |
Questo modello Riccioli d'oro sarà quello la cui convalida R quadrato è la più alta nel set di convalida. |
| |
Questa selezione del modello di stile hold out è un ottimo modo di procedere quando si ha un numero di righe ragionevolmente grande, |
| |
spesso centinaia di milioni di righe o più. L'affermazione "ragionevolmente grande" è volutamente ambigua e dipende dal compito da svolgere. Detto questo, le 12 righe che vedete qui sono davvero troppo piccole e vengono utilizzate solo a scopo illustrativo. |
| |
Nei DOE ci troviamo solitamente in situazioni in cui vi sono serie limitazioni di tempo e/o risorse. |
| |
Un'idea fondamentale degli esperimenti progettati, in particolare degli esperimenti progettati in modo ottimale che rappresentano una funzionalità chiave di JMP, è quella di ottenere informazioni della massima qualità condensate nel minor numero possibile di righe. |
| |
Molte persone brillanti nel corso degli anni hanno creato strumenti statistici come i test F, i grafici semi-normali e i criteri di selezione dei modelli, come l'AIC e il BIC, |
| |
che ci aiutano a prendere decisioni sui modelli per i dati del DOE. Sono tutte guide che ci aiutano a identificare il modello su cui basare le nostre decisioni scientifiche, ingegneristiche e produttive. |
| |
Una cosa che non viene fatta spesso è applicare la selezione dei modelli di apprendimento automatico agli esperimenti progettati. Perché mai dovrebbe essere così? |
| |
Un motivo importante è che le informazioni sono così strettamente compresse nei progetti che la rimozione anche di poche osservazioni può causare il collasso degli effetti e delle interazioni principali. |
| |
In questo modo non siamo più in grado di separarli in effetti univocamente stimabili. Se provi comunque a farlo, probabilmente vedrai avvisi nel report del software, come gradi di libertà persi o dettagli di singolarità aggiunti al report del modello. |
| |
Ora faremo un piccolo esperimento mentale. E se provassimo a barare un po'? |
| |
E se copiassimo tutte le righe dalla tabella originale, le X e le Y, e etichettassimo una copia "addestramento" e l'altra "validazione"? Ora abbiamo dati sufficienti, giusto? Sbagliato. Non stiamo ingannando nessuno, è uno schema folle. |
| |
È pazzesco, perché se provassi a modellare usando questo approccio e guardassi un grafico dell'indice di bontà di adattamento, vedresti che renderli più complicati porta a un adattamento migliore sul set di addestramento, ma poiché l'addestramento e la convalida |
| |
in questo caso gli insiemi sono gli stessi, l'approccio porterà sempre al sovradattamento. |
| |
Facciamo quindi un passo indietro e riformuliamo la selezione del modello di apprendimento automatico come il racconto di due somme ponderate dei quadrati calcolate sugli stessi dati. |
| |
Invece di pensare alla selezione del modello in termini di due partizioni di dati, possiamo considerarla come due colonne di pesi. |
| |
C'è un peso di addestramento che è uguale a uno per le righe nel set di addestramento e zero altrimenti, e una colonna di convalida |
| |
che è uguale a zero per le righe di addestramento e uguale a uno per la colonna di convalida, per le righe di convalida. |
| |
Quindi, partendo dalla selezione del modello di apprendimento automatico, possiamo pensare che ogni riga abbia la sua coppia di valori di peso, dove entrambi i pesi sono zeri e uno binari. |
| |
Impostandoli in questo modo possiamo ottenere una valutazione indipendente dell'adattamento del modello. |
| |
I modelli vengono adattati trovando valori dei parametri che minimizzano le somme degli errori quadratici ponderati utilizzando il peso di addestramento, e le prestazioni di generalizzazione vengono misurate utilizzando la somma degli errori quadratici ponderati utilizzando i pesi della colonna di convalida. |
| |
Se rappresentiamo queste coppie di pesi in un grafico a dispersione, vediamo, ovviamente, che i pesi di convalida dell'addestramento...i pesi di convalida e di addestramento sono perfettamente anti-correlati. |
| |
Ora, cosa succederebbe se, invece di costringerci a usare coppie di valori binari perfettamente anti-correlate, allentassimo il requisito che i valori possano assumere solo i valori di zero e uno? |
| |
e consentire ai pesi di assumere qualsiasi valore strettamente positivo? |
| |
Per fare ciò, dobbiamo rinunciare a qualcosa, in particolare, a quanto ne so, affinché funzioni matematicamente, non possiamo più avere coppie di pesi perfettamente anticorrelate, ma possiamo farlo in modo da avere ancora una sostanziale anticorrelazione. |
| |
Ci sono molti modi per farlo, ma un modo per farlo sarebbe quello di creare pesi utilizzando lo stesso schema del bootstrap frazionalmente ponderato, dove utilizziamo una distribuzione esponenziale con una media di uno |
| |
per creare i pesi. E c'è un piccolo trucco che sfrutta le proprietà della distribuzione uniforme per creare coppie di pesi distribuite esponenzialmente, ma altamente anti-correlate. |
| |
Quando lo usiamo come schema di convalida ponderato a due colonne, lo chiamiamo autovalidazione. Phil e io abbiamo presentato diversi articoli su Discovery su questo... proprio su questa idea. |
| |
Utilizzare questo approccio è come avere una colonna di addestramento di pesi con una media della varianza pari a uno e una colonna di convalida con le stesse proprietà. |
| |
Con questo schema di autovalidazione, se una riga contribuisce con un peso maggiore della media alle somme dei quadrati di addestramento, quella riga contribuirà meno alle somme dei quadrati di convalida e viceversa. |
| |
C'è un componente aggiuntivo che Mike...Vorrei sottolineare che c'è un componente aggiuntivo creato da Mike Anderson che imposta i set di dati in questo tipo di formato che le piattaforme di modellazione di JMP Pro possono utilizzare. |
| |
Di recente Phil e io abbiamo accolto Trent come nostro studente di dottorato. |
| |
Durante la primavera e l'autunno, Trent ha effettuato numerose simulazioni, sperimentando diversi approcci per adattare i modelli ai dati del DOE, tra cui un'ampia gamma di approcci basati sull'autovalidazione. Vi mostrerò alcuni dei suoi risultati. |
| |
Tra poco. Basti dire che l'approccio che ha funzionato meglio e in modo costante, in termini di errore medio minimo su un set di test indipendente, è stato quello di applicare l'autovalidazione. |
| |
in combinazione con procedure di selezione variabili come la selezione in avanti, ma invece di farlo una volta sola, ripetiamo il processo decine o centinaia di volte, |
| |
Salvando la formula di previsione ogni volta e calcolando infine la media dei modelli su tutte queste iterazioni autovalidate, chiamiamo questa procedura generale modelli d'insieme autovalidati o SVEM. |
| |
Quindi, per rendere le cose un po' più concrete, farò un rapido esempio che lo illustra. Iniziamo inizializzando i pesi di autovalidazione. |
| |
Applichiamo procedure di selezione del modello, come la selezione Lazo o quella in avanti, quindi salviamo la formula di previsione nella tabella. |
| |
Ecco la prima formula di previsione. In questa iterazione sono stati selezionati solo due effetti principali lineari. |
| |
Quindi reinizializziamo i pesi, li adattiamo nuovamente al modello utilizzando il nuovo set di pesi e salviamo la formula di previsione. |
| |
Ecco la seconda formula di previsione autovalidata. Si noti che questa volta è stato scelto un insieme diverso di effetti principali e interazioni e i loro coefficienti di regressione sono diversi. |
| |
Ripetiamo questo procedimento più volte. |
| |
Alla fine, il modello SVEM è semplicemente la media di tutte le formule di previsione. |
| |
Ecco un diagramma sintetico che illustra l'algoritmo SVEM. Da qui l'idea di combinare le procedure bootstrap con la media del modello. |
| |
Si verifica ripetutamente, come... dopo aver reinizializzato i pesi. Salviamo la formula di previsione da quell'iterazione. |
| |
Salviamo... qui salvo il parametro... qui l'illustrazione mostra i parametri, ma è la stessa cosa con le formule. Basta salvarli tutti e poi, alla fine, il modello finale è semplicemente la media di tutte le iterazioni. |
| |
Una volta terminato, possiamo utilizzare il modello SVEM nel profiler grafico con l'opzione Espandi formule intermedie attivata, in modo da poter visualizzare il modello risultante ed effettuare l'ottimizzazione del nostro processo e così via. |
| |
Adesso passerò in rassegna i risultati della ricerca di Trent per la sua tesi. |
| |
Un Box Behnkens e DSD a quattro e otto fattori. Ogni simulazione consisteva in 1.000 repliche e ogni simulazione aveva il proprio set di valori dei parametri reali per il nostro modello di superficie di risposta quadratica. |
| |
I parametri attivi erano distribuiti in modo doppiamente esponenziale e abbiamo esplorato diverse percentuali di effetti attivi dal 50% al 100%. |
| |
Per ciascuna delle 1.000 ripetizioni di simulazione, la previsione SVEM è stata valutata rispetto al modello reale su un set di test indipendente costituito da un progetto di riempimento dello spazio di esecuzione di 10.000 run sullo spazio fattoriale. |
| |
Abbiamo esaminato un gran numero di diversi approcci classici di modellazione a colpo singolo, nonché una serie di varianti di tutte le convalide. |
| |
Ma è più facile concentrarsi solo sui risultati più interessanti, dato che c'erano troppi dati da confrontare. La storia è risultata molto coerente in tutte le situazioni che abbiamo analizzato. |
| |
Questa è una di quelle simulazioni in cui il disegno di base era un disegno di screening definitivo, con otto fattori e 21 simulazioni. In questo caso, il 50% degli effetti era diverso da zero. |
| |
Ciò significa che il modello aveva più o meno tanti parametri diversi da zero quante erano le esecuzioni. |
| |
Sulla sinistra sono riportati i box plot dell'errore quadratico medio logaritmico per il Lasso, il selettore Dantzig, la selezione diretta e la selezione diretta pruned, tutti ottimizzati utilizzando l'AICc, il metodo più performante. |
| |
Inoltre, il metodo più performante della piattaforma definitiva è il successivo, seguito da SVEM applicato a una modellazione diversa...diverse procedure di modellazione sulla destra. |
| |
Si nota una drastica riduzione nell'errore quadratico medio del set di test indipendente quando confrontiamo gli RMSE del set di test rispetto alle previsioni SVEM. |
| |
Da notare che questo è su scala logaritmica, quindi si tratta di una differenza piuttosto significativa nelle prestazioni predittive. |
| |
Ecco un risultato ancora più interessante. Questo è il grafico che mi ha davvero colpito. Si tratta della stessa configurazione di simulazione, solo che qui tutti gli effetti sono diversi da zero. |
| |
Quindi i veri modelli sono supersaturi, non solo nella matrice di progettazione ma anche nei parametri stessi. |
| |
In passato abbiamo dovuto supporre che il numero di effetti attivi fosse un piccolo sottoinsieme di tutti gli effetti e certamente inferiore al numero di righe. |
| |
In questo caso otteniamo modelli abbastanza accurati, nonostante il numero di parametri attivi sia circa il doppio del numero di righe, il che è davvero notevole. |
| |
Ora farò una rapida illustrazione |
| |
di SVEM per mostrare come applicarlo ai propri DOE storici. Userò un esempio reale di un DOE a cinque fattori da un processo di fermentazione, in cui la risposta di interesse era la resa del prodotto misurata dal titolo del pDNA. |
| |
Il grande vantaggio di SVEM è che possiamo ottenere modelli più accurati con meno esecuzioni. Ciò significa che possiamo utilizzare set di dati esistenti, |
| |
utilizzare il nuovo designer di set di candidati in JMP 16 per identificare il sottoinsieme di righe che formano il cuore predittivo, tra virgolette, del progetto originale. |
| |
Prenderò i dati originali che avevano 36 righe, caricherò le cinque colonne come covariate e dirò al progettista personalizzato di fornirmi il sottoinsieme di 16 righe del progetto originale che fornisce le migliori prestazioni previste a quelle dimensioni. |
| |
Quindi nasconderò ed escluderò tutte le righe che non fanno parte di quel sottoinsieme di progettazione, in modo che possano essere utilizzate in seguito come set di test indipendente. |
| |
Eseguirò il modello SVEM e confronterò le prestazioni del modello SVEM con ciò che si ottiene applicando una procedura standard come la selezione anticipata, più l'adattamento AICc alle stesse 16 esecuzioni. |
| |
Voglio dire che il nuovo candidato scenografo in JMP 16 è un...è anche un contributo notevole e voglio solo sottolineare quanto incredibile sia stato il team di Brad nella creazione di questo nuovo strumento che sarà estremamente utile in molti modi, anche con SVEM. |
| |
Per fare questo, possiamo prendere il nostro set di dati e rivolgerci al progettista personalizzato. |
| |
Selezioniamo le righe di covariate, quindi questo è un nuovo nodo di struttura in JMP 16. |
| |
Quindi selezioniamo i cinque fattori di input. |
| |
Fare clic su Continua. |
| |
Ora premiamo il pulsante RSM, che convertirà automaticamente i criteri di ottimalità in un progetto di tipo I-ottimale o predittivo. |
| |
Selezioniamo tutti i fattori non intercettati e clicchiamo con il tasto destro del mouse su...nel modello... |
| |
Seleziona l'elenco qui e crea... imposta tutti gli effetti non intercettati come se fossero possibili. Questo ci permette di avere modelli |
| |
con più parametri rispetto al numero di esecuzioni come progetto di base, poiché il criterio di progettazione sarà ora un progetto bayesiano I-ottimale. Ora possiamo impostare il numero di esecuzioni pari a 16. |
| |
Fare clic su Crea progetto. |
| |
Una volta fatto questo, l'ottimizzatore fa la sua magia e tutte le righe che rientrano nel sottoinsieme bayesiano I-ottimale vengono selezionate nella tabella originale. |
| |
Possiamo andare alla tabella e quindi utilizzare un indicatore o una colonna di trasformazione per registrare la selezione della riga corrente. |
| |
E sono andato avanti e ho rinominato la colonna con un nome significativo per dopo. |
| |
Possiamo selezionare i punti non presenti nel sottoinsieme di progettazione selezionando tutte le righe in cui la nuova colonna indicatrice è uguale a zero. |
| |
Possiamo quindi nascondere ed escludere tali righe in modo che non vengano incluse nel nostro processo di adattamento del modello. |
| |
Phil mostrerà il componente aggiuntivo SVEM, quindi salterò i passaggi di modellazione e passerò direttamente a un confronto tra i modelli di selezione diretta più AICc e il modello SVEM sulle righe non incluse nel disegno bayesiano del sottoinsieme I-ottimale. Potete vedere il confronto qui in rosso... |
| |
nella parte del rapporto qui delineata in rosso. Vediamo che SVEM ha un quadrato R sul |
| |
un set di test indipendente di 0,5 e la procedura classica ha un R quadrato di 0,22, quindi otteniamo sostanzialmente il doppio della quantità di variazione spiegata con SVEM rispetto alla procedura classica. |
| |
Possiamo anche confrontare le tracce del profilo dei due modelli quando applichiamo SVEM a tutte le 46 osservazioni. |
| |
È chiaro che otteniamo sostanzialmente lo stesso modello quando applichiamo SVEM a tutte le 46 corse, come se ne ottenessimo solo 16 in meno rispetto a SVEM. |
| |
Ma il modello basato sulla selezione in avanti non include i termini di curvatura, cosa da non sottovalutare... per non parlare del fatto che mancano anche molte interazioni. Questa è una procedura piuttosto semplice che potete utilizzare per testare SVEM sui vostri dati storici. |
| |
Quindi nel complesso TUTTO |
| |
solleva molte domande. Molte di queste sono incentrate sul ruolo dei gradi di libertà negli esperimenti di progettazione, poiché ora siamo in grado di adattare modelli in cui ci sono più parametri che righe, il che significa che ci sarebbero effettivamente gradi di libertà negativi, se esistesse una cosa del genere. |
| |
Penso che questo ci porterà a riconsiderare il ruolo del pensiero basato sul valore P nella sperimentazione industriale. |
| |
Dovremo lavorare per stabilire nuovi metodi per l'incertezza nell'analisi, come la previsione...negli intervalli di confidenza sulle previsioni. |
| |
Phil e io stiamo lavorando per capire quale sia la migliore famiglia di modelli di base su cui possiamo lavorare. Potrebbero essere i modelli quadratici di equazioni differenziali (RSM) e stiamo anche esaminando questi modelli cubici parziali che erano stati proposti molto tempo fa, ma che ora riteniamo meritevoli di essere riconsiderati. |
| |
Che tipo di disegni dovremmo usare? Quali dimensioni del campione sono appropriate in funzione del numero di fattori nel modello base che stiamo utilizzando? Qual è il ruolo degli esperimenti di screening? E una grande incognita è il ruolo degli esperimenti a blocchi e a split plot. |
| |
in questo quadro? |
| |
Ora passo la parola a Phil. Farà un caso di studio più approfondito e mostrerà anche il componente aggiuntivo SVEM di Predictum. Portalo via, Phil. |
| Filippo Ramsey |
Ok, grazie, Chris. Quello che farò è discutere un caso di studio, quindi lasciami inserirlo |
| |
presentazione e ne farò alcune |
| |
illustrazione, come ha detto Chris, della Predizione |
| |
Un componente aggiuntivo che automatizza gran parte dell'analisi SVEM. Quello che stiamo cercando di analizzare è un metodo analitico utilizzato nel settore biotecnologico. |
| |
Questo serve a caratterizzare il glicoprofiling delle proteine terapeutiche, in pratica proteine che diventano anticorpi. |
| |
Molti di voi che lavorano in quel settore sanno che le glicoproteine sono davvero una fonte molto ricca di sostanze terapeutiche e sanno anche che se si lavora per rispettare le GMP, è necessario dimostrare l'affidabilità dei sistemi di misurazione. E in effetti, per il glicoprofiling, |
| |
Metodi analitici rapidi e facili da usare non sono ancora pienamente sviluppati. Quindi l'idea di questo esperimento era di elaborare un metodo abbastanza rapido e semplice che le persone potessero utilizzare e che fornisse loro una valutazione accurata dei diversi |
| |
(Non sono un chimico qui) zuccheri che sono stati |
| |
attaccato alla proteina base dopo la trascrizione. |
| |
E per darvi un'idea, l'idea di usare la cromatografia e presumo che abbiate una certa familiarità con essa, fondamentalmente è un metodo in cui |
| |
per avere una soluzione, la fai passare attraverso una colonna e poi, mentre le diverse specie chimiche passano attraverso la colonna, |
| |
tendono a separarsi e a uscire dalla colonna in momenti diversi. Quindi, in pratica, si forma un cromatogramma, in cui il picco |
| |
è una funzione della concentrazione e il momento in cui si verifica il picco è in realtà importante per identificare cosa fosse effettivamente la specie. Quindi, in questo caso, esamineremo una serie di |
| |
zuccheri. Li chiamerò semplicemente glicoformi, e quello che succede qui è che gli scienziati che hanno fatto questo lavoro hanno sviluppato una soluzione di calibrazione. |
| |
E sappiamo esattamente cosa c'è nella soluzione di calibrazione. Sappiamo esattamente quali picchi dovrebbero eluire e approssimativamente dove. |
| |
E poi possiamo confrontare un campione di anticorpi umani reali con il campione di calibrazione. E alcuni di questi glicoformi sono carichi. È difficile farli passare attraverso la colonna. |
| |
Tendono ad attaccarsi ad esso, quindi utilizziamo quella che a volte viene chiamata procedura di eluizione a gradiente. |
| |
E non entrerò nei dettagli. Quello che stiamo facendo qui è usare una tecnica chiamata cromatografia a scambio anionico ad alte prestazioni. Non sono un esperto in materia, ma lo scienziato con cui ho lavorato ha fatto |
| |
un ottimo lavoro nello sviluppo di questa calibrazione, e il motivo per cui abbiamo bisogno di una soluzione di calibrazione che storicamente |
| |
Non è del tutto prevedibile dove gli zuccheri che fuoriescono da un campione di anticorpi umani usciranno da una colonna, quindi abbiamo qualcosa che possiamo usare per la calibrazione. |
| |
COSÌ. |
| |
La persona che ha svolto il lavoro, e la menzionerò tra un attimo, ha progettato due esperimenti separati. Il primo è un disegno sperimentale a tre livelli, composto da 16 prove. |
| |
Poi è tornata e ha fatto un disegno più ampio, con 28 run e tre livelli. Quindi uno potrebbe essere usato come set di training e l'altro come set di validazione, ma per dimostrare il selettore di covariate e la strategia bayesiana I-ottimale di cui ha parlato Chris, |
| |
entrambi i progetti sono stati combinati in un unico progetto da 44 prove. Abbiamo quindi |
| |
ho trasformato quel progetto in un progetto personalizzato con il selettore di covariate e poi ho creato vari progetti bayesiani I-ottimali. |
| |
E avremmo potuto fare più combinazioni, ma abbiamo solo un tempo limitato per parlarne. Quindi ci sono tre progetti. Uno ha 10 sequenze, ricordate i cinque fattori e stiamo facendo 10 sequenze. |
| |
Un progetto da 13 run e uno da 16 run e, ancora una volta, potremmo fare molto di più. Quindi, quello che vogliamo fare è vedere come questi |
| |
i progetti funzionano dopo aver utilizzato i modelli fan-to-fit e, a proposito, come ha detto Chris, in ognuno di questi progetti, le esecuzioni che non vengono selezionate dalle 44 vengono poi utilizzate come set di convalida o di test per vedere quanto bene funziona il modello. |
| |
Bene, quindi questi sono i fattori iniziali: la quantità iniziale di acetato di sodio, la quantità iniziale di idrossido di sodio. E poi ci sono tre fasi di eluizione a gradiente separate. |
| |
per tutta la durata del processo, che dura circa 40 minuti. Queste sono quindi le impostazioni utilizzate e manipolate nell'esperimento. |
| |
In realtà, in questo esperimento, ci sono 44 risposte diverse che si potrebbero prendere in considerazione. Quindi, dato il tempo a disposizione, ne esaminerò due. |
| |
Uno è il tempo di ritenzione del glicoformio 3, ed è questo il fattore chiave, ciò che fissa il cromatogramma di calibrazione. |
| |
Vorremmo che uscisse in circa otto minuti e mezzo perché si allinea bene con i campioni di anticorpi umani. |
| |
In realtà è abbastanza facile da modellare. La seconda risposta è il tempo di ritenzione del glicoformio 10. È un glicoformio carico. Eluisce molto tardi e tende a raggrupparsi con altri glicoformi carichi, rendendolo più difficile da distinguere. Bene, queste sono le due risposte che prenderò in considerazione. |
| |
E per chi non ha familiarità con la cromatografia, ecco un paio di quelli che vengono chiamati cromatogrammi. Sono essenzialmente le risposte, |
| |
immagini di come appaiono le risposte e, in questo caso, se dai un'occhiata all'immagine, vedremo il tempo di ritenzione, cioè quando è successo |
| |
È comparso il picco 3? A che ora e poi, a che ora è comparso il picco 10 e si è presentato nel cromatogramma? E, a proposito, nota la differenza tra i due. |
| |
I cromatogrammi che sto mostrando mostrano quanto siano diversi i profili. Quindi, in questo esperimento, quando abbiamo manipolato quei fattori sperimentali |
| |
(e a proposito, abbiamo 44 di questi cromatogrammi; ve ne mostro due), si notano molte differenze nelle forme, nei tempi di ritenzione e così via di questi picchi, e nella risoluzione. Quindi, qualunque cosa stiamo facendo, stiamo chiaramente manipolando |
| |
i cromatogrammi e, per chi fosse curioso, sì, stiamo pensando a questo in futuro come dati funzionali e a come potrebbe essere utilizzata l'analisi dei dati funzionali. |
| |
Ma questo è spesso il futuro, ma è sicuramente qualcosa a cui siamo molto interessati. I cromatogrammi sono davvero dati funzionali, in fin dei conti. Ma ora ne estrarrò solo due e cercherò di modellarle. Bene. E voglio anche dare credito a |
| |
La Dott.ssa Eliza Yeung di Cytovance Biologics, una cara amica e un'eccellente scienziata. Ha svolto tutto il lavoro sperimentale ed è stata lei ad avere l'idea di costruire... |
| |
Quella che lei chiama la scala del glucosio, la soluzione di calibrazione. Ed Eliza, oltre a essere una brava persona, adora anche JMP. Quindi Eliza ci piace per molti aspetti, okay. Un'eccellente scienziata. Okay, quindi |
| |
prima di entrare |
| |
SVEM, vorrei solo menzionare... Chris ha menzionato il modello quadratico completo che è stato utilizzato fin dal 1950 come base per l'ottimizzazione. |
| |
In pratica, tutti gli effetti principali, interazioni a due fattori e termini quadratici. In realtà, per molti sistemi fisici complessi, la cinetica è in realtà troppo complessa per quel modello. |
| |
E Cornell e Montgomery, in un articolo davvero interessante del 1998, lo hanno sottolineato e hanno suggerito che in molti casi, |
| |
Quello che chiamano modello di interazione, noi lo chiamiamo modello cubico parziale, potrebbe funzionare meglio. E nella mia esperienza, usando SVEM e applicando questo modello a molti casi di studio, hanno ragione. In realtà fornisce modelli predittivi migliori, ma c'è un problema. |
| |
Questi modelli cubici parziali possono essere enormi e rappresentano una grande sfida per le strategie di modellazione tradizionali, in cui i modelli supersaturi, come ha detto Chris, rappresentano un grosso problema. |
| |
Quanti potenziali termini ci sono? Beh, prendi K al quadrato, moltiplicalo per due e aggiungi uno per l'intercetta. Quindi, per cinque fattori, il numero completo |
| |
Il modello cubico parziale avrebbe 51 termini. A proposito, userò questi modelli, ma solo 40 dei termini che di solito sono più importanti. |
| |
Quindi utilizzeremo la modellazione di ensemble auto-validante per adattare i modelli e, come ha detto Chris, SVEM non ha problemi con i modelli supersaturi. |
| |
E a proposito, nella letteratura sull'apprendimento automatico, i modelli supersaturi risultano sempre adatti. |
| |
Utilizzando le giuste tecniche di apprendimento automatico, puoi effettivamente...possono effettivamente mostrarti come ottenere prestazioni di previsione migliori. |
| |
Questo è un argomento ampiamente sconosciuto nella statistica tradizionale, ok? Quindi useremo il componente aggiuntivo SVEM e ho detto che se volete saperne di più, potete contattare Wayne Levin, che ha già parlato su Predictum e sono sicuro che a Wayne piacerebbe molto parlare con voi. |
| |
Passiamo brevemente a JMP. |
| |
Ora vi mostrerò come funziona realmente il componente aggiuntivo, quindi lasciatemi portare JMP. |
| |
Ho installato il componente aggiuntivo in modo che abbia una sua scheda. Clicco quindi su Predictum. A proposito, questo è uno dei design bayesiani I-ottimali che abbiamo creato, e questo ha 16 esecuzioni. Seleziono la modellazione d'insieme autovalidante. |
| |
Ecco quello che sembra il tipico dialogo di lancio di un modello di adattamento. Selezionerò i miei cinque fattori. |
| |
E a questo punto farò un modello di superficie di risposta per illustrazione, e voglio modellare |
| |
tempo di ritenzione per il glicoformio 3. Notare sullo sfondo, questa configurazione, la tabella di autovalidazione, quindi c'è una funzione di attesa. |
| |
E c'è una parte di autovalidazione. È tutto in background, non è necessario vederla. Ma la sega... ma il componente aggiuntivo l'ha creata e poi l'ha praticamente nascosta, ma puoi vederla, se vuoi, ma è nascosta perché non è così importante vederla. |
| |
Quindi ora apriamo GenReg, quindi questo è il GenReg |
| |
pannello di controllo. E, a titolo di esempio, SVEM è davvero agnostico in termini di metodo utilizzato per la costruzione del modello. Quindi, in effetti, si potrebbero usare metodi che non sono nemmeno presenti in GenReg, ma questo è il nostro obiettivo principale oggi. Quindi, faremo la selezione anticipata. |
| |
E poiché abbiamo poco tempo, farò solo 10 ripetizioni. |
| |
Clicca su "Vai" e creeremo il modello. |
| |
Ecco quindi l'output per sole 10 ripetizioni, e si ottiene un grafico reale per quello previsto. Ma la cosa davvero interessante è che crea effettivamente la media del modello d'insieme. |
| |
Quindi clicco su "modello di ensemble autovalidante", "salva formula di previsione". Quindi chiudo questa schermata. |
| |
Venire. |
| |
Ed ecco il mio modello. |
| |
Ora posso prendere questo modello e applicarlo ai dati di convalida. Abbiamo selezionato 16 esecuzioni, quindi ce ne sono altre 28 disponibili che possono essere utilizzate come set di convalida per vedere come ci siamo comportati effettivamente. A questo punto, tornerò a |
| |
presentazione e, tra l'altro, senza il componente aggiuntivo SVEM, può essere un po' difficile, soprattutto se non si è particolarmente competenti nella scrittura di script JMP |
| |
Per creare effettivamente questi modelli. Quindi, quel componente aggiuntivo potrebbe non sembrare che abbia fatto un gran lavoro in background, okay? Come abbiamo fatto? Lasciate che lo rimetta in slideshow. |
| |
Quindi quello che ho fatto è stato realizzare tre progetti: uno da 16 run, uno da 13 run e infine ho scelto un progetto da 10 run. Ci siamo davvero spinti oltre i limiti. |
| |
E ci sono due risposte, come ho detto: il glicoformio 10 eluisce tardivamente e tende ad essere rumoroso, e può essere difficile da risolvere. Quindi, per il progetto a 16 run, ho adattato un modello cubico parziale a 40 termini. Tenetelo a mente, 16 run. E ho adattato un modello a 40 termini. |
| |
E quindi la chiave di tutto questo è l'errore quadratico medio sul set di convalida, okay. Quindi |
| |
Ho adattato il mio sesto...il mio modello a 40 termini, e poi il |
| |
L'errore quadratico medio sul set di convalida era basso e il valore R quadrato di convalida era in realtà vicino a 98, quindi si adattava molto, molto bene. |
| |
Nota, anche per i molto più rumorosi |
| |
Glicoformio 10, abbiamo comunque ottenuto un modello piuttosto buono. Vi mostrerò alcuni grafici effettivi e previsti. Quindi abbiamo fatto lo stesso per il 13, ancora una volta per il 13, e abbiamo ottenuto ottimi risultati. |
| |
E infine per il 10. A proposito, per il 10 ho semplicemente adattato il modello quadratico completo standard. Mi è sembrato di aver davvero sfidato la sorte. |
| |
Ma avrei potuto andare avanti e provare la cubica parziale. E notate, ancora una volta, che anche con 10 prove, modellando il tempo di ritenzione del glicoformio 3, ho ottenuto un R quadrato di 0,94. |
| |
Per me è davvero impressionante e ancora una volta ho modellato... il mio modello aveva il doppio dei predittori rispetto alle osservazioni e anche con il glicoformio 10, difficile da modellare, ce la siamo cavata piuttosto bene. |
| |
Quindi, ecco alcuni grafici effettivi e previsti e scelgo ancora una volta il glicoformio 10 perché è davvero difficile da modellare. |
| |
Quindi non volevo manipolare troppo il sistema. So per esperienza che è difficile da modellare. Quindi c'è un grafico reale per le previsioni. Ce n'è un altro per le previsioni per il progetto a 10 run, che funziona comunque piuttosto bene. |
| |
se si considera ciò che stiamo cercando di fare qui. |
| |
E infine, come ci siamo comportati nel complesso? |
| |
Quindi questa è una piccola tabella che ho messo insieme e ho preso il design da 16 run come base, e poi quello che sto facendo è confrontare quello che è successo quando abbiamo adattato il 10- |
| |
modello a termine e il termine 13 per il tempo di ritenzione per G10. |
| |
Noterete che abbiamo avuto un errore piuttosto grande per 13 e molto più piccolo per 10. Non so perché. Ho scelto di mostrare solo i risultati. È un po' un mistero e non sono tornato indietro per approfondire. |
| |
Ma per il tempo di ritenzione tre, nota che passo da 16 a 10. Sì, ho ottenuto un certo aumento nell'errore quadratico medio, ma sai che se guardi il grafico effettivo rispetto a quello previsto, |
| |
Fa ancora un buon lavoro di previsione sul set di convalida. Quindi il punto è questo, e questo è, lo so, lavoro molto con le aziende biotecnologiche, il |
| |
le efficienze reali che potreste potenzialmente raggiungere nei vostri progetti sperimentali e so che per molti di voi questi esperimenti sono costosi. |
| |
E, cosa ancora più importante, richiedono molto tempo. Questo può davvero ridurre i tempi e il budget per la sperimentazione, consentendo di ottenere ancora più informazioni. |
| |
Quindi, una breve conclusione. Questa procedura SVEM e questo, e come ha mostrato Chris, lo abbiamo studiato in simulazioni e casi di studio. |
| |
SVEM è ottimo per i modelli supersaturi. Non mi dilungherò sull'argomento, ma dalla pratica del machine learning è noto che i modelli supersaturi offrono ottime prestazioni. Usano costantemente il deep learning come esempio. |
| |
In pratica, come dice Chris, SVEM combina l'apprendimento automatico con la progettazione di esperimenti. |
| |
E, cosa ancora più importante, una volta che si inizia a percorrere il percorso SVEM, questo, a sua volta, influenza il modo in cui si pensa alla sperimentazione. |
| |
Quindi, in sostanza, utilizzando SVEM, possiamo iniziare a pensare a esperimenti altamente efficienti che possono davvero accelerare il ritmo dell'innovazione e ridurre effettivamente i tempi e i costi della sperimentazione. E con il tempo per sviluppare prodotti e processi. |
| |
diventando...i tempi di consegna diventano sempre più brevi, questo non è un punto banale, e so che molti di voi nel settore biotecnologico si trovano anche ad affrontare serie limitazioni di budget. |
| |
E poi (a proposito, la maggior parte delle persone lo fa) e infine un'area promettente è quella dei progetti bayseiani I-ottimali. |
| |
E ancora una volta, vorrei sottolineare che Brad Jones e il suo gruppo hanno fatto un ottimo lavoro introducendo questi aspetti in JMP. È l'unico software che conosco che effettivamente esegue progetti bayesiani I-ottimali. |
| |
E pensiamo che SVEM aprirà la finestra su molte possibilità. Quindi, in sostanza, questa è la mia storia e la lascio a Wayne Levin. |
| Wayne Levin |
Grazie mille per questo, |
| |
Phil e Chris. Spero che tutti possano vedere che c'è stato un sacco di lavoro, molta ricerca è stata fatta su questo, comprese alcune |
| |
lavoro in trincea, potremmo dire, e sono in questo settore da oltre 30 anni, quindi non mi dispiace dirti che sono molto emozionato per quello che vedo qui. |
| |
Penso che questo possa essere davvero trasformativo, cambiare davvero il modo in cui vengono condotti gli esperimenti industriali qui. In precedenza ero molto entusiasta dei design supersaturi e questo era |
| |
con la collaborazione di un designer personalizzato e ora con...questo è il lato del design. |
| |
delle cose. |
| |
Ora, quando si porta SVEM sul lato dell'analisi, intendo dire che sono due grandi gusti |
| |
che vanno benissimo insieme, si potrebbe dire. Comunque, giusto per concludere, inserisco qui che |
| |
Phil, io e Marie Goddard stiamo mettendo insieme un corso on-demand (dovrebbe essere disponibile il prossimo trimestre, ad esempio ad aprile) |
| |
sugli esperimenti progettati con miscele, e dedicheremo molto tempo agli SVEM in quel corso. Quindi, se questo ti interessa, fammi sapere o... così possiamo tenertelo aggiornato o seguirci su LinkedIn o su una di queste piattaforme. |
| |
E per quanto riguarda il componente aggiuntivo SVEM, ancora una volta, se mi è consentito, sono felice che siamo stati i primi a commercializzarlo. |
| |
Ci stiamo lavorando duramente da diversi mesi. Pubblichiamo una nuova versione circa ogni mese, quindi si evolve man mano che riceviamo feedback dal campo, e voglio ringraziare moltissimo Phil. |
| |
Per aver guidato tutto questo. E ha collaborato con uno dei nostri sviluppatori (???) ed è stato davvero uno sforzo formidabile, un duro lavoro. |
| |
per arrivare a questo punto, e vogliamo metterlo a vostra disposizione. Quindi, come ha detto Phil prima, ci sono due modi per provarlo. Uno è semplicemente provare il componente aggiuntivo stesso, |
| |
Funziona con le versioni 14 e 15. E con l'uscita della versione 16, credo che funzionerà anche per la 16. Richiede JMP Pro, quindi se non lo avete, c'è un link qui, dove potete richiedere... una licenza di prova di JMP Pro. |
| |
E puoi ottenere questo link, ovviamente, scaricando le slide di questa presentazione. Ecco come puoi ottenerlo, quindi questo è un modo per provarlo tu stesso. |
| |
Un altro modo è semplicemente contattarci e lavoreremo con voi sulla base di una prova di concetto, va bene. |
| |
Potremmo fare delle analisi comparative e così via, e naturalmente, rivedere quell'analisi con voi. Così, sapete che metteremo a punto la documentazione necessaria, e |
| |
Non ci dispiace provarlo. L'abbiamo fatto per un buon numero di aziende e potrebbe essere il modo più semplice per te, qualunque cosa funzioni per te. Ok, e per ora, quello che vorrei fare è |
| |
A questo punto, aprite la discussione per qualsiasi domanda o commento. A nome di Chris e Phil, vi ringrazio per essere stati con noi. Quindi, ok, domande e commenti, per favore. |
