Altoparlante
|
Trascrizione
|
| Wayne Levin |
modello d'insieme auto-convalidante, poiché lo consideriamo un cambiamento di paradigma nella progettazione di esperimenti e così via. |
| |
Solo andando ... eccoci. Il nostro programma qui è ... faremo ... solo una breve introduzione su chi sta parlando. |
| |
Allora, cosa, perché e come di SVEM. Quindi avremo una rapida panoramica del DOE e dell'apprendimento automatico, descriveremo come fonderli in SVEM, analizzeremo alcuni esperimenti SVEM nel mondo reale ... |
| |
rivedere alcune ricerche in corso e dimostrare il nuovo scenografo candidato di JMP, nuovo in JMP 16, e poi finiremo con i soliti passaggi successivi, domande e risposte e così via. |
| |
SVEM è un nuovo straordinario metodo per estrarre più informazioni con meno cicli sperimentali e costruire modelli predittivi più accurati da piccoli set di dati, inclusi DOE. |
| |
Utilizzando SVEM quindi prevediamo, promettiamo che avrai meno costi, sarai più veloce sul mercato, molto più veloce nella risoluzione dei problemi. Esploreremo tutto questo mentre andiamo avanti. |
| |
nella sessione. |
| |
Sono Wayne Levin e sono il presidente di Predictum e con me c'è Chris Gotwalt, che è il chief data scientist di JMP, e anche Phil Ramsey che è un senior data scientist qui a Predictum e professore associato presso l'Università di New Hampshire. |
| |
Quindi facciamo solo |
| |
fare il punto qui. Il contributo di JMP alla scienza dei dati è enorme, quindi lo sappiamo tutti, e nello spazio DOE che risale a oltre 20 anni fa, sarebbe ... JMP 4, con l'algoritmo di scambio di coordinate. |
| |
E poi circa otto anni fa, nove anni fa, abbiamo visto uscire i progetti di screening definitivi. E ci piacerebbe pensare che SVEM, lo chiamiamo per abbreviazione di ensemble modeling auto-validante (provate a dirlo velocemente tre volte), ci piace pensare che questo sia un altro contributo. |
| |
apprendimento automatico e progettazione di esperimenti. |
| |
Supera i limiti di quantità limitate di dati, giusto. Con piccole quantità di dati, non puoi fare machine learning, normalmente devi avere grandi quantità di dati per farlo accadere. |
| |
Ora abbiamo provato SVEM sul campo e abbiamo avuto un certo numero di aziende che ci hanno contattato per questo e abbiamo reso disponibile una versione di prova di SVEM. Erano a |
| |
Predictum, il primo a creare un prodotto in quest'area, portare un prodotto sul mercato e voglio solo condividere con voi alcune delle cose che abbiamo imparato finora. |
| |
E uno è che SVEM funziona eccezionalmente bene. Voglio dire, quando hai più parametri e numero di esecuzioni, funziona molto bene con |
| |
modelli di ordine superiore. Fornisce previsioni più accurate, aiuta anche a recuperare da DOE rotte. Quindi, ad esempio, se hai progetti di screening definitivi per |
| |
qualunque sia il motivo non può essere eseguito in modo definitivo, ci sono stati inviati alcuni DOE storici |
| |
manca il potere. Hanno solo, sai, non hanno trovato nulla e ma con SVEM, in realtà lo ha fatto. È stato in grado di farlo. E sai che abbiamo avuto casi in cui c'erano alcune corse mancanti o discutibili. |
| |
Un'altra cosa che abbiamo imparato è che non ti aiuterà con il fattoriale razionale, quindi cose del genere. Siamo interessati ai modelli predittivi qui |
| |
ei fattoriali frazionari in realtà non forniscono modelli predittivi; non sono progettati per questo. Quindi non ti darà qualcosa che i dati non sono strutturati per fornire, |
| |
almeno non fino a quel punto. L'altra cosa che abbiamo imparato è che non abbiamo ancora testato il pieno potenziale di SVEM. Per farlo, abbiamo davvero bisogno |
| |
progettare esperimenti con SVEM in mente per cominciare, e questo significa considerare più fattori. Non vogliamo solo considerare tre o quattro fattori. Che ne dici di 10, 15 o anche di più? |
| |
Dalla ricerca capiamo che Chris e Phil parleranno che i design bayesiani ottimali I sono i migliori ... l'approccio migliore per l'utilizzo con SVEM e anche progetti misti |
| |
sono stati particolarmente utili per SVEM e avrò qualcosa in più da dire su questo più tardi. E per quanto riguarda SVEM |
| |
se vuoi provarlo, avremo alcune informazioni alla fine dopo che Chris e Phil ne parleranno. E quindi, detto questo, lo lascio a te, Chris, che lo farà |
| |
entra nel cosa, nel perché e nel come di SVEN. Quindi via a te, Chris. |
| Chris Gotwalt |
Va bene, benissimo, grazie, Wayne. Oh aspetta, sto condividendo il mio schermo? |
| Wayne Levin |
Non ancora. |
| |
Ci siamo. |
| Chris Gotwalt |
Va bene, va bene, grazie, Wayne. |
| |
Quindi ora introdurrò l'idea di modelli di ensemble auto-convalidanti o SVEM. |
| |
Lo manterrò abbastanza semplice. Presumo che tu abbia una certa esperienza di progettazione e analisi di esperimenti. |
| |
Soprattutto, dovresti capire che il processo di modellazione statistica si riduce all'adattamento di funzioni ai dati |
| |
quella variabile di risposta del predittore in funzione delle variabili di input. Ad alto livello, SVEM è un ponte tra algoritmi di apprendimento automatico che utilizzano applicazioni per big data |
| |
e la progettazione di esperimenti, che è generalmente vista come un piccolo e buono problema di analisi. L'apprendimento automatico e il DOE hanno ciascuno una lunga storia, ma fino ad ora erano tradizioni relativamente separate. |
| |
La nostra ricerca indica che è possibile ottenere modelli più accurati utilizzando meno osservazioni utilizzando SVEM. |
| |
Ciò significa che il miglioramento del prodotto e del processo può avvenire in meno tempo utilizzando meno risorse a costi inferiori. Quindi, se operi in un settore competitivo, |
| |
dove essere il primo sul mercato è fondamentale, SVEM dovrebbe essere di grande interesse per te. |
| |
In particolare, crediamo che SVEM abbia particolari ... ha enormi promesse nelle industrie farmaceutiche e biotecnologiche, |
| |
alta tecnologia come la produzione di semiconduttori e nello sviluppo di prodotti di consumo. |
| |
Nel mio lavoro qui in JMP, ho avuto una visione d'insieme di come vengono gestiti i dati in molti settori e aree di applicazione. |
| |
Ho sviluppato algoritmi per costruire esperimenti di progettazione ottimali, nonché procedure di analisi correlate come modelli misti e generalizzare i tuoi modelli. |
| |
D'altra parte, sono anche lo sviluppatore degli algoritmi di rete neurale di JMP Pro, nonché di alcune delle altre tecniche di apprendimento automatico presenti nel prodotto. |
| |
Negli ultimi 20 anni ho visto l'apprendimento automatico diventare più importante quando si modellano grandi set di dati osservativi e si vedono molti nuovi |
| |
algoritmi che sono stati sviluppati. Allo stesso tempo, anche l'analisi degli esperimenti progettati è cambiata, ma in modo più incrementale negli ultimi 20 anni. |
| |
La metodologia statistica complessiva della sperimentazione industriale sarebbe riconoscibile a chiunque leggesse Box, Hunter e Hunter alla fine degli anni '70. |
| |
L'apprendimento automatico e la progettazione di esperimenti vengono generalmente applicati all'industria per risolvere problemi di natura predittiva. |
| |
Usiamo questi strumenti per rispondere a domande, come il sensore che indica un lotto difettoso o come aggiustiamo il processo per massimizzare la resa riducendo al minimo i costi. |
| |
Sebbene siano entrambi di natura predittiva, l'apprendimento automatico e la progettazione di esperimenti si sono generalmente applicati a tipi di dati piuttosto diversi. |
| |
Quello che farò ora è fornire una rapida panoramica di entrambi e quindi descrivere come li abbiamo combinati in SVEM. |
| |
Analizzerò alcuni dati di un vero esperimento, per mostrare come funziona e perché pensiamo che stia andando molto bene nel complesso. |
| |
Andrò in generale ... andrò ... esaminerò i risultati delle simulazioni fatte da Trent Limpkiss (?), Uno studente di dottorato presso l'Università del New Hampshire, che ci ha dato fiducia che l'approccio è molto promettente. |
| |
Quindi esaminerò un esempio che mostra come è possibile utilizzare i nuovi progetti di set candidati in JMP 16 per trovare sottoinsiemi ottimali di set di dati esistenti in modo da poter provare SVEM per conto proprio. |
| |
Evidenzierò alcune delle nostre osservazioni, menzionerò alcune domande future a cui speriamo di rispondere, e poi lo consegnerò a Phil, che esaminerà un caso di studio più approfondito e una demo del componente aggiuntivo SVEM nel. |
| |
Considera i semplici dati sullo schermo. È un dato del processo metallurgico e vogliamo prevedere l'entità del ritiro alla fine delle fasi di lavorazione. |
| |
Abbiamo tre variabili a sinistra che vogliamo utilizzare per prevedere il restringimento. La modellazione equivale a trovare una funzione che collega pressione, tempo e temperatura che predice la risposta (restringimento) qui. |
| |
Si spera che questo modello generi ... generalizzerà a nuovi dati in futuro. |
| |
In un contesto di apprendimento automatico, il modo standard per farlo è suddividere i dati in due set di righe disgiunti. Uno è chiamato set di addestramento ed è utilizzato per l'adattamento dei modelli per assicurarsi di non sovradattare i dati, |
| |
il che porta a modelli che sono imprecisi su nuove osservazioni. Abbiamo un altro sottoinsieme di dati, chiamato set di convalida che viene utilizzato per testare vari modelli che siamo stati ... |
| |
che sono stati adatti al set di allenamento. C'è un compromesso qui, in cui le funzioni troppo semplici si adatteranno male ai set di addestramento e convalida perché non spiegano una variazione sufficiente. |
| |
Considerando che i modelli che sono troppo complessi possono avere un adattamento quasi perfetto sul set di addestramento ma saranno molto imprecisi sul set di convalida. |
| |
Usiamo misure come la convalida R al quadrato per trovare il modello di riccioli d'oro che non è né troppo semplice né troppo complicato. |
| |
Questo modello di Riccioli d'oro sarà quello la cui R di convalida al quadrato è la più alta sul set di convalida. |
| |
Questa selezione del modello di stile di attesa è un ottimo modo per procedere quando si dispone di una citazione non quotata su un numero ragionevolmente elevato di righe, |
| |
spesso in centinaia di milioni di righe o più. L'affermazione ragionevolmente grande è intenzionalmente ambigua e dipende dal compito da svolgere. Detto questo, le 12 righe che vedi qui sono davvero troppo piccole e vengono utilizzate qui solo a scopo illustrativo. |
| |
Nei DOE, di solito ci troviamo in situazioni in cui ci sono seri vincoli di tempo e / o risorse. |
| |
Un'idea centrale degli esperimenti progettati, in particolare gli esperimenti progettati in modo ottimale che sono una capacità chiave di JMP, consiste nell'ottenere informazioni della massima qualità impacchettate nel minor numero di righe possibile. |
| |
Molte persone brillanti nel corso di molti anni hanno creato strumenti statistici come test F, grafici semi-normali e criteri di selezione del modello, come AIC e BIC, |
| |
che ci aiutano a prendere decisioni sui modelli per i dati DOE. Queste sono tutte guide che ci aiutano a identificare quale modello dovremmo utilizzare per basare le nostre decisioni scientifiche, ingegneristiche e di produzione. |
| |
Una cosa che non si fa spesso è applicare la selezione del modello di apprendimento automatico agli esperimenti progettati. Perché dovrebbe essere così? |
| |
Una ragione importante è che le informazioni sono racchiuse così strettamente nei progetti che la rimozione anche di poche osservazioni può causare il collasso degli effetti e delle interazioni principali |
| |
in modo che non siamo più in grado di separarli in effetti stimabili in modo univoco. Se provi a farlo comunque, probabilmente vedrai avvisi di report del software, come gradi di libertà persi o dettagli di singolarità aggiunti al report del modello. |
| |
Ora condurremo un piccolo esperimento mentale. E se provassimo a imbrogliare un po '? |
| |
E se copiassimo tutte le righe dalla tabella originale, le X e le Y, e etichettassimo una copia "formazione" e etichettassimo l'altra copia "convalida"? Ora abbiamo abbastanza dati, giusto? Sbagliato. Non stiamo ingannando nessuno con questo, questo è questo schema folle. |
| |
È pazzesco, perché se provi a modellare usando questo approccio e guardi qualsiasi trama dell'indice di bontà di adattamento, vedrai che renderli più complicati porta a un adattamento migliore sul set di allenamento ma perché allenamento e convalida |
| |
i set sono gli stessi in questo caso, l'approccio porterà sempre all'overfit. |
| |
Quindi torniamo indietro e rifondiamo la selezione del modello di apprendimento automatico come un racconto di due somme ponderate di quadrati calcolate sugli stessi dati. |
| |
Invece di pensare alla selezione del modello in termini di due partizioni di dati, possiamo pensarla come due colonne di pesi. |
| |
Esiste un peso di allenamento uguale a uno per le righe nel set di allenamento e altrimenti zero e colonna di convalida |
| |
che è uguale a zero per le righe di addestramento e uguale a uno per la colonna di convalida, per le righe di convalida. |
| |
Quindi, dalla selezione del modello di apprendimento automatico, possiamo pensare che ogni riga abbia la propria coppia di valori di peso, dove entrambi i pesi sono zeri binari e uno. |
| |
Averli impostati in questo modo è ciò che ci fornisce una valutazione indipendente dell'adattamento del modello. |
| |
I modelli vengono adattati trovando i valori dei parametri che riducono al minimo la somma degli errori quadrati ponderati utilizzando il peso di allenamento e le prestazioni di generalizzazione vengono misurate utilizzando la somma degli errori quadrati ponderati utilizzando i pesi delle colonne di convalida. |
| |
Se tracciamo queste coppie di pesi in un grafico a dispersione, vediamo, ovviamente, che i pesi di convalida dell'allenamento ... i pesi di addestramento e di convalida sono perfettamente anticorrelati. |
| |
Ora, cosa succederebbe se, invece di costringerci a usare coppie di valori binari perfettamente anticorrelati, allentassimo il requisito che i valori possano assumere solo i valori zero e uno |
| |
e lasciare che i pesi assumano un valore strettamente positivo? |
| |
Per fare ciò, dobbiamo rinunciare a qualcosa, in particolare, che io sappia, affinché questo funzioni matematicamente, non possiamo più avere coppie di pesi perfettamente anti-correlate, ma possiamo farlo in un modo che abbiamo ancora un sostanziale anti correlazione. |
| |
Ci sono molti modi per farlo, ma un modo per farlo sarebbe creare pesi usando lo stesso schema del bootstrap ponderato frazionalmente, dove usiamo una distribuzione esponenziale con una media di uno |
| |
per creare i pesi. E c'è un piccolo trucco che usa le proprietà della distribuzione uniforme che possiamo usare per creare coppie di pesi distribuite in modo esponenziale, ma altamente anticorrelate. |
| |
Quando si utilizza questo come schema di convalida ponderato a due colonne, lo chiamiamo autovalidazione. Phil e io abbiamo dato diversi documenti alla Discovery su questo ... proprio su questa idea. |
| |
Utilizzare questo approccio è come avere una colonna di pesi di addestramento che ha una media di varianza pari a uno e la colonna di convalida con le stesse proprietà. |
| |
In questo schema di autovalidazione, se una riga contribuisce più del peso medio alle somme di allenamento dei quadrati, quella riga contribuirà meno alle somme di convalida dei quadrati e viceversa. |
| |
C'è un componente aggiuntivo che Mike ... Voglio sottolineare che c'è un componente aggiuntivo che Mike Anderson ha creato che imposta i set di dati in questo tipo di formato che le piattaforme di modellazione di JMP Pro possono utilizzare. |
| |
Recentemente Phil ed io abbiamo assunto Trent come nostro dottorando. |
| |
Durante la primavera e l'autunno, Trent ha effettuato molte simulazioni provando molti approcci diversi per adattare i modelli ai dati DOE, incluso un intero zoo di approcci basati sull'autovalidazione. Mostrerò alcuni dei suoi risultati |
| |
qui tra un po '. Basti dire che l'approccio che ha funzionato costantemente al meglio, in termini di errore medio minimo su un set di test indipendente, è stato quello di applicare l'autovalidazione |
| |
in combinazione con procedure di selezione variabili come la selezione in avanti, ma invece di farlo una volta ripetiamo il processo dozzine o centinaia di volte, |
| |
salvando ogni volta la formula di previsione e infine calcolando la media dei modelli in tutte queste iterazioni autovalidate. E chiamiamo questa procedura generale modelli di insieme auto-convalidati o SVEM. |
| |
Quindi, per rendere le cose un po 'più concrete, fornirò un rapido esempio che lo illustra. Iniziamo inizializzando i pesi di autovalidazione. |
| |
Applichiamo procedure di selezione del modello, come il lazo o la selezione in avanti, quindi salviamo la formula di previsione nella tabella. |
| |
Ecco la prima formula di previsione. In questa iterazione, sono stati selezionati solo due effetti principali lineari. |
| |
Quindi reinizializziamo i pesi, ci adattiamo nuovamente al modello utilizzando il nuovo set di pesi e salviamo la formula di previsione. |
| |
Ecco la seconda formula di previsione con convalida automatica. Si noti che questa volta è stato scelto un insieme diverso di effetti e interazioni principali e i loro coefficienti di regressione sono diversi questa volta. |
| |
Ripetiamo questo processo un sacco di volte. |
| |
E alla fine, il modello SVEM è semplicemente la media di tutte le formule di previsione. |
| |
Ecco un diagramma succinto che illustra l'algoritmo SVEM come diagramma. Quindi l'idea di combinare le procedure di bootstrap con la media del modello |
| |
accade più e più volte, poiché siamo ... dopo aver reinizializzato i pesi. Salviamo la formula di previsione da tale iterazione. |
| |
Salviamo ... qui sto salvando il parametro ... qui l'illustrazione mostra i parametri, ma è la stessa cosa con le formule. Basta salvarli tutti e alla fine della giornata, il modello finale è semplicemente la media di tutte le iterazioni. |
| |
Una volta terminato, possiamo utilizzare quel modello SVEM nel profiler del grafico con le formule intermedie di espansione attivate in modo da poter visualizzare il modello risultante e ottimizzare il nostro processo e così via. |
| |
Adesso esaminerò i risultati della ricerca di tesi di Trent. |
| |
a Box Behnkens e DSD in quattro e otto fattori. Ogni simulazione consisteva in 1.000 repliche di simulazione e ogni simulazione aveva il proprio set di valori dei parametri reali per il nostro modello di superficie a risposta quadratica. |
| |
I parametri attivi erano distribuiti in modo doppiamente esponenziale e abbiamo esplorato diverse percentuali di effetti attivi dal 50% al 100%. |
| |
Per ciascuna delle 1.000 ripetizioni della simulazione, la previsione SVEM è stata valutata rispetto al modello reale su un set di test indipendente che consisteva in un progetto di riempimento dello spazio di 10.000 corse sullo spazio dei fattori. |
| |
Abbiamo esaminato un gran numero di diversi approcci di modellazione classici a scatto singolo, nonché una serie di variazioni su tutta la convalida. |
| |
Ma è più facile guardare solo i risultati più interessanti poiché c'erano troppe cose da confrontare. La storia era molto coerente in tutte le situazioni che abbiamo indagato. |
| |
Questa è una di quelle simulazioni in cui il progetto di base era un progetto di screening definitivo, con otto fattori e 21 sequenze. In questo caso il 50% degli effetti era diverso da zero. |
| |
Ciò significa che il modello aveva tanti parametri diversi da zero quante erano le corse, più o meno. |
| |
A sinistra ci sono i box plot dell'errore quadratico medio della radice logaritmica per il Lazo, il selettore di Dantzig, la selezione in avanti e la selezione in avanti potata, tutti sintonizzati utilizzando l'AICc, il metodo con le migliori prestazioni. |
| |
Inoltre, la migliore esecuzione dei metodi dalla piattaforma fit definitive è successiva, seguita da SVEM applicato a una modellazione diversa ... diverse procedure di modellazione diverse sulla destra. |
| |
C'è una drastica riduzione dell'errore quadratico medio della radice del set di test indipendenti, quando confrontiamo gli RMSE del set di test rispetto alle previsioni SVEM. |
| |
E nota che questo è su una scala logaritmica, quindi questa è una differenza piuttosto drammatica nelle prestazioni predittive. |
| |
Ecco un risultato ancora più interessante. Questa è stata la trama che mi ha davvero lasciato senza fiato. Questa è la stessa configurazione di simulazione, tranne che qui tutti gli effetti sono diversi da zero. |
| |
Quindi i veri modelli sono sovrasaturati, non solo nella matrice di progettazione ma nei parametri stessi. |
| |
In passato abbiamo dovuto presumere che il numero di effetti attivi fosse un piccolo sottoinsieme di tutti gli effetti e certamente inferiore al numero di righe. |
| |
Qui stiamo ottenendo modelli ragionevolmente accurati nonostante il numero di parametri attivi, essendo circa due volte il numero di righe, il che è davvero notevole. |
| |
Ora farò una rapida illustrazione |
| |
di SVEM per mostrare come puoi applicarlo ai tuoi DOE storici. Userò un esempio reale di un DOE a cinque fattori da un processo di fermentazione, in cui la risposta di interesse era la resa del prodotto misurata dal titolo pDNA. |
| |
Il grande vantaggio di SVEM è che possiamo ottenere modelli più precisi con meno corse. Ciò significa che possiamo prendere i set di dati esistenti, |
| |
utilizzare il nuovo scenografo candidato in JMP 16 per identificare il sottoinsieme di righe che formano il cuore predittivo delle virgolette non quotate del progetto originale. |
| |
Prenderò i dati originali che avevano 36 righe, caricherò le cinque colonne come covariate e dirò al designer personalizzato di fornirmi il sottoinsieme di 16 righe del design originale che offre le migliori prestazioni previste a quella dimensione. |
| |
Quindi nasconderò ed escluderò tutte le righe che non sono in quel sottoinsieme, in modo che possano essere successivamente utilizzate come set di test indipendente. |
| |
Eseguirò il modello SVEM e confronterò le prestazioni del modello SVEM con quelle che ottieni se applichi una procedura standard come la selezione in avanti, più l'adattamento AICc alle stesse 16 sequenze. |
| |
Voglio dire che il nuovo scenografo candidato in JMP 16 è un ... è anche un contributo notevole e voglio solo sottolineare quanto sia stato incredibile il team di Brad nella creazione di questo nuovo strumento che sarà profondamente utile in molti modi, incluso con SVEM. |
| |
Quindi, per fare questo, possiamo prendere il nostro set di dati, andare al designer personalizzato. |
| |
Selezioniamo le righe covariate, quindi questo è un nuovo nodo della struttura in JMP 16. |
| |
Quindi selezioniamo i cinque fattori di input. |
| |
Fare clic su Continua. |
| |
E premeremo il pulsante RSM, che convertirà automaticamente i criteri di ottimalità in un progetto di tipo I-ottimale o predittivo. |
| |
Selezioniamo tutti i fattori di non intercettazione e facciamo clic con il tasto destro del mouse su ... nel modello ... |
| |
seleziona l'elenco qui e crea ... imposta tutti gli effetti di non intercettazione come se fossero possibili effetti. Questo è ciò che ci permette di avere modelli |
| |
con più parametri al loro interno di quanti ce ne siano come progettazione di base, poiché i criteri di progettazione saranno ora un progetto I-ottimale bayesiano. Ora possiamo impostare il numero di corse pari a 16. |
| |
Fare clic su crea design. |
| |
E una volta fatto ciò, l'ottimizzatore fa la sua magia e tutte le righe che si trovano nel design del sottoinsieme I-ottimale bayesiano sono ora selezionate nella tabella originale. |
| |
Possiamo andare alla tabella e quindi utilizzare un indicatore o una colonna di trasformazione per registrare la selezione di riga corrente. |
| |
E sono andato avanti e ho rinominato la colonna con un nome significativo per dopo. |
| |
Possiamo selezionare i punti non nel progetto del sottoinsieme selezionando tutte le righe in cui la nuova colonna dell'indicatore è uguale a zero. |
| |
Quindi possiamo nascondere ed escludere quelle righe in modo che non vengano incluse nel nostro processo di adattamento del modello. |
| |
Phil mostrerà il componente aggiuntivo SVEM, quindi salterò i passaggi di modellazione e andrò direttamente a un confronto del modello della selezione in avanti più AICc e il modello SVEM sulle righe non incluse nel design del sottoinsieme I-ottimale bayesiano. Quindi puoi vedere quel confronto qui in rosso ... |
| |
nella parte rossa del report qui. Vediamo che SVEM ha un quadrato R su |
| |
set di test indipendente di .5, e la procedura classica, ha un quadrato R di .22, quindi stiamo ottenendo fondamentalmente il doppio della quantità di variazione spiegata con SVEM rispetto alla procedura classica. |
| |
Possiamo anche confrontare le tracce del profilo dei due modelli quando applichiamo SVEM a tutte le 46 osservazioni. |
| |
È chiaro che stiamo ottenendo lo stesso modello fondamentalmente con quando applichiamo SVEM a tutte le 46 corse, dato che otteniamo solo 16 corse sotto SVEM. |
| |
Ma al modello basato sulla selezione in avanti mancano i termini di curvatura, da non perdere ... per non parlare del fatto che mancano anche molte interazioni. Questa è una procedura abbastanza ... procedura abbastanza semplice che puoi usare per testare SVEM sui tuoi dati storici. |
| |
Quindi nel complesso SVEM |
| |
solleva molte domande. Molti di essi sono incentrati sul ruolo dei gradi di libertà negli esperimenti di progettazione poiché ora siamo in grado di adattare i modelli in cui ci sono più parametri che righe, il che significa che ci sarebbero effettivamente gradi di libertà negativi, se ci fosse una cosa del genere. |
| |
Penso che questo ci indurrà a riconsiderare il ruolo del pensiero basato sul valore P nella sperimentazione industriale. |
| |
Dovremo lavorare per stabilire nuovi metodi per l'incertezza nell'analisi, come la previsione ... negli intervalli di confidenza sulle previsioni. |
| |
Phil ed io stiamo lavorando per cercare di capire qual è la migliore famiglia di modelli base su cui possiamo lavorare. Quindi questo potrebbe essere un RSM quadratico e stiamo anche guardando questi modelli cubici parziali che erano stati proposti molto tempo fa, ma ora riteniamo che siano degni di essere riconsiderati. |
| |
Che tipo di design dovremmo usare? Quali dimensioni del campione sono appropriate in funzione del numero di fattori nel modello di base che stiamo utilizzando? Qual è il ruolo degli esperimenti di screening? E una grande incognita è qual è il ruolo del blocco e della sperimentazione della trama divisa |
| |
in questo quadro? |
| |
Quindi ora lo consegnerò a Phil. Farà un caso di studio più approfondito e dimostrerà anche il componente aggiuntivo SVEM di Predictum. Portalo via, Phil. |
| Philip Ramsey |
Va bene, grazie, Chris. E quello che farò è discutere un caso di studio, quindi lasciami inserire questo |
| |
slideshow e ne farò un po ' |
| |
illustrazione, come ha detto Chris, del Predictum |
| |
componente aggiuntivo che in realtà automatizza gran parte dell'analisi SVEM. E quello che stiamo cercando di esaminare è un metodo analitico utilizzato nel settore delle biotecnologie. |
| |
E questo serve per caratterizzare il glicoprofilo di proteine terapeutiche, fondamentalmente proteine che diventano anticorpi. |
| |
E molti di voi che lavorano in quell'industria sanno che le glicoproteine sono davvero una fonte molto ricca di terapie e sapete anche che se lavorate per vedere GMP, dovete dimostrare l'affidabilità dei sistemi di misurazione. E in realtà per il glycoprofiling, |
| |
metodi analitici veloci e facili da usare non sono realmente completamente sviluppati. Quindi l'idea di questo esperimento era di trovare un metodo abbastanza semplice e veloce che le persone potessero usare che avrebbe dato loro una valutazione accurata dei diversi |
| |
(Non sono chimico qui) gli zuccheri che sono stati |
| |
attaccata alla trascrizione della proteina di base. |
| |
E per darti un'idea, l'idea di usare la cromatografia e presumo che tu abbia una certa familiarità con essa, fondamentalmente è un metodo in cui tu |
| |
hai qualche soluzione, la fai scorrere attraverso una colonna e poi, mentre le diverse specie chimiche attraversano la colonna, |
| |
tendono a separarsi e ad uscire dalla colonna in momenti diversi. Quindi fondamentalmente una forma, quello che viene chiamato un cromatagramma, dove il picco |
| |
è una funzione della concentrazione e il momento in cui si verifica il picco è effettivamente importante per identificare cosa fosse effettivamente la specie. Quindi, in questo caso, esamineremo un certo numero di file |
| |
zuccheri. Li chiamerò semplicemente glicoformi e quello che sta succedendo qui è che gli scienziati che hanno svolto questo lavoro hanno sviluppato una soluzione di calibrazione. |
| |
E sappiamo esattamente cosa c'è nella soluzione di calibrazione. Sappiamo esattamente quali picchi dovrebbero eluire e approssimativamente dove. |
| |
Quindi possiamo confrontare un campione di anticorpo umano reale con il campione di calibrazione. E alcuni di questi glicoformi vengono caricati. Sono difficili da far passare attraverso la colonna. |
| |
Tendono a rispettarlo, quindi stiamo usando quella che a volte viene chiamata procedura di eluizione in gradiente. |
| |
E non entrerò nei dettagli. E quello che stiamo facendo qui, stiamo usando una cosa chiamata cromatografia a scambio anionico ad alte prestazioni. Non sono un esperto in materia, ma lo scienziato con cui ho lavorato lo ha fatto |
| |
un ottimo lavoro di sviluppo di questa calibrazione e il motivo per cui abbiamo bisogno di una soluzione di calibrazione che storicamente |
| |
gli zuccheri che eluiscono da un campione di anticorpo umano non sono del tutto prevedibili su dove usciranno da una colonna, quindi abbiamo qualcosa che possiamo usare per la calibrazione. |
| |
Così. |
| |
La persona che ha svolto il lavoro, e la citerò tra un momento, ha progettato due esperimenti separati. Uno è un design a tre livelli con 16 passaggi. |
| |
E poi più tardi è tornata e ha fatto un progetto più grande di 28 corse, a tre livelli. E quindi uno potrebbe essere utilizzato come set di addestramento e l'altro è un set di convalida, ma per dimostrare il selettore di covariate e la strategia I-ottimale bayesiana di cui ha parlato Chris, |
| |
entrambi i modelli sono stati combinati in un unico progetto da 44 passaggi. Allora noi |
| |
ha preso quel design in un design personalizzato con il selettore di covariate e poi ha creato vari design bayesiani I-ottimali. |
| |
E avremmo potuto fare più combinazioni, ma abbiamo solo così tanto tempo per parlarne. Quindi ci sono tre design. Uno ha 10 corse, ricorda i cinque fattori e stiamo facendo 10 corse. |
| |
Un progetto a 13 passaggi e un progetto a 16 passaggi e, ancora, potremmo fare molto di più. Quindi, quello che vogliamo fare è vedere come questi |
| |
i progetti vengono eseguiti dopo che abbiamo utilizzato la ventola per adattare i modelli e, a proposito, come ha menzionato Chris, in ciascuno di questi progetti, le sequenze che non sono selezionate tra le 44 vengono quindi utilizzate come set di convalida o test per vedere quanto bene il modello eseguita. |
| |
Ok, quindi questi sono i fattori iniziali, la quantità iniziale di acetato di sodio, la quantità iniziale di idrossido di sodio. E poi ci sono tre fasi separate di eluizione del gradiente che hanno luogo |
| |
durante il tempo di processo, che dura circa 40 minuti. Quindi queste sono le impostazioni che vengono utilizzate e manipolate nell'esperimento. |
| |
In realtà, in questo esperimento, ci sono 44 diverse risposte che si potrebbero osservare. Quindi, visto il tempo che abbiamo a disposizione, ne esaminerò due. |
| |
Uno è il tempo di ritenzione per glycoform 3, e questa è la chiave, questo è ciò che fissa il cromatogramma di calibrazione. |
| |
E vorremmo che uscisse a circa otto minuti e mezzo perché si allinea bene con i campioni di anticorpi umani. |
| |
In realtà è abbastanza facile da modellare. La seconda risposta è il tempo di ritenzione di glycoform 10. È un glicoformio carico. Eluisce molto tardi e tende a raggrupparsi con altri glicoformi carichi ed è più difficile da distinguere. OK, quindi queste sono le due risposte che guarderò. |
| |
E per coloro che non hanno familiarità con la cromatografia, ecco un paio di quelli che vengono chiamati cromatogrammi. Queste sono essenzialmente le risposte, |
| |
immagini di come appaiono le risposte e, in questo caso, se dai un'occhiata all'immagine, esamineremo il tempo di conservazione, ovvero quando |
| |
Il picco 3 viene fuori? A che ora e poi, a che ora è uscito il picco 10 e si è mostrato nel cromatogramma? E, a proposito, nota tra i due |
| |
cromatogrammi che sto mostrando, quanto sono diversi i profili. Quindi in questo esperimento quando abbiamo manipolato quei fattori sperimentali |
| |
(e tra l'altro, abbiamo 44 di questi cromatogrammi; ve ne mostro due), vedete molte differenze nelle forme e nei tempi di ritenzione e così via di questi picchi e nella risoluzione. Quindi qualunque cosa stiamo facendo, stiamo chiaramente manipolando |
| |
i cromatogrammi, e per quelli di voi che sono curiosi, sì, in futuro stiamo pensando a questo come dati funzionali e come potrebbe essere utilizzata l'analisi dei dati funzionali. |
| |
Ma questo è spesso il futuro, ma è sicuramente qualcosa a cui siamo molto interessati. I cromatogrammi sono davvero dati funzionali alla fine. Ma estrarò solo due funzionalità e cercherò di modellarle. Va bene. E voglio anche dare credito a |
| |
Dott.ssa Eliza Yeung di Cytovance Biologics, una buona amica ed eccellente scienziata. E lei ha fatto tutto il lavoro sperimentale ed è stata lei che ha avuto l'idea di costruire il ... |
| |
quello che lei chiama la scala del glucosio, la soluzione di calibrazione. Ed Eliza, oltre ad essere una brava persona, ama anche JMP. Quindi ci piace Eliza in molti modi, okay. Eccellente scienziato. Va bene, quindi |
| |
prima di entrare |
| |
SVEM, voglio solo menzionare ... Chris ha menzionato il modello quadratico completo che è stato utilizzato da allora, nel 1950, come base per l'ottimizzazione. |
| |
Fondamentalmente, tutti gli effetti principali, interazioni di due fattori e termini al quadrato. In effetti, per molti sistemi fisici complessi, la cinetica è in realtà troppo complessa per quel modello. |
| |
E Cornell e Montgomery, in un articolo davvero carino nel 1998, lo fecero notare e suggerirono che in molti casi, |
| |
quello che chiamano modello di interazione, noi lo chiamiamo modello cubico parziale, potrebbe funzionare meglio. E nella mia esperienza, usando SVEM e applicando questo modello a molti casi di studio, hanno ragione. Fornisce modelli predittivi effettivamente migliori, ma c'è un problema. |
| |
Questi modelli cubici parziali possono essere enormi e rappresentano una grande sfida per le strategie di modellazione tradizionali in cui i modelli sovrasaturi, come ha detto Chris, sono un grosso problema. |
| |
Quanti potenziali termini ci sono? Bene, prendi K quadrato, due volte quello e aggiungine uno per l'intercetta. Quindi per cinque fattori, il pieno |
| |
il modello cubico parziale avrebbe 51 termini. A proposito, userò questi modelli, ma userò solo 40 dei termini che di solito sono i più importanti. |
| |
E poi useremo la modellazione d'insieme auto-convalidante per adattare i modelli e, come ha detto Chris, SVEM non ha problemi con i modelli sovrasaturi. |
| |
E a proposito, nella letteratura sull'apprendimento automatico, i modelli sovrasaturi sono sempre adatti. |
| |
E utilizzando le giuste tecniche di apprendimento automatico, puoi effettivamente ... possono effettivamente mostrarti, che ottieni migliori prestazioni di previsione. |
| |
Questo è in gran parte sconosciuto nelle statistiche tradizionali, ok. Quindi utilizzeremo il componente aggiuntivo SVEM e ho menzionato se desideri saperne di più, puoi contattare Wayne Levin, che ha già parlato, a Predictum e sono sicuro che Wayne vorrebbe parlare con te. |
| |
Quindi passiamo brevemente a JMP. |
| |
E ti mostrerò come funziona effettivamente il componente aggiuntivo, quindi fammi portare JMP. |
| |
Quindi ho installato il componente aggiuntivo in modo che abbia la sua scheda. Quindi clicco su Predictum. A proposito, questo è uno dei progetti I-ottimali bayesiani che abbiamo creato e questo ha 16 sequenze. Selezionare la modellazione dell'insieme di auto-convalida. |
| |
Quindi vedi quello che sembra il tuo tipico dialogo di lancio del modello in forma. Selezionerò i miei cinque fattori. |
| |
A questo punto farò solo un modello di superficie di risposta per l'illustrazione e voglio modellare |
| |
tempo di ritenzione per glicoformio 3. Notare in background, questa configurazione, la tabella di autovalidazione, quindi c'è una funzione di attesa. |
| |
E c'è una parte di autovalidazione. È tutto in sottofondo, non è necessario vederlo. Ma la sega ... ma il componente aggiuntivo lo ha creato e poi praticamente lo nasconde, ma puoi guardarlo, se vuoi, ma è nascosto perché non è terribilmente importante vederlo. |
| |
Quindi ora apriamo GenReg, quindi questo è GenReg |
| |
pannello di controllo. E a titolo illustrativo, a proposito, SVEM è davvero agnostico in termini di metodo con cui lo usi per la costruzione del modello. Quindi, in effetti, potresti usare metodi che non sono nemmeno in GenReg, ma questo è il nostro obiettivo principale oggi. Quindi faremo una selezione in avanti. |
| |
E poiché abbiamo solo così tanto tempo, farò solo 10 ripetizioni. |
| |
Fai clic su vai e creeremo il modello. |
| |
Quindi ecco l'output per solo 10 ripetizioni e ottieni una trama effettiva per prevista. Ma ciò che è veramente bello di questo, è che in realtà crea la media del modello dell'ensemble per te. |
| |
Quindi clicco sul modello dell'insieme di auto-convalida, salvo la formula di previsione. Quindi vado avanti e chiudo questo display. |
| |
Venire. |
| |
E c'è il mio modello. |
| |
Ora posso prendere questo modello e posso procedere e applicarlo ai dati di convalida. Quindi abbiamo 16 corse selezionate, quindi ce ne sono altre 28 disponibili che possono essere utilizzate come set di convalida per vedere come abbiamo effettivamente fatto. Quindi a questo punto tornerò al file |
| |
presentazione e, a proposito, senza il componente aggiuntivo SVEM, può essere un po 'difficile, soprattutto se non sei particolarmente esperto nello scripting JMP |
| |
per creare effettivamente questi modelli. Quindi quel componente aggiuntivo, potrebbe non sembrare che abbia fatto un sacco di lavoro in background, okay. Allora come abbiamo fatto? Quindi fammi rimettere questo nella presentazione. |
| |
Quindi quello che ho fatto, ci sono tre progetti, un progetto a 16 passaggi, 13 passaggi e poi ho scelto 10 passaggi. Spingiamo davvero oltre i limiti. |
| |
E ci sono due risposte, come ho detto, glycoform 10 eluisce tardi e tende ad essere rumoroso e può essere difficile da risolvere. Quindi, per il progetto a 16 fasi, in realtà mi adatto a un modello cubico parziale a 40 termini. Tienilo a mente, 16 corse. E mi adeguo a un modello a 40 termini. |
| |
E poi la chiave per questo è l'errore quadratico medio della radice sul set di convalida, ok. Così |
| |
Adattamento il mio sesto ... il mio modello a 40 termini, e poi il |
| |
L'errore quadratico medio della radice sul set di convalida era basso e la R di convalida al quadrato era effettivamente vicina a 98, quindi si adattava molto, molto bene. |
| |
Avviso, anche per i più rumorosi |
| |
glycoform 10, abbiamo ancora un buon modello. Vi mostrerò alcune trame effettive per previste. Quindi abbiamo fatto questo per 13, ancora una volta per 13, abbiamo ottenuto ottimi risultati. |
| |
E poi finalmente per 10. A proposito per 10, mi sono adattato al modello quadratico completo standard, mi sentivo come se stessi davvero sfidando la mia fortuna. |
| |
Ma avrei potuto andare avanti e provare il cubo parziale. E nota, ancora una volta, anche con 10 corse, modellando il tempo di ritenzione di glycoform 3, ho ottenuto un R quadrato .94. |
| |
Per me, è davvero impressionante e di nuovo ho modellato ... il mio modello aveva il doppio dei predittori rispetto alle osservazioni e anche con il difficile modellare glycoform 10, abbiamo fatto abbastanza bene. |
| |
Quindi, ecco alcuni grafici effettivi in base alle previsioni e di nuovo scelgo glycoform 10 perché è davvero difficile da modellare. |
| |
Quindi non volevo ingannare troppo il sistema. So per esperienza che è difficile modellare. Quindi c'è una trama reale per prevista. C'è un altro vero e proprio complotto previsto per il progetto a 10 fasi, che funziona ancora abbastanza bene |
| |
se consideri cosa stiamo cercando di fare qui. |
| |
E poi finalmente, come siamo andati nel complesso? |
| |
Quindi questo è un tavolino che ho messo insieme e ho preso il progetto a 16 passaggi come linea di base, e poi quello che sto facendo è confrontare quello che è successo quando abbiamo adattato il 10- |
| |
modello a termine e il termine di 13 per il tempo di conservazione per G10. |
| |
Noterai che abbiamo ricevuto un errore piuttosto grande per 13 e uno molto più piccolo per 10. Non so perché Ho scelto di mostrare solo quali erano i risultati. È un po 'un mistero e non sono tornato per esplorarlo. |
| |
Ma per il tempo di conservazione tre, nota che passo da 16 a 10. Sì, ho ottenuto un aumento dell'errore quadratico medio della radice, ma sai se guardi il grafico effettivo per previsto, |
| |
fa ancora un buon lavoro di previsione sul set di convalida. Quindi il punto di questo essere, e questo è, so che questo è, lavoro molto con le aziende biotech, il |
| |
effettive efficienze che potreste potenzialmente ottenere nei vostri progetti sperimentali e so che per molti di voi questi esperimenti sono costosi. |
| |
E ancora più importante, richiedono molto tempo. Questo può davvero abbreviare il tempo di sperimentazione e ridurre il budget sperimentale e ottenere ancora più informazioni. |
| |
Quindi solo una specie di rapida conclusione a questo. Questa procedura SVEM e questa, e come Chris ha mostrato, tu l'abbiamo studiata in simulazioni e casi di studio. |
| |
SVEM è ottimo per i modelli sovrasaturi. Non ci entrerò, ma dalla pratica dell'apprendimento automatico i modelli sovrasaturi sono noti per funzionare molto bene. Usano tutto il tempo e l'apprendimento profondo come esempio. |
| |
Fondamentalmente, come dice Chris, SVEM sta combinando l'apprendimento automatico con la progettazione di esperimenti. |
| |
E ancora più importante, una volta che inizi a percorrere il sentiero di SVEM, questo, a sua volta, informa su come pensi di sperimentare. |
| |
Quindi, fondamentalmente usando SVEM, possiamo iniziare a pensare a esperimenti altamente efficienti che possono davvero accelerare il ritmo dell'innovazione e ridurre effettivamente i tempi ei costi della sperimentazione. E con il tempo per sviluppare prodotti e processi |
| |
diventando ... i tempi di consegna si accorciano sempre di più, questo non è un punto banale, e so che molti di voi nel biotech devono anche far fronte a seri vincoli di budget. |
| |
E poi (a proposito, la maggior parte delle persone lo è) e infine un'area promettente sono i progetti ottimali bayseiani. |
| |
E ancora, menzionerò che Brad Jones e il suo gruppo hanno fatto un ottimo lavoro introducendoli in JMP. È l'unico pacchetto software che conosco che esegue effettivamente progetti ottimali I bayesiani. |
| |
E pensiamo che SVEM aprirà la finestra a molte possibilità. Quindi, fondamentalmente, questa è la mia storia e la passerò a Wayne Levin. |
| Wayne Levin |
Grazie mille per questo |
| |
Phil e Chris. Spero che tutti possano vedere che c'è un sacco di lavoro, molte ricerche sono state fatte su questo, comprese alcune |
| |
lavoro nelle trincee, potresti dire, e sono in questo gioco da oltre 30 anni ormai, non mi dispiace dirti che sono molto entusiasta di quello che vedo qui. |
| |
Penso che questo possa essere davvero trasformativo, davvero cambiato cosa ... il modo in cui vengono condotti gli esperimenti industriali qui. In precedenza ero molto eccitato solo dai progetti sovrasaturi e basta |
| |
facilitato con un designer personalizzato e ora con ... questo è dal lato del design. |
| |
di cose. |
| |
Ora, quando porti SVEM dal lato dell'analisi, voglio dire che questi sono due grandi gusti |
| |
che vanno alla grande insieme, potresti dire. Quindi, comunque, solo per concludere, farò scorrere qui questo |
| |
Phil, io e Marie Goddard, stiamo organizzando un corso su richiesta (dovrebbe essere disponibile il prossimo trimestre, come ad aprile) |
| |
su esperimenti progettati in modo misto, e in quel corso concentreremo una buona quantità di tempo su SVEM. Quindi, se ti interessa, fammelo sapere o lo faremo ... così possiamo farti sapere o seguirci su LinkedIn o una di quelle cose. |
| |
E per il componente aggiuntivo SVEM, ancora una volta, se posso permettermi, sono lieto che siamo stati i primi a lanciarlo sul mercato. |
| |
Ci stiamo lavorando duramente da diversi mesi. Facciamo una nuova versione ogni mese, quindi si sta evolvendo man mano che riceviamo feedback dal campo, e voglio ringraziare molto Phil |
| |
per aver guidato questo. E ha collaborato con uno dei nostri sviluppatori (???) ed è stato davvero uno sforzo fantastico, un sacco di duro lavoro |
| |
per arrivare a questo punto e vogliamo renderlo disponibile. E così, come Phil ha detto prima, ci sono davvero due modi per provare questo. Uno è solo provare il componente aggiuntivo stesso, |
| |
funziona con 14 e 15. E con 16 in uscita, penso che funzionerà anche per 16. Richiede JMP Pro, quindi se non hai JMP Pro, c'è un collegamento qui, dove puoi richiedere ... per ottenere una licenza di prova di JMP Pro. |
| |
E puoi ottenere questo collegamento, ovviamente, scaricando le diapositive per questa presentazione. Quindi è così che puoi ottenerlo, quindi questo è un modo in cui puoi lavorarci per provarlo tu stesso. |
| |
Un altro modo è semplicemente contattarci e possiamo lavorare con te sulla base di una prova di concetto, va bene. |
| |
E potremmo fare alcune analisi comparative e così via e, naturalmente, rivedere quell'analisi con te. Quindi sai che metteremo a posto i documenti necessari e |
| |
non ci importa provarlo. L'abbiamo fatto per un buon numero di aziende e questo potrebbe essere il modo più semplice per te, qualunque cosa funzioni per te. Ok, e per ora, quello che mi piacerebbe fare è |
| |
aprilo per eventuali domande o commenti in questo momento. Dirò a nome di Chris e Phil, grazie per esservi uniti a noi. Quindi va bene, domande e commenti, per favore. |
