Altoparlante
|
Trascrizione
|
| Wayne Levin |
modello d'insieme auto-validante, poiché lo consideriamo come un cambiamento di paradigma nella progettazione degli esperimenti e così via. |
| |
Basta... eccoci qua. Il nostro programma qui è... faremo... solo una breve introduzione su chi sta parlando. |
| |
Allora, cosa, perché e come della SVEM. Quindi avremo una rapida panoramica del DOE e dell'apprendimento automatico, descriveremo la loro fusione in SVEM, analizzeremo alcuni esperimenti SVEM nel mondo reale... nel mondo reale e lo faremo |
| |
rivedere alcune ricerche attuali e dimostrare il nuovo candidato scenografo di JMP, nuovo in JMP 16, e poi finiremo con i soliti passi successivi, domande e risposte e così via. |
| |
SVEM è un nuovo metodo straordinario per estrarre più informazioni con meno cicli sperimentali e costruire modelli predittivi più accurati da piccoli insiemi di dati, compresi i DOE. |
| |
Utilizzando SVEM quindi anticipiamo, promettiamo che avrete costi inferiori, sarete più rapidi sul mercato e risolverete i problemi molto più velocemente. Esploreremo tutto ciò man mano che andiamo avanti. |
| |
nella sessione. |
| |
Mi chiamo Wayne Levin e sono il presidente di Predictum e insieme a me c'è Chris Gotwalt, che è il capo scienziato dei dati di JMP, e si unisce a noi anche Phil Ramsey, che è un data scientist senior qui a Predictum e professore associato presso l'Università di New Hampshire. |
| |
Quindi facciamolo |
| |
fare il punto qui. Il contributo di JMP alla scienza dei dati è enorme, quindi lo sappiamo tutti, e nello spazio DOE che risale a oltre 20 anni fa, sarebbe...JMP 4, con l'algoritmo di scambio di coordinate. |
| |
E poi circa otto anni fa, nove anni fa, abbiamo visto uscire i progetti di screening definitivi. E ci piace pensare che SVEM, come lo chiamiamo in breve, modellazione d'insieme auto-validante (provate a dirlo velocemente tre volte), ci piace pensare che questo sia un altro contributo. |
| |
machine learning e progettazione di esperimenti. |
| |
Supera le limitazioni di quantità limitate di dati, giusto. Con piccole quantità di dati non è possibile eseguire l'apprendimento automatico, normalmente è necessario disporre di grandi quantità di dati per realizzarlo. |
| |
Ora abbiamo provato SVEM sul campo e diverse aziende si sono rivolte a noi e abbiamo reso disponibile una versione di prova di SVEM. Erano a |
| |
Predictum, il primo a creare un prodotto in quest'area, a portare un prodotto sul mercato e voglio solo condividere con voi alcune delle cose che abbiamo imparato finora. |
| |
E uno è che SVEM funziona eccezionalmente bene. Voglio dire, quando hai più parametri e numero di esecuzioni, funziona molto bene con |
| |
modelli di ordine superiore. Fornisce previsioni più accurate e aiuta anche a recuperare dai DOE non funzionanti. Quindi, ad esempio, se disponi di uno screening definitivo, progetta quello per |
| |
qualunque sia la ragione che non può essere considerata definitiva, ci sono stati inviati alcuni DOE storici |
| |
mancanza di potere. Loro, semplicemente, non hanno trovato nulla e, con SVEM, in realtà è stato trovato. È stato in grado di farlo. E sai che abbiamo avuto casi in cui c'erano alcune esecuzioni mancanti o discutibili. |
| |
Qualcos'altro che abbiamo imparato è che non ti aiuterà con il fattoriale razionale, quindi cose del genere. Siamo interessati ai modelli predittivi qui |
| |
e i fattoriali frazionari in realtà non forniscono modelli predittivi; non sono progettati per quello. Quindi non ti darà qualcosa per cui i dati non sono strutturati, |
| |
almeno non in quella misura. L'altra cosa che abbiamo imparato è che non abbiamo ancora testato l'intero potenziale di SVEM. Per farlo, ne abbiamo davvero bisogno |
| |
progettare esperimenti con SVEM in mente per cominciare, e ciò significa considerare più fattori. Non vogliamo considerare solo tre o quattro fattori. Che ne dici di 10, 15 o anche di più? |
| |
Dalla ricerca comprendiamo che Chris e Phil parleranno del fatto che i progetti bayesiani I-ottimali sono i migliori... l'approccio migliore per l'utilizzo con SVEM e anche progetti misti |
| |
sono stati particolarmente utili per SVEM e di questo avrò qualcosa in più da dire in seguito. E per quanto riguarda SVEM |
| |
se desideri provarlo, alla fine avremo alcune informazioni dopo che Chris e Phil ne avranno parlato. E quindi, detto questo, te lo dirò, Chris, chi lo farà |
| |
approfondire il cosa, il perché e il come di SVEN. Quindi vai a te, Chris. |
| Chris Gotwalt |
Va bene, benissimo, grazie, Wayne. Oh aspetta, sto condividendo il mio schermo? |
| Wayne Levin |
Non ancora. |
| |
Eccoci qua. |
| Chris Gotwalt |
Ok, va bene, bene, grazie, Wayne. |
| |
Quindi ora introdurrò l'idea dei modelli di insieme auto-validanti o SVEM. |
| |
Lo manterrò abbastanza semplice. Presumo che tu abbia una certa esperienza nella progettazione e nell'analisi degli esperimenti. |
| |
Ancora più importante, dovresti capire che il processo di modellazione statistica si riduce all'adattamento delle funzioni ai dati |
| |
quella variabile di risposta del predittore in funzione delle variabili di input. Ad alto livello, SVEM è un ponte tra algoritmi di apprendimento automatico che utilizzano applicazioni di big data |
| |
e la progettazione degli esperimenti, che è generalmente vista come un piccolo ma valido problema di analisi. L’apprendimento automatico e il DOE hanno ciascuno una lunga storia, ma fino ad ora erano tradizioni relativamente separate. |
| |
La nostra ricerca indica che è possibile ottenere modelli più accurati utilizzando meno osservazioni utilizzando SVEM. |
| |
Ciò significa che il miglioramento del prodotto e del processo può avvenire in meno tempo utilizzando meno risorse e a costi inferiori. Quindi, se operi in un settore competitivo, |
| |
dove essere i primi sul mercato è fondamentale, allora SVEM dovrebbe essere di grande interesse per te. |
| |
In particolare, riteniamo che SVEM abbia particolari... abbia enormi promesse nei settori farmaceutico e biotecnologico, |
| |
alta tecnologia come la produzione di semiconduttori e nello sviluppo di prodotti di consumo. |
| |
Nel mio lavoro qui a JMP, ho avuto una visione a volo d'uccello di come vengono gestiti i dati in molti settori e aree di applicazione. |
| |
Ho sviluppato algoritmi per costruire esperimenti di progettazione ottimali nonché procedure di analisi correlate come modelli misti e generalizzazione dei modelli. |
| |
D'altro canto, sono anche lo sviluppatore degli algoritmi di rete neurale di JMP Pro, nonché di alcune delle altre tecniche di apprendimento automatico presenti nel prodotto. |
| |
Negli ultimi 20 anni ho visto l'apprendimento automatico diventare sempre più importante nella modellazione di grandi set di dati osservativi e vedendo molti nuovi |
| |
algoritmi che sono stati sviluppati. Allo stesso tempo, anche l’analisi degli esperimenti progettati è cambiata, ma in modo più incrementale negli ultimi 20 anni. |
| |
La metodologia statistica complessiva della sperimentazione industriale sarebbe stata riconoscibile da chiunque avesse letto Box, Hunter e Hunter alla fine degli anni ’70. |
| |
L’apprendimento automatico e la progettazione di esperimenti vengono generalmente applicati all’industria per risolvere problemi di natura predittiva. |
| |
Utilizziamo questi strumenti per rispondere a domande, ad esempio se il sensore indica un lotto difettoso o come possiamo adattare il processo per massimizzare la resa riducendo al minimo i costi. |
| |
Sebbene siano entrambi di natura predittiva, l’apprendimento automatico e la progettazione degli esperimenti si sono generalmente applicati a tipi di dati piuttosto diversi. |
| |
Quello che farò ora è fornire una rapida panoramica di entrambi e poi descrivere come li abbiamo integrati in SVEM. |
| |
Analizzerò alcuni dati di un esperimento reale, per mostrare come funziona e perché pensiamo che nel complesso stia andando molto bene. |
| |
Andrò nel complesso... andrò... esaminerò i risultati delle simulazioni effettuate da Trent Limpkiss(?), uno studente di dottorato presso l'Università del New Hampshire, che ci ha dato la certezza che l'approccio è molto promettente. |
| |
Successivamente esaminerò un esempio che mostra come utilizzare i nuovi set design candidati in JMP 16 per trovare sottoinsiemi ottimali di set di dati esistenti in modo da poter provare SVEM personalmente. |
| |
Evidenzierò alcune delle nostre osservazioni, menzionerò alcune domande future a cui speriamo di rispondere, e poi passerò il tutto a Phil, che esaminerà un caso di studio più approfondito e una demo del componente aggiuntivo SVEM. In. |
| |
Considera i semplici dati sullo schermo. È un dato del processo metallurgico e vogliamo prevedere l'entità del ritiro alla fine delle fasi di lavorazione. |
| |
Abbiamo tre variabili a sinistra che vogliamo utilizzare per prevedere il restringimento. Modellare equivale a trovare una funzione che colleghi pressione, tempo e temperatura che preveda la risposta (restringimento) qui. |
| |
Si spera che questo modello generi... si generalizzi a nuovi dati in futuro. |
| |
In un contesto di machine learning, il modo standard per farlo è partizionare i dati in due serie di righe disgiunte. Uno è chiamato set di addestramento e viene utilizzato per adattare i modelli per assicurarsi di non adattare eccessivamente i dati, |
| |
il che porta a modelli imprecisi rispetto alle nuove osservazioni. Abbiamo un altro sottoinsieme di dati, chiamato set di convalida, che viene utilizzato per testare vari modelli che abbiamo analizzato... |
| |
che sono stati adatti al set di allenamento. C'è un compromesso qui, in cui le funzioni troppo semplici si adatteranno male ai set di training e validazione perché non spiegano una variazione sufficiente. |
| |
Mentre i modelli troppo complessi possono adattarsi quasi perfettamente al set di addestramento ma saranno molto imprecisi nel set di validazione. |
| |
Utilizziamo misure come la convalida R al quadrato per trovare il modello Goldilocks che non è né troppo semplice né troppo complicato. |
| |
Questo modello di riccioli d'oro sarà quello la cui validazione R al quadrato è la più alta nel set di validazione. |
| |
Questa selezione del modello di stile di attesa è un ottimo modo di procedere quando si dispone di un numero di righe ragionevolmente elevato di una citazione senza virgolette, |
| |
spesso in centinaia di milioni di righe o più. L'affermazione ragionevolmente grande è intenzionalmente ambigua e dipende dal compito da svolgere. Detto questo, le 12 righe che vedi qui sono davvero troppo piccole e vengono utilizzate qui solo a scopo illustrativo. |
| |
Nei DOE, di solito ci troviamo in situazioni in cui ci sono seri vincoli di tempo e/o risorse. |
| |
Un'idea fondamentale degli esperimenti progettati, in particolare degli esperimenti progettati in modo ottimale che rappresentano una funzionalità chiave di JMP, consiste nell'ottenere informazioni della massima qualità racchiuse nel minor numero di righe possibile. |
| |
Molte persone brillanti nel corso degli anni hanno creato strumenti statistici come test F, grafici seminormali e criteri di selezione dei modelli, come AIC e BIC, |
| |
che ci aiutano a prendere decisioni sui modelli per i dati DOE. Sono tutte guide che ci aiutano a identificare su quale modello dovremmo basare le nostre decisioni scientifiche, ingegneristiche e produttive. |
| |
Una cosa che non viene fatta spesso è applicare la selezione del modello di machine learning agli esperimenti progettati. Ora, perché dovrebbe essere? |
| |
Una ragione importante è che le informazioni sono così fitte nei progetti che la rimozione anche di poche osservazioni può causare il collasso degli effetti e delle interazioni principali. |
| |
tanto che non siamo più in grado di separarli in effetti univocamente stimabili. Se provi a farlo comunque, probabilmente vedrai degli avvisi sul report del software, come i gradi di libertà persi o i dettagli sulla singolarità aggiunti al report del modello. |
| |
Ora condurremo un piccolo esperimento mentale. E se provassimo a imbrogliare un po'? |
| |
Cosa succederebbe se copiassimo tutte le righe dalla tabella originale, X e Y, e etichettassimo una copia "formazione" e l'altra copia "convalida"? Ora abbiamo abbastanza dati, giusto? Sbagliato. Non stiamo prendendo in giro nessuno con questo, è uno schema pazzesco. |
| |
È pazzesco, perché se provi a modellare utilizzando questo approccio e guardi qualsiasi grafico dell'indice di bontà di adattamento, vedrai che renderli più complicati porta a un migliore adattamento al set di allenamento ma perché formazione e validazione |
| |
i set sono gli stessi in questo caso, l'approccio porterà sempre a un overfit. |
| |
Quindi eseguiamo il backup e riformuliamo la selezione del modello di machine learning come una storia di due somme ponderate di quadrati calcolate sugli stessi dati. |
| |
Invece di pensare alla selezione del modello in termini di due partizioni di dati, possiamo pensarla come due colonne di pesi. |
| |
È presente un peso di addestramento pari a uno per le righe nel set di addestramento e zero negli altri casi, nonché una colonna di convalida |
| |
cioè uguale a zero per le righe di training e uguale a uno per la colonna di validazione, per le righe di validazione. |
| |
Quindi, dalla selezione del modello di machine learning, possiamo pensare che ogni riga abbia la propria coppia di valori di peso, dove entrambi i pesi sono zero e uno binari. |
| |
Averli impostati in questo modo è ciò che ci fornisce una valutazione indipendente dell'idoneità del modello. |
| |
I modelli vengono adattati trovando i valori dei parametri che riducono al minimo le somme degli errori quadrati ponderati utilizzando il peso di addestramento e le prestazioni di generalizzazione vengono misurate utilizzando la somma degli errori quadrati ponderati utilizzando i pesi delle colonne di convalida. |
| |
Se tracciamo queste coppie di pesi in un grafico a dispersione, vediamo, ovviamente, che i pesi di convalida dell'addestramento... i pesi di addestramento e convalida sono perfettamente anticorrelati. |
| |
Ora, cosa accadrebbe se, invece di obbligarci a utilizzare coppie di valori binari perfettamente anticorrelate, allentassimo il requisito secondo cui i valori possono assumere solo i valori di zero e uno? |
| |
e consentire ai pesi di assumere qualsiasi valore strettamente positivo? |
| |
Per fare ciò dobbiamo rinunciare a qualcosa, in particolare, per quanto ne so, perché funzioni matematicamente, non possiamo più avere coppie di pesi perfettamente anticorrelate, ma possiamo farlo in modo da avere ancora un sostanziale anti correlazione. |
| |
Ci sono molti modi in cui ciò potrebbe essere fatto, ma un modo per farlo sarebbe creare pesi utilizzando lo stesso schema del bootstrap con ponderazione frazionaria, in cui utilizziamo una distribuzione esponenziale con una media di uno |
| |
per creare i pesi. E c'è un piccolo trucco che sfrutta le proprietà della distribuzione uniforme che possiamo usare per creare coppie di pesi distribuite esponenzialmente, ma altamente anticorrelate. |
| |
Quando lo utilizziamo come schema di convalida ponderata a due colonne, lo chiamiamo convalida automatica. Phil e io abbiamo pubblicato diversi articoli su Discovery su questo... proprio su questa idea. |
| |
Utilizzare questo approccio è come avere una colonna di pesi di addestramento che ha una media della varianza pari a uno e una colonna di convalida con le stesse proprietà. |
| |
Secondo questo schema di autovalidazione, se una riga contribuisce con un peso maggiore del peso medio alle somme di addestramento dei quadrati, quella riga contribuirà meno alle somme di convalida dei quadrati e viceversa. |
| |
C'è un componente aggiuntivo che Mike... Voglio sottolineare che c'è un componente aggiuntivo creato da Mike Anderson che imposta i set di dati in questo tipo di formato che le piattaforme di modellazione di JMP Pro possono utilizzare. |
| |
Recentemente Phil e io abbiamo assunto Trent come nostro studente di dottorato. |
| |
Durante la primavera e l'autunno, Trent ha effettuato numerose simulazioni provando molti approcci diversi per adattare i modelli ai dati DOE, incluso un intero zoo di approcci basati sull'autovalidazione. Mostrerò alcuni dei suoi risultati |
| |
qui tra un po'. Basti dire che l'approccio che ha funzionato costantemente al meglio, in termini di errore medio minimo su un set di test indipendente, è stato quello di applicare l'autovalidazione |
| |
in combinazione con procedure di selezione variabili come la selezione in avanti, ma invece di farlo una volta ripetiamo il processo decine o centinaia di volte, |
| |
salvando ogni volta la formula di previsione e infine calcolando la media dei modelli su tutte queste iterazioni convalidate automaticamente. E chiamiamo questa procedura generale modelli d'insieme auto-validati o SVEM. |
| |
Quindi, per rendere le cose un po' più concrete, darò un breve esempio che lo illustra. Iniziamo inizializzando i pesi di autovalidazione. |
| |
Applichiamo una procedura di selezione del modello, come il Lazo o la selezione in avanti, quindi salviamo la formula di previsione nella tabella. |
| |
Ecco la prima formula di previsione. In questa iterazione sono stati selezionati solo due effetti principali lineari. |
| |
Quindi reinizializziamo i pesi, li adattiamo nuovamente al modello utilizzando il nuovo set di pesi e salviamo la formula di previsione. |
| |
Ecco la seconda formula di previsione convalidata automaticamente. Si noti che questa volta è stato scelto un diverso insieme di effetti principali e interazioni e che i loro coefficienti di regressione questa volta sono diversi. |
| |
Ripetiamo questo processo un sacco di volte. |
| |
E alla fine, il modello SVEM è semplicemente la media di tutte le formule di previsione. |
| |
Ecco un diagramma conciso che illustra l'algoritmo SVEM come un diagramma. Da qui l’idea di combinare le procedure di bootstrap con la media del modello |
| |
accade ancora e ancora, mentre siamo...dopo aver reinizializzato i pesi. Salviamo la formula di previsione da quell'iterazione. |
| |
Salviamo... qui sto salvando il parametro... qui l'illustrazione mostra i parametri, ma è la stessa cosa con le formule. Basta salvarli tutti e alla fine, il modello finale è semplicemente la media di tutte le iterazioni. |
| |
Una volta terminato, possiamo utilizzare il modello SVEM nel profiler grafico con le formule intermedie di espansione attivate in modo da poter visualizzare il modello risultante e ottimizzare il nostro processo e così via. |
| |
Ora esaminerò i risultati della ricerca sulla tesi di Trent. |
| |
a Box Behnkens e DSD in quattro e otto fattori. Ogni simulazione consisteva in 1.000 repliche di simulazione e ciascuna simulazione aveva il proprio set di valori di parametri reali per il nostro modello di superficie di risposta quadratica. |
| |
I parametri attivi erano distribuiti in modo doppiamente esponenziale e abbiamo esplorato diverse percentuali di effetti attivi dal 50% al 100%. |
| |
Per ciascuna delle 1.000 ripetizioni della simulazione, la previsione SVEM è stata valutata rispetto al modello reale su un set di test indipendente che consisteva in un progetto di riempimento dello spazio di 10.000 esecuzioni sullo spazio dei fattori. |
| |
Abbiamo esaminato un gran numero di diversi approcci classici di modellazione a scatto singolo, nonché una serie di variazioni su tutta la convalida. |
| |
Ma è più semplice guardare solo i risultati più interessanti poiché c'erano troppi parametri da confrontare. La storia era molto coerente in tutte le situazioni che abbiamo indagato. |
| |
Questa è una di quelle simulazioni in cui il progetto di base era un progetto di screening definitivo, con otto fattori e 21 esecuzioni. In questo caso il 50% degli effetti erano diversi da zero. |
| |
Ciò significa che il modello aveva tanti parametri diversi da zero quante erano le esecuzioni, quasi. |
| |
A sinistra sono riportati i box plot dell'errore quadratico medio della radice logaritmica per il Lasso, il selettore Dantzig, la selezione in avanti e la selezione in avanti ridotta, tutti ottimizzati utilizzando AICc, il metodo più performante. |
| |
Inoltre, di seguito vengono riportati i metodi con le migliori prestazioni dalla piattaforma di adattamento definitivo, seguiti da SVEM applicato a una modellazione diversa... diverse procedure di modellazione diverse sulla destra. |
| |
Si verifica una drastica riduzione dell'errore quadratico medio della radice del set di test indipendente, quando confrontiamo gli RMSE del set di test rispetto alle previsioni SVEM. |
| |
E tieni presente che questo è su scala logaritmica, quindi si tratta di una differenza piuttosto drammatica nelle prestazioni predittive. |
| |
Ecco un risultato ancora più interessante. Questa è stata la trama che mi ha davvero lasciato senza fiato. Questa è la stessa configurazione di simulazione, tranne che qui tutti gli effetti sono diversi da zero. |
| |
Quindi i veri modelli sono sovrassaturi, non solo nella matrice di progettazione ma nei parametri stessi. |
| |
In passato abbiamo dovuto supporre che il numero di effetti attivi fosse un piccolo sottoinsieme di tutti gli effetti e certamente inferiore al numero di righe. |
| |
Qui stiamo ottenendo modelli ragionevolmente accurati nonostante il numero di parametri attivi, che sia circa il doppio del numero di righe, il che è davvero notevole. |
| |
Ora esaminerò una breve illustrazione |
| |
di SVEM per mostrare come applicarlo ai propri DOE storici. Utilizzerò un esempio reale di DOE a cinque fattori da un processo di fermentazione, in cui la risposta di interesse era la resa del prodotto misurata dal titolo del pDNA. |
| |
Il grande vantaggio di SVEM è che possiamo ottenere modelli più accurati con meno tirature. Ciò significa che possiamo prendere set di dati esistenti, |
| |
utilizzare il nuovo set designer candidato in JMP 16 per identificare il sottoinsieme di righe che formano il cuore predittivo senza virgolette del progetto originale. |
| |
Prenderò i dati originali che avevano 36 righe, caricherò le cinque colonne come covariate e dirò al progettista personalizzato di fornirmi il sottoinsieme di 16 righe del progetto originale che offre le migliori prestazioni previste a quella dimensione. |
| |
Quindi nasconderò ed escluderò tutte le righe che non fanno parte del progetto del sottoinsieme, in modo che possano essere successivamente utilizzate come set di test indipendente. |
| |
Eseguirò il modello SVEM e confronterò le prestazioni del modello SVEM con quelle che otterrai se applichi una procedura standard come la selezione in avanti, più l'adattamento AICc alle stesse 16 esecuzioni. |
| |
Voglio dire che il nuovo candidato scenografo in JMP 16 è... è anche un contributo notevole e voglio solo sottolineare quanto sia stato incredibile il team di Brad nella creazione di questo nuovo strumento che sarà profondamente utile in molti modi, anche con SVEM. |
| |
Quindi, per fare ciò, possiamo prendere il nostro set di dati e andare al designer personalizzato. |
| |
Selezioniamo righe covariate, quindi questo è un nuovo nodo di struttura in JMP 16. |
| |
Quindi selezioniamo i cinque fattori di input. |
| |
Fare clic su Continua. |
| |
E premeremo il pulsante RSM, che convertirà automaticamente i criteri di ottimalità in progettazione di tipo I-ottimale o predittiva. |
| |
Selezioniamo tutti i fattori non intercettabili e facciamo clic con il tasto destro nel...nel modello... |
| |
seleziona l'elenco qui e crea... imposta tutti gli effetti non intercettati come se fossero effetti possibili. Questo è ciò che ci permette di avere dei modelli |
| |
con più parametri al loro interno rispetto alle esecuzioni come progettazione di base, poiché i criteri di progettazione saranno ora un progetto bayesiano I-ottimale. Ora possiamo impostare il numero di esecuzioni pari a 16. |
| |
Fare clic su Crea disegno. |
| |
E una volta fatto ciò, l'ottimizzatore fa la sua magia e tutte le righe che si trovano nel design del sottoinsieme ottimale I bayesiano sono ora selezionate nella tabella originale. |
| |
Possiamo andare alla tabella e quindi utilizzare un indicatore o una colonna di trasformazione per registrare la selezione della riga corrente. |
| |
E sono andato avanti e ho rinominato la colonna con un nome significativo per dopo. |
| |
Possiamo selezionare i punti non presenti nel disegno del sottoinsieme selezionando tutte le righe in cui la nuova colonna indicatore è uguale a zero. |
| |
E poi possiamo nascondere ed escludere quelle righe in modo che non vengano incluse nel nostro processo di adattamento del modello. |
| |
Phil effettuerà una dimostrazione del componente aggiuntivo SVEM, quindi salterò i passaggi di modellazione e andrò direttamente a un confronto tra modelli di selezione diretta più AICc e il modello SVEM sulle righe non incluse nella progettazione del sottoinsieme ottimale I bayesiano. Quindi potete vedere il confronto qui in rosso... |
| |
nella parte con contorno rosso del rapporto qui. Vediamo che SVEM ha un quadrato R sul |
| |
un set di test indipendente di 0,5 e la procedura classica ha un R quadrato di 0,22, quindi otteniamo sostanzialmente il doppio della quantità di variazione spiegata con SVEM rispetto alla procedura classica. |
| |
Possiamo anche confrontare le tracce del profilo dei due modelli quando applichiamo SVEM a tutte le 46 osservazioni. |
| |
È chiaro che otteniamo fondamentalmente lo stesso modello quando applichiamo SVEM a tutte le 46 esecuzioni poiché otteniamo solo 16 esecuzioni sotto SVEM. |
| |
Ma nel modello basato sulla selezione diretta mancano i termini di curvatura, da non perdere... per non parlare del fatto che mancano anche molte interazioni. Questa è una procedura abbastanza... abbastanza semplice che puoi utilizzare per testare SVEM sui tuoi dati storici. |
| |
Quindi nel complesso SVEM |
| |
solleva molte domande. Molti di essi sono incentrati sul ruolo dei gradi di libertà negli esperimenti di progettazione poiché ora siamo in grado di adattare modelli in cui sono presenti più parametri che righe, il che significa che ci sarebbero effettivamente gradi di libertà negativi, se esistesse una cosa del genere. |
| |
Penso che questo ci porterà a riconsiderare il ruolo del pensiero basato sul valore P nella sperimentazione industriale. |
| |
Dovremo lavorare per stabilire nuovi metodi per l'incertezza nell'analisi, come la previsione... negli intervalli di confidenza sulle previsioni. |
| |
Phil e io stiamo lavorando per cercare di capire quale sia la migliore famiglia di modelli base da cui possiamo lavorare. Quindi questi potrebbero essere RSM quadratici e stiamo anche esaminando questi modelli cubici parziali che erano stati proposti molto tempo fa, ma ora crediamo che siano degni di riconsiderazione. |
| |
Che tipi di design dovremmo usare? Quali dimensioni del campione sono appropriate in funzione del numero di fattori nel modello base che stiamo utilizzando? Qual è il ruolo degli esperimenti di screening? E una grande incognita è quale sia il ruolo del blocco e della sperimentazione della trama divisa |
| |
in questo quadro? |
| |
Quindi ora lo consegnerò a Phil. Effettuerà uno studio di caso più approfondito e farà anche una demo del componente aggiuntivo SVEM di Predictum. Portalo via, Phil. |
| Filippo Ramsey |
Ok, grazie, Chris. E quello che farò è discutere un caso di studio, quindi lasciatemi inserire questo |
| |
presentazione e ne farò alcuni |
| |
illustrazione, come ha detto Chris, del Predictum |
| |
componente aggiuntivo che in realtà automatizza gran parte dell'analisi SVEM. E quello che stiamo cercando di osservare è un metodo analitico utilizzato nell'industria biotecnologica. |
| |
E questo serve a caratterizzare la glicoprofilazione delle proteine terapeutiche, fondamentalmente proteine destinate a diventare anticorpi. |
| |
E molti di voi che lavorano in quel settore sanno che le glicoproteine sono davvero una fonte molto ricca di sostanze terapeutiche e sanno anche che se si lavora per vedere le GMP, bisogna dimostrare l'affidabilità dei sistemi di misurazione. E in realtà per il glicoprofiling, |
| |
i metodi analitici veloci e facili da usare non sono realmente completamente sviluppati. Quindi l'idea di questo esperimento era quella di trovare un metodo abbastanza rapido e semplice che le persone potessero usare e che fornisse loro una valutazione accurata dei diversi |
| |
(Non sono un chimico qui) zuccheri che sono stati |
| |
attaccato alla proteina base dopo la trascrizione. |
| |
E per darti un'idea, l'idea di usare la cromatografia e presumo che tu abbia una certa familiarità con essa, fondamentalmente è un metodo in cui tu |
| |
si ottiene una soluzione, la si fa passare attraverso una colonna e poi, man mano che le diverse specie chimiche attraversano la colonna, |
| |
tendono a separarsi e ad uscire dalla colonna in tempi diversi. Quindi fondamentalmente una forma, quello che viene chiamato cromatogramma, dove il picco |
| |
è una funzione della concentrazione e il momento in cui si verifica il picco è effettivamente importante per identificare quale fosse effettivamente la specie. Quindi in questo caso ne esamineremo alcuni |
| |
zuccheri. Li chiamerò semplicemente glicoformi, e quello che succede qui è che gli scienziati che hanno fatto questo lavoro hanno sviluppato una soluzione di calibrazione. |
| |
E sappiamo esattamente cosa c'è nella soluzione di calibrazione. Sappiamo esattamente quali picchi dovrebbero eluire e approssimativamente dove. |
| |
E poi possiamo confrontare un vero campione di anticorpi umani con il campione di calibrazione. E alcune di queste glicoforme sono cariche. È difficile farli passare attraverso la colonna. |
| |
Tendono ad attenersi ad esso, quindi utilizziamo quella che a volte viene chiamata procedura di eluizione a gradiente. |
| |
E non entrerò nei dettagli. E quello che stiamo facendo qui, stiamo usando qualcosa chiamato cromatografia a scambio anionico ad alta prestazione. Non sono un esperto in materia, ma lo scienziato con cui ho lavorato lo ha fatto |
| |
un ottimo lavoro nello sviluppo di questa calibrazione e il motivo per cui storicamente abbiamo bisogno di una soluzione di calibrazione |
| |
gli zuccheri che eluiscono da un campione di anticorpi umani non sono del tutto prevedibili riguardo a dove usciranno da una colonna, quindi abbiamo qualcosa che possiamo usare per la calibrazione. |
| |
COSÌ. |
| |
La persona che ha svolto il lavoro, e la menzionerò tra poco, ha progettato due esperimenti separati. Uno è un progetto a tre livelli da 16 esecuzioni. |
| |
E poi più tardi è tornata e ha realizzato un progetto più grande, a tre livelli, con 28 sequenze. E quindi uno potrebbe essere usato come set di addestramento e l'altro è un set di validazione, ma per dimostrare il selettore di covariate e la strategia bayesiana I-ottimale di cui ha parlato Chris, |
| |
entrambi i progetti sono stati combinati in un unico progetto da 44 esecuzioni. Noi allora |
| |
ho portato quel progetto in una progettazione personalizzata con il selettore di covariate e poi ho creato vari progetti bayesiani I-ottimali. |
| |
E avremmo potuto fare più combinazioni, ma abbiamo poco tempo per parlarne. Quindi ci sono tre modelli. Uno ha 10 corse, ricorda i cinque fattori e faremo 10 corse. |
| |
Un progetto a 13 e uno a 16 e, ancora una volta, potremmo fare molto di più. Quindi, quello che vogliamo fare è vedere come questi |
| |
i progetti funzionano dopo aver utilizzato la ventola per adattare i modelli e, a proposito, come ha menzionato Chris, in ciascuno di questi progetti, le esecuzioni che non sono selezionate dalle 44 vengono quindi utilizzate come set di convalida o test per vedere quanto bene il modello eseguita. |
| |
Ok, questi sono i fattori iniziali, la quantità iniziale di acetato di sodio, la quantità iniziale di idrossido di sodio. E poi ci sono tre fasi separate di eluizione del gradiente che hanno luogo |
| |
durante il tempo di processo, che dura circa 40 minuti. Quindi queste sono le impostazioni che vengono utilizzate e manipolate nell'esperimento. |
| |
In realtà, in questo esperimento, si possono osservare 44 risposte diverse. Quindi, visto il tempo che abbiamo a disposizione, ne prenderò in considerazione due. |
| |
Uno è il tempo di ritenzione della glicoforma 3, e questa è la chiave, questo è ciò che fissa il cromatogramma di calibrazione. |
| |
E vorremmo che uscisse dopo circa otto minuti e mezzo perché si allinea bene con i campioni di anticorpi umani. |
| |
In realtà è abbastanza facile da modellare. La seconda risposta è il tempo di ritenzione della glicoforma 10. È una glicoforma carica. Eluisce molto tardi e tende ad accumularsi con altre glicoforme cariche ed è più difficile da distinguere. OK, quindi queste sono le due risposte che guarderò. |
| |
E per coloro che non hanno familiarità con la cromatografia, ecco un paio di quelli che vengono chiamati cromatogrammi. Queste sono essenzialmente le risposte, |
| |
immagini di come appaiono le risposte e, in questo caso, se dai un'occhiata all'immagine, esamineremo il tempo di conservazione, ovvero quando è successo |
| |
Peak 3 è uscito? A che ora e poi, a che ora è uscito il Picco 10 ed è apparso nel cromatogramma? E, a proposito, nota tra i due |
| |
cromatogrammi che sto mostrando, quanto sono diversi i profili. Quindi in questo esperimento abbiamo manipolato quei fattori sperimentali |
| |
(e comunque, abbiamo 44 di questi cromatogrammi; ve ne mostro due), vedete molte differenze nelle forme, nei tempi di ritenzione e così via di questi picchi e nella risoluzione. Quindi qualunque cosa stiamo facendo, stiamo chiaramente manipolando |
| |
i cromatogrammi, e per quelli di voi che sono curiosi, sì, in futuro stiamo pensando a questi dati funzionali e a come potrebbe essere utilizzata l'analisi dei dati funzionali. |
| |
Ma questo è spesso il futuro, ma è sicuramente qualcosa che ci interessa molto. Alla fine i cromatogrammi sono davvero dati funzionali. Ma estrarrò semplicemente due funzionalità e proverò a modellarle. Va bene. E voglio anche dare credito a |
| |
La dottoressa Eliza Yeung di Cytovance Biologics, una buona amica ed eccellente scienziata. E ha fatto tutto il lavoro sperimentale ed è stata lei a avere l'idea di costruire... |
| |
quella che lei chiama la scala del glucosio, la soluzione di calibrazione. Ed Eliza, oltre ad essere una brava persona, adora anche JMP. Quindi ci piace Eliza in molti modi, okay. Scienziato eccellente. Ok, allora |
| |
prima di entrare |
| |
SVEM, voglio solo menzionare...Chris ha menzionato il modello quadratico completo che è stato utilizzato dal 1950 come base dell'ottimizzazione. |
| |
Fondamentalmente, tutti gli effetti principali, interazioni a due fattori e termini al quadrato. In effetti, per molti sistemi fisici complessi, la cinetica è in realtà troppo complessa per quel modello. |
| |
E Cornell e Montgomery, in un bellissimo articolo del 1998, lo sottolinearono e suggerirono che in molti casi, |
| |
quello che chiamano modello di interazione, noi lo chiamiamo modello cubico parziale, potrebbe funzionare meglio. E secondo la mia esperienza, utilizzando SVEM e applicando questo modello a molti casi di studio, hanno ragione. Fornisce modelli predittivi effettivamente migliori, ma c'è un problema. |
| |
Questi modelli cubici parziali possono essere enormi e rappresentano una grande sfida per le strategie di modellazione tradizionali in cui i modelli sovrasaturati, come ha detto Chris, rappresentano un grosso problema. |
| |
Quanti termini potenziali ci sono? Bene, prendi K quadrato, due volte quello e aggiungi uno per l'intercetta. Quindi per cinque fattori, il pieno |
| |
il modello cubico parziale avrebbe 51 termini. A proposito, userò questi modelli, ma userò solo 40 dei termini che di solito sono più importanti. |
| |
E poi utilizzeremo la modellazione d'insieme auto-validante per adattare i modelli e, come ha detto Chris, SVEM non ha problemi con i modelli supersaturi. |
| |
E a proposito, nella letteratura sul machine learning, i modelli supersaturi sono sempre adatti. |
| |
E utilizzando le giuste tecniche di apprendimento automatico, puoi effettivamente... possono effettivamente mostrarti che ottieni prestazioni di previsione migliori. |
| |
Questo è in gran parte sconosciuto nelle statistiche tradizionali, ok. Quindi utilizzeremo il componente aggiuntivo SVEM e ho detto che se desideri saperne di più puoi contattare Wayne Levin, che ha già parlato, su Predictum e sono sicuro che Wayne vorrebbe parlare con te. |
| |
Passiamo quindi brevemente a JMP. |
| |
E ti mostrerò come funziona effettivamente il componente aggiuntivo, quindi permettimi di utilizzare JMP. |
| |
Quindi ho installato il componente aggiuntivo in modo che abbia una propria scheda. Quindi faccio clic su Predictum. A proposito, questo è uno dei progetti bayesiani I-ottimali che abbiamo creato e ha 16 esecuzioni. Selezionare la modellazione di ensemble autoconvalidante. |
| |
Quindi vedi quello che assomiglia al tipico dialogo di lancio del modello di adattamento. Selezionerò i miei cinque fattori. |
| |
E a questo punto farò un modello di superficie di risposta a scopo illustrativo, e voglio modellarlo |
| |
tempo di ritenzione per la glicoforma 3. Notare sullo sfondo questa configurazione, la tabella di convalida automatica, quindi c'è una funzione di attesa. |
| |
E c'è una parte di convalida automatica. Questo è tutto sullo sfondo, non è necessario vederlo. Ma la sega...ma il componente aggiuntivo l'ha creata e poi praticamente la nasconde, ma puoi guardarla, se vuoi, ma è nascosta perché non è molto importante vederla. |
| |
Quindi ora apriamo GenReg, quindi questo è GenReg |
| |
pannello di controllo. E a titolo illustrativo, tra l'altro, SVEM è davvero agnostico in termini di metodo con cui lo usi per la costruzione del modello. Quindi, in effetti, potresti usare metodi che non sono nemmeno in GenReg, ma questo è il nostro obiettivo principale oggi. Quindi faremo una selezione in avanti. |
| |
E poiché abbiamo poco tempo, farò solo 10 ripetizioni. |
| |
Fai clic su Vai e creeremo il modello. |
| |
Quindi ecco l'output per sole 10 ripetizioni e ottieni una trama effettiva in base alle previsioni. Ma la cosa veramente bella è che in realtà crea la media del modello d'insieme per te. |
| |
Quindi faccio clic sul modello di insieme autoconvalidante e salvo la formula di previsione. Quindi andrò avanti e chiuderò questo display. |
| |
Venire. |
| |
Ed ecco il mio modello. |
| |
Ora posso prendere questo modello e andare avanti e applicarlo ai dati di convalida. Quindi abbiamo 16 esecuzioni selezionate, quindi ce ne sono altre 28 disponibili che possono essere utilizzate come set di convalida per vedere come abbiamo effettivamente fatto. Quindi a questo punto tornerò al |
| |
presentazione e, tra l'altro, senza il componente aggiuntivo SVEM, può essere un po' difficile, soprattutto se non sei particolarmente esperto nello scripting JMP |
| |
per creare effettivamente questi modelli. Quindi quel componente aggiuntivo potrebbe non sembrare che abbia svolto un sacco di lavoro in background, ok. Allora come abbiamo fatto? Quindi lasciami rimetterlo nella presentazione. |
| |
Quindi quello che ho fatto, ci sono tre progetti, un design da 16 sequenze, 13 sequenze e poi ho scelto una sequenza da 10. Superiamo davvero i limiti. |
| |
E ci sono due risposte, come ho detto, la glicoforma 10 eluisce tardi e tende ad essere rumorosa e può essere difficile da risolvere. Quindi, per il progetto a 16 run, in realtà ho adattato un modello cubico parziale a 40 termini. Tienilo a mente, 16 corse. E mi adatto a un modello a 40 termini. |
| |
E poi la chiave di tutto ciò è la radice quadrata dell'errore medio sul set di convalida, ok. COSÌ |
| |
Mi sono adattato al mio sesto... al mio modello a 40 termini, e poi al |
| |
l'errore quadrato medio della radice sul set di convalida era basso e l'R quadrato di convalida era in realtà vicino a 98, quindi si adattava molto, molto bene. |
| |
Avviso, anche per quelli molto più rumorosi |
| |
glicoforma 10, abbiamo ancora un modello abbastanza buono. Ti mostrerò alcune trame reali e previste. Quindi l'abbiamo fatto per 13, ancora una volta per 13, abbiamo ottenuto ottimi risultati. |
| |
E poi finalmente per 10. A proposito, per 10, ho semplicemente adattato il modello quadratico completo standard, mi sentivo come se stessi davvero sfidando la fortuna. |
| |
Ma avrei potuto andare avanti e provare la cubica parziale. E notate, ancora una volta, anche con 10 esecuzioni, modellando il tempo di ritenzione della glicoforma 3, ho ottenuto un R quadrato 0,94. |
| |
Per me, questo è davvero impressionante e ancora una volta ho modellato... il mio modello aveva il doppio dei predittori rispetto alle osservazioni e anche con la glicoforma 10 difficile da modellare, abbiamo fatto abbastanza bene. |
| |
Quindi, ecco alcuni grafici reali in base alle previsioni e ancora una volta scelgo il glicoforma 10 perché è davvero difficile da modellare. |
| |
Quindi non volevo giocare troppo con il sistema. So per esperienza che è difficile modellare. Quindi esiste una trama effettiva rispetto a quella prevista. C'è un'altra trama effettiva in base alle previsioni per il design a 10 esecuzioni, che funziona comunque abbastanza bene |
| |
se consideri cosa stiamo cercando di fare qui. |
| |
E infine, come siamo andati nel complesso? |
| |
Questa è una piccola tabella che ho messo insieme e ho preso il progetto a 16 sequenze come riferimento, e poi quello che sto facendo è confrontare ciò che è successo quando abbiamo adattato il 10- |
| |
modello di termine e il termine 13 per il tempo di conservazione per G10. |
| |
Noterai che abbiamo ottenuto un errore piuttosto grande per 13 e uno molto più piccolo per 10. Non so perché. Ho scelto di mostrare semplicemente quali sono stati i risultati. È un po' un mistero e non sono tornato indietro per esplorarlo. |
| |
Ma per il tempo di ritenzione tre, nota che vado da 16 a 10. Sì, ho notato un certo aumento nell'errore quadratico medio, ma sai se guardi il grafico effettivo in base alla previsione, |
| |
fa comunque un buon lavoro di previsione sul set di convalida. Quindi il punto di questo è, e questo è, lo so, lavoro molto con aziende biotecnologiche, il |
| |
le efficienze effettive che potreste potenzialmente ottenere nei vostri progetti sperimentali e so che per molti di voi questi esperimenti sono costosi. |
| |
E, cosa ancora più importante, richiedono molto tempo. Ciò può davvero abbreviare i tempi di sperimentazione, ridurre il budget sperimentale e ottenere ancora più informazioni. |
| |
Quindi solo una specie di rapida conclusione a questo. Questa procedura SVEM e questa, e come ha mostrato Chris, le abbiamo studiate in simulazioni e casi di studio. |
| |
SVEM è ottimo per i modelli supersaturi. Non entrerò nell'argomento, ma dalla pratica dell'apprendimento automatico è noto che i modelli supersaturi funzionano molto bene. Usano tutto il tempo e il deep learning come esempio. |
| |
Fondamentalmente, come dice Chris, SVEM combina l’apprendimento automatico con la progettazione di esperimenti. |
| |
E, cosa ancora più importante, una volta che inizi a percorrere il percorso di SVEM, questo, a sua volta, informa il modo in cui pensi alla sperimentazione. |
| |
Quindi, fondamentalmente, utilizzando SVEM, possiamo iniziare a pensare a esperimenti altamente efficienti che possano davvero accelerare il ritmo dell’innovazione e ridurre effettivamente i tempi e i costi della sperimentazione. E con il tempo per sviluppare prodotti e processi |
| |
diventando... i tempi di consegna si accorciano sempre di più, questo non è un punto banale, e so che molti di voi nel settore biotecnologico si trovano anche ad affrontare seri vincoli di budget. |
| |
E poi (a proposito, la maggior parte delle persone lo sono) e infine un'area promettente è la progettazione I-ottimale bayseiana. |
| |
E ancora, menzionerò che Brad Jones e il suo gruppo hanno fatto un ottimo lavoro introducendoli in JMP. È l'unico pacchetto software che conosco che esegue effettivamente progetti bayesiani I-ottimali. |
| |
E pensiamo che SVEM aprirà la finestra a molte possibilità. Quindi, in sostanza, questa è la mia storia e la racconterò a Wayne Levin. |
| Wayne Levin |
Grazie mille per questo, |
| |
Phil e Chris. Spero che tutti possano vedere che c'è un sacco di lavoro e che sono state fatte molte ricerche su questo argomento, incluse alcune |
| |
lavoro in trincea, si potrebbe dire, e sono in questo gioco da oltre 30 anni ormai, non mi dispiace dirvi che sono molto entusiasta di quello che vedo qui. |
| |
Penso che questo possa essere davvero trasformativo, cambiare davvero il modo in cui vengono condotti gli esperimenti industriali qui. In precedenza ero molto entusiasta solo dei design sovrasaturati e così era |
| |
facilitato con un designer personalizzato e ora con... questo riguarda il lato del design. |
| |
di cose. |
| |
Ora, quando porti SVEM dal lato dell'analisi, intendo dire che questi sono due grandi gusti |
| |
stanno benissimo insieme, si potrebbe dire. Ad ogni modo, giusto per concludere, inserirò qui questo |
| |
Phil, io e Marie Goddard, stiamo organizzando un corso su richiesta (dovrebbe essere disponibile il prossimo trimestre, come ad aprile) |
| |
sugli esperimenti progettati con miscele e in quel corso concentreremo una buona quantità di tempo su SVEM. Quindi, se questo ti interessa, per favore fammelo sapere o lo farò... così possiamo fartelo sapere o seguirci su LinkedIn o una di quelle cose. |
| |
E per quanto riguarda il componente aggiuntivo SVEM, ancora una volta, se posso, sono felice di essere stati i primi a commercializzarlo. |
| |
Ci stiamo lavorando duro da diversi mesi. Facciamo una nuova versione ogni mese, quindi si sta evolvendo man mano che riceviamo feedback dal campo, e voglio ringraziare moltissimo Phil |
| |
per aver guidato questo. E sta collaborando con uno dei nostri sviluppatori (???) ed è stato davvero uno sforzo formidabile, un sacco di duro lavoro |
| |
per arrivare a questo punto e vogliamo metterlo a tua disposizione. E quindi, come Phil ha detto prima, ci sono davvero due modi per provarlo. Uno è semplicemente provare il componente aggiuntivo stesso, |
| |
funziona con 14 e 15. E con l'uscita di 16, penso che funzionerà anche per 16. Richiede JMP Pro, quindi se non disponi di JMP Pro, c'è un collegamento qui dove puoi richiedere...per ottenere una licenza di prova di JMP Pro. |
| |
E puoi ottenere questo collegamento, ovviamente, scaricando le diapositive di questa presentazione. Ecco come puoi ottenerlo, quindi questo è un modo in cui puoi lavorarci per provarlo tu stesso. |
| |
Un altro modo è semplicemente contattarci e possiamo lavorare con te sulla base di una prova di concetto, va bene. |
| |
E potremmo fare alcune analisi comparative e così via e, ovviamente, rivedere quell'analisi con voi. Quindi sai che metteremo in atto la documentazione necessaria e |
| |
non ci importa provarlo. Lo abbiamo fatto per un buon numero di aziende e questo potrebbe essere il modo più semplice per te, qualunque cosa funzioni per te. Ok, e per ora, quello che vorrei fare è |
| |
aprilo per qualsiasi domanda o commento in questo momento. Lo dirò a nome di Chris e Phil, grazie per esserti unito a noi. Quindi okay, domande e commenti, per favore. |
