| Oratore |
Trascrizione |
| Phil Kay |
Bene, parleremo di come ripensare la progettazione e l'analisi degli esperimenti. Sono Phil Kay. Sono il responsabile della formazione nel team globale di abilitazione tecnica e sono affiancato da Pete Hersh. |
| Peter Hersh |
Sì, faccio anche parte del team di abilitazione tecnica globale e sono entusiasta di parlare del DOE e di alcune delle nuove tecniche che stiamo...esplorando oggi. |
| Phil Kay |
Quindi, la prima cosa da dire è che siamo grandi fan del DOE. È fantastico. Ha avuto un enorme valore nella scienza e nell'ingegneria per moltissimo tempo. |
| |
Detto questo, ci sono alcuni presupposti di cui dobbiamo essere a conoscenza per poter utilizzare il DOE molto spesso. |
| |
E non sempre si sentono a loro agio, come scienziati o ingegneri. A questo proposito, cose come la scarsità di effetti, l'idea che non tutto ciò che si osserva si riveli importante. |
| |
e in realtà solo alcune delle cose su cui stai effettivamente sperimentando risultano importanti. Oppure l'ereditarietà degli effetti è un'altra ipotesi. |
| |
Ciò significa che ci aspettiamo di osservare comportamenti complessi o effetti di ordine superiore solo per i fattori che sono attivi nella loro forma più semplice. |
| |
E, e proprio questa idea di effetti attivi e inattivi, così comunemente, il processo sequenziale di progettazione degli esperimenti consiste nello schermare gli effetti attivi da quelli inattivi. |
| |
E a volte sembra una decisione troppo binaria. Mi sembra un po' folle, credo, spesso, l'idea che alcune delle cose che stiamo sperimentando siano completamente inattive, |
| |
quando in realtà, penso che noi, sappiamo che in realtà tutto avrà un effetto. Potrebbe essere meno importante, ma |
| |
avrà comunque qualche effetto. E queste sono in gran parte ipotesi che utilizziamo per |
| |
aggirare alcune delle sfide nella progettazione di esperimenti quando non ci si può permettere di fare un numero enorme di prove e sì. Pete, non so se vuoi commentare anche questo dal tuo punto di vista. |
| Peter Hersh |
Sì, sono completamente d'accordo. Penso che pensare che qualcosa come la temperatura sia inattivo sia... penso sia difficile immaginare che la temperatura non abbia alcun effetto su un esperimento. |
| Phil Kay |
Sì, è un po' assurdo, vero? Quindi, |
| |
Sì, se rientra nel tuo esperimento, allora sarà sempre attivo in qualche modo, ma forse non sarà importante quanto altre cose. |
| |
Quindi passerò direttamente ai risultati di |
| |
di ciò che abbiamo esaminato. Quindi abbiamo esaminato questa tecnica di auto-validazione che Chris Gotwalt e Phil Ramsey hanno essenzialmente inventato |
| |
E usandolo nell'analisi di esperimenti progettati, ha prodotto risultati davvero incredibili. Non pensavamo fossero possibili. |
| |
Quindi, per prima cosa ho esaminato un sistema con 13 effetti attivi e ho analizzato un progetto di screening definitivo di 13 run, e da lì sono riuscito a identificare che 13 effetti erano attivi, il che è... questo è ciò che chiamiamo una situazione di saturazione. Non... |
| |
Di solito, abbiamo parlato di progetti di screening definitivi come efficaci nell'identificare gli effetti attivi in caso di scarsità di effetti, ovvero quando il numero di effetti effettivamente importanti o attivi è limitato. Ma in questo caso sono riuscito a identificare tutti i 13 effetti attivi. |
| |
E non solo, è stato anche possibile costruire un modello con tutti quei 13 effetti attivi a partire da questo progetto di screening definitivo eseguito su 13 prove. |
| |
Quindi, di nuovo, è piuttosto incredibile: non ci aspettiamo di avere un modello con tanti effetti attivi quante sono le righe di dati da cui lo stiamo costruendo. |
| |
E Pete, hai esaminato altre cose e hai ottenuto altri risultati davvero interessanti. |
| Peter Hersh |
Sì, assolutamente, e i risultati di Phil sono davvero, davvero impressionanti. Penso |
| |
il passo successivo che abbiamo provato è stato realizzare un design super saturo, che presenta più effetti attivi rispetto alle corse e lo abbiamo provato con |
| |
DOE molto piccoli. Quindi un DOE di sei run con sette effetti attivi, che se lo facessimo con le tecniche DOE standard, non ci sarebbe modo di analizzare |
| |
correttamente. E abbiamo esaminato il confronto con i DOE da otto e dieci prove e quanto ci hanno fatto guadagnare. Quindi abbiamo ottenuto modelli abbastanza utili, anche da un DOE da sei prove, che era |
| |
meglio di quanto mi aspettassi. |
| Phil Kay |
Sì, è meglio di quanto avresti il diritto di aspettarti, non è vero? |
| |
E così abbiamo ottenuto questi risultati davvero impressionanti e la capacità di identificare un numero enorme di effetti attivi da un piccolo |
| |
progettazione definitiva dello schermo e costruire effettivamente quel modello con tutti quegli effetti attivi. E nel caso di Pete, sono riuscito a costruire un modello con sette effetti attivi partendo da dimensioni davvero ridotte. |
| |
Esperimenti progettati. |
| |
Quindi, come abbiamo fatto? Come funziona la metodologia di auto-validazione? Beh, prende spunto dal machine learning, e uno degli strumenti più utili del machine learning è la convalida. Quindi, la convalida holdout è un ottimo modo per garantire che tu, tu costruisca |
| |
il modello più utile. Quindi è un modello robusto. Quindi conserviamo una parte dei dati, li usiamo per testare i diversi modelli che costruiamo e |
| |
in pratica, il modello che fornisce la migliore previsione di questi dati è quello che utilizziamo, ed è semplicemente molto provato e testato. |
| |
In realtà è praticamente il gold standard per la costruzione dei modelli più utili, ma con il DOE è una sfida ancora più grande, vero, Pete? Non si presta ovviamente a questo. |
| Peter Hersh |
Sì, sì, l'idea alla base del DOE è esplorare lo spazio di progettazione nel modo più efficiente possibile. E se iniziamo a rimandare le esecuzioni o a rimandare |
| |
analisi delle esecuzioni, allora perderemo parte di quello spazio di progettazione e |
| |
non possiamo realmente farlo con molte di queste tecniche DOE come i progetti di screening definitivi. |
| Phil Kay |
Giusto, giusto, quindi sarebbe bello se ci fosse un trucco per sfruttare i vantaggi di questa convalida holdout senza dover nascondere dati critici. Questo ci porta a questa convalida automatica. |
| |
idea, e, Pete, vuoi spiegarci un po' come funziona? |
| Peter Hersh |
Assolutamente, quindi questa è stata un'idea davvero intelligente sviluppata da Chris e Phil Ramsey, e in sostanza prendono i nostri dati originali da un DOE e li ricampionano, quindi |
| |
Ripeti i risultati. Quindi, se noti che nella tabella in fondo alla diapositiva, le sequenze in grigio sono gli stessi risultati delle sequenze in bianco. Sono solo ripetute. |
| |
E il modo in cui riescono a farla franca è creando questa colonna di pesi che è accoppiata. Quindi, in pratica, se uno ha un peso elevato, il |
| |
L'esecuzione ripetuta di questo ha un basso tasso... peso e così via. E questo... questo ci permette di utilizzare i dati con questa convalida e la ponderazione e approfondiremo un po' di più il modo in cui ciò avviene. |
| Phil Kay |
Sì, vedrete come funziona quando esamineremo le demo. Abbiamo fondamentalmente due casi di studio simulati che usiamo per illustrare questa metodologia. Parlerò del primo caso di studio, |
| |
Sottolineo che si tratta di un esempio simulato. E per certi versi è un esempio un po' irrealistico, ma penso che faccia un ottimo lavoro nel dimostrare la potenza di questa metodologia. |
| |
Abbiamo sei fattori e per rendere il tutto un po' più realistico, abbiamo scelto alcuni fattori reali da uno studio di caso in cui si cercava di far crescere un organismo biologico e di ottimizzare i nutrienti che immetteva nel sistema per ottimizzare il tasso di crescita. |
| |
Quindi abbiamo questi sei diversi nutrienti e questi sono i nostri fattori. Possiamo aggiungerne quantità diverse, quindi ho progettato uno screening definitivo di 13 run per esplorare questi fattori con questa risposta al tasso di crescita. |
| |
E i dati di risposta sono stati completamente simulati da me, e sono stati simulati in modo tale che ci fossero 13 effetti fortemente attivi. Quindi |
| |
L'ho simulato in modo che tutti gli effetti principali, tutti e sei gli effetti principali, siano attivi. |
| |
E poi, per ciascuno di questi fattori, sono attivi anche gli effetti quadratici, quindi abbiamo sei effetti quadratici. |
| |
Inoltre abbiamo un'intercetta che dobbiamo sempre stimare, quindi ci sono in totale 13 effetti attivi, importanti per comprendere il sistema. |
| |
1 segnale/rumore, ma questa è ancora una vera sfida con la metodologia standard per modellarla, e ne parleremo nella demo. |
| |
Quindi, in realtà, la domanda è: possiamo identificare tutti questi effetti importanti e, se ci riusciamo, possiamo costruire un modello che li includa tutti? Perché, come ho detto, sarebbe davvero notevole. |
| |
rispetto a ciò che possiamo fare con la metodologia standard. |
| |
E poi il caso di studio n. 2, Pete? |
| Peter Hersh |
Sì, assolutamente. Molto, molto simile al caso di studio di Phil. Stessa idea: stiamo somministrando diversi nutrienti a livelli diversi a un organismo e ne controlliamo il tasso di crescita. In questo caso ho semplificato ciò che Phil aveva fatto e l'ho suddiviso in soli tre fattori nutritivi. E questo è |
| |
costruire un diverso tipo di design, quindi un design supersaturo I-ottimale in cui stiamo osservando una superficie di risposta completa |
| |
in modo supersaturo e abbiamo esaminato sei, otto e dieci corse |
| |
progetti. E quindi stessa, stessa idea. |
| |
Il il |
| |
gli effetti erano molto, molto |
| |
Rapporto segnale/rumore elevato, quindi volevo davvero essere in grado di individuare quegli effetti se fossero attivi. E proprio come Phil, ho mantenuto attivi gli effetti principali nelle quadratiche, così come l'intercetta, e stiamo cercando di individuarli. |
| |
E con lo stesso concetto, quante esecuzioni sarebbero necessarie per vedere questi effetti attivi e quanto accurato può essere il modello che possiamo realizzare a partire da questi progetti molto piccoli? |
| Phil Kay |
Sì, perché sai, come ho detto, non hai alcun diritto di aspettarti di riuscire a costruire un buon modello partendo da un progetto così piccolo. |
| Peter Hersh |
Sì, esatto. Okay. |
| Phil Kay |
Ora passerò alla dimostrazione del caso di studio n. 1. |
| |
E lo sto presentando tramite un progetto JMP, quindi è un modo davvero utile per presentare i risultati. Ti consiglio di provarlo. |
| |
E questo è il nostro |
| |
progettazione, quindi questo è il nostro progetto di screening definitivo a 13 cicli, in cui variamo questi fattori nutritivi e otteniamo la risposta simulata del tasso di crescita. Come ho detto, è stato simulato in modo tale che |
| |
gli effetti principali, le quadratiche di tutti questi fattori sono fortemente attive, inoltre dobbiamo stimare questa intercetta. |
| |
Ora, con un progetto di screening definitivo, in genere consiglio di utilizzare lo screening definitivo di adattamento come un modo per esaminare i risultati come una delle analisi che è possibile effettuare. |
| |
Funziona davvero bene quando il principio di scarsità degli effetti è vero. Quindi, finché solo alcuni degli effetti sono fortemente attivi... sono attivi e il resto è irrilevante, |
| |
poi troverà quei... pochi effetti importanti e li separerà da quelli non importanti. |
| |
Ma in questo caso non mi aspettavo che funzionasse bene, e non funziona bene. Non identifica che tutti e sei i fattori siano attivi. In realtà, ne identifica solo uno come attivo. |
| |
Quindi non c'è da sorprendersi: è una situazione troppo difficile e impegnativa per questo tipo di analisi. |
| |
Se in qualche modo sapessimo che tutti questi effetti attivi sono attivi e provassimo ad adattare un modello con tutti e sei gli effetti principali, tutti e sei gli effetti quadratici e l'intercetta, |
| |
Allora è un modello saturo. Abbiamo tanti parametri da stimare quante sono le righe di dati, quindi possiamo quasi adattare quel modello, ma non otteniamo alcuna statistica. |
| |
E in ogni caso, sapete, a parte il fatto che ho simulato questi dati, in una situazione reale non sapremmo quali sono attivi, quindi non sapremmo nemmeno a quale modello adattarci. |
| |
Ora, utilizzando il metodo di convalida automatica, sono riuscito a identificare in modo davvero convincente gli effetti attivi e ora vi spiegherò come ci siamo riusciti. |
| |
Questa è solo una visualizzazione dei miei risultati. Non è necessario visualizzarli in questo modo. È solo a scopo di presentazione. |
| |
Sono riuscito a identificare che, prima di tutto, l'intercettazione era attiva. Ho tutti i miei sei effetti principali, |
| |
e i miei effetti quadratici, e poi le mie interazioni a due fattori, che ho simulato come se avessero effetto zero. Potete vedere che sono ben al di sotto |
| |
rispetto agli altri. E in realtà c'è un fattore nullo qui che usiamo... quindi un fattore fittizio. Quindi qualsiasi valore inferiore al fattore nullo possiamo dichiararlo non importante o inattivo, se preferisci. |
| |
E quello che stiamo effettivamente... la metrica che stiamo esaminando qui è qualcosa chiamato proporzione diversa da zero e spiegherò cosa significa, man mano che andiamo avanti. È più o meno la metrica che stiamo usando qui per identificare l'intensità di un effetto, l'importanza di un effetto. |
| |
Ecco un po' come ho proceduto. Ho preso il mio progetto di screening definitivo originale da 13 run e l'ho impostato per la convalida automatica, quindi ora abbiamo 26 righe duplicate. |
| |
Esiste un componente aggiuntivo per fare questo; uno dei nostri colleghi, Mike Anderson, ha creato un componente aggiuntivo che puoi usare per fare questo in JMP 15. |
| |
In JMP 16 stanno effettivamente aggiungendo la funzionalità negli strumenti di modellazione predittiva nella piattaforma della colonna di convalida. |
| |
Ciò che facciamo è ottenere questo set duplicato dei nostri dati, quindi otteniamo questa ponderazione e, come ha detto Pete, abbiamo... ogni riga è nel set di addestramento e nel set di convalida. |
| |
Nel training set, se ha una ponderazione bassa, avrà una ponderazione alta nella validazione. Quindi, se ha una ponderazione alta nel training set, avrà una ponderazione bassa nel validation set. |
| |
E quello che facciamo in realtà è leggere...questi sono stati fondamentalmente assegnati in modo casuale. |
| |
Li abbiamo riassegnati e siamo stati in grado di ripetere l'operazione centinaia di volte, adattando i modelli ogni volta e poi esaminando i risultati aggregati... aggregati in molte simulazioni. Quindi cosa fareste? |
| |
serve per adattare il modello e qui in JMP Pro utilizzo GenReg. |
| |
E in ogni caso avrai bisogno di JMP Pro, perché devi essere in grado di specificare questo ruolo di convalida, quindi mettiamo... la colonna di convalida del treno va in convalida. |
| |
E la ponderazione va in frequenza e poi impostiamo tutto il resto come faremmo normalmente con la nostra risposta. E poi ho un modello, che è il modello della superficie di risposta qui con tutti questi effetti, e poi clicco su "Esegui". |
| |
E si adatterà a un modello, e possiamo usare la selezione in avanti o il Lazo. Qui ho usato il Lazo. |
| |
In questo caso non è di grande importanza. |
| |
Ciò che è successo in realtà è che abbiamo identificato solo l'intercetta come importante in questo caso, quindi nel modello abbiamo effettivamente solo l'intercetta. |
| |
Ma se modifichiamo la ponderazione, se torniamo alla nostra tabella dati e risimuliamo queste ponderazioni, probabilmente otterremo un risultato diverso dal modello. |
| |
Ponderiamo diverse righe di dati, diverse esecuzioni nell'esperimento, e questo cambia il modello che si adatta. Quindi lo faremo centinaia di volte, e quello che farò sarà usare la funzione di simulazione di JMP Pro. |
| |
Quello che facciamo è sostituire la colonna dei pesi con una versione ricalcolata. E potete farlo centinaia di volte. In questo caso, l'ho fatto 250 volte. Non lo farò eseguire, perché ci vorrebbero un minuto o due. |
| |
Una volta fatto questo, otterrai una tabella simile a questa. |
| |
Quindi ora ho la stima dei parametri per ognuno di quei 250 modelli per ciascuno di questi effetti. Quindi |
| |
Nel mio primo modello in questa corsa, questa era la stima dei parametri per questo effetto principale dell'acido citrico. Nel modello successivo, quando abbiamo ricampionato la ponderazione, |
| |
l'effetto principale dell'acido citrico non rientrava nel modello, quindi in quel caso era zero. |
| |
E puoi effettivamente eseguire distribuzioni su tutte queste stime dei parametri. E una delle cose che puoi fare è |
| |
Personalizza queste statistiche, le statistiche riassuntive, per esaminare la proporzione diversa da zero. Quindi puoi vedere l'intercetta qui, |
| |
Le stime che abbiamo avuto dell'intercetta. Come potete vedere, con l'acido citrico, molte volte è stato stimato pari a zero, quindi questi erano i modelli, |
| |
L'effetto principale dell'acido citrico non era nel modello e spesso è stato stimato intorno a 3, che è il valore che avevo simulato. |
| |
Quindi quello che osserviamo è la proporzione di volte in cui è diverso da zero e possiamo creare una tabella di dati combinati da queste. E l'ho già fatto, e ho appena fatto un po' di... |
| |
Un piccolo ritocco aggiuntivo qui. Ho appena aggiunto una colonna per specificare se si tratta di un effetto principale o meno, e poi è così che ho creato |
| |
questa visualizzazione qui. Quindi quello che stai guardando è la proporzione di volte in cui ciascuno di quegli effetti è diverso da zero, quindi la proporzione di volte in cui ciascuno degli effetti è presente nel nostro modello su tutti quelli |
| |
Abbiamo eseguito 250 simulazioni, in cui abbiamo ri-simulato la ponderazione frazionaria. Ed è ciò che usiamo per identificare |
| |
gli effetti attivi, e questo è... e ha fatto un lavoro straordinario. È riuscito a fare ciò che i nostri metodi standard non sarebbero stati in grado di fare. Ha identificato 13 effetti attivi in 13 sessioni. |
| |
progettazione definitiva dello screening. |
| |
Ora, cosa vorresti fare adesso? Forse vorremmo adattare effettivamente quel modello a tutti quegli effetti, e ci sono riuscito. E sto confrontando il modello che ho adattato qui. |
| |
rispetto alla vera risposta simulata, e si può vedere quanto coincidano. Quindi sono riuscito a costruire un modello con tutti questi effetti principali, tutte queste quadratiche e l'intercetta. |
| |
Quindi ho qui un modello a 13 parametri che sono riuscito ad adattare a questo progetto di schermata definitiva da 13 esecuzioni, il che, ancora una volta, è semplicemente notevole. |
| |
E non spiegherò esattamente come sono arrivato a quella parte. Ora passo la parola a Pete. Parlerà ancora un po' di questa idea di modelli di ensemble autovalidati. |
| Peter Hersh |
Assolutamente. Grazie, Phil. Vediamo. Condividerò il mio schermo qui e daremo un'occhiata a questo progetto. Quindi |
| |
puoi vedere qui |
| |
nello stesso |
| |
flusso come Phil, stiamo guardando un progetto qui e ho |
| |
ho iniziato con sei corse DOE supersaturo, e qui puoi vedere, ho tre fattori, |
| |
qual è il tasso di crescita effettivo del mio modello sottostante e poi qual è stato il tasso di crescita...il tasso di crescita simulato e poi come ha detto Phil, |
| |
Creo questa colonna di convalida automatica, che può essere gestita con un componente aggiuntivo in JMP 15 sviluppato da Mike Anderson. Oppure, in JMP 16, è integrata direttamente nel software ed è accessibile dalla colonna di convalida della piattaforma di analisi e modellazione predittiva. |
| |
Quindi, proprio come ha mostrato Phil, ha mostrato un ottimo esempio di come possiamo individuare quali fattori sono attivi, quindi uno screening dei fattori. E questo è spesso il nostro obiettivo principale con il DOE, ma se vogliamo fare un ulteriore passo avanti e costruire un modello a partire da questo, |
| |
Seguiremmo lo stesso processo, giusto? Quindi costruiamo il nostro DOE, aggiungiamo una validazione automatica a quel DOE, costruiamo il nostro modello, proprio come ha mostrato Phil, usando la regressione generalizzata e uno dei |
| |
Tecniche di selezione variabile. Phil Ramsey e Chris Gotwalt hanno esaminato molte di queste diverse tecniche e sembrano tutte funzionare abbastanza bene. Quindi, che si utilizzi un Lazo o anche una selezione in avanti a due fasi, sembrano tutte avere risultati simili e |
| |
funziona abbastanza bene. Quindi, una volta impostato e avviato, si ottiene un modello, come quello mostrato da Phil, e si sa che alcuni di questi modelli avranno |
