Altoparlante
|
Trascrizione
|
| Phil Kay |
Ok, quindi parleremo di ripensare la progettazione e l'analisi degli esperimenti. Sono Phil Kay. Sono il responsabile dell'apprendimento nel team di abilitazione tecnica globale e sono affiancato da Pete Hersh. |
| Peter Hersh |
Sì, sono anche un membro del team di abilitazione tecnica globale ed entusiasta di parlare del DOE e di alcune delle nuove tecniche che stiamo esplorando oggi. |
| Phil Kay |
Quindi la prima cosa da dire è che siamo grandi fan di DOE. È meraviglioso. Ha avuto un enorme valore nella scienza e nell'ingegneria per molto tempo. |
| |
E detto questo, ci sono alcuni presupposti con cui dobbiamo essere d'accordo per poter usare DOE molto tempo. |
| |
E non sempre si sentono estremamente a loro agio, come scienziati o ingegneri. Quindi cose come la scarsità degli effetti, quindi l'idea che non tutto ciò che stai guardando si è rivelato importante |
| |
e in realtà solo alcune delle cose su cui stai effettivamente sperimentando si rivelano importanti. Oppure l'ereditarietà degli effetti è un'altra ipotesi. |
| |
Quindi ciò significa che ci aspettiamo di vedere solo comportamenti complessi o effetti di ordine superiore per i fattori che sono attivi nelle loro forme più semplici. |
| |
E, e proprio questa idea di effetti attivi e inattivi, così comunemente, il processo sequenziale di progettazione degli esperimenti è quello di schermare gli effetti attivi dagli effetti inattivi. |
| |
E a volte sembra una decisione troppo binaria. Mi sembra un po 'folle, penso, molto tempo, questa idea che alcune delle cose che stiamo sperimentando su un sistema completamente inattivo, |
| |
quando davvero, penso che noi, sappiamo che davvero tutto avrà un certo effetto. Potrebbe essere meno importante ma |
| |
avrà ancora qualche effetto. E queste sono in gran parte ipotesi che usiamo per farlo |
| |
aggirare alcune delle sfide della progettazione di esperimenti quando non puoi permetterti di fare un numero enorme di corse e sì. Pete, non so se vuoi commentare anche questo dal tuo punto di vista. |
| Peter Hersh |
Sì, sono completamente d'accordo. Penso che pensare a qualcosa come la temperatura inattiva sia ... penso sia difficile immaginare che la temperatura non abbia alcun effetto su un esperimento. |
| Phil Kay |
Sì, è un po 'assurdo, non è vero? Così, |
| |
sì, se è nel tuo esperimento, sarà sempre attivo in qualche modo, ma forse non così importante come altre cose. |
| |
Quindi passerò direttamente ai risultati di |
| |
di quello che abbiamo visto. Quindi abbiamo esaminato questa tecnica di convalida automatica che Chris Gotwalt e Phil Ramsey hanno essenzialmente inventato |
| |
e usandolo nell'analisi degli esperimenti progettati, e ha davvero fornito risultati che sono semplicemente pazzi. Semplicemente non pensavamo fossero possibili. |
| |
Quindi, prima di tutto ho esaminato un sistema con 13 effetti attivi e analizzato un progetto di screening definitivo a 13 sessioni e da questo sono stato in grado di identificare che 13 effetti erano attivi, che è ... questo è ciò che chiamiamo una situazione satura. Non lo faremmo ... |
| |
comunemente, abbiamo parlato di progetti di screening definitivi come efficaci nell'identificare gli effetti attivi quando abbiamo una scarsità di effetti, quando c'è solo un piccolo numero di effetti che sono effettivamente importanti o attivi. Ma in questo caso sono riuscito a identificare tutti i 13 effetti attivi. |
| |
E non solo, è stato effettivamente in grado di costruire un modello con tutti quei 13 effetti attivi da questo progetto di screening definitivo a 13 corse. |
| |
Quindi, ancora una volta è un po 'incredibile; non ci aspettiamo di essere in grado di avere un modello con tanti effetti attivi quante sono le righe di dati da cui lo stiamo costruendo. |
| |
E Pete, hai guardato altre cose e hai ottenuto altri risultati davvero interessanti. |
| Peter Hersh |
Sì, assolutamente, e i risultati di Phil sono molto, molto impressionanti. credo |
| |
il passaggio successivo che abbiamo provato è stato creare un design super saturo, che è più effetti attivi delle corse e abbiamo provato questo |
| |
DOE molto piccoli. Quindi un DOE a sei corse con sette effetti attivi, che se lo facessimo con le tecniche DOE standard, non ci sarebbe modo di analizzare |
| |
quello correttamente. E abbiamo esaminato il confronto con otto e 10 DOE eseguiti e quanto ci ha acquistato. Quindi abbiamo ottenuto modelli abbastanza utili, anche da un DOE a sei tiri, che era |
| |
meglio di quanto mi aspettassi. |
| Phil Kay |
Sì, è meglio di quanto hai il diritto di aspettarti davvero, non è vero? |
| |
E così abbiamo ottenuto questi risultati davvero impressionanti e la capacità di identificare un numero enorme di effetti attivi da un piccolo |
| |
progettazione definitiva dello schermo e costruire effettivamente quel modello con tutti quegli effetti attivi. E nel caso di Pete, sono stato in grado di costruire un modello con sette effetti attivi da veramente piccoli |
| |
Esperimenti progettati. |
| |
Allora, come l'abbiamo fatto? Come funziona la metodologia di auto-validazione? Bene, sta prendendo idee dall'apprendimento automatico e uno degli strumenti davvero utili dall'apprendimento automatico è la convalida. Quindi la convalida dei controlli è davvero un bel modo per assicurarti di costruire |
| |
il modello più utile. Quindi è un modello robusto. Quindi teniamo fuori una parte dei dati, la usiamo per testare diversi modelli che costruiamo, e |
| |
fondamentalmente, il modello che fa la migliore previsione di questi dati che abbiamo fornito è il modello con cui andiamo, ed è davvero provato e testato. |
| |
In realtà è praticamente il gold standard per costruire i modelli più utili, ma con DOE è una sfida più grande, non è vero, Pete? Ovviamente non si presta davvero a questo. |
| Peter Hersh |
Sì, sì, l'idea alla base di DOE è esplorare lo spazio di progettazione nel modo più efficiente possibile. E se iniziamo a resistere o resistere |
| |
analisi delle corse, quindi perderemo parte di quello spazio di progettazione e |
| |
non possiamo davvero farlo con molte di queste tecniche DOE come i progetti di screening definitivi. |
| Phil Kay |
Giusto, giusto, quindi sarebbe bello se ci fosse qualche trucco che potremmo ottenere i vantaggi di questa convalida di controllo e non soffrire di fornire dati critici. Quindi questo ci porta a questa auto-convalida |
| |
idea e, Pete, vuoi descrivere un po 'come funziona? |
| Peter Hersh |
Assolutamente, quindi questa è stata un'idea davvero intelligente sviluppata da Chris e Phil Ramsey, e loro essenzialmente prendono i nostri dati originali da un DOE e li ricampionano, quindi tu |
| |
ripetere i risultati. Quindi, se noti che la tabella qui in fondo alla diapositiva, le corse in grigio sono gli stessi risultati delle corse in bianco. Sono solo ripetuti. |
| |
E il modo in cui riescono a farla franca è creare questa colonna di ponderazione accoppiata insieme. Quindi, fondamentalmente, se uno ha un peso elevato, il file |
| |
la corsa ripetuta ha un tasso basso ... peso e chi più ne ha più ne metta. E questo è ... questo è ... ci consente di utilizzare i dati con questa convalida e la ponderazione e entreremo un po 'più in dettaglio su come è fatto. |
| Phil Kay |
Sì, vedrai come succede quando passeremo attraverso le demo. Quindi abbiamo fondamentalmente due casi di studio di esempi simulati che utilizziamo per illustrare questa metodologia. Quindi questo primo caso di studio di cui parlerò, |
| |
Sottolineo che è un esempio simulato. E in qualche modo, è un po 'un esempio irrealistico, ma penso che faccia davvero un bel lavoro nel dimostrare la potenza di questa metodologia. |
| |
Abbiamo sei fattori e per farlo sembrare un po 'più reale, abbiamo scelto alcuni fattori reali da un caso di studio qui in cui stavano cercando di far crescere alcuni organismi biologici e ottimizzare i nutrienti che alimentano nel sistema per ottimizzare il tasso di crescita. |
| |
Quindi abbiamo questi sei diversi nutrienti e questi sono i nostri fattori. Possiamo aggiungerne diverse quantità, quindi ho progettato un progetto di screening definitivo in 13 sessioni per esplorare quei fattori con questa risposta del tasso di crescita. |
| |
E i dati di risposta sono stati completamente simulati da me, ed è stato simulato in modo tale che ci fossero 13 effetti fortemente attivi. Così |
| |
L'ho simulato in modo che tutti gli effetti principali, tutti e sei gli effetti principali, siano attivi. |
| |
E poi, per ciascuno di questi fattori, sono attivi anche gli effetti quadratici, quindi abbiamo sei effetti quadratici. |
| |
Inoltre abbiamo un'intercetta che dobbiamo sempre stimare, quindi ci sono 13 effetti in totale attivi, che sono importanti per comprendere il sistema. |
| |
1 rapporto segnale-rumore, ma questa è ancora una vera sfida con la metodologia standard per modellarla, e ci arriveremo nella demo. |
| |
Quindi, davvero, la domanda è: possiamo identificare tutti quegli effetti importanti e, e se possiamo, allora possiamo costruire un modello anche con tutti quegli effetti importanti? Perché, come ho detto, sarebbe davvero notevole |
| |
rispetto a ciò che possiamo fare con la metodologia standard. |
| |
E poi il caso di studio n. 2, Pete? |
| Peter Hersh |
Sì, assolutamente. Molto, molto simile al caso di studio di Phil. Stessa idea con stiamo alimentando diversi nutrienti a diversi livelli a un organismo e controllando il suo tasso di crescita. In questo caso ho semplificato ciò che Phil aveva fatto e l'ho suddiviso in tre soli fattori nutritivi. E questo è |
| |
costruire un diverso tipo di design, quindi un design supersaturo I-ottimale in cui stiamo guardando una superficie di risposta completa |
| |
in modo sovrasaturo e abbiamo esaminato sei, otto e dieci |
| |
disegni. E quindi stessa stessa idea. |
| |
La la |
| |
gli effetti erano molto, molto |
| |
alto rapporto segnale / rumore, quindi volevo davvero essere in grado di individuare quegli effetti se erano attivi. E proprio come quello di Phil, ho mantenuto attivi gli effetti principali nelle quadratiche, così come l'intercetta e stiamo cercando di individuarli. |
| |
E la stessa idea, quindi quante corse avremmo bisogno per vedere questi effetti attivi e quanto accurato possiamo ottenere un modello da questi progetti molto piccoli? |
| Phil Kay |
Sì perché sai, come ho detto, non hai davvero il diritto di aspettarti di essere in grado di costruire un buon modello da un progetto così piccolo. |
| Peter Hersh |
Si Esattamente. Va bene. |
| Phil Kay |
Quindi ora vado in una demo del case study n. 1. |
| |
E lo sto presentando tramite un progetto JMP, quindi è un modo davvero carino per presentare i risultati. Consiglierei di provarlo. |
| |
E questo è il nostro |
| |
, quindi questo è il nostro progetto di screening definitivo a 13 sessioni, in cui variando questi fattori nutritivi e abbiamo la risposta del tasso di crescita simulata. Come ho detto, è stato simulato in modo tale |
| |
gli effetti principali, le quadratiche di tutti questi fattori sono fortemente attive, in più dobbiamo stimare questa intercetta. |
| |
Ora, con un progetto di screening definitivo, in genere consiglio di utilizzare lo screening definitivo di adattamento come un modo per guardare i risultati come una delle analisi che puoi fare. |
| |
Funziona molto bene quando abbiamo questo principio di scarsità degli effetti che è vero. Quindi fintanto che solo alcuni degli effetti sono fortemente attivi ... sono attivi e gli altri non sono importanti, |
| |
poi troverà quelli ... i pochi effetti importanti e li separerà da quelli non importanti. |
| |
Ma in questo caso non mi aspettavo che funzionasse bene e non funziona bene. Non identifica che tutti e sei i fattori sono attivi. Infatti identifica solo uno dei fattori come attivi qui. |
| |
Quindi non è una grande sorpresa, questa è una situazione troppo difficile, troppo impegnativa per questo tipo di analisi. |
| |
Se in qualche modo sapessimo che tutti questi effetti attivi sono attivi e proviamo ad adattare un modello con tutti e sei gli effetti principali, tutti e sei quadratici e l'intercetta, |
| |
allora questo è un modello saturo. Abbiamo tanti parametri da stimare quante sono le righe di dati, quindi possiamo quasi adattare quel modello, ma non otteniamo alcuna statistica. |
| |
E in ogni caso, sai, a parte il fatto di aver simulato questi dati, in una situazione di vita reale, non sapremmo quali sono attivi, quindi non sapremmo nemmeno quale modello adattare. |
| |
Ora, utilizzando il metodo di convalida automatica, sono stato in grado di identificare in modo molto convincente gli effetti attivi e parlerò di come abbiamo fatto questo. |
| |
E questa è solo una visualizzazione dei miei risultati qui. Non è necessario visualizzarlo in questo modo. Questo è per scopi di presentazione. |
| |
Sono stato in grado di identificare che prima di tutto l'intercettazione era attiva. Ho tutti i miei sei effetti principali, |
| |
ei miei effetti quadratici, e poi le mie interazioni a due fattori, che ho simulato per avere effetto zero. Puoi vedere che stanno bene |
| |
contro gli altri. E in realtà c'è un fattore nullo qui che usiamo ... quindi quindi un fattore fittizio. Quindi qualsiasi cosa inferiore al fattore nullo possiamo dichiarare non importante o o inattivo, se lo desideri. |
| |
E quello che siamo in realtà ... la metrica che stiamo guardando qui è qualcosa chiamata proporzione diversa da zero e spiegherò cosa significa, mentre lo esaminiamo. Questo è il tipo di metrica che stiamo usando qui per identificare la forza di un effetto, l'importanza di un effetto. |
| |
Quindi un po 'di come ho passato tutto questo. Quindi ho preso il mio progetto di screening definitivo originale di 13 cicli e poi l'ho impostato per la convalida automatica, quindi ora abbiamo 26 righe che abbiamo duplicato. |
| |
E c'è un componente aggiuntivo per farlo, uno dei nostri colleghi, Mike Anderson. ha creato un componente aggiuntivo che è possibile utilizzare per eseguire questa operazione in JMP 15. |
| |
In JMP 16 stanno effettivamente aggiungendo la funzionalità agli strumenti di modellazione predittiva nella piattaforma della colonna di convalida. |
| |
E ciò che fa, otteniamo questo set duplicato dei nostri dati, quindi otteniamo questa ponderazione e, come ha detto Pete, abbiamo ... ogni riga è nel set di addestramento e nel set di convalida. |
| |
Nel training set, se ha una ponderazione bassa, avrà una ponderazione alta nella validazione. Quindi, se ha un peso elevato nel set di allenamento, avrà un peso basso nel set di convalida. |
| |
E quello che facciamo in realtà è, leggiamo ... questi sono stati fondamentalmente assegnati in modo casuale. |
| |
Li abbiamo riassegnati e siamo stati in grado di ripeterci centinaia di volte, adattando i modelli ogni volta e quindi esaminando i risultati aggregati ... aggregati su molte simulazioni. Quindi cosa faresti |
| |
è quello di adattarsi al modello e sto usando GenReg qui in JMP Pro. |
| |
E avrai comunque bisogno di JMP Pro, perché devi essere in grado di specificare questo ruolo di convalida, quindi inseriamo ... la colonna di convalida del treno entra in convalida. |
| |
E la ponderazione va in frequenza e quindi impostiamo tutto il resto come faremmo normalmente con la nostra risposta. E poi ho un modello, che è il modello della superficie di risposta qui con tutti questi effetti, e quindi farei clic su Esegui. |
| |
E si adatterà a un modello e possiamo usare la selezione in avanti o il Lazo. Ecco, ho usato il lazo. |
| |
Non è estremamente importante in questo caso. |
| |
E quello che è effettivamente successo è che abbiamo identificato solo l'intercetta come importante in questo caso, quindi abbiamo effettivamente solo l'intercetta nel modello. |
| |
Ma se modifichiamo la ponderazione, se torniamo alla nostra tabella di dati per simulare queste ponderazioni, probabilmente otterremo un risultato diverso dal modello. |
| |
Ponderiamo diverse righe di dati, diverse esecuzioni nell'esperimento, che cambiano il modello che si adatta. Quindi lo faremo centinaia di volte e quello che farò è effettivamente utilizzare la funzione di simulazione in JMP Pro. |
| |
E quello che facciamo è cambiare la colonna di ponderazione e passare a una versione ricalcolata della colonna di ponderazione. E puoi farlo alcune centinaia di volte. In questo caso l'ho fatto 250 volte. Non ho intenzione di lasciarlo correre, perché ci vorranno un minuto o due. |
| |
Dopo averlo fatto, ciò che otterrai è un tavolo simile a questo. |
| |
Quindi ora ho la stima dei parametri per ognuno di quei 250 modelli per ciascuno di questi effetti. Così |
| |
nel mio primo modello in questa corsa che ho fatto, questa era la stima dei parametri per questo effetto principale dell'acido citrico. Nel modello successivo, quando abbiamo ricampionato la ponderazione, |
| |
L'effetto principale dell'acido citrico non è entrato nel modello, quindi in quel caso era zero. |
| |
E puoi effettivamente eseguire distribuzioni su tutte queste stime di parametri. E una delle cose che puoi fare è farlo |
| |
personalizzare queste statistiche, le statistiche di riepilogo, per guardare la proporzione diversa da zero. Quindi puoi vedere l'intercetta qui, |
| |
le stime che abbiamo avuto dell'intercetta. Puoi vedere con l'acido citrico, molte volte è stato stimato pari a zero, quindi quelli dei modelli erano, |
| |
L'effetto principale dell'acido citrico non era nel modello, quindi per la maggior parte del tempo è stato stimato intorno a circa 3, che è quello che avevo simulato che fosse. |
| |
Quindi quello che guardiamo è la proporzione di volte in cui è diverso da zero e possiamo creare una tabella dati combinata da quelli. E l'ho già fatto, e ho appena fatto un po 'di ... |
| |
un po 'di aumento aggiuntivo qui. Ho appena aggiunto una colonna per indicare se si tratta di un effetto principale o altro, e poi è stato così che ho creato |
| |
questa visualizzazione qui. Quindi quello che stai guardando è la proporzione di volte in cui ciascuno di questi effetti è diverso da zero, quindi la proporzione di volte in cui ciascuno degli effetti è nel nostro modello rispetto a tutti quelli |
| |
Abbiamo eseguito 250 simulazioni, in cui abbiamo risimulato la ponderazione frazionaria. Ed è quello che usiamo per identificare |
| |
gli effetti attivi, e questo ... e ha fatto un lavoro straordinario. È stato in grado di fare ciò che i nostri metodi standard non sarebbero in grado di fare. Sono stati identificati 13 effetti attivi da una corsa 13 |
| |
progetto di screening definitivo. |
| |
Ora, cosa vorresti fare dopo? Forse vogliamo davvero adattare quel modello con tutti quegli effetti e sono stato in grado di farlo. E sto confrontando il modello che ho adattato qui |
| |
rispetto alla vera risposta simulata e puoi vedere quanto sono vicini. Quindi sono stato in grado di costruire un modello con tutti questi effetti principali, tutte queste quadratiche e l'intercetta. |
| |
Quindi ho un modello a 13 parametri qui che sono stato in grado di adattare a questo design dello schermo definitivo a 13 giri, che di nuovo è semplicemente notevole. |
| |
E non parlerò esattamente di come sono arrivato a quella parte. Adesso la passo a Pete. Parlerà ancora un po 'di questa idea di modelli di ensemble auto convalidati. |
| Peter Hersh |
Assolutamente. Grazie, Phil. Vediamo. Condividerò il mio schermo qui e daremo solo un'occhiata a questo progetto. Così |
| |
puoi vedere qui |
| |
nello stesso |
| |
flusso come Phil, stiamo guardando un progetto qui e io l'ho fatto |
| |
iniziato con quelle sei corse DOE sovrasatura, e qui puoi vedere, ho tre fattori, |
| |
qual è il mio effettivo tasso di crescita del modello sottostante e poi qual è il tasso di crescita ... il tasso di crescita simulato e poi, come ha detto Phil, |
| |
Creo questa colonna di convalida automatica, che può essere eseguita con un componente aggiuntivo in JMP 15 sviluppato da Mike Anderson. O in JMP 16, è integrato direttamente nel software ed è possibile accedervi sotto la piattaforma di modellazione predittiva di analisi, colonna di convalida. |
| |
Quindi, proprio come ha mostrato Phil, ha mostrato un eccellente esempio di come possiamo trovare quali fattori sono attivi, quindi uno screening dei fattori. E questo è spesso il nostro obiettivo principale con DOE, ma se vogliamo fare un ulteriore passo avanti e costruire un modello da quello, |
| |
faremmo lo stesso processo, giusto. Quindi costruiamo il nostro DOE, otteniamo un'auto-convalida aggiunta a quel DOE, costruiamo il nostro modello, proprio come ha mostrato Phil, usando la regressione generalizzata e uno dei |
| |
tecniche di selezione delle variabili. Quindi Phil Ramsey e Chris Gotwalt hanno esaminato molte di queste diverse tecniche e sembrano funzionare abbastanza bene. Quindi, sia che tu stia utilizzando un lazo o anche una selezione in avanti a due fasi, sembrano tutti avere risultati simili e |
| |
funziona abbastanza bene. Quindi, una volta impostato e avviato, ottieni un modello, come ha mostrato Phil, e sai che alcuni di questi modelli avranno |
