349240_it-IT

liliconcom

Ripensare la progettazione e l'analisi degli esperimenti? (2021-UE-30MP-776)

Livello: Intermedio

 

Phil Kay, Ingegnere di sistemi senior di JMP, SAS
Peter Hersh, Ingegnere per l'abilitazione tecnica di JMP, SAS

 

Scienziati e ingegneri progettano esperimenti per comprenderne processi e sistemi: per trovare i fattori critici e per ottimizzare e controllare con modelli utili. La progettazione statistica degli esperimenti garantisce che tu possa fare di più con il tuo sforzo sperimentale e risolvere i problemi più velocemente. Ma l'implementazione pratica di questi metodi generalmente richiede l'accettazione di alcuni presupposti (tra cui la scarsità degli effetti, l'ereditarietà degli effetti e gli effetti attivi o inattivi) che non sempre si adattano perfettamente alla conoscenza e all'esperienza del dominio. Gli approcci di machine learning possono superare alcune di queste sfide e fornire una comprensione più ricca dagli esperimenti senza costi aggiuntivi? Potrebbe essere una rivoluzione nella progettazione e nell'analisi degli esperimenti?

Questo discorso esplorerà i potenziali vantaggi dell'utilizzo della tecnica di autovalidazione sviluppata da Chris Gotwalt e Phil Ramsey per analizzare gli esperimenti industriali. Saranno presentati esempi di casi di studio per confrontare gli strumenti tradizionali con le tecniche di autovalidazione nello screening di effetti importanti e nella costruzione di modelli per la previsione e l'ottimizzazione.

 

 

Non siamo stati in grado di rispondere a tutte le domande nelle domande e risposte, quindi ecco qua...

 

Vedo che i pesi non sono compresi tra 0 e 1, come vengono generati?

Sono "ponderati frazionalmente". Questo è il trucco chiave che abilita il metodo. In Gen Reg in JMP Pro lo usiamo nel ruolo Freq. Puoi usare questo componente aggiuntivo per JMP Pro 15 per generare la tabella duplicata con ponderazione.Possiamo consigliare un discorso di Chris Gotwalt e Phil Ramsey per spiegare i profondi dettagli statistici della ponderazione.

 

Quando duplichi le righe, vengono duplicate con lo stesso risultato di output? Qual è lo scopo di questa duplicazione?

Sì, sono duplicati con la stessa risposta. Sarebbe una cattiva idea limitarsi a farlo e progredire con l'analisi. L'innovazione chiave qui è che sono ponderati in modo frazionario in modo tale da avere un peso basso in una parte del set di convalida e un peso maggiore nell'altro set di convalida. Ad esempio, un'esecuzione con un peso basso in "allenamento" avrà una coppia duplicata con un peso elevato in "convalida". Alcune coppie duplicate avranno un peso più uguale nell'addestramento e nella convalida.

 

Adattiamo un modello utilizzando queste ponderazioni per determinare quanto di ogni corsa va in allenamento e quanto va in convalida. Quindi ridisegniamo i pesi e inseriamo un altro modello. Ripetiamo questo processo centinaia di volte. Quindi utilizziamo i risultati di tutti questi modelli, sia per schermare gli effetti importanti dalla loro proporzione diversa da zero, sia per costruire un modello utile calcolando la media di tutti i singoli modelli.

È possibile eseguire il componente aggiuntivo nella versione normale, non professionale, di JMP 15?

Molto probabilmente. Puoi eseguire il componente aggiuntivo ma avrai bisogno di JMP Pro per utilizzare la colonna di convalida nell'analisi: questo è fondamentale.

Come funziona con le variabili categoriali?

Abbiamo presentato esempi con solo variabili continue. Una bella caratteristica è che funzionerebbe per qualsiasi modello e con qualsiasi tipo di variabile.

È un metodo riconosciuto adesso?

In una parola, no. Non ancora. La nostra motivazione è rendere le persone consapevoli di questo metodo per stimolare le persone che hanno interesse ad esplorare il metodo e fornire un feedback critico. Come abbiamo chiarito nella presentazione, non ti consigliamo di utilizzare questa come unica analisi di un esperimento. Se ti piace l'idea, provala e guarda come si confronta con altri metodi.

 

Detto questo, le idee della media del modello e della convalida dell'holdback sono riconosciute in situazioni di dati più grandi. Sembra che questo dovrebbe essere vantaggioso nel mondo dei dati più piccoli che sono progettati esperimenti.

Esegui il passaggio duplicato manualmente?

No, questa operazione viene eseguita come parte della configurazione della convalida automatica dall'addin o dalla piattaforma in JMP Pro 16. Potresti facilmente creare tu stesso le righe duplicate. La parte più difficile è impostare la ponderazione frazionaria, senza la quale l'analisi non funzionerà.

 

Il bayesiano utilizza anche molta simulazione (MCMC), sarebbe applicabile anche? Integrazione delle distribuzioni precedenti e successive?
Molto probabilmente. L'idea generale della convalida ponderata in modo frazionario con la media del modello bootstrap potrebbe essere applicabile in molte altre aree.

 

 

Trascrizione generata automaticamente...

 

Altoparlante	Trascrizione
Phil Kay	Ok, quindi parleremo di ripensare il design e l'analisi degli esperimenti. Sono Phil Kay. Sono il responsabile dell'apprendimento nel team di abilitazione tecnica globale e sono affiancato da Pete Hersh.
Pietro Hersch	Sì, anch'io sono un membro del team di abilitazione tecnica globale ed è entusiasta di parlare del DOE e di alcune delle nuove tecniche che stiamo... stiamo esplorando oggi.
Phil Kay	Quindi la prima cosa da dire è che siamo grandi fan di DOE. È meraviglioso. Ha avuto un enorme valore nella scienza e nell'ingegneria per molto tempo.
	E detto questo, ci sono alcuni presupposti con cui dobbiamo essere d'accordo per usare il DOE molto tempo.
	E non sempre si sentono estremamente a loro agio, come scienziati o ingegneri. Quindi cose come la scarsità degli effetti, quindi l'idea che non tutto ciò che stai guardando si è rivelato importante
	e in realtà solo alcune delle cose su cui stai effettivamente sperimentando si rivelano importanti. O l'effetto dell'ereditarietà è un'altra ipotesi.
	Ciò significa che ci aspettiamo di vedere solo comportamenti complessi o effetti di ordine superiore per fattori che sono attivi nelle loro forme più semplici.
	E, e proprio questa idea di effetti attivi e inattivi, così comunemente, il processo sequenziale di progettazione degli esperimenti consiste nel separare gli effetti attivi dagli effetti inattivi.
	E a volte sembra una decisione troppo binaria. Sembra un po' folle, credo, molto tempo, l'idea che alcune delle cose che stiamo sperimentando su un computer completamente inattivo,
	quando davvero, penso che noi, sappiamo che davvero tutto avrà qualche effetto. Potrebbe essere meno importante ma
	avrà ancora qualche effetto. E questi sono in gran parte presupposti che usiamo per farlo
	aggirare alcune delle sfide della progettazione di esperimenti quando non puoi permetterti di fare un numero enorme di corse e sì. Pete, non so se vuoi commentare anche questo dal tuo punto di vista.
Pietro Hersch	Sì, sono completamente d'accordo. Penso che pensare a qualcosa come la temperatura inattiva sia... Penso sia difficile immaginare che la temperatura non abbia alcun effetto su un esperimento.
Phil Kay	Sì, è un po' assurdo, vero? COSÌ,
	sì, se è nel tuo esperimento, allora sarà sempre attivo in qualche modo, ma forse non così importante come altre cose.
	Quindi passerò direttamente ai risultati di
	di quello che abbiamo visto. Quindi abbiamo esaminato questa tecnica di auto-convalida che Chris Gotwalt e Phil Ramsey hanno essenzialmente inventato
	e usandolo nell'analisi di esperimenti progettati, e ha davvero fornito risultati che sono semplicemente pazzi. Semplicemente non pensavamo che fossero possibili.
	Quindi, prima di tutto ho esaminato un sistema con 13 effetti attivi e analizzando un progetto di screening definitivo di 13 run e da ciò sono stato in grado di identificare che 13 effetti erano attivi, ovvero... è ciò che chiamiamo una situazione satura. Non vorremmo...
	comunemente, abbiamo parlato di progetti di screening definitivi come efficaci nell'identificare gli effetti attivi quando abbiamo scarsità di effetti, quando c'è solo un piccolo numero di effetti che sono effettivamente importanti o attivi. Ma in questo caso sono riuscito a identificare tutti i 13 effetti attivi.
	E non solo, è stato effettivamente in grado di costruire un modello con tutti quei 13 effetti attivi da questo progetto di screening definitivo di 13 run.
	Quindi, ancora una volta, è incredibile; non ci aspettiamo di poter avere un modello con tanti effetti attivi quante sono le righe di dati da cui lo stiamo costruendo.
	E Pete, hai guardato altre cose e hai ottenuto altri risultati davvero interessanti.
Pietro Hersch	Sì, assolutamente, e i risultati di Phil sono davvero impressionanti. Penso
	quello che il passo successivo che abbiamo provato è stato creare un design super saturo, che è più effetti attivi rispetto alle corse e l'abbiamo provato
	DOE molto piccoli. Quindi un DOE a sei esecuzioni con sette effetti attivi, che se lo facessimo con le tecniche DOE standard, non ci sarebbe modo di analizzare
	che correttamente. E abbiamo esaminato il confronto con DOE a otto e 10 e quanto ci ha fatto guadagnare. Quindi abbiamo ottenuto modelli abbastanza utili, anche da un DOE di sei esecuzioni, che era
	meglio di quanto mi aspettassi.
Phil Kay	Sì, è meglio di quanto tu abbia il diritto di aspettarti davvero, non è vero?
	E quindi abbiamo questi risultati davvero impressionanti e la capacità di identificare un numero enorme di effetti attivi da un piccolo
	design definitivo dello schermo e costruire effettivamente quel modello con tutti quegli effetti attivi. E nel caso di Pete, sono stato in grado di costruire un modello con sette effetti attivi da molto piccolo
	Esperimenti progettati.
	Quindi, come abbiamo fatto? Come funziona la metodologia di auto-convalida? Bene, sta prendendo idee dall'apprendimento automatico e uno degli strumenti davvero utili dell'apprendimento automatico è la convalida. Quindi la validazione dell'holdout è un modo davvero carino per assicurarti che tu, tu costruisca
	il modello più utile. Quindi è un modello robusto. Quindi tratteniamo una parte dei dati, li usiamo per testare diversi modelli che costruiamo e
	fondamentalmente, il modello che fa la migliore previsione di questi dati che abbiamo offerto è il modello che seguiamo, ed è davvero provato e testato.
	In realtà è praticamente il gold standard per costruire i modelli più utili, ma con DOE è una sfida più grande, vero, Pete? Ovviamente non si presta a questo.
Pietro Hersch	Sì, sì, l'intera idea alla base del DOE è esplorare lo spazio del design nel modo più efficiente possibile. E se iniziamo a resistere corre o resistiamo
	analisi delle corse, allora perderemo parte di quello spazio di progettazione e
	non possiamo davvero farlo con molte di queste tecniche DOE come i progetti di screening definitivi.
Phil Kay	Giusto, giusto, quindi sarebbe bello se ci fosse qualche trucco per poter ottenere i vantaggi di questa convalida di controllo e non soffrire per la conservazione di dati critici. Quindi questo ci porta a questa auto-convalida
	idea, e, Pete, vuoi descrivere un po' come funziona?
Pietro Hersch	Assolutamente, quindi questa è stata un'idea davvero intelligente sviluppata da Chris e Phil Ramsey, e loro essenzialmente prendono i nostri dati originali da un DOE e li ricampionano, quindi tu
	ripetere i risultati. Quindi, se noti che la tabella qui in fondo alla diapositiva, le sequenze in grigio sono gli stessi risultati delle sequenze in bianco. Sono solo ripetuti.
	E il modo in cui riescono a farla franca è creare questa colonna di ponderazione che è accoppiata insieme. Quindi in pratica, se uno ha un peso elevato, il
	la corsa ripetuta ha un ritmo basso... peso e così via e così via. E questo è... questo è... ci consente di utilizzare i dati con questa convalida e la ponderazione e entreremo un po' più in dettaglio su come è fatto.
Phil Kay	Sì, vedrai come succede quando esamineremo le demo. Quindi abbiamo fondamentalmente due casi di studio di esempi simulati che usiamo per illustrare questa metodologia. Quindi questo primo case study di cui parlerò,
	Sottolineo che è un esempio simulato. E per certi versi, è una specie di esempio irrealistico, ma penso che faccia davvero un buon lavoro nel dimostrare il potere di questa metodologia.
	Abbiamo sei fattori e per farlo sembrare un po' più reale, abbiamo scelto alcuni fattori reali da un caso di studio qui in cui stavano cercando di far crescere un organismo biologico e ottimizzare i nutrienti che immettono nel sistema per ottimizzare il tasso di crescita.
	Quindi abbiamo questi sei diversi nutrienti e quelli sono i nostri fattori. Possiamo aggiungerne quantità diverse, quindi ho progettato un progetto di screening definitivo di 13 corse per esplorare questi fattori con questa risposta del tasso di crescita.
	E i dati di risposta sono stati completamente simulati da me, ed è stato simulato in modo tale che ci fossero 13 effetti fortemente attivi. COSÌ
	L'ho simulato in modo che tutti gli effetti principali, tutti e sei gli effetti principali, siano attivi.
	E poi, per ciascuno di questi fattori, sono attivi anche gli effetti quadratici, quindi abbiamo sei effetti quadratici.
	Inoltre abbiamo un'intercettazione che dobbiamo sempre stimare, quindi ci sono in totale 13 effetti attivi, che sono importanti per comprendere il sistema.
	1 segnale al rumore, ma questa è ancora una vera sfida con la metodologia standard per modellarlo, e ci arriveremo nella demo.
	Quindi, davvero, la domanda è: possiamo identificare tutti quegli effetti importanti e, e se possiamo, allora possiamo anche costruire un modello con tutti quegli effetti importanti? Perché come ho detto, sarebbe davvero notevole
	rispetto a ciò che possiamo fare con la metodologia standard.
	E poi il caso di studio n. 2, Pete?
Pietro Hersch	Sì, assolutamente. Molto, molto simile al caso di studio di Phil. Stessa idea di fornire nutrienti diversi a diversi livelli a un organismo e controllarne il tasso di crescita. In questo caso ho semplificato ciò che Phil aveva fatto e l'ho suddiviso in soli tre fattori nutritivi. E questo è
	costruendo un diverso tipo di design, quindi un design sovrasaturato I-ottimale in cui stiamo osservando una superficie di risposta completa
	in modo sovrasaturato e abbiamo esaminato sei, otto e 10 run
	disegni. E quindi stessa stessa idea.
	La la
	gli effetti erano molto, molto
	alto rapporto segnale/rumore, quindi volevo davvero essere in grado di individuare quegli effetti se fossero attivi. E proprio come quello di Phil, ho mantenuto attivi gli effetti principali nelle quadratiche, così come l'intercettazione e stiamo cercando di individuarli.
	E stessa idea, quindi di quante esecuzioni avremmo bisogno per vedere questi effetti attivi e quanto accurato di un modello possiamo realizzare da questi progetti molto piccoli?
Phil Kay	Sì perché sai, come ho detto, non hai davvero il diritto di aspettarti di essere in grado di costruire un buon modello da un progetto così piccolo.
Pietro Hersch	Si Esattamente. Va bene.
Phil Kay	Quindi ora entrerò in una demo del case study n. 1.
	E lo sto presentando attraverso un progetto JMP, quindi è davvero un bel modo per presentare i tuoi risultati. Consiglierei di provarlo.
	E questo è il nostro
	design, quindi questo è il nostro progetto di screening definitivo a 13 cicli, in cui variamo questi fattori nutritivi e abbiamo la risposta del tasso di crescita simulato. Come ho detto, è stato simulato in modo tale che
	gli effetti principali, i quadratici di tutti questi fattori sono fortemente attivi, inoltre dobbiamo stimare questa intercetta.
	Ora, con un progetto di screening definitivo, in genere ti consiglio di utilizzare lo screening definitivo in forma come un modo per guardare i risultati come una delle analisi che puoi fare.
	Funziona davvero bene quando abbiamo questo principio di scarsità degli effetti che è vero. Quindi fintanto che solo pochi degli effetti sono fortemente attivi... sono attivi e il resto non è importante,
	poi troverà quelli...i pochi effetti importanti e li separerà da quelli non importanti.
	Ma in questo caso non mi aspettavo che funzionasse bene e non funziona bene. Non identifica che tutti e sei i fattori sono attivi. Infatti identifica solo uno dei fattori come attivi qui.
	Quindi non è una grande sorpresa, questa è una situazione troppo difficile, troppo impegnativa per questo tipo di analisi.
	Se in qualche modo sapessimo che tutti questi effetti attivi sono attivi e provassimo ad adattare un modello con tutti e sei gli effetti principali, tutti e sei quadratici e l'intercetta,
	allora questo è un modello saturo. Abbiamo tanti parametri da stimare quante sono le righe di dati, quindi possiamo quasi adattarci a quel modello, ma non otteniamo alcuna statistica.
	E in ogni caso, sai, a parte il fatto che ho simulato questi dati, in una situazione di vita reale, non sapremmo quali sono attivi, quindi non sapremmo nemmeno quale modello adattare.
	Ora, usando il metodo di auto-convalida, sono stato in grado di identificare in modo molto convincente gli effetti attivi, e parlerò di come l'abbiamo fatto.
	E questa è solo una visualizzazione dei miei risultati qui. Non devi necessariamente visualizzarlo in questo modo. Questo è a scopo di presentazione.
	Sono stato in grado di identificare che prima di tutto l'intercettazione era attiva. Ho tutti i miei sei effetti principali,
	e i miei effetti quadratici, e poi le mie interazioni a due fattori, che ho simulato per avere effetto zero. Puoi vedere che stanno bene
	rispetto agli altri. E in realtà c'è un fattore nullo qui che usiamo...quindi un fattore fittizio. Quindi qualsiasi cosa inferiore al fattore nullo possiamo dichiarare non importante o inattivo, se lo desideri.
	E quello che siamo in realtà... la metrica che stiamo guardando qui è qualcosa chiamato proporzione diversa da zero e spiegherò cosa significa, mentre lo esaminiamo. Questa è una specie di metrica che stiamo usando qui per identificare la forza di un effetto, l'importanza di un effetto.
	Quindi un po 'di come ho affrontato questo. Quindi ho preso il mio progetto di screening definitivo originale di 13 passaggi e poi l'ho impostato per l'auto-convalida, quindi ora abbiamo 26 righe che abbiamo duplicato.
	E c'è un componente aggiuntivo per farlo, uno dei nostri colleghi, Mike Anderson. ha creato un componente aggiuntivo che puoi utilizzare per eseguire questa operazione in JMP 15.
	In JMP 16 stanno effettivamente aggiungendo la funzionalità negli strumenti di modellazione predittiva nella piattaforma della colonna di convalida.
	E cosa fa, otteniamo questo set duplicato dei nostri dati, e poi otteniamo questa ponderazione e come ha detto Pete, abbiamo... ogni riga è nel set di addestramento e nel set di convalida.
	Nel set di addestramento, se ha un peso basso, avrà un peso alto nella convalida. Quindi, se ha un peso elevato nel set di addestramento, avrà un peso basso nel set di convalida.
	E quello che facciamo in realtà è, leggiamo... questi sono stati sostanzialmente assegnati in modo casuale.
	Riassegniamo quelli e siamo stati in grado di ripeterli centinaia di volte, adattando i modelli ogni volta e quindi osservando l'aggregato ... risultati aggregati su molte esecuzioni di simulazione. Quindi cosa faresti
	è quello di adattare il modello e sto usando GenReg qui in JMP Pro.
	E avrai comunque bisogno di JMP Pro, perché devi essere in grado di specificare questo ruolo di convalida, quindi inseriamo... la colonna di convalida del treno va in convalida.
	E la ponderazione va in frequenza e poi impostiamo tutto il resto come faremmo normalmente con la nostra risposta. E poi ho un modello, che è il modello della superficie di risposta qui con tutti questi effetti, e poi farei clic su Esegui.
	E si adatterà a un modello, e possiamo usare la selezione in avanti o il Lazo. Ecco, ho usato il lazo.
	Non è molto importante in questo caso.
	E ciò che è realmente accaduto è che abbiamo identificato solo l'intercettazione come importante in questo caso, quindi abbiamo effettivamente solo l'intercettazione nel modello.
	Ma se cambiamo la ponderazione, se torniamo alla nostra tabella dati risimuliamo queste ponderazioni, probabilmente otterremo un risultato diverso dal modello.
	Pesiamo diverse righe di dati, diverse esecuzioni nell'esperimento, che cambiano il modello che si adatta. Quindi lo faremo centinaia di volte e quello che farò è effettivamente utilizzare la funzione di simulazione in JMP Pro.
	E quello che facciamo è cambiare la colonna di ponderazione e inserire una versione ricalcolata della colonna di ponderazione. E puoi farlo un paio di centinaia di volte. In realtà l'ho fatto 250 volte in questo caso. Non lo lascerò davvero correre, perché ci vorranno un minuto o due.
	Dopo averlo fatto, ciò che otterrai è una tabella simile a questa.
	Quindi ora ho la stima dei parametri per ognuno di quei 250 modelli per ciascuno di questi effetti. COSÌ
	nel mio primo modello in questa corsa che ho fatto, questa era la stima del parametro per questo effetto principale dell'acido citrico. Nel modello successivo, quando abbiamo ricampionato la ponderazione,
	L'effetto principale dell'acido citrico non è stato inserito nel modello, quindi in quel caso era zero.
	E puoi effettivamente eseguire distribuzioni su tutte queste stime dei parametri. E una delle cose che puoi fare è farlo
	personalizzare queste statistiche, le statistiche di riepilogo, per guardare la proporzione diversa da zero. Quindi puoi vedere l'intercettazione qui,
	le stime che abbiamo avuto dell'intercettazione. Come potete vedere con l'acido citrico, molte volte è stato stimato pari a zero quindi questi erano i modelli,
	L'effetto principale dell'acido citrico non era nel modello, e quindi per la maggior parte del tempo è stato stimato intorno a 3, che è quello che avevo simulato.
	Quindi quello che guardiamo è la proporzione di volte in cui è diverso da zero e possiamo ricavarne una tabella di dati combinata. E l'ho già fatto, e ho appena fatto un po' di...
	un piccolo aumento aggiuntivo qui. Ho appena aggiunto una colonna per stabilire se si tratta di un effetto principale o altro, e poi è così che ho creato
	questa visualizzazione qui. Quindi quello che stai guardando è la proporzione di volte in cui ciascuno di questi effetti è diverso da zero, quindi la proporzione di volte in cui ciascuno degli effetti è nel nostro modello rispetto a tutti quelli
	Abbiamo eseguito 250 simulazioni, in cui abbiamo risimulato il peso frazionario. Ed è quello che usiamo per identificare
	gli effetti attivi, e questo è... e ha fatto un lavoro straordinario. È stato in grado di fare ciò che i nostri metodi standard non sarebbero in grado di fare. Ha identificato 13 effetti attivi da una corsa di 13
	disegno di vagliatura definitivo.
	Ora, cosa vorresti fare dopo? Forse vogliamo davvero adattare quel modello con tutti quegli effetti e sono stato in grado di farlo. E sto confrontando il modello che ho inserito qui
	rispetto alla vera risposta simulata e puoi vedere quanto si avvicinano. Quindi sono stato in grado di costruire un modello con tutti questi effetti principali, tutti questi quadratici e l'intercetta.
	Quindi ho qui un modello a 13 parametri che sono stato in grado di adattare a questo design definitivo dello schermo a 13 run, che è ancora una volta semplicemente notevole.
	E non parlerò esattamente di come sono arrivato a quella parte. Consegnerò a Pete ora. Parlerà ancora un po' di questa idea di modelli di ensemble auto-convalidati.
Pietro Hersch	Assolutamente. Grazie, Fil. Vediamo. Condividerò qui il mio schermo e daremo un'occhiata a questo progetto. COSÌ
	puoi vedere qui
	nello stesso
	flusso come Phil, stiamo guardando un progetto qui e io ho
	iniziato con quel DOE supersaturato da sei corse, e qui potete vedere, ho tre fattori,
	qual è il mio attuale tasso di crescita del modello sottostante e poi qual è il tasso di crescita... era il tasso di crescita simulato e poi, come ha detto Phil,
	Creo questa colonna di convalida automatica, che può essere eseguita con un componente aggiuntivo in JMP 15 sviluppato da Mike Anderson. Oppure in JMP 16, è integrato direttamente nel software e puoi accedervi sotto la colonna di convalida della piattaforma di modellazione predittiva di analisi.
	Quindi, proprio come ha mostrato Phil, ha mostrato un eccellente esempio di come possiamo trovare quali fattori sono attivi, quindi uno screening dei fattori. E questo è spesso il nostro obiettivo principale con DOE, ma se vogliamo fare un ulteriore passo avanti e costruire un modello a partire da quello,
	faremmo lo stesso processo, giusto. Quindi costruiamo il nostro DOE, otteniamo un'auto-convalida aggiunta a quel DOE, costruiamo il nostro modello, proprio come ha mostrato Phil, usando la regressione generalizzata e uno dei
	tecniche di selezione delle variabili. Quindi Phil Ramsey e Chris Gotwalt hanno esaminato molte di queste diverse tecniche e sembrano funzionare tutte abbastanza bene. Quindi, sia che tu stia usando un Lazo o anche una selezione in avanti a due stadi, sembrano tutti avere risultati simili e
	funzionano abbastanza bene. Quindi, una volta configurato e avviato, ottieni un modello, come quello mostrato da Phil, e sai che alcuni di questi modelli avranno

ScoppiareDAIModellazione predittivaRi: Ripensare la progettazione e l'analisi degli esperimenti? (2021-UE-30MP-776)

Grazie @Phil_Kay ! La tua risposta è esattamente ciò di cui avevo bisogno

Non vedo l'ora che arrivi il prossimo Discovery Summit che spero sarà di persona perché voglio davvero incontrarvi tutti!

Ri: Ripensare la progettazione e l'analisi degli esperimenti? (2021-UE-30MP-776)

CIAO @Stefan_Ivan ,

 

Sono contento che ti sia piaciuta la presentazione.

 

Questa è una buona domanda. Se hai tempo, ti consiglio di leggere il giornale di Lemkus, Ramsey, Gotwalt, Weese . Hanno svolto studi di simulazione rigorosi adeguati per provare variazioni su SVEM inclusa (se ricordo bene) una versione in cui il fattore fittizio viene utilizzato per la selezione del modello. Fondamentalmente, l'approccio alla selezione del modello con fattore fittizio non era il migliore.

 

L'idea originale alla base di SVEM richiedeva un fattore fittizio. Ma poiché si è evoluto, con l'aggiunta della modellazione dell'insieme, sembra che il fattore fittizio probabilmente non sia utile.

 

Uno dei motivi per cui @Peter_Hersh e io come SVEM è perché non richiede di classificare gli effetti nel binario di attivo e non attivo (o "vero"/"falso"). Come scienziati/ingegneri non pensiamo che abbia senso dire che un effetto di fattore è inattivo. SVEM significa che puoi includere tutti gli effetti dei fattori nel modello. Alcuni sono più importanti di altri. Ma sono tutti attivi, il che ha più senso per noi.

 

Spero che aiuti.

 

Ri: Ripensare la progettazione e l'analisi degli esperimenti? (2021-UE-30MP-776)

Ciao @Phil_Kay E @Peter_Hersh .

Ho partecipato al Discovery Summit Europe 2022 e assistito alla presentazione SVEM. Questo ha davvero attirato la mia attenzione e ho guardato rapidamente le altre presentazioni a cui si faceva riferimento. Questo è davvero il più istruttivo in termini di creazione dell'attuale modello SVEM, in particolare per quanto riguarda la creazione del modello "de-biased"

Tuttavia ho solo una domanda: dopo aver identificato gli effetti attivi usando la variabile fittizia "Null factor" non dovresti ripetere la procedura SVEM usando solo i veri effetti (e nessun fattore Null, ovviamente )? Lo chiedo perché ho visto che lo script utilizzato per la creazione delle 200 formule di previsione conteneva tutti i termini RSM per il DoE a 7 fattori.

Spero di aver esposto il problema in modo chiaro.

Grazie

 

Ri: Ripensare la progettazione e l'analisi degli esperimenti? (2021-UE-30MP-776)

È grandioso, @ckronig . Facci sapere se possiamo aiutare.

Ri: Ripensare la progettazione e l'analisi degli esperimenti? (2021-UE-30MP-776)

Grazie @Peter_Hersh E @Phil_Kay . Sono riuscito a far funzionare lo script. Proverò con i miei dati. Grazie ancora!!

Ri: Ripensare la progettazione e l'analisi degli esperimenti? (2021-UE-30MP-776)

@ckronig Ho anche allegato l'esempio DSD a 13 esecuzioni sia come tabella originale con la risposta "vera" simulata sia come impostazione della tabella per l'autovalidazione. Il secondo di questi contiene script per il ciclo attraverso il ridisegno dei pesi e quindi il salvataggio della colonna della formula di previsione dal modello ricalcolato. Solo un Pete descritto. Penso che dovresti essere in grado di dare un senso a questi, ma facci sapere se non capisci niente.

 

C'è un ultimo passaggio. Quando si calcola la media di tutti i modelli per fornire il modello dell'insieme, si dovrebbe scoprire che esiste una distorsione significativa tra previsto e effettivo. Potrebbe essere difficile spiegare perché sia qui, ma è dovuto al fatto che i parametri per ciascun effetto "vero" sono stati ridotti a zero da tutte le istanze del modello in cui sono stati azzerati (non nel modello). Penso che questo sia particolarmente estremo in questo caso perché tutti gli effetti "attivi" sono ortogonali nel DSD.

 

Puoi risolvere questo problema semplicemente adattando un modello in Adatta modello con il modello dell'insieme come effetto e la risposta come Y. È quindi possibile salvare questa formula di previsione del modello "de-biased" come modello finale.   

Ri: Ripensare la progettazione e l'analisi degli esperimenti? (2021-UE-30MP-776)

@ckronig Devo aver superato velocemente quella parte.La chiave è creare un modello e quindi salvare quella formula di previsione.Quindi chiedi a JMP di ricalcolare la formula del peso (puoi farlo sotto il triangolo rosso nel menu della tabella rieseguire le formule). Riesegui nuovamente il modello con la nuova colonna di ponderazione, quindi salva la formula di previsione e ripeti.Ho scritto un ciclo per ripetere questa ripetizione 100 volte, quindi ho preso la media di quei modelli.Non è necessario un componente aggiuntivo per eseguire questa operazione.Sono tutt'altro che uno scripter esperto ed è stato abbastanza semplice da configurare.Includerò la mia tabella di dati e lo script nel post.

Ri: Ripensare la progettazione e l'analisi degli esperimenti? (2021-UE-30MP-776)

CIAO @Phil_Kay E @Peter_Hersh

sì presentazione molto bella, Vorrei vedere anche il set di dati.

Sono particolarmente interessato a come hai generato tutti i modelli per la media in quanto non è stato trattato nella tua presentazione.

Ho già utilizzato questa autovalidazione per identificare i parametri attivi utilizzando la simulazione, quindi ho utilizzato questi parametri per costruire un modello. Ma ciò che hai presentato fa un ulteriore passo avanti generando molti modelli e calcolandone la media. Quella parte è stata eseguita utilizzando il componente aggiuntivo SVEM?

 

 

Ri: Ripensare la progettazione e l'analisi degli esperimenti? (2021-UE-30MP-776)

Grazie.@russ_wolfinger .

Sarebbe certamente interessante provare a calcolare la media dei modelli da k-fold ripetuti. Come dici tu, il potere è nell'insieme.

Pubblicherò presto il set di dati di 13 esecuzioni di esempio in modo che tu possa esplorarlo.

Anche se il metodo si rivolge chiaramente all'analisi, pensiamo che questo potrebbe (e vorrei sottolineare "potrebbe") avere importanti implicazioni per la progettazione degli esperimenti. Non abbiamo avuto il tempo di espandere adeguatamente questa linea di pensiero nella presentazione, quindi ecco qui...

Progettiamo esperimenti tenendo presente l'analisi. Come abbiamo detto all'inizio della nostra presentazione, ci sono ipotesi come la scarsità degli effetti e l'ereditarietà degli effetti che dobbiamo accettare per costruire un modello utile utilizzando metodi di analisi standard da un esperimento di dimensioni ragionevoli. Ci sono prove empiriche che queste ipotesi valgono in molti casi. Ma non sempre reggono e penso che scienziati e ingegneri siano a disagio con queste idee. Quando stavo progettando e conducendo esperimenti in laboratorio, so che avrei preferito non dovermi preoccupare di queste cose.

Sembra che l'autovalidazione/SVEM possa offrire un'alternativa. Pertanto potremmo progettare esperimenti senza gli stessi vincoli delle ipotesi standard. Sarebbe un enorme cambiamento quando si tratta di progettare esperimenti.

Vorrei sottolineare ancora una volta che tutto questo è ancora speculativo. Sembra promettente dalle mie esplorazioni limitate, ma aspetterei i risultati pubblicati di rigorosi studi di simulazione.

Sono assolutamente d'accordo che è molto divertente esplorare queste idee. E JMP Pro significa che non è necessario essere uno statistico o un programmatore esperto per provarlo.

Ri: Ripensare la progettazione e l'analisi degli esperimenti? (2021-UE-30MP-776)

Grazie Phil e Pete per una bella presentazione!   

 

La mia attuale interpretazione di SVEM/ponderazione frazionaria/autovalidazione è come una versione smussata della convalida incrociata k-fold ripetuta.Capovolgendo questo si potrebbe immaginare una discretizzazione dei pesi frazionari in 0 o 1 come una forma di k-fold ripetuto.Il potere in entrambi i tipi di convalida è nell'insieme.Ecco una congettura: un approccio ripetuto di assemblaggio di 5 volte funzionerebbe bene anche sul piccolo progetto di 13 run usando qualcosa come un lazo o un albero potenziato poco profondo come modello base.Saresti disposto a pubblicare qui il tuo progetto JMP in modo che io e altri possiamo provare alcune cose?

 

Un possibile punto di contesa è che considero questo metodo principalmente solo con l'analisi e non tanto direttamente con il DOE, anche se certamente sapere come si sta pianificando di analizzare un esperimento può influenzare le scelte di progettazione, ad esempio selezionando Bayesian I-optimal rispetto ad altri criteri.

 

In ogni caso, i risultati promettenti e le indagini in questo senso sono molto divertenti e mettono in mostra le fantastiche funzionalità in costante miglioramento di JMP Pro.

Ri: Ripensare la progettazione e l'analisi degli esperimenti? (2021-UE-30MP-776)

Se vuoi saperne di più sulla tecnica, questo è un ottimo discorso di follow-up.SVEM: un cambiamento di paradigma nella progettazione e nell'analisi degli esperimenti (2021-EU-45MP-779)