Analisi Svem DOE con esecuzioni replicateNell'ultimo forum di discussione DOE è stata discussa l'analisi Svem per un DOE con esecuzioni replicate. È stato suggerito di fare la media del risultato delle esecuzioni replicate. Cosa succede se c'è una variazione significativa tra le repliche? Non sarebbe meglio eseguire Svem con una "variabile di esecuzione replicata" extra per stimare la variazione all'interno delle repliche? Se la variazione all'interno delle repliche è importante, Svem lo rileverà; in una successiva analisi del modello misto, la variabile replicata può essere assegnata come casuale e separata dagli effetti fissi che Svem ha assegnato come importanti.
Progettazione degli esperimentiRe: Analisi Svem DOE con esecuzioni replicateMi dispiace di non aver partecipato alla riunione del DOE club e di non avere familiarità con l'analisi SVEM (ho scaricato il file e lo esaminerò). L'analisi degli esperimenti è una scelta personale. Ci sono molti modi per farlo. Prima di commentare, voglio assicurarmi che tu intenda replicare e non ripetere. Vale a dire che le repliche sono considerate esecuzioni indipendenti della stessa combinazione di trattamento, ciascuna esecuzione con un'unità sperimentale indipendente come output.
Ecco i miei commenti non informati:
1. Quando si riassumono i dati, si eliminano invariabilmente informazioni. Se si intende fare una media, si dovrebbe anche considerare la variazione dei dati di cui si è fatta la media come risposta. IMHO, si eliminano informazioni (e DF) se si fa la media tra le repliche. Ora, se si stanno facendo delle ripetizioni, è un'ottima idea e si considera anche la risposta della variazione al modello.
2. Se si tratta effettivamente di repliche, sembra che tu voglia capire cosa cambia tra le repliche. Se riesci a identificare e assegnare quali fattori (rumore) cambiano tra le repliche, puoi imparare molto sulla robustezza degli effetti dei fattori. Questa può essere un'eccellente strategia per aumentare simultaneamente lo spazio di inferenza e aumentare la precisione del design.
"Blocca ciò che puoi, randomizza ciò che non puoi". GEP Box
Confondi ciò che puoi identificare e assegnare al blocco. Per i fattori che non sei riuscito a identificare, la strategia è la randomizzazione.
Re: Analisi Svem DOE con esecuzioni replicateCiao @frankderuyck ,
L'analisi SVEM funziona alla grande in due situazioni:
- Per costruire un modello predittivo con dati molto limitati, impilando i diversi modelli individuali che sono stati addestrati e convalidati su dati leggermente diversi (diversi pesi per l'addestramento e la convalida).
- Per valutare la significatività pratica e aumentare la precisione delle stime degli effetti per esperimenti individuali unici (senza repliche) mediante l'apprendimento automatico, grazie all'impilamento dei modelli.
Indipendentemente dalla situazione, è importante ricordare in quale contesto è stata introdotta la tecnica SVEM: per fornire una tecnica/un framework di convalida in presenza di un piccolo set di dati senza altre possibili tecniche di convalida.
Conferenze e presentazioni: Ripensare la progettazione e l'analisi degli esperimenti? (2021-EU-30MP-776) - JMP User Community
SVEM: un cambiamento di paradigma nella progettazione e nell'analisi degli esperimenti (2021-EU-45MP-779) - Community di utenti JMP
Quindi, solo concettualmente, ho sentimenti contrastanti sull'idea di combinare SVEM e repliche, poiché sembra la fusione di due diverse metodologie di costruzione di modelli che si basano su concetti, obiettivi e metodologie di convalida diversi: screening basato sulla significatività statistica e stima dell'errore/rumore per progetti che coinvolgono repliche e modellazione statistica vs. modellazione predittiva basata sull'accuratezza predittiva e bootstrapping/accatastamento di modelli.
In presenza di repliche, temo che si possa verificare una perdita di dati quando si usa SVEM per la creazione di modelli: poiché ogni esperimento avrà pesi di training e convalida casuali (e in modo anticorrelato), le esecuzioni replicate potrebbero avere un'enfasi diversa su training e convalida, anche se rappresentano lo stesso trattamento! Quindi la creazione di modelli potrebbe essere leggermente distorta (poiché ha informazioni sui set di training e convalida tramite repliche con pesi diversi) e potrebbe causare "eccessiva sicurezza" e una grande diminuzione della deviazione standard per le stime dei termini:
Aumentando la variabilità tra repliche sullo stesso esempio (set di dati JMP personalizzato Reactor 20 con esecuzioni di repliche aggiunte fino a 30 esecuzioni rispetto al set di dati personalizzato Reactor 20 originale), è possibile notare che le due situazioni di utilizzo di SVEM sulla progettazione con repliche e di utilizzo di SVEM senza repliche sono abbastanza simili in termini di stime ed errori standard:
Quindi, ripeto, non vedo quale potrebbe essere il vantaggio di unire queste due tecniche, poiché si stanno unendo due tecniche di convalida (molto) diverse, e questo non è il motivo per cui è stato creato SVEM.
Sono anche scettico sull'utilizzo di SVEM per stimare la variazione all'interno delle repliche, poiché è già possibile avere queste informazioni se si hanno repliche con un'analisi standard, e l'utilizzo di SVEM potrebbe ridurre la stima della deviazione standard, come il bootstrapping: vedere la fantastica visualizzazione interattiva per il bootstrapping: Seeing Theory - Frequentist Inference
Per altri interessati a questa discussione, ecco le registrazioni del DoE Club Q4: Registrazioni DOE Club Q4 2024
Spero che la risposta sia sensata e che siano interessati i contributi degli altri membri,
Re: Analisi Svem DOE con esecuzioni replicateCiao Victor, quando la variazione tra repliche è bassa ci si può aspettare poca influenza quando si aumentano le #replicate. Ma cosa succede se c'è una variabilità piuttosto elevata tra le repliche, non è interessante introdurre un fattore di blocco per ogni replica e includere questo effetto di blocco in Svem?
Re: Analisi Svem DOE con esecuzioni replicateCiao Frank,
Continuerei a pensare che questa potrebbe non essere una buona idea, poiché il metodo SVEM sembra essere "agnostico rispetto alla progettazione", quindi non prenderà in considerazione alcun raggruppamento, struttura di blocco o presenza di repliche, con conseguente possibile "eccesso di sicurezza"/fuga di dati/diminuzione della deviazione standard nella stima del termine dell'effetto di blocco.
Inoltre, poiché si tratta di un tipo specifico di bootstrapping, potrebbe comportare una diminuzione della stima della deviazione standard, come mostrato in precedenza con la visualizzazione interattiva.
EDIT: Maggiori informazioni su SVEM:
Panoramica dei modelli di ensemble auto-validati
Lemkus, T., Gotwalt, C., Ramsey, P. e Weese, M. (2021). “Modelli di ensemble auto-validati per la progettazione di esperimenti”.Chemiometria e sistemi di laboratorio intelligentiItaliano:
Re: Analisi Svem DOE con esecuzioni replicateSono d'accordo che se la variazione tra repliche non è troppo alta, i risultati medi possono essere usati per la modellazione. Questo è diverso quando c'è una variazione significativa delle repliche; trova in allegato uno studio con una variazione significativa tra repliche a causa del rumore di processo. Il modello misto con Replica come effetto casuale e SVEM con fattore Replica mostrano risultati simili. Tuttavia, quando i risultati delle repliche sono mediati, anche i modelli AICC e SVEM generalizzati sono simili e molto migliori, ma i risultati sono diversi da quelli misti e SVEM+replica: nelle ultime 2 analisi usando la media delle repliche, sono significativi più effetti! Questo caso mostra che bisogna stare attenti a fare la media delle repliche con variazione significativa; inoltre, SVEM+replica rileva abbastanza bene l'effetto replica casuale.
Re: Analisi Svem DOE con esecuzioni replicateDi seguito gli screenshot dell'analisi
1. Modello misto e SVEM + effetto replica
2. Risultati replicati medi: selezione anticipata generalizzata AICC e SVEM
Re: Analisi Svem DOE con esecuzioni replicateCaso di studio interessante, grazie per la condivisione @frankderuyck .
Confrontando le stime dei termini e le loro deviazioni standard, possiamo vedere che effettivamente l'uso di SVEM con repliche ha un'influenza sulle deviazioni standard. Nel mio esempio con variabilità media delle repliche, SVEM ha ridotto significativamente le deviazioni standard associate alla stima dei termini, poiché la perdita di dati nei pesi di training e convalida ha portato informazioni sulle stime dei termini durante la creazione del modello.
Nel tuo caso, poiché la variabilità tra repliche è molto alta, la perdita di dati non porta informazioni tra l'addestramento e la convalida del modello (in effetti il modello potrebbe essere ancora più "perso" a causa di questa grande variabilità delle repliche), quindi avrai deviazioni standard per le stime dei termini più elevate rispetto ad altri metodi. L'utilizzo di SVEM con valori medi o un modello REML porta informazioni molto simili e la Generalized Regression Forward Regression sui valori medi potrebbe fornire stime delle deviazioni standard eccessivamente ottimistiche:
Quindi penso che un consiglio generale potrebbe essere di non usare SVEM su dati grezzi che coinvolgono repliche (a causa dell'adattamento distorto del modello che ciò creerebbe con la perdita di dati). O usa SVEM con valori medi per il trattamento (ma perdi informazioni sulla variabilità dei trattamenti interni) o usa altri metodi per dati grezzi con repliche (approcci REML/Fit Model).
Interessato ad avere i punti di vista di @philramsey , @chris_gotwalt1 e di qualsiasi altro membro curioso della Community,
Re: Analisi Svem DOE con esecuzioni replicateProporrei un approccio in due fasi: (1) utilizzare SVEM + fattore replica per filtrare gli effetti più forti e (2) utilizzare quest'ultimo per costruire un modello misto con replica casuale.
Re: Analisi Svem DOE con esecuzioni replicateQuando il peso dell'effetto replicato in SVEM è basso, è possibile utilizzare il geneg/OLS regolare con medie replicate.
