Sforzo per ogni DOECIAO,
Ho condotto diversi DOE (Design of Experiments), ma una sfida ricorrente è l'elevato numero di prove richieste. Ad esempio, quando si utilizza un disegno di screening con 7 sessioni sperimentali, in genere testiamo da 4 a 6 repliche per sessione per valutarne la riproducibilità. Questo si traduce in un totale di 28-42 prove per DOE.
Tuttavia, dopo aver eseguito tutte queste prove, le prestazioni del modello risultano spesso insoddisfacenti, con valori di R² compresi tra 0,55 e 0,59. Inoltre, a causa di ampi intervalli di confidenza e stime parametriche incoerenti, facciamo fatica a identificare un modello affidabile o ripetibile. In molti casi, anche quando i dati Y vengono raccolti in condizioni controllate, il modello manca di coerenza e non riesce a fornire informazioni conclusive. Pertanto, dobbiamo raccogliere molti dati di processo da ogni esperimento.
Questa situazione sta diventando sempre più frustrante. Come possiamo affrontare efficacemente questo problema e ridurre gli sprechi di risorse, migliorando al contempo l'affidabilità del modello?
Progettazione degli esperimentiRiguardo: Sforzo per ogni DOEQualche pensiero per voi:
1. In modalità screening, cerca di non concentrarti troppo sulle prestazioni del modello... in questa modalità, il tuo obiettivo principale è identificare effetti/fattori attivi, con meno enfasi sul modello e sulla sua efficacia in termini di previsione. Poniti questa domanda: "Abbiamo identificato fattori che meritano ulteriori indagini?". In caso affermativo, procedi di conseguenza. In caso contrario, inizia a porti altre domande... come:
a. Abbiamo scelto livelli non sufficientemente ampi da consentire al segnale di elevarsi sopra il rumore?
b. Ci sono variabili nascoste che influenzano le nostre risposte? Se sì, come le gestiremo in futuro? Ostacolandoci?
c. Ci sono altri fattori di cui tenere conto?
2. Con tutte queste repliche dovresti essere in grado di ottenere una buona stima dell'errore puro... che, se sufficientemente elevato, inizierà a sovrastare il segnale. Cosa sai della variazione del tuo sistema di misura rispetto alle risposte? Forse, se sufficientemente elevata, dovresti lavorare per ridurre il rumore del sistema di misura?
Sono sicuro che altri interverranno... e come sempre, se puoi condividere uno o più esperimenti, forse possiamo essere più d'aiuto?
Riguardo: Sforzo per ogni DOECiao @Statexplorer ,
@P_Bartell ha fornito molte informazioni e consigli utili. Vorrei completare alcuni dei punti menzionati, dato che a quanto pare conduci esperimenti in ambienti con un rumore (relativamente) elevato.
Hai provato ad analizzare la possibile causa di rumore/elevata incertezza? Inadeguatezza del modello (mancanza di termini di interazione o effetti quadratici?), elevato errore di misura, variabili di disturbo (variabilità giornaliera, degli operatori, di processo?). Valutare la fonte del rumore sarebbe utile per consigliare di provare strategie di mitigazione appropriate:
- In caso di inadeguatezza del modello, quale modello utilizzi spesso in modalità di screening (solo effetti principali)? Hai modelli specifici nei test dei residui e/o di mancanza di adattamento che potrebbero indicare problemi?
Ti aspetti forti effetti di interazione e/o effetti polinomiali o non lineari? Hai provato altri metodi di modellazione (non lineari), ad esempio algoritmi di Machine Learning adatti alle dimensioni e alla complessità del tuo dataset, come Bootstrap Forest e SVM?
- In caso di errore di misura elevato, è possibile ampliare gli intervalli dei fattori (in modo che il segnale possa essere relativamente più alto del rumore)? È possibile aggiungere misurazioni ripetute: oltre alle repliche, oppure è possibile ridurre il numero di repliche indipendenti e compensare con misurazioni ripetute, e modellare la risposta media e la varianza delle misurazioni ripetute per ogni esecuzione?
- In caso di variabili di disturbo note, è possibile aggiungere alla generazione del progetto alcune misure di sicurezza, come il blocco, per evitare l'influenza dell'operatore, la variabilità giornaliera, il cambio dell'apparecchiatura di misurazione, ecc. L'utilizzo di una variabile a blocco casuale consente di catturare la varianza di questa variabile di disturbo dalla varianza sperimentale totale per evitare che questa "nasconda" alcuni potenziali effetti attivi. Se le variabili di disturbo possono essere gestite/modificate e sono note (ad esempio, variabili di processo), è anche possibile utilizzare i progetti Taguchi per creare un progetto robusto o utilizzare la piattaforma di progettazione personalizzata: Esperimenti per la progettazione robusta di processi e prodotti.
Spero che questa risposta possa contribuire alla discussione,
Riguardo: Sforzo per ogni DOEPurtroppo, non posso fornire consigli specifici perché non c'è contesto sufficiente. Questi problemi non possono essere affrontati a livello globale. Ecco le mie prime considerazioni:
1. Non sono a conoscenza di alcun progetto di screening con 7 run. Intendevi 8 (2^7-4 ResIII)?
2. Non capisco il numero di repliche. Innanzitutto, queste sono repliche (esecuzioni indipendenti delle stesse combinazioni di trattamento) e non ripetizioni? Uno degli aspetti che si "sacrifica" con il disegno sperimentale è la stabilità. Se si vuole comprendere i problemi di stabilità, il campionamento e gli studi COV sarebbero gli strumenti migliori. In ogni caso, non si può ottenere una vera stabilità eseguendo 4-6 repliche.
3. Sembra che ci sia molto rumore. Forse hai bisogno di una strategia migliore per gestirlo (ad esempio, RCBD, BIB, split plot).
4. Non avendo praticamente alcuna conoscenza della situazione, suggerirei di iniziare con il COV/campionamento prima del DOE.
4. R^2 è solo una delle statistiche da utilizzare per valutare il modello (e non è la migliore).
Riguardo: Sforzo per ogni DOEGrazie @P_Bartell
Ma quale dovrebbe essere il minimo Rsq di cui abbiamo bisogno come parte della progettazione di screening?
a. Abbiamo scelto livelli non sufficientemente ampi da far sì che il segnale si elevi sopra il rumore? Come possiamo individuarli?
b. Ci sono variabili nascoste che influenzano le nostre risposte... se sì, come le gestiremo in futuro... bloccandole? Come possiamo individuarle?
c. Ci sono altri fattori a cui dobbiamo pensare? - come trovarli?
2. Con tutte queste repliche dovresti essere in grado di ottenere una buona stima dell'errore puro... che, se sufficientemente elevato, inizierà a sovrastare il segnale. Cosa sai della variazione del tuo sistema di misura rispetto alle risposte? Forse, se sufficientemente elevata, dovresti lavorare per ridurre il rumore del sistema di misura? - Conosco le basi dell'MSA e i suoi effetti sulle risposte. Quindi, come usarle a livello DOE?
Riguardo: Sforzo per ogni DOEGrazie @statman
Mi dispiace, non erano 7, sono 10 esecuzioni con progettazione personalizzata e sono state modificate solo due variabili continue.
3. Sembra che ci sia molto rumore. Forse hai bisogno di una strategia migliore per gestirlo (ad esempio, RCBD, BIBD, split plot). Come posso usarli in JMP DOE?
4. Con una conoscenza praticamente nulla della situazione, suggerirei di iniziare con il COV/campionamento prima del DOE. Come eseguire lo studio del COV e scegliere il numero corretto di campionamenti prima del DOE? Di solito, la dimensione del campione per l'intero DOE (ovvero le cellule analizzate per l'intero DOE) è di 38-52.
4. R^2 è solo una delle statistiche che dovresti usare per valutare il modello (e non è la migliore). - Quindi, quali sono le altre statistiche migliori per valutare il modello? Potresti indicarmelo? Cercherò sempre pattern, CI, mancanza di adattamento, stima dei parametri e, a volte, RMSE normalizzato.
Riguardo: Sforzo per ogni DOEGrazie @Victor_G
No, non ho mai provato a valutare la causa del rumore, perché sono coinvolti così tanti processi prima di creare una cella finale.
Non ho modelli specifici nei residui.
Trattandosi del primo DOE per questo processo (non per la mia esperienza), non mi aspetto effetti polinomiali o di interazione. Non abbiamo utilizzato metodi di apprendimento automatico.
Il blocco è una cosa che non è ancora stata fatta completamente, ma potrebbe rappresentare un vantaggio perché tutte le celle vengono eseguite nello stesso giorno, con gli stessi strumenti, dalla stessa persona e utilizzando gli stessi materiali.
Riguardo: Sforzo per ogni DOEA mio parere, esiste un valore minimo di R^2 per qualsiasi analisi di qualsiasi disegno sperimentale. R^2 è solo un numero che aiuta ad articolare la variabilità spiegata da un modello specifico. L'obiettivo della tua analisi non è ottenere "buone statistiche"... ma soddisfare i tuoi obiettivi sperimentali. Quindi, se questi obiettivi non vengono raggiunti/soddisfatti... non mi interessa di R^2 e di qualsiasi altra statistica. Per quanto riguarda le altre tre domande che poni "come faccio a trovarle?"... queste sono affrontate dalla conoscenza del dominio, dalla condotta sperimentale, dall'esperienza passata e da qualsiasi conoscenza di base che puoi apportare al problema in questione. Quindi, lasciami iniziare e cercare di aiutarti.
1. Per quanto riguarda i livelli, se ti trovi in una situazione in cui non sai davvero dove impostarli, allora il DOE è probabilmente prematuro. Mi dispiace consigliarlo... ma se non ne hai idea, forse è il momento di fare delle prove con un fattore alla volta per vedere se riesci a trovare quei livelli.
2. Fattori nascosti... è qui che la conoscenza del dominio gioca un ruolo importante. Ad esempio, potresti dover condurre l'esperimento in due "macchine" diverse... che speri siano le stesse... ma vuoi evitare che non siano identiche per quanto riguarda il modo in cui influenzano le risposte. È qui che entra in gioco una qualche forma di blocco. Oppure i fattori sono difficili da modificare... come ad esempio la temperatura in un contenitore, quindi vorresti limitare la randomizzazione alla temperatura, eseguendo tutti i valori bassi insieme, seguiti da quelli alti. In questa situazione è consigliabile quello che viene chiamato un disegno "split plot" (una sola forma di blocco). Pensa all'esperimento e alle condizioni circostanti e usa la tua conoscenza del dominio per proteggerti o almeno tenere conto di questi fattori nascosti. Inoltre, ho sempre cercato di essere presente durante l'esperimento solo per "osservare" qualsiasi cosa potesse essere sospetta.
3. Quando hai pianificato l'esperimento, hai dedicato del tempo a fare un brainstorming su TUTTI i fattori che potrebbero essere influenti? Spero di sì, e hai stilato una lista. E l'hai conservata. Forse è il momento, dopo l'analisi, di rivedere quella lista e provare altri fattori?
4. Per quanto riguarda la variazione del sistema di misura, la regola empirica che abbiamo spesso usato era che la variazione del sistema di misura fosse pari a 1/4 della variazione del segnale che stavamo cercando di rilevare. La tua situazione potrebbe essere completamente diversa.
Spero che questo ti sia utile?
