Disegni di screening: come facciamo a sapere se gli effetti non sono significativi o se i dati complessivi non sono buoni (variazione significativa) senza eseguire repliche?Per dimostrare la robustezza di un processo chimico, spesso dobbiamo dimostrare agli enti regolatori che i parametri selezionati (temperatura, equivalenti, tempo e rapporti dei reagenti) non influiscono sulla qualità (purezza) del prodotto finale.Per dimostrarlo, gli enti regolatori preferiscono eseguire progetti di screening.Di solito, vogliamo dimostrare che i parametri non hanno effetti dannosi all'interno degli intervalli studiati, in modo che il processo sia robusto.
La mia domanda è: se lo sperimentatore esegue con la massima precisione e i dati mostrano che nessuno dei fattori (o termini di interazione) influenza la qualità, allora va bene.Se lo sperimentatore ha raccolto dati non validi e il modello mostra che nessuno dei fattori è influente, allora come capire se possiamo fidarci dei dati e del modello?Esiste comunque, soprattutto se non disponiamo di esecuzioni replicate per vedere la variazione?
Vedo che i progetti di screening definitivi non includono necessariamente esperimenti replicati, quindi come sapere se esiste una variabilità significativa nelle risposte?
Progettazione di esperimentiRi: Progetti di screening: come facciamo a sapere se gli effetti non sono significativi o se tutti i dati non sono buoni (variazione significativa) senza eseguire repliche?Credo di aver già fornito una risposta alla tua domanda. Potrebbe non essere affascinante, ma credo che l'interpretazione attraverso gli occhi dello scienziato/ingegnere sia un approccio razionale e logico. Se riesci a valutare se i risultati sembrano ragionevoli o sono "completati" mediante l'analisi pratica (che è notevolmente migliorata prevedendo i risultati prima di ottenerli), allora dovresti avere degli indizi che qualcosa non è stato fatto correttamente. Suppongo che potresti sviluppare un modello e guardare i residui, RMSE, delta R-square-Rsquare-Adj, valori p, ecc. al. per determinare quanto poco il modello descrive il processo.
Ri: Progetti di screening: come facciamo a sapere se gli effetti non sono significativi o se tutti i dati non sono buoni (variazione significativa) senza eseguire repliche?Sono d'accordo che la mia affermazione "mantenere costanti tutti i fattori di rumore" non è corretta nel vero senso della parola.Ma la mia definizione di "rumore" è diversa in questo contesto.Vorrei fare un esempio.
Diciamo che la mia reazione non è super sensibile all'acqua.Non è necessario misurare il contenuto di acqua del mezzo di reazione.Tuttavia, se sono presenti tonnellate di acqua (qualcosa come il 20% di acqua), ciò può influire sulla qualità.Ancora una volta abbastanza significativo da distorcere la risposta.Se il chimico esegue la reazione chimica in un reattore su scala di laboratorio adeguatamente essiccato (pratica comune), non dovrebbe costituire un problema.Ma supponiamo che il chimico stia facendo un lavoro scadente asciugando il reattore su scala di laboratorio e abbia preso un reattore che è significativamente bagnato e abbia eseguito uno (o più) degli esperimenti nella tabella di progettazione, quindi il risultato non è affidabile.In una buona pratica di laboratorio ciò non dovrebbe accadere, ma sto parlando di condizioni non ideali.Questo non è un fattore che studieremo, ma potrebbe avere un impatto significativo se i chimici non seguissero correttamente le istruzioni.Quando ho detto "rumore", intendevo una situazione come questa.Ora, se gli esperimenti nella tabella di progettazione fossero eseguiti con alcuni reattori adeguatamente essiccati, alcuni parzialmente essiccati e altri non essiccati affatto; sebbene l'istruzione sia di eseguire tutti gli esperimenti in reattori adeguatamente essiccati, i risultati possono essere ovunque.
In questo scenario, è possibile capire che i dati non sono affidabili in base all'analisi?
Ri: Progetti di screening: come facciamo a sapere se gli effetti non sono significativi o se tutti i dati non sono buoni (variazione significativa) senza eseguire repliche?Grazie mille per i tuoi input, comprendo perfettamente gli operatori che prendono in mano la situazione e il "pregiudizio intrinseco" per un parametro rispetto ad altri.Posso collegarmi a questo e il suggerimento è ben accolto.
Ri: Progetti di screening: come facciamo a sapere se gli effetti non sono significativi o se tutti i dati non sono buoni (variazione significativa) senza eseguire repliche?Condividerò i miei pensieri anche se potresti non essere d'accordo con loro. I progetti replicati sono solo un modo per includere il rumore nell'esperimento. I progetti non replicati possono essere molto utili. Utilizzo i diagrammi delle relazioni tra fattori per visualizzare graficamente le relazioni tra i fattori di progettazione e i fattori di rumore in un esperimento. In questo modo è possibile comprendere quali fattori costituiscono la base per il confronto e utilizzare il giudizio scientifico/ingegneristico per determinare se quel rumore è rappresentativo delle condizioni future e potrebbe stimolare pensieri e sviluppo di ipotesi sul potenziale effetto di tale rumore. Partizionare il rumore può essere molto utile per aumentare la precisione dei progetti senza influire negativamente sullo spazio di inferenza.
La tua dichiarazione" Ora l’obiettivo dello studio è fare esperimenti in laboratorio (su piccola scala imitando il più possibile il funzionamento su larga scala), variando sistematicamente i fattori A, B e C mentre mantenendo costanti tutti gli altri fattori di rumore ." non ha alcun senso per me. Innanzitutto, l'obiettivo dovrebbe essere IMHO, per capire il struttura causale che influenza la purezza chimica! In secondo luogo, il rumore, per definizione, è l'insieme di fattori che NON VUOI/PUOI CONTROLLARE. Il modo in cui raccogli i dati è utilizzare la sperimentazione (piuttosto che un campionamento diretto in cui non viene eseguita alcuna manipolazione e ti affidi al partizionamento delle fonti tramite il modo in cui campioni e sottogruppi razionalmente i dati). Mantenere il rumore costante per l'intero esperimento è una pessima idea a meno che non si intenda mantenerlo costante per sempre (e pagare la spesa aggiuntiva per il controllo del rumore), il che, ovviamente, rende questi fattori controllabili, non il rumore.
Come probabilmente saprai, Fisher scoprì che questa era una cattiva idea poiché lo spazio di inferenza risultante era così stretto da essere inutile di fronte alla realtà che il rumore varia e può influenzare i risultati (vedi gli articoli di Fisher sui suoi esperimenti agricoli). Ha introdotto la tecnica del blocco per gestire il rumore in modo che il rumore venga mantenuto costante all'interno del blocco e variato intenzionalmente tra i blocchi in modo da poter espandere lo spazio di inferenza e aumentare contemporaneamente la precisione del progetto. Consente inoltre la stima delle interazioni blocco per fattore, una misura di robustezza.
"Blocca ciò che puoi, randomizza ciò che non puoi" GEP Scatola
Shewhart ha suggerito nel Ciclo di Shewhart di "effettuare lo studio, preferibilmente su piccola scala". Credo che ciò che si intende è che si vogliano simulare le condizioni del mondo reale nello studio su piccola scala. Penso che il modo in cui lo fai sia esagerare gli effetti del rumore in modo da catturare la variazione a lungo termine del rumore in un periodo di tempo molto breve (l'esperimento).
Detto questo, per rispondere alla tua domanda, utilizzo una filosofia pseudo bayesiana. Chiedo agli scienziati/ingegneri di prevedere i dati per ogni trattamento dell'esperimento (a priori, ovviamente e distorto dalle ipotesi degli ingegneri), prevedere TUTTI i possibili risultati (per mitigare il bias) e prevedere quali azioni intraprenderesti per TUTTI i possibili risultati . Ciò fornisce contesto all'analisi sperimentale e fornisce un approccio pratico alla valutazione dei dati. Ad esempio, se si ottiene un risultato da un trattamento che è molto diverso da quello previsto, è possibile spiegare i dati (ipotesi o ipotesi modificata), in caso contrario, forse mettere in discussione l'esecuzione di quel trattamento o chiedersi cos'altro stava succedendo? durante l'esecuzione di tale trattamento (e se si prevede il motivo per cui i dati non corrisponderebbero, ciò aumenta la possibilità di trovare l'effetto casuale).
Parafrasando la citazione di Louis Pasteur "Il caso aiuta la mente preparata".
Ri: Progetti di screening: come facciamo a sapere se gli effetti non sono significativi o se tutti i dati non sono buoni (variazione significativa) senza eseguire repliche?Ecco una seconda idea per te che non aiuta a RILEVARE la causa principale dei "dati errati"... ma a PREVENIRLA... in base all'esperienza personale. Dopo alcuni anni di consulenza DOE per numerosi progetti presso il mio datore di lavoro (principalmente in un nuovo spazio di sviluppo di processi/prodotti) mi sono reso conto che troppo spesso, per i nostri gusti, le persone che effettivamente eseguono gli esperimenti "prenderebbero la situazione nelle proprie mani" in esecuzione sperimentale e non seguire alla lettera ciò che volevamo fosse fatto.
Ad esempio, la randomizzazione delle prove spesso veniva abbandonata perché l'operatore trovava difficile reimpostare i fattori in modo casuale e raggruppava insieme le prove "dolore per cambiare fattore" per rendere l'esperimento, beh, meno doloroso. Ahi... c'è la randomizzazione... e non abbiamo specificato un design della trama divisa. Quindi proprio lì ci esponiamo al potenziale di "dati errati".
Quindi quello su cui ho iniziato a insistere è stato essere presente durante lo svolgimento dell'esperimento, osservare e cercare di aiutare gli operatori lungo il percorso. Ho scoperto che questo ha diversi vantaggi... uno è che spesso ho visto qualcosa che potrebbe influenzare i nostri risultati in un modo che non volevamo accadesse... come lo scenario sopra. Insisterei per eseguire l'esperimento nell'ordine casuale specificato... e non prendere in mano la situazione. Dal punto di vista del lavoro di squadra... mi ha anche aiutato a costruire credibilità nei confronti degli operatori perché io, lo statistico in camicia bianca, ero disposto ad andare in laboratorio o in officina, a sporcarmi le mani e, a volte, a lavorare di notte o turno di notte insieme a tutti gli altri lavoratori rigidi... e non stare seduto nel mio ufficio d'avorio tutto il giorno a emettere proclami al proletariato.
Ri: Progetti di screening: come facciamo a sapere se gli effetti non sono significativi o se tutti i dati non sono buoni (variazione significativa) senza eseguire repliche?L'unica tecnica che mi viene in mente è che potresti essere in grado di utilizzare per lo scenario che descrivi è esaminare i risultati empirici rispetto a ciò che ci si aspetta SE le prove sperimentali fossero condotte come prescritto. Ovviamente ci dovrà essere una differenza tra le risposte attese e quelle osservate che sia abbastanza grande da destare sospetti... ma questa è la mia unica idea per te.
Una tecnica informativa potenzialmente utile potrebbe essere quella di utilizzare il JMP Prediction Profiler che contiene un modello in cui si ritiene... quindi, per determinate combinazioni del "nuovo" esperimento, chiedere "quanto è lontana dalla risposta prevista la risposta effettiva?". .utilizzando l'intervallo di previsione come criterio informativo.
Lo scenario che hai descritto mi è realmente accaduto una volta durante un progetto con un team di scettici del DOE in generale... Ero lo statistico del team e molti nel team ritenevano che il DOE fosse simile alla magia nera. Abbiamo eseguito una prova di conferma basata sulle x ottimali scelte. I risultati non si sono nemmeno avvicinati praticamente per tutte le nostre risposte. Quindi il team è entrato nella nostra migliore modalità Sherlock Holmes per cercare di scoprire "cosa è andato storto?" Si scopre che l'operatore aveva intenzionalmente scelto uno dei fattori chiave x come "quello che usiamo sempre... non questo livello ridicolo scritto sul foglio". È una vergogna per noi non aver tenuto informato l'operatore...volevamo quel "livello ridicolo" per confermare la nostra conoscenza del processo. Quindi, una volta scoperto ciò che l'operatore aveva effettivamente scelto, ho tirato fuori il Profiler di previsione di JMP e ho inserito il livello inappropriato per il fattore x...lo ed ecco che il Profiler ha previsto con notevole precisione i pessimi risultati che abbiamo osservato. Alla fine dell’incontro anche gli scettici del DOE furono conquistati.
Ri: Progetti di screening: come facciamo a sapere se gli effetti non sono significativi o se tutti i dati non sono buoni (variazione significativa) senza eseguire repliche?Grazie statman, vedi la mia risposta a P_Bartell.
Si prega di consultare i dettagli aggiuntivi che ho fornito.
Ri: Progetti di screening: come facciamo a sapere se gli effetti non sono significativi o se tutti i dati non sono buoni (variazione significativa) senza eseguire repliche?Grazie per la risposta.Vorrei chiarire una cosa.
Diciamo che i fattori A, B, C possono potenzialmente influire sulla purezza di un prodotto in una reazione chimica, ma solo se testati in condizioni estreme.Ci saranno numerosi altri fattori (chiamiamoli X) che hanno un effetto molto marginale sulla purezza.Questi altri fattori non sono stati inclusi nello studio perché hanno un impatto solo trascurabile sulla purezza o perché è altamente probabile che possano essere ben controllati esattamente al punto impostato mentre il processo entra nell'impianto.
Ora l’obiettivo dello studio è quello di fare esperimenti in laboratorio (su piccola scala imitando il più possibile il funzionamento su larga scala), variando sistematicamente i fattori A, B e C mantenendo costanti tutti gli altri fattori di rumore.
In una situazione ipotetica in cui il chimico che esegue queste reazioni non ha eseguito gli esperimenti meticolosamente, cioè non mantenendo i fattori A, B e C nei punti in cui devono trovarsi per lo studio e non controllando i fattori di rumore ai valori designati, allora c'è potrebbe trattarsi di una situazione in cui la combinazione di fattori di rumore offusca il segnale effettivo derivante dalla variazione sistematica dei fattori A, B e C.In tale situazione, i risultati potrebbero indicare che i fattori non incidono sulla purezza entro gli intervalli testati.
Esiste un modo per dire che i risultati non sono affidabili perché gli esperimenti non sono stati eseguiti come previsto?Soprattutto se non ci sono esperimenti replicati nella matrice?
Ri: Progetti di screening: come facciamo a sapere se gli effetti non sono significativi o se tutti i dati non sono buoni (variazione significativa) senza eseguire repliche?Innanzitutto benvenuto nella community. Cercheremo di darti alcune idee e sentiti libero di rispondere con ulteriori informazioni sulla tua situazione.
Pete ha sollevato alcuni punti eccellenti. Ecco i miei pensieri aggiuntivi:
1. Robustezza per me significa prestazioni costanti del modello rispetto al cambiamento del rumore (quantitativamente l'assenza di interazioni rumore per modello). Il rumore potrebbe essere costituito dalle condizioni ambientali, dalla purezza dei prodotti chimici in entrata, dalla pulizia della vasca, da errori del sistema di misurazione, dalla variazione di X non specificatamente controllata, dalla variazione di X all'interno dei livelli di controllo, ecc., o come definisco rumore: i fattori che non sei disposto a gestire/controllare ).
2. Potresti raccogliere i dati per la variabile di risposta registrando contemporaneamente i valori delle X. Utilizzare questi dati per eseguire la regressione lineare. Spereresti che la variazione nella variabile di risposta sia relativamente piccola e che non vi sia alcuna relazione con le X. Ciò è dovuto alla probabilità che anche le X non varino molto (motivo per cui ci sono poche prove di una relazione causale anche quando in realtà potrebbe esserci).
3. Ciò che stanno veramente chiedendo (suppongo) non è che tu faccia un progetto di screening, poiché l'intento di questo è quello di cambiare coraggiosamente le X e scoprire relazioni potenzialmente causali, ma qualcosa di più simile a un progetto di tolleranza. Forse è questione di semantica, ma quello che vogliono sapere è se la variazione normale e casuale delle X influisce sulla variabile di risposta. Quindi scegli livelli rappresentativi degli estremi della variazione naturale delle x ed esegui una sorta di disegno fattoriale. Penso che dovresti adottare qualche strategia per gestire anche altre fonti di rumore (blocco, ripetizione, grafici divisi, ecc.)
4. Non sono sicuro di cosa intendi con " Se lo sperimentatore ha raccolto dati questo non va bene". Ciò significa che i sistemi di misurazione sono sospetti? In tal caso dovresti studiare i sistemi di misurazione e, se conduci un esperimento, prendere misure ripetute per stimare la componente di misurazione e magari mediare la sua variazione per aumentare la precisione del progetto.
Ri: Progetti di screening: come facciamo a sapere se gli effetti non sono significativi o se tutti i dati non sono buoni (variazione significativa) senza eseguire repliche?Farò un tentativo con alcuni pensieri.
Primo: se la variazione nelle risposte sta sommergendo qualsiasi segnale che potrebbe essere nascosto dalla variazione dei fattori, nella mia mente c'è una delle tre cause:
1. Variazione eccessiva del sistema di misurazione. In questo scenario, la causa principale della variazione della risposta è prevalentemente la variazione del sistema di misurazione. Disponete di un sistema di controllo del processo continuo per il sistema di misurazione? Conosci la variazione "normale" intrinseca del sistema di misurazione? In caso contrario, non saprai mai se la tua conclusione di "nessun effetto" dovuta alla variazione dei fattori è reale o solo un'illusione causata da un'eccessiva variazione del sistema di misurazione.
2. Variabili di rumore/disturbo che influenzano il processo sperimentale in modo da aumentare la variazione della risposta. È importante essere sempre vigili per questi tipi di influenze durante la condotta sperimentale. Questo è complicato perché non puoi mai saperlo con certezza... ma un occhio attento, magari da parte di una terza parte indipendente, durante la conduzione e la pianificazione dell'esperimento può essere utile.
3. Non sta succedendo davvero nulla...
Nel complesso, la tua domanda è al centro della verifica delle ipotesi, non possiamo mai "accettare" un'ipotesi nulla secondo cui "non sta accadendo nulla rispetto ai fattori" ... solo non riuscire a rifiutarla. Nel caso che hai descritto, tutto ciò che puoi veramente dire è che non riusciamo a rifiutare l'ipotesi nulla secondo cui ogni effetto stimabile è uguale a zero.
