Schemi di screening - Come facciamo a sapere se gli effetti non sono significativi o se l'intero dato non è buono (variazione significativa) senza fare repliche?Per dimostrare la robustezza di un processo chimico, spesso dobbiamo mostrare ai regolatori che i parametri selezionati (temperatura, equivalenti, tempo e rapporti dei reagenti) non influiscono sulla qualità (purezza) del prodotto finale.Per dimostrarlo, le autorità di regolamentazione preferiscono eseguire progetti di screening.Di solito, si vuole dimostrare che i parametri non hanno effetti dannosi all'interno degli intervalli studiati, in modo che il processo sia robusto.
La mia domanda è se lo sperimentatore si comporta con la massima precisione e i dati mostrano che nessuno dei fattori (o dei termini di interazione) sta influenzando la qualità, allora va bene.Se lo sperimentatore ha raccolto dati che non sono buoni e il modello mostra che nessuno dei fattori è influente, allora come capire se possiamo fidarci dei dati e del modello?C'è comunque, soprattutto se non abbiamo esecuzioni replicate per vedere la variazione?
Vedo che i progetti di screening definitivo non includono necessariamente esperimenti replicati, quindi come sapere se c'è una variabilità significativa nelle risposte?
dainaRi: Schemi di screening - Come facciamo a sapere se gli effetti non sono significativi o se l'intero dato non è buono (variazione significativa) senza fare repliche?Prenderò una pugnalata con alcuni pensieri.
Primo: se la variazione nelle risposte sta sommergendo qualsiasi segnale che potrebbe essere nascosto dalla variazione del fattore nella mia mente, c'è una delle tre cause:
1. Eccessiva variazione del sistema di misura. In questo scenario, la causa principale della variazione della risposta è prevalentemente la variazione del sistema di misurazione. Disponete di un sistema di controllo di processo continuo per il sistema di misurazione? Conosci la variazione 'normale' intrinseca del sistema di misurazione? In caso contrario, non saprai mai se la tua conclusione di "nessun effetto" dovuto alla variazione del fattore è reale o solo un'illusione causata da un'eccessiva variazione del sistema di misurazione.
2. Variabili di rumore/fastidio che influenzano il processo sperimentale in modo da aumentare la variazione della risposta. È importante essere sempre vigili per questi tipi di influenze durante la conduzione sperimentale. Questo è complicato perché non si può mai sapere con certezza... ma un occhio vigile, magari da parte di una terza parte indipendente, durante la conduzione e la pianificazione degli esperimenti può essere utile.
3. Non sta succedendo davvero niente...
Nel complesso, la tua domanda è al centro del test di ipotesi, non possiamo mai "accettare" un'ipotesi nulla che "nulla sta accadendo rispetto ai fattori" ... solo non rifiutarla. Nel caso che hai descritto, tutto ciò che puoi veramente dire è che non possiamo rifiutare l'ipotesi nulla che ogni effetto stimabile sia uguale a zero.
Ri: Schemi di screening - Come facciamo a sapere se gli effetti non sono significativi o se l'intero dato non è buono (variazione significativa) senza fare repliche?Innanzitutto, benvenuto nella community. Cercheremo di darti qualche idea e sentiti libero di rispondere con maggiori informazioni sulla tua situazione.
Pete ha tirato fuori alcuni punti eccellenti. Ecco i miei pensieri aggiuntivi:
1. Robustezza per me significa prestazioni costanti del modello rispetto al rumore variabile (quantitativamente l'assenza di interazioni rumore-modello). Il rumore può essere le condizioni ambientali, la purezza delle sostanze chimiche in ingresso, la pulizia della vasca, gli errori del sistema di misura, la variazione di X non specificatamente controllata, la variazione di X all'interno dei livelli di controllo, ecc., o come definisco rumore: i fattori che non sei disposto a gestire/controllare ).
2. Potresti raccogliere dati per la variabile di risposta registrando contemporaneamente i valori delle X. Utilizzare questi dati per eseguire la regressione lineare. Speri che la variazione nella variabile di risposta sia relativamente piccola e non vi sia alcuna relazione con le X. Ciò è dovuto alla probabilità che anche le X non varino molto (motivo per cui ci sono poche prove di una relazione causale anche quando in realtà potrebbe esserci).
3. Quello che chiedono davvero (suppongo) non è che tu faccia un progetto di screening, poiché l'intento di questo è cambiare audacemente le X e scoprire potenziali relazioni causali, ma qualcosa di più simile a un progetto di tolleranza. Forse è semantica, ma quello che vogliono sapere è se la normale variazione casuale delle X influisce sulla variabile di risposta. Quindi scegli livelli che siano rappresentativi degli estremi della variazione naturale delle x ed esegui una sorta di disegno fattoriale. Penso che dovresti adottare una strategia per gestire anche altre fonti di rumore (blocco, ripetizione, trame divise, et. al.)
4. Non sono sicuro di cosa intendi per " Se lo sperimentatore raccoglie dati non va bene". Questo significa che i sistemi di misurazione sono sospetti? In tal caso dovresti studiare i sistemi di misurazione e, se stai conducendo un esperimento, prendere misure ripetute per stimare il componente di misurazione e forse mediare la sua variazione per aumentare la precisione del progetto.
Ri: Schemi di screening - Come facciamo a sapere se gli effetti non sono significativi o se l'intero dato non è buono (variazione significativa) senza fare repliche?Grazie per la risposta.Permettetemi di chiarire una cosa.
Diciamo che i fattori A, B, C hanno il potenziale per influenzare la purezza di un prodotto in una reazione chimica, ma solo se testati a estremi.Ci saranno numerosi altri fattori (chiamiamola X) che hanno un effetto molto marginale sulla purezza.Questi altri fattori non sono inclusi nello studio perché hanno solo un impatto trascurabile sulla purezza o un'elevata confidenza che possano essere ben controllati con precisione al punto di regolazione mentre il processo va all'impianto.
Ora l'obiettivo dello studio è fare esperimenti in laboratorio (su piccole scale che mimano il più possibile il funzionamento su larga scala), variando sistematicamente i fattori A, B e C mantenendo costanti tutti gli altri fattori di rumore.
In una situazione ipotetica in cui il chimico che sta eseguendo queste reazioni non ha eseguito gli esperimenti in modo meticoloso, nel senso che non ha mantenuto i fattori A, B e C nei punti necessari per lo studio e non ha controllato i fattori di rumore ai valori designati, allora potrebbe essere una situazione in cui la combinazione di fattori di rumore offusca il segnale effettivo che esce dalla variazione sistematica dei fattori A, B e C.In tale situazione, i risultati possono indicare che i fattori non influiscono sulla purezza all'interno degli intervalli testati.
C'è un modo per dire che i risultati non sono affidabili perché gli esperimenti non sono stati eseguiti come previsto?Soprattutto se non ci sono esperimenti replicati nella matrice?
Ri: Schemi di screening - Come facciamo a sapere se gli effetti non sono significativi o se l'intero dato non è buono (variazione significativa) senza fare repliche?Grazie statman, leggi la mia risposta a P_Bartell.
Si prega di vedere ulteriori dettagli che ho fornito.
Ri: Schemi di screening - Come facciamo a sapere se gli effetti non sono significativi o se l'intero dato non è buono (variazione significativa) senza fare repliche?L'unica tecnica che mi viene in mente è che potresti essere in grado di utilizzare per lo scenario che descrivi è esaminare i risultati empirici in base a quanto previsto SE le prove sperimentali sono state eseguite come prescritto. Ovviamente dovrà esserci una differenza tra le risposte attese e quella osservata che è abbastanza grande da destare sospetti... ma questa è la mia unica idea per te.
Una tecnica informativa potenzialmente utile potrebbe essere quella di utilizzare il JMP Prediction Profiler che contiene un modello che credi... quindi per determinate combinazioni del "nuovo" esperimento, chiedi "quanto lontano dalla risposta prevista è la risposta effettiva?". .usando l'intervallo di previsione come criterio informativo.
Lo scenario che hai descritto in realtà mi è capitato una volta su un progetto con un team di scettici del DOE in generale... Ero lo statistico del team e molti membri del team pensavano che il DOE fosse simile alla magia nera. Abbiamo eseguito una prova di conferma basata sulle nostre x ottimali scelte. I risultati non erano nemmeno vicini per quasi tutte le nostre risposte. Quindi il team è entrato nella nostra migliore modalità Sherlock Holmes per cercare di trovare "cosa è andato storto?" Si scopre che l'operatore aveva intenzionalmente scelto uno dei fattori x chiave per essere "quello che usiamo sempre... non questo livello ridicolo scritto sul foglio". Vergogna per noi per non aver tenuto aggiornato l'operatore... volevamo quel "livello ridicolo" per confermare la nostra conoscenza del processo. Quindi, una volta scoperto ciò che l'operatore aveva effettivamente scelto, ho tirato fuori il JMP Prediction Profiler e ho inserito il livello inappropriato per il fattore x... ecco, il Profiler ha predetto con notevole precisione i pessimi risultati che abbiamo osservato. Alla fine di quell'incontro anche gli scettici del DOE furono conquistati.
Ri: Schemi di screening - Come facciamo a sapere se gli effetti non sono significativi o se l'intero dato non è buono (variazione significativa) senza fare repliche?Ecco una seconda idea per te che non aiuta a RILEVARE la causa principale dei "dati errati"... ma a PREVENIRLA... nata dall'esperienza personale. Dopo alcuni anni di consulenza DOE per numerosi progetti presso il mio datore di lavoro (principalmente in un nuovo spazio di sviluppo di processo/prodotto) mi è venuto in mente che troppo spesso per i nostri gusti le persone che eseguivano effettivamente gli esperimenti avrebbero "prendere le cose nelle proprie mani" in esecuzione sperimentale e non seguire alla lettera della legge ciò che volevamo fosse fatto.
Ad esempio, la randomizzazione delle prove spesso è stata messa da parte perché l'operatore ha trovato i fattori di ripristino in modo casuale un dolore e raggruppava le esecuzioni del "fattore di cambiamento dal dolore" per rendere l'esperimento, beh, meno doloroso. Ahi... c'è la randomizzazione... e non abbiamo specificato un progetto di trama divisa. Quindi proprio lì ci apriamo al potenziale per "dati errati".
Quindi quello su cui ho iniziato a insistere è stato essere presente quando l'esperimento è stato eseguito e guardare e cercare di aiutare lungo il percorso con gli operatori. Ho scoperto che questo aveva diversi vantaggi... uno è che spesso vedevo qualcosa che poteva influenzare i nostri risultati in un modo che non volevamo che accadesse... come lo scenario sopra. Insisterò per eseguire l'esperimento nell'ordine casuale in cui abbiamo specificato... e non prendere in mano la situazione. Dal punto di vista del lavoro di squadra... mi ha anche aiutato a creare credibilità con gli operatori perché io, lo statistico in camicia bianca, ero disposto ad andare in laboratorio o in officina, a sporcarmi le mani e, a volte, a lavorare di notte o turno di cimitero insieme a tutti gli altri cadaveri che lavorano... e non stare tutto il giorno nel mio ufficio d'avorio a fare proclami al proletariato.
Re: Schemi di screening - Come facciamo a sapere se gli effetti non sono significativi o se l'intero dato non è buono (variazione significativa) senza eseguire repliche?Condividerò i miei pensieri anche se potresti non essere d'accordo con loro. I progetti replicati sono solo un modo per includere il rumore nell'esperimento. I disegni non replicati possono essere molto utili. Uso i diagrammi di relazione fattoriale per visualizzare graficamente le relazioni tra i fattori di progettazione e i fattori di rumore in un esperimento. In questo modo capisci quali fattori costituiscono la base per il confronto e puoi utilizzare il giudizio scientifico/ingegneristico per determinare se quel rumore è rappresentativo di condizioni future e potrebbe stimolare lo sviluppo di pensieri e ipotesi sul potenziale effetto di tale rumore. Il partizionamento del rumore può essere molto utile per aumentare la precisione dei progetti senza influire negativamente sullo spazio di inferenza.
La tua affermazione" Ora l'obiettivo dello studio è fare esperimenti in laboratorio (su piccola scala imitando il più possibile il funzionamento su larga scala), variando sistematicamente i fattori A, B e C mentre mantenendo costanti tutti gli altri fattori di rumore ." non ha alcun senso per me. In primo luogo, l'obiettivo dovrebbe essere IMHO, per capire il struttura causale che influisce sulla purezza chimica! In secondo luogo, il rumore, per definizione, è l'insieme di fattori che NON VUOI / CAPACE DI CONTROLLARE. Il modo in cui raccogli i dati consiste nell'usare la sperimentazione (piuttosto che il campionamento diretto in cui non viene eseguita alcuna manipolazione e fai affidamento sul partizionamento delle fonti tramite il modo in cui campiona e sottogruppi razionalmente i dati). Mantenere il rumore costante per l'intero esperimento è un'idea terribile a meno che tu non intenda mantenerlo costante per sempre (e pagare la spesa aggiuntiva per controllare il rumore), il che, ovviamente, rende questi fattori controllabili, non il rumore.
Come probabilmente saprai, Fisher ha scoperto che questa era una cattiva idea poiché lo spazio di inferenza risultante era così ristretto da essere inutile di fronte alla realtà che il rumore varia e può influire sui risultati (vedi i documenti di Fisher sui suoi esperimenti agricoli). Ha introdotto la tecnica del blocco per gestire il rumore in modo che il rumore sia mantenuto costante all'interno del blocco e variato di proposito tra il blocco in modo da poter espandere lo spazio di inferenza e aumentare la precisione del progetto contemporaneamente. Consentendo anche la stima delle interazioni blocco per fattore, una misura di robustezza.
"Blocca ciò che puoi, randomizza ciò che non puoi" GEP Scatola
Shewhart ha suggerito nel ciclo di Shewhart di "eseguire lo studio, preferibilmente su piccola scala", credo che ciò che si intende sia di voler simulare le condizioni del mondo reale nello studio su piccola scala. Penso che il modo in cui lo fai sia esagerare gli effetti del rumore in modo da catturare la variazione a lungo termine del rumore in un periodo di tempo molto breve (l'esperimento).
Detto questo, per rispondere alla tua domanda, uso una filosofia pseudo bayesiana. Ho gli scienziati/ingegneri che predicono i dati per ogni trattamento dell'esperimento (a priori, ovviamente e distorto dalle ipotesi degli ingegneri), predicono TUTTI i possibili risultati (per mitigare il pregiudizio) e predicono quali azioni intraprenderesti per TUTTI i possibili risultati . Ciò fornisce un contesto all'analisi sperimentale e fornisce un approccio pratico alla valutazione dei dati. Ad esempio, se si ottiene un risultato da un trattamento molto diverso da quello previsto, è possibile spiegare quei dati (ipotesi o ipotesi modificata), in caso contrario, forse mettere in discussione l'esecuzione di quel trattamento o chiedere cos'altro stava succedendo durante l'esecuzione di quel trattamento (e se si prevede il motivo per cui i dati non corrispondono, ciò aumenta le possibilità di trovare l'effetto casuale).
Parafrasato dalla citazione di Louis Pasteur "Il caso favorisce la mente preparata".
