593196_it-IT

liliconcom

Guida: best practice relative al blocco DOE, diagrammi divisi/striscia, covariate, fattori di disturbo e ANCOVA

Ciao a tutti,

 

Spero di ottenere feedback dagli esperti e dalla mente collettiva riguardo agli argomenti di cui sopra. Descriverò prima lo scenario e poi entrerò nel problema in questione.

 

SCENARIO: La nostra attività si trova spesso in una situazione in cui i DOE gestiti da persone impegnate in ricerca e sviluppo soffrono di un fattore di disturbo esterno e gestirlo per "salvare" il DOE a volte è difficile. Gli addetti alla ricerca e sviluppo in genere generano DOE per testare diversi fattori contemporaneamente. In questo processo, normalmente vengono prodotti multipli di 3 lotti, ogni lotto ha una ricetta diversa per testare i fattori che influenzano i risultati. I fattori che entrano nella ricetta sono tutti fattori continui e, a seconda del progetto, sono generalmente a 2 livelli (basso/alto). I punti centrali sono spesso inclusi per aiutare a stimare la varianza. Gli addetti alla ricerca e sviluppo in genere producono 3, 6, 9 ecc. Il motivo è che dopo le fasi iniziali del processo, i lotti devono essere essiccati in un forno ed è possibile essiccare solo tre lotti alla volta, quindi le quantità dei lotti sono multipli di 3. Dopo il primo passaggio i lotti vengono immediatamente portati ad essere essiccati.Subito dopo l'essiccazione il materiale viene fresato.A causa del tempo limitato all'interno di un giorno, può essere eseguito solo un numero fisso di corse ogni giorno, anche in questo caso sarebbe un multiplo di 3, con non più di 9 eseguite in un giorno.

 

PROBLEMA: A causa delle limitazioni fisiche legate all'ubicazione del forno, la temperatura e l'umidità dell'ambiente esterno (più spesso l'umidità) sono fattori fastidiosi. Li chiamo fastidio nel senso che sono conosciuti, ma incontrollabili. La temperatura e l'umidità ambientale possono essere misurate nel momento in cui un set di 3 lotti viene messo nel forno per l'essiccazione, ma non c'è modo di controllare questi fattori o di sapere quali saranno in anticipo. È noto che l'umidità può influenzare il materiale durante (e/o subito dopo) la fase di asciugatura e si sospetta che anche la temperatura ambiente possa avere lo stesso effetto.

 

DISCUSSIONE: Quello che mi piacerebbe capire meglio è come gestire questi fattori di disturbo in un DOE. Certamente, possiamo bloccare per giorno e avere un insieme di esecuzioni casuali e ben distribuite all'interno di ciascun blocco, ottenendo così una stima del rumore introdotto entro il giorno in cui i lotti sono stati prodotti ed essiccati. Potremmo anche introdurlo come effetto fisso (anche se in realtà non è fisso), il che aiuterebbe a stimare le differenze medie giornaliere in ciascun blocco. Potremmo anche considerare il "giorno" come un effetto "molto difficile" da modificare, per ottenere un disegno della trama divisa, che aiuterebbe a vedere come quel fattore interagisce con gli altri fattori -- MA -- non possiamo controllare l'umidità e non so cosa sarà prima dell'inizio della corsa sperimentale. Potremmo trattarlo come una covariata, il che richiederebbe l'esecuzione di un'analisi ANCOVA per rimuovere l'effetto del fattore di disturbo dalla risposta. Oppure potremmo semplicemente introdurre il fattore fastidio come fattore incontrollato.

 

Alcuni punti di discussione:

1. Sarebbe utile, anche se non necessario, stimare il rumore introdotto a causa dei fattori di disturbo, il che suggerirebbe un blocco randomizzato.
2. Sarebbe anche interessante stimare la variazione giornaliera causata dai fattori di disturbo, il che suggerirebbe un blocco fisso.
3. Sarebbe anche bello vedere se, o come, questi fattori fastidiosi interagiscono con gli altri fattori principali conosciuti, suggerendo di includerli come fattori "molto difficili" da modificare, ma in realtà sono impossibili da modificare poiché non abbiamo alcun controllo su di essi. .
4. L'esecuzione di un'ANCOVA potrebbe aiutare a rimuovere i fattori di disturbo per confrontare lotti realizzati in giorni diversi. Tuttavia, mi risulta che per eseguire questa operazione in JMP è possibile avere solo un singolo fattore categoriale combinato con un fattore covariato continuo per ottenere il giusto tipo di analisi. Certamente Potevo cambiamo alcuni dei nostri fattori principali in tipi di dati categoriali, ma il problema è che abbiamo diversi fattori principali che devono essere inclusi in qualsiasi modello. In tal caso, JMP non suddivide più i dati nelle diverse linee di adattamento come ci si aspetterebbe da un ANCOVA. Anche se forse non capisco appieno come JMP esegue l'ANCOVA in situazioni in cui sono presenti più fattori nel modello. I dati di esempio e la guida in linea su questo argomento sono molto limitati.
5. Infine, potremmo aggiungerlo a un modello come variabile non controllata, lasciando i livelli vuoti e compilando i dati quando vengono eseguite le esecuzioni. L'analisi successiva del modello dovrebbe mostrare se la variabile non controllata ha o meno un impatto sulla/e risposta/i.

 

Alcune domande:

1. In questo tipo di scenario in cui in genere abbiamo un numero fisso di lotti essiccati alla volta e tutti potrebbero essere influenzati dai fattori di disturbo, esiste un approccio migliore nell'incorporare i fattori di disturbo in un modello per capire quale effetto , se presente, ha sulla risposta?
2. Utilizzeremmo un approccio unico o approcci misti? Ad esempio, è meglio utilizzare solo il blocco randomizzato (o fisso), oppure utilizzare il blocco randomizzato, ma includere anche i fattori di disturbo come variabili non controllate? Allo stesso modo, è meglio utilizzare il giorno come un fattore molto difficile da modificare includendo anche l’umidità e la temperatura dell’aria come fattori incontrollabili?
3. L’ANCOVA è davvero l’approccio giusto o potrebbe portare a conclusioni errate?
4. Hai dovuto affrontare una situazione simile sul posto di lavoro e, se sì, quale metodologia hai utilizzato per gestire i tuoi fattori di disturbo?

 

Grazie per l'aiuto e aspetto con ansia di leggere le risposte.

 

Grazie!,

DS

Progettazione di esperimentiRi: Guida: migliori pratiche relative al blocco DOE, diagrammi divisi/striscia, covariate, fattori di disturbo e ANCOVA

CIAO @statman ,

 

Apprezzo davvero i tuoi pensieri e feedback su questa discussione. Onestamente, sono un po' sorpreso che nessuno di JMP, o altri professionisti del settore, si sia unito a questa discussione. Avrei pensato che ce ne sarebbero stati molti altri in una situazione simile e alla ricerca di modi per gestire i fattori di disturbo/rumore incontrollabili.

 

Bene, in base alla discussione e a ciò che il nostro gruppo può realmente manipolare rispetto ai fattori di rumore, mi sembra che l'opzione 3 sopra sarebbe la nostra scelta migliore, che sarebbe un approccio misto in cui vengono generati blocchi randomizzati e il rumore viene aggiunto come una covariata nel modello. Anche se questo potrebbe non essere l'approccio migliore, come il punto 4, penso che sia un approccio pragmatico che possiamo utilizzare almeno per aiutare con alcuni dei problemi che stiamo affrontando.

 

Grazie ancora per il vostro aiuto e buona discussione!,

DS

Ri: Guida: migliori pratiche relative al blocco DOE, diagrammi divisi/striscia, covariate, fattori di disturbo e ANCOVA

Sfortunatamente, penso che sia più una discussione individuale e difficile da portare avanti tramite questo forum. Ho diversi diagrammi di flusso e modelli per aiutare a pianificare gli esperimenti, ma non sono di uso generale e dipendono dalla situazione. Vi darò alcune indicazioni generali che, ovviamente, possono essere discusse. Esistono quattro "filosofie" per la gestione del rumore:

1. Ciò che trovo più tipico tra ingegneri e scienziati è il desiderio di mantenere costante il rumore durante gli esperimenti. L’idea è che ciò ridurrà notevolmente l’errore e renderà i fattori facili da identificare. Sfortunatamente, questo riduce lo spazio di inferenza e quindi è una strategia inadeguata per il lavoro analitico (quindi non farlo).

2. L'approccio tipico consiste nell'avere una sorta di replica randomizzata. Ciò aumenterà lo spazio di inferenza, potrebbe fornire una migliore stima degli errori casuali fornendo quindi un test statistico "migliore" (e in qualche modo migliorerà la probabilità di soddisfare le ipotesi di analisi). Ciò potrebbe influire negativamente sulla precisione del progetto.

3. Un altro approccio statistico consiste nell'assegnare il rumore (o un insieme di fattori di rumore) in modo che il suo effetto possa essere rimosso dalla stima dell'errore (MSE), aumentando così la precisione del test statistico. L'uso di blocchi casuali così come l'uso di covariate può raggiungere questo obiettivo. Ciò ha anche il vantaggio aggiuntivo di aumentare lo spazio di inferenza. L’accento è posto sui test statistici di significatività.

4. Un approccio forse più analitico consiste nell'identificare innanzitutto il rumore, sviluppare ipotesi sui potenziali effetti del rumore e quindi manipolare intenzionalmente tali fattori di rumore. Ciò può essere ottenuto utilizzando i blocchi come effetti fissi (perché in realtà stai combinando più fattori di rumore e impostandoli tutti a livelli estremi nell'esperimento). Questo approccio aumenta lo spazio di inferenza senza influire negativamente sulla precisione e consente inoltre di stimare la robustezza.

"Blocca ciò che puoi, randomizza ciò che non puoi." GEP Scatola

Le idee per l'esperimento con diagramma diviso vengono utilizzate quando sono presenti variabili di rumore specifiche che possono essere manipolate e fattorizzate nell'esperimento. Ciò fornisce uno spazio di inferenza maggiore, una maggiore precisione e un'eccellente risoluzione del fattore di progettazione mediante le interazioni del rumore.

Consiglio vivamente questo documento:

Scatola, GEP, Stephen Jones (1992), “ Progettazioni a trama divisa per una solida sperimentazione del prodotto ", Giornale di statistica applicata , vol. 19, n. 1

Ri: Guida: migliori pratiche relative al blocco DOE, diagrammi divisi/striscia, covariate, fattori di disturbo e ANCOVA

CIAO @statman ,

 

Grazie per la risposta e i pensieri/commenti. Di seguito sono riportate alcune risposte alle vostre domande.

 

1. Sfortunatamente, non posso condividere molto nei dettagli, ma condividerò quello che posso (in termini generali): di solito, la ricerca e sviluppo sviluppa una ricetta per un prodotto che alla fine verrà realizzato in un processo continuo. Quindi, in un certo senso, è sia una ricetta che un processo. Il materiale su scala di laboratorio viene prodotto in lotti, mentre il processo è un processo continuo. Non è necessario considerare le miscele perché non esiste una regola fissa secondo cui la somma di tutti i componenti deve eguagliare un determinato valore. Ciò che conta di più è il rapporto tra un componente e il tutto. Ad esempio, X1 potrebbe essere lo 0,05% del totale e X2 potrebbe essere lo 0,1% del totale, ma non esiste alcuna limitazione che dica che X1+X2+X3+...Xn deve essere uguale a 1. Sappiamo che passare dal processo batch in laboratorio al processo continuo non è un cambiamento diretto di 1:1 o un rapporto fisso negli ingredienti, ma una volta che abbiamo un prodotto di laboratorio robusto, è abbastanza semplice trasferirlo alla produzione continua processi.
2. È ben noto che effetto hanno i diversi componenti della ricetta sui risultati misurati. Sappiamo che la modifica di diverse X si tradurrà in una corrispondente modifica in alcune Y. Tuttavia, quando i clienti richiedono materiale con proprietà specifiche, possiamo modificare le nostre X per ottenere le Y desiderate dal cliente. Seguendo l'esempio precedente, un cliente potrebbe avere X1 impostato sullo 0,025% e X2 sullo 0,075% mentre un altro cliente potrebbe avere X1 sullo 0,1% e X2 sullo 0,1%; tutto dipende dalle loro esigenze. Il reparto di ricerca e sviluppo esegue i DOE in questa fase perché esistono diversi approcci per modificare le X che possono effettivamente risultare in Y molto simili dopo le fasi di essiccazione e macinazione. Alcuni di questi approcci sono più robusti di altri e alcuni di questi (non necessariamente gli stessi) danno come risultato materiali migliori dopo la seconda fase del processo - tuttavia, questa è una questione diversa e ha una propria serie di DOE che prendono materiale dalla prima fase round come covariate da inserire nel round successivo di DOE per la seconda fase, ovvero: in base a un determinato risultato Y_target, i lotti entro +/-w unità di Y_target verranno selezionati (utilizzando JMP) come input di covariata per il nuovo insieme di X durante la seconda fase. Ma ancora una volta, come ho detto, questa è una fase diversa del processo e non è influenzata dalla temperatura e dall'umidità ambientale perché quella parte del processo di laboratorio viene eseguita in un ambiente controllato.
3. Abbiamo valutato i nostri fornitori di materie prime, l'età delle materie prime, la pulizia delle apparecchiature di laboratorio, ecc. e abbiamo scoperto che il rumore introdotto da questi fattori è molto inferiore al rumore del sistema di misurazione. Detto questo, abbiamo anche testato se il nostro sistema di misurazione è efficace, ed è per le risposte che misuriamo, data la deviazione standard e la differenza da rilevare tra le esecuzioni sperimentali.
4. Per quanto riguarda il processo di produzione vero e proprio, sì, lo abbiamo mappato e sappiamo dove sono le maggiori fonti di rumore.
5. Direi che in generale, tra i DOE, il reparto di ricerca e sviluppo vorrebbe trovare il materiale più robusto (al rumore) che soddisfi le specifiche del cliente. Ma ci sono fattori di rumore esterni (principalmente temperatura e umidità relativa) che possono alterare il risultato. Vorremmo sia capire in che modo l'umidità e la temperatura influenzano il risultato sia tenere conto di questa variazione all'interno del DOE in modo da poter confrontare campioni effettuati in giorni diversi. Ho menzionato che il rumore dei sistemi di misurazione è maggiore del rumore derivante dalla variazione da lotto a lotto o dal fornitore di materie prime o dal materiale in entrata, ecc. Ma il rumore introdotto dalla temperatura ambiente e dall'umidità relativa può essere maggiore del rumore di misurazione. Ad esempio, se 3 lotti utilizzando tutti la stessa ricetta vengono realizzati individualmente e tutti essiccati e macinati insieme, mostreranno tutti le stesse risposte Y entro il tipico errore di misurazione del nostro sistema. Tuttavia, se le stesse ricette vengono ripetute in un giorno in cui l'umidità relativa è elevata (in pratica, spesso è vicina al livello di umidità relativa del 75-80%+), le misurazioni sulle stesse risposte Y daranno come risultato valori significativamente diversi. Come menzionato nel primo post, non possiamo controllare l'umidità relativa o la temperatura ambientale, e non possiamo nemmeno dire al personale di ricerca e sviluppo di non fare mai esperimenti nei giorni con umidità relativa elevata, quindi avere una struttura DOE che possa tenere conto di questa giornata- la variazione odierna e, si spera, anche spiegare un po' COME il rumore sta influenzando i nostri risultati Y sarebbe estremamente utile.

So che non esiste un modo unico per progettare gli esperimenti, ma avere un quadro generale sarebbe utile in modo che il team di ricerca e sviluppo possa gestire questo rumore e non perdersi o perdere tempo cercando di recuperare un DOE che è stato interessato da questo rumore. Sarebbe utile fornire loro anche una sorta di diagramma di flusso in modo che abbiano una sorta di approccio strutturato.

 

Ciò che trovo difficile, e a cui si allude nel titolo di questo post, è quando e perché uno sperimentatore dovrebbe utilizzare il blocco casuale, il blocco fisso, i grafici divisi/striscia, le covariate, le variabili non controllate o ANCOVA per gestire il rumore esterno come quello che stiamo stai sperimentando. L'obiettivo è capire come e perché il rumore influenza i nostri risultati Y al fine di sviluppare una ricetta resistente a tale rumore (temp/RH). Una delle difficoltà è che questo cambierà in base agli importi relativi di X1, X2, X3, ecc., che sono diversi per le diverse esigenze di ciascun cliente: il risultato è che una volta capito questo per una situazione, non lo faremo necessariamente poterlo estendere a tutte le altre situazioni. So che il metodo non dovrebbe essere immutabile, ma almeno avere un percorso decisionale logico è meglio di niente. Finora non sono riuscito a trovare molto nella guida di JMP o nei webinar online che facciano un buon lavoro nel distinguere tra i diversi approcci e quando/perché/dove uno dovrebbe considerare un determinato approccio rispetto a un altro.

 

Spero che questo aiuti a capire meglio con cosa abbiamo a che fare. Ancora una volta, apprezzo il tuo feedback e pensieri/commenti. Spero di sentire anche altri su questo argomento, perché sono sicuro che non siamo le uniche persone a dover affrontare una cosa del genere.

 

Grazie!,

DS

Ri: Guida: migliori pratiche relative al blocco DOE, diagrammi divisi/striscia, covariate, fattori di disturbo e ANCOVA

DS, Innanzitutto lasciami dire che il tuo post è abbastanza ben scritto e dettagliato, anche se ci sono alcuni punti critici mancanti. Cos'è la progettazione di ricerca e sviluppo, a ricetta per un prodotto realizzato in lotti? Oppure è un processi per realizzare lotti? O qualcos'altro? Hai bisogno di considerare i componenti della miscela di una formulazione? Stai cercando di "scegliere un vincitore" o vuoi indagare la struttura causale e scoprire come e perché funziona... il che richiede iterazione? In secondo luogo, non esiste un modo corretto per pianificare gli esperimenti. Eseguire la dovuta diligenza (sviluppare ipotesi, identificare tutte le x, collegare le ipotesi alle x. determinare quali effetti è necessario stimare, prevedere/classificare gli effetti del modello (almeno fino al 2° ordine), ecc.), progettare più piani, prevedere tutti i possibili risultati (e cosa farai in ogni risultato) e valutare la potenziale conoscenza acquisita rispetto al costo per acquisire tale conoscenza.  

 

Detto questo ci sono sicuramente diverse opzioni come da te indicato. Ecco i miei pensieri iniziali:

1. Chiamerò i tuoi fattori di disturbo rumore . Suggerisco che potrebbero essercene più di quelli che hai specificato nel tuo post (ad esempio, errori di misurazione, variazione degli ingredienti da lotto a lotto, coerenza del tempo di miscelazione, gradienti di temperatura del lotto, pulizia della vasca, capacità di aderire a ricetta, variazione del forno, ecc.), ma certamente capisco che quelli che hai specificato siano quelli su cui hai forti ipotesi. Anche se mi risulta che ti occupi di ricerca e sviluppo, qualcuno ha studiato i processi di produzione effettivi (è stata completata la mappatura dei processi?)? Eventuali componenti degli studi di variazione (ovvero campionamento diretto) eseguiti per stimare gli errori di misurazione, variazione all'interno del lotto, variazione tra lotto e lotto, variazione degli ingredienti da lotto a lotto, condizioni ambientali, forno a forno, ecc.? Avere una buona idea di quanto varia il rumore può aiutarti a determinare come includerlo nei tuoi esperimenti. Inoltre, il modo in cui è possibile gestire il rumore in un periodo a breve termine influisce sulle opzioni da utilizzare.

2. Quali sono le variabili di risposta? I sistemi di misurazione sono adeguati? Sei interessato agli effetti dei fattori sia sulla media che sulla variazione? Potresti voler ripetere per stimare una risposta alla varianza. Particolarmente utile per componenti di rumore a breve termine come all'interno della variazione batch.

3. Nell'ambiente di ricerca e sviluppo, in genere si desidera progettare robusto al rumore . Il rumore per un designer è tipicamente il processo produttivo, le materie prime e l'utilizzo del prodotto nelle mani del cliente. Definirò la robustezza del progetto come l'assenza di interazioni rumore per fattore, il che significa che il progettista sta cercando un progetto che funzioni in modo coerente rispetto alle variazioni del rumore. Pertanto il progettista deve esporre le potenziali interazioni rumore per fattore il più presto possibile nel processo di progettazione. Ciò offrirà al progettista il maggior numero di opzioni per porre rimedio alla situazione (invece di scoprire il problema una volta in produzione). Tenendo presente questo, potresti:

a) eseguire blocchi, mantenendo di proposito il rumore il più costante possibile all'interno del blocco (potrebbe essere necessario utilizzare apparecchiature per gestire il rumore per un breve periodo di tempo) e quindi modificando il rumore, in modo esagerato per espandere adeguatamente lo spazio di inferenza (vedere studi CoV ). Tratta i blocchi come effetti fissi e ottieni interazioni blocco per fattore per stimare la robustezza.

b) eseguire grafici divisi in cui il rumore potrebbe trovarsi nell'intera trama o nella sottotrama (array di prodotti incrociati, simili a un concetto Taguchi, analizzati solo un grafico diviso). Questi disegni forniscono un'eccellente risoluzione con maggiore precisione sia per l'intera trama che per la sottotrama.

4. Anche se potresti forse misurare il rumore e tenere conto di quella variazione nel modello (covariata), anche se ciò aumenterà la precisione dei test statistici, potrebbe non fornire le informazioni di cui hai bisogno. Ancora una volta la domanda è: vuoi ancora un vincitore o una comprensione? Vuoi un modello che sembra funzionare indipendentemente dalla comprensione?