Voglio demistificare la progettazione degli esperimenti (DoE) con a serie di post con spiegazioni semplici di alcuni termini e concetti che possono creare confusione nelle persone agli inizi. In il primo post di questa serie , abbiamo esaminato la sfida del vasto spazio di possibilità nei sistemi multifattoriali e introdotto i concetti di fattori, risposte e disegni fattoriali completi. In il secondo post , abbiamo esaminato come possiamo comprendere i comportamenti nei processi, comprese le interazioni tra fattori, con modelli visivi e statistici. In il terzo post , abbiamo mostrato come costruire modelli del processo utilizzando dati provenienti da esperimenti efficienti e spiegato cosa intendiamo per regressione lineare multipla, effetti principali ed effetti quadratici.
Abbiamo illustrato tutto questo con un caso di studio reale in cui dobbiamo capire come impostare il Large Volume Injector (LVI) in un sistema di analisi GC-MS. L'obiettivo è ottimizzare il rilevamento di bassi livelli di contaminanti nei campioni di acqua. Mi sembra opportuno che in questo post si parli di chiarezza.
Qui, quando parliamo di chiarezza, intendiamo chiarezza sugli effetti che i nostri diversi fattori (volume di iniezione, velocità di iniezione, ecc.) hanno sulla nostra risposta (la somma di tutte le altezze di picco). Vedremo come l'esperimento a 26 prove che abbiamo introdotto sia quasi l'unico in grado di fornire questa chiarezza.
Al contrario, esamineremo anche un esempio di dati che non apporta chiarezza alla nostra comprensione. Lungo il percorso spiegheremo l'ortogonalità, la confusione e l'aliasing. Voglio portare chiarezza nella tua comprensione di questi concetti. Dovremo quindi iniziare in modo semplice.
Un semplice esempio di effetti correlati, ortogonalità, aliasing e confondimento
Cominciamo pensando solo ai primi due fattori per la nostra configurazione LVI e a questi tre diversi progetti sperimentali:
Ogni punto del grafico rappresenta una corsa in uno dei tre esperimenti.
- Il disegno n. 1 è il fattoriale completo per tre livelli (basso, medio e alto o L, M e H) dei due fattori.
- Il design n. 2 è lo stesso ma con due combinazioni rimosse: LH e HL.
- Il disegno n. 3 ha solo le combinazioni LL, MM e HH.
La copertura dello spazio delle possibilità è chiaramente ridotta da #1 a #2 fino a #3. Un'altra cosa che sta cambiando è la correlazione dei nostri fattori.
Il fattoriale completo ha una correlazione pari a 0 tra i fattori. Diciamo che il design lo è ortogonale per il principale effetto lineare di questi fattori. L'ellisse di confidenza per il punto 2 è più stretta perché ha una correlazione moderata, R , di 0,5. Diciamo che c'è alias parziale tra questi effetti in questo disegno. L'ellisse di densità per il punto 3 è crollata a zero perché esiste una correlazione perfetta (r = 1). Diciamo che gli effetti principali sono completamente alias O confuso in questo disegno.
Quali sono le conseguenze di questo aliasing? Per dimostrarlo, abbiamo simulato alcuni dati di risposta per ciascuna esecuzione di ciascun progetto. I punti nei grafici sono ora etichettati con il valore della risposta, SimResp, per le corse.
Semplicemente guardando i numeri del disegno n. 1, puoi avere un'idea dell'effetto della modifica di Vol(Inj) e Velocità(Inj) sulla risposta. Potresti anche riuscire a capirlo dal Design n. 2, ma non è così chiaro.
C'è un problema evidente nel cercare di comprendere l'effetto dei due fattori dai dati per il Progetto n. 3: non è possibile separare gli effetti dei fattori. Ogni modifica apportata a un fattore è stata abbinata esattamente a una modifica nell'altro fattore. Puoi capire perché chiamiamo questo confondimento! Abbiamo una totale mancanza di chiarezza riguardo all’effetto dei nostri fattori e quindi una scarsa comprensione del nostro processo.
Come discusso nei post precedenti di questa serie, il modo migliore per comprendere gli effetti dei fattori è adattare un modello. Adatteremo i modelli degli effetti principali ai dati di ciascun progetto – o almeno ci proveremo.
Nel caso del progetto n. 3, non è possibile adattare un modello con l'effetto principale di entrambi i fattori e otteniamo un singolarità avviso quando proviamo a inserire questo modello JMP :
Questo ci dice che possiamo adattare un effetto o l'altro, ma non entrambi.
Possiamo adattare il modello degli effetti principali dai dati dei progetti n. 1 e n. 2. Ecco i grafici del Profiler:
Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Trama del profiler del modello degli effetti principali del disegno n. 1.
Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2. Trama del profiler del modello degli effetti principali del disegno n. 2.
Questi grafici includono gli intervalli di confidenza che rappresentano la nostra incertezza sul vero effetto dei fattori. Dopotutto il nostro modello è solo una stima. Ci aspettiamo che la linea che rappresenta l'effetto si trovi all'interno delle bande ombreggiate degli intervalli di confidenza. Puoi vedere che la nostra incertezza sugli effetti è maggiore nel caso del modello del disegno n. 2. Ciò è dovuto in parte al fatto che avevamo meno dati (sette esecuzioni contro nove), ma anche al parziale aliasing degli effetti. Questo a volte viene chiamato inflazione della varianza .
I messaggi da portare a casa:
- Otteniamo la massima chiarezza sugli effetti dei fattori con disegni sperimentali ortogonali.
- Possiamo far fronte ad alcuni aliasing: possiamo conoscere gli effetti ma con meno precisione.
- Non possiamo conoscere gli effetti di fattori confusi.
Disegni sperimentali per chiarezza
Consideriamo ora il nostro progetto a 26 esecuzioni.
Il grafico successivo è una matrice di grafici a dispersione dei nostri primi tre fattori.
Una matrice di grafici a dispersione mostra grafici a dispersione per ogni coppia di variabili. Questo mostra una correlazione pari a 0 tra tutte le coppie di questi fattori; il disegno è ortogonale per questi effetti principali. La nostra comprensione di ciascuno di questi effetti è priva di confusione derivante dagli altri effetti. Finora sembra un buon design.
Possiamo rappresentare la correlazione degli effetti in modo più efficiente con una mappa di colori di correlazione:
Questa mappa ha gli stessi nove quadrati della matrice del grafico a dispersione. Ora la correlazione di una coppia di effetti è rappresentata dal colore del quadrato. La mancanza di correlazione tra i nostri effetti principali è visibile qui nei quadrati azzurri. La diagonale blu scuro dall'alto a sinistra all'angolo in basso a destra è la correlazione di ciascun effetto con se stesso (1 ovviamente!) ed è lì per completezza.
Con questa rappresentazione più efficiente delle correlazioni possiamo osservare tutti gli effetti principali.
Gli effetti principali continui sono tutti ortogonali tra loro. La chiarezza che ciò comporta è uno dei motivi principali per cui queste 26 esecuzioni costituiscono un progetto così utile. I quadrati blu leggermente più scuri sotto Liner ci dicono che c'è un parziale aliasing dell'effetto categoriale Liner con gli altri effetti principali (r = 0,0836). Questo non dovrebbe essere un problema. Infatti, è possibile calcolare quanto questo renderebbe più grandi gli intervalli di confidenza rispetto ad un disegno ortogonale (non più del 2,5%).
Possiamo anche osservare una mappa dei colori di correlazione per tutti gli effetti principali e quadratici[1]. Le mappe dei colori sottostanti sono le stesse, tranne per il fatto che ho etichettato due dei quadrati nella trama sulla destra per facilitare l'interpretazione.
La regione azzurra nel quadrante in alto a destra rappresenta le correlazioni tra gli effetti principali e gli effetti quadratici. Ad esempio, possiamo vedere che esiste una correlazione pari a 0 tra gli effetti principali e quadratici del volume di iniezione, Vol(Inj) e Vol(Inj)*Vol(Inj). La mappa mostra che esiste una correlazione pari a 0 tra ogni effetto quadratico e ogni effetto principale: gli effetti quadratici e quelli principali sono ortogonali l'uno rispetto all'altro. Questo non è un caso. Ancora una volta, questo è stato uno dei motivi della scelta del disegno sperimentale.
Il blu più forte in basso a destra rappresenta le correlazioni più elevate all'interno degli effetti quadratici. Ad esempio, possiamo vedere che esiste una correlazione di 0,4091 tra gli effetti quadratici del volume di iniezione e della velocità di iniezione, Vol(Inj)*Vol(Inj) e Speed(Inj)*Speed(Inj). La mappa mostra che esiste la stessa correlazione di 0,4091 tra tutti gli effetti quadratici: gli effetti quadratici sono parzialmente aliasati l'uno rispetto all'altro. Questo è un compromesso con cui possiamo convivere in questa situazione. Ciò significa che dovremmo essere in grado di comprendere gli importanti comportamenti curvilinei di qualsiasi fattore con un po’ meno precisione. La cosa importante è che non vi sia confusione negli effetti che stiamo osservando.
Abbiamo visto come i dati del disegno sperimentale a 26 esecuzioni possano chiarire la nostra comprensione dei comportamenti importanti nel nostro processo a causa delle correlazioni minime degli effetti. Senza i metodi del software come JMP , sarebbe difficile trovare un piano sperimentale che abbia sia relativamente poche esecuzioni che queste utili proprietà di correlazione.
Chiaro come il fango
Quando i dati vengono raccolti senza un piano c’è inevitabilmente una maggiore correlazione, rendendo più difficile capire cosa guida i comportamenti in un sistema. Un classico esempio sono questi dati econometrici (il set di dati Longley disponibile nella directory dei dati di esempio JMP 
y è una misura dell'occupazione e da x1 a x6 sono potenziali predittori (x6 sembra essere l'anno solare). La mappa dei colori di correlazione per gli effetti principali mostra correlazioni tra x1, x2, x5 e x6 che sono molto vicine a 1:
L'effetto sulla nostra comprensione degli effetti dei fattori può essere visto da un grafico Profiler del modello completo degli effetti principali:
Gli intervalli di confidenza più ampi sono quelli per gli effetti più correlati e dimostrano la difficoltà nel cercare di comprendere un sistema a partire da dati con fattori altamente correlati. Ad esempio, il modello stima che y diminuisca all’aumentare di x2, ma gli intervalli di confidenza indicano che l’effetto di quel fattore potrebbe essere anche fortemente positivo. Non sappiamo quasi nulla dell'effetto di x2.
Abbiamo visto che se vogliamo comprendere i nostri processi e sistemi con chiarezza, dobbiamo generare dati da esperimenti che abbiano una correlazione minima tra gli effetti che ci interessano. Abbiamo visto che la mappa dei colori di correlazione è un potente strumento visivo per comprendere quanto sia buono un design sotto questo aspetto. Finora abbiamo considerato solo gli effetti principali e quelli quadratici. Che dire dei comportamenti più complessi come le interazioni di cui abbiamo parlato prima? Nel prossimo post di questa serie, esamineremo questi effetti e vedremo perché le 26 esecuzioni del nostro esperimento sono una buona scelta se vogliamo garantire che questi comportamenti complessi non offuscano la nostra comprensione del sistema.
Appunti
[1] Sono necessari un paio di passaggi se si desidera determinare manualmente la correlazione degli effetti quadratici. Ad esempio, supponiamo che tu voglia esaminare la correlazione degli effetti quadratici di due fattori, X1 e X2. Per prima cosa devi ricodificare i fattori in modo che siano sulla stessa scala. È prassi comune codificare i fattori sulla scala da -1 a +1, dove -1 è l'impostazione più bassa nell'intervallo, 0 è il punto medio e +1 è il valore più alto. Vedrai spesso questa codifica nei libri su DoE. Con i fattori codificati in questo modo, puoi quindi calcolare gli effetti quadratici, X1*X1 e X2*X2, e osservare le correlazioni. Lo stesso vale per l'esame di altri effetti di ordine superiore, comprese le interazioni. Strumenti software DoE, come Valutazione del progetto in JMP , ti consentirà di valutare la correlazione degli effetti senza dover eseguire questi passaggi.
Ti sei perso qualche post di questa serie su Why DoE? Nessun problema. Vedere tutta la serie qui .
CIAO @Asier ,
Sì, posso vedere come questa sembri una contraddizione: la correlazione tra i predittori (fattori) è negativa ma il modello è in grado di fare una buona previsione. In realtà non c'è contraddizione. Non c'è motivo per cui un modello non possa adattarsi bene e avere anche predittori terribilmente correlati.
Il problema con i fattori correlati non è che significhi che non siamo in grado di fare buone previsioni. Il problema con i fattori correlati è che non possiamo comprendere bene l'effetto di ciascun fattore.
In questo caso, se conosciamo le X possiamo fare una buona previsione di Y (occupazione). Ma quello che non possiamo fare è capire quale sia l'effetto di ciascuna delle X.
Quindi la struttura di correlazione dei fattori non ci dice nulla sulla capacità di costruire un modello adeguato e di fare previsioni accurate. Ci dice con quanta precisione saremo in grado di misurare gli effetti individuali di ciascun fattore.
Spero che aiuti.
Fil
Ciao Phil,
Stavo rileggendo di nuovo queste fantastiche serie su DoE e mi è venuta in mente un'altra domanda.
Ho usato i dati di Longley per ricreare la tua analisi. Ottengo le stesse correlazioni tra i fattori che menzioni qui, ma sono rimasto sorpreso nel vedere il grafico (effettivo vs previsto) per l'adattamento. Se vedessi l'adattamento di seguito con un adattamento così buono e con intervalli di confidenza così ristretti, penso che presumerei senza esitazione che il modello sia molto buono. Tuttavia, dalla tua analisi e dal profiler vediamo anche che sappiamo molto poco sull'impatto degli effetti x1, x2 e x5...
Qual è il motivo di questa “contraddizione”? scommetto che c'è una buona ragione matematica per questa "apparente contraddizione"
Grazie
asier
Grazie per i tuoi commenti e feedback positivo, Asier.
Sì, osservare la correlazione degli effetti è qualcosa che puoi fare prima di eseguire l'esperimento e raccogliere i dati di risposta. Non stiamo affatto considerando la risposta quando guardiamo alla correlazione degli effetti.
Se si hanno effetti fortemente correlati è possibile aumentare i dati con esecuzioni aggiuntive per ridurre la correlazione. La piattaforma Augment Design nel menu DOE di JMP fornisce gli strumenti a questo scopo.
Se non sei in grado di raccogliere esecuzioni aggiuntive, esistono alcuni approcci utili alla modellazione. L'analisi delle componenti principali (PCA) può essere utilizzata per determinare un numero ridotto di variabili ortogonali (correlazione zero). Queste componenti principali sono una combinazione delle variabili originali. Ad esempio, x1, x2, x5 e x6 dei dati econometrici di cui sopra verrebbero effettivamente combinati in un'unica componente principale perché sono tutti fortemente correlati tra loro. Potresti quindi utilizzare i componenti principali come variabili nel tuo modello. Spesso le componenti principali possono essere interpretate come variabili "latenti" che descrivono alcuni fattori causali sottostanti nel sistema.
Tuttavia, non esiste alcuna magia. Più i tuoi effetti sono correlati, meno sarai in grado di comprenderli.
Spero che aiuti.
Saluti,
Fil
Ciao Phil,
Le mie congratulazioni per questa serie di post sul DOE. Penso che siano davvero buoni, chiari ed esplicativi sul DOE. Personalmente trovo che sebbene il concetto di DOE non sia complicato, la matematica dietro e la REALE comprensione del concetto non è così facile e specialmente il passaggio dai casi di studio sui libri ai problemi della vita reale...
Ho una domanda sul tema della correlazione di fattori o della confusione. Capisco il concetto e capisco correttamente, questa correlazione o confondimento può essere calcolato PRIMA che le esecuzioni vengano effettivamente eseguite (misure), permettendoti di sapere se l'esperimento che hai di fronte a te (insieme di esecuzioni) è buono da capire bene il tuo problema.
Un buon esempio è l'esempio dei dati econometrici in cui è possibile dedurre dalla mappa dei colori che esiste una seria correlazione tra alcuni fattori (X1-X2 e X5-X6).
Potresti confermare se questa mappa di colori può essere determinata prima di avere i dati misurati (risposta Y)? Quindi la mappa dei colori viene generata solo dalle informazioni sui fattori (e quindi la risposta non è necessaria per questo)?
E poi, una volta che lo sai, cosa puoi fare concretamente?
Suppongo che se stai effettivamente progettando gli esperimenti, JMP può aiutarti a fornire le impostazioni dei fattori che minimizzeranno le correlazioni (è giusto?)
ma se utilizziamo i dati esistenti (come i dati econometrici) per fare il nostro studio, c'è qualcos'altro che possiamo fare (oltre a sapere, come stai notando, che il modello è "chiaro come il fango" con pochissime informazioni reali sull'impatto dei fattori X1, X2 e X5 (con possibile impatto negativo o positivo su Y1)?
Grazie ancora per queste serie, penso che siano fantastiche e le consiglierei a chiunque cerchi di fare qualcosa in DOE
Asier
