Voglio demistificare progettazione di esperimenti (DoE) con semplici spiegazioni di alcuni termini e concetti che possono creare confusione per le persone quando iniziano. In tutto questo serie di post sul blog , abbiamo utilizzato un caso di studio in cui l'obiettivo è capire come impostare l'iniettore di grande volume (LVI) in un'analisi GC-MS per tracce di impurità nei campioni di acqua. Abbiamo introdotto un piano sperimentale che consiste nel testare 26 combinazioni di impostazioni degli otto fattori LVI come esempio per illustrare alcune delle proprietà più importanti che cerchiamo in un esperimento progettato.
Nei post precedenti di questa serie, noi ha introdotto la regressione lineare multipla , e abbiamo visto che il nostro esperimento di 26 esecuzioni ha utili proprietà di correlazione per comprendere comportamenti importanti tra cui effetti principali, effetti quadratici e interazioni a due fattori . Tuttavia, abbiamo anche rivelato che non sarà possibile costruire un modello di regressione lineare multipla con tutti gli effetti potenzialmente importanti. Abbiamo bisogno di un minimo di un'esecuzione per effetto nel nostro modello e aggiungendo tutti gli effetti principali, i quadratici e le interazioni a due fattori, nonché l'intercetta, abbiamo contato un totale di 44 parametri da stimare. Lo abbiamo paragonato a invitare 20 persone a una riunione in una sala che può ospitare solo 12 persone.
In questo post vedremo come possiamo capire quali di tutti i possibili effetti sono importanti per noi per includere il nostro modello. Si attribuisce a Einstein l'affermazione che "tutto dovrebbe essere reso il più semplice possibile, ma non più semplice". [1] Questo è l'equilibrio a cui miriamo qui. Vogliamo un modello del sistema che catturi i comportamenti che dobbiamo conoscere in modo da poter impostare LVI per massimizzare il nostro segnale di rilevamento. Non vogliamo perdere effetti importanti, ma non vogliamo nemmeno un modello inutilmente complesso. Abbiamo bisogno di parsimonioso modello.
Vedremo come utilizzare i dati del nostro esperimento di 26 esecuzioni per costruire un modello di regressione lineare multipla con solo gli effetti più importanti. Per prima cosa, torniamo all'analogia dell'incontro e speriamo di non allungarla oltre il punto di rottura!
Costruire la migliore riunione in pochi passi
What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)E se 20 persone volessero partecipare a una riunione in una stanza che ne contiene solo 12? (Foto da https://unsplash.com/search/photos/meeting) Abbiamo spazio solo per 12 persone nella nostra riunione e ci sono 20 persone a cui potremmo voler partecipare. Di chi di queste 20 persone abbiamo bisogno nella stanza per darci il miglior incontro?
Risponderemo a questa domanda utilizzando la selezione graduale dei partecipanti, a partire dal passaggio 0.
Passo 0. Iniziamo con nessuno nella sala riunioni.
Passo 1. Proviamo ciascuna delle 20 persone nella riunione da sole e manteniamo l'unica persona che si traduce nella migliore qualità dell'incontro: Katie - lei è LA persona migliore per questo incontro. Tutti gli altri sono fuori dalla stanza per ora.
Passo 2. Ora esaminiamo i restanti 19 possibili partecipanti e mettiamo ognuno di loro nella stanza per scoprire quale coppia di Katie + 1 ci dà il miglior incontro. Troviamo che Katie + Robert siano i migliori. Gli altri 18 sono fuori dalla stanza.
Passaggio 3. Esaminiamo i restanti 18 partecipanti e scopriamo quale combinazione di Katie + Robert + 1 è la migliore. Aggiungiamo Judy alla stanza.
Passaggio 4. E così via…
Passo 12. …finché non avremo una stanza piena.
È questo il miglior incontro che possiamo avere? Abbiamo scoperto che Michael era la persona migliore da aggiungere come dodicesimo partecipante (gli altri otto erano orribili, specialmente Phillip). Michael contribuirà abbastanza all'incontro per giustificare la sua inclusione? Passerà la maggior parte del tempo a interrompere la riunione toccando il suo telefono? Abbiamo davvero bisogno di tutte e 12 le persone nella riunione?
Ora esaminiamo come è cambiata la qualità della riunione dai passaggi 0 a 12. Cerchiamo dove la qualità della riunione era più alta e scopriamo che era al passaggio 4.
Meeting Quality versus Step.Meeting Quality versus Step.Meeting Quality versus Step.Meeting Quality versus Step.Qualità dell'incontro contro Step.
Concludiamo che il miglior incontro è con Katie, Robert, Judy e Louise. Abbiamo trovato il miglior equilibrio che copre la comprensione di cui abbiamo bisogno per l'incontro. Ciascuno degli altri possibili partecipanti potrebbe dare un contributo utile, ma non è abbastanza significativo da superare l'aspetto negativo di avere così tante persone nella stanza che parlano l'una sull'altra.
È un buon modo per progettare una riunione? Non sono sicuro. Magari puoi provare e farmi sapere. Tuttavia, è una buona analogia per come possiamo costruire modelli utilizzando i dati da esperimenti progettati .
Costruire il miglior modello in passaggi
Per il modello PkHt(SUM), abbiamo i 44 possibili effetti. Decideremo il nostro modello nello stesso modo in cui abbiamo deciso chi avremmo dovuto avere nel nostro incontro.
Passo 0. Iniziamo adattando un modello di sola intercettazione ai dati del nostro esperimento di 26 esecuzioni.A meno che nessuno dei nostri fattori abbia un effetto importante sulla risposta, questo modello è troppo semplice per essere utile. Il Prediction Profiler non ha assi X perché non abbiamo effetti fattoriali nel modello:
Un grafico dei risultati della risposta effettiva rispetto alla previsione del modello ci mostra che il modello non è molto utile.
C'è uno scarso accordo tra i risultati effettivi per ogni esecuzione e le previsioni del modello per quelle impostazioni di quei fattori. I punti si allineerebbero alla linea a 45 gradi per un modello che predice perfettamente. Il modello corrente prevede solo un valore. Ci dice il PkHt(SUM) medio in tutte le esecuzioni (4862070), che è la migliore stima di ciò che PkHt(SUM) sarà se non sappiamo nulla degli effetti dei fattori.
Passo 1.Cerchiamo il miglior modello che abbia l'intercetta e uno degli altri 43 parametri. Adattiamo i 43 diversi modelli possibili e scopriamo che il modello con l'intercetta e l'effetto quadratico di Speed(Inj) è il migliore. Tutti gli altri 42 effetti non sono presenti nel modello in questa fase.
Ecco il grafico del Profiler che mostra la variazione curvilinea di PkHt(SUM) rispetto a Speed(Inj):
L'effettivo rispetto al previsto è migliorato ma ancora non eccezionale:
Passo 2.Troviamo che l'interazione di Vol(Inj) e T(Inj) è l'effetto migliore da aggiungere a questo punto. Possiamo vedere questo effetto dal grafico Profiler con Vol(Inj) impostato sull'impostazione più bassa...
…e con l'impostazione più alta.
Si noti come è cambiata la pendenza per PkHt(SUM) rispetto a T(Inj). Ancora una volta, l'accordo tra effettivo e previsto è migliorato.
Passi da 3 a 19. Continuiamo così, aggiungendo ad ogni passaggio l'effetto più importante.
Passo 20. Avanti veloce al passaggio 20 e gli effetti di tutti i fattori sono inclusi in un modello complesso con 20 effetti più l'intercettazione.
L'effettivo rispetto al previsto sembra molto meglio ora.
Potremmo andare oltre fino a quando non avremo adattato tutti i parametri che abbiamo eseguito nell'esperimento, ma probabilmente abbiamo già un overfit in questa fase. Ora guardiamo indietro a come la qualità del modello è cambiata dai passaggi 0 a 20. Possiamo vedere come è cambiato l'effettivo rispetto al previsto.
Possiamo vedere che il modello è migliorato man mano che procediamo attraverso i passaggi, anche se forse a scapito della complessità. Ad ogni passaggio, abbiamo aggiunto l'effetto che ha prodotto il modello migliore, ma non abbiamo detto cosa significhi "migliore". Per avere un processo per decidere il miglior modello in ogni passaggio e il miglior modello in tutti i passaggi, dobbiamo essere in grado di dare un numero a quanto è buono un modello. In effetti, gli statistici hanno escogitato molti modi per farlo. In questo esempio, abbiamo utilizzato il corretto Criterio informativo di Akaike O AICc . Ad ogni passaggio, abbiamo aggiunto l'effetto che ha dato al modello con l'AICc più basso. Qui, abbiamo un grafico di AICc rispetto al numero di passo:
Un AICc inferiore rappresenta un modello migliore: AICc si riduce man mano che migliora l'adattamento ai dati; l'aggiunta di parametri al modello aumenta l'AICc. Possiamo usarlo per trovare il punto debole che bilancia bontà di adattamento e complessità. In questo caso, vediamo che l'AICc si riduce dallo Step 0 allo Step 7 e poi aumenta fuori scala verso lo Step 20. (Le bande gialle e verdi sono una guida: i modelli con un AICc in questi intervalli sono in qualche modo equivalenti al modello migliore.) Potremmo quindi scegliere il modello al passaggio 7:
Fare un passo avanti e indietro
Il processo che abbiamo descritto è chiamato regressione graduale O selezione graduale . Più specificamente, abbiamo usato inoltrare selezione graduale. Potresti usare indietro selezione quando si dispone di più esecuzioni rispetto ai parametri da adattare, in modo da poter iniziare con tutti gli effetti nel modello e lavorare all'indietro eliminando l'effetto meno importante a ogni passaggio. Puoi anche usare una combinazione di avanti e indietro. Un'altra scelta che hai è se specificare effetto ereditarietà , in modo che gli effetti di secondo ordine possano essere inclusi solo se anche i loro effetti principali sono presenti nel modello. I modelli che obbediscono all'ereditarietà degli effetti sono generalmente preferiti.
Queste varie opzioni e altre sono disponibili in un processo graduale automatizzato in software come JMP . La piattaforma di regressione generalizzata in JMPPro fornisce un'interfaccia interattiva e visiva per esplorare le possibilità del modello. Ciò è utile perché la scelta finale del modello si baserà non solo sull'AICc o su qualsiasi misura statistica.
“Tutti i modelli sono sbagliati…
…Ma alcuni sono utili.”[2] Questa famosa citazione coglie una verità che è preoccupante se sei nuovo nel DoE: non c'è una risposta giusta alla fine di tutto! Il modello approssimerà il comportamento reale, quindi sarà sempre "sbagliato" in un certo senso. Non dovresti pensare che questo sia un problema. I modelli "sbagliati" in questo modo ci consentono di concentrarci sulla comprensione dei comportamenti importanti per raggiungere i nostri obiettivi scientifici e ingegneristici. Come abbiamo detto prima, puntiamo a un modello parsimonioso.
Con questo esempio, abbiamo visto come possiamo costruire modelli utili ordinando un numero relativamente grande di possibili effetti per trovare i pochi importanti. Abbiamo anche visto come possiamo utilizzare metodi statistici, insieme alla nostra esperienza e conoscenza del sistema, per scegliere il modello più utile. Il nostro esperimento progettato ci ha fornito i dati di cui avevamo bisogno per raggiungere questo obiettivo e con il minimo sforzo sperimentale. Ad ogni passaggio, il metodo può selezionare l'effetto migliore grazie alla chiarezza che deriva dalle proprietà di correlazione del progetto. Ancora una volta, il messaggio da portare a casa è che se vuoi essere sicuro di ottenere in modo efficiente la soluzione più utile, devi utilizzare DoE.
Nell'ultimo post di questa serie, cercheremo di riassumere tutto ciò che abbiamo imparato e parleremo anche di ciò che ci siamo persi.
Appunti
[1] Infatti, sembra che Einstein non abbia detto questo . Ironia della sorte, la sua versione non era così semplice come avrebbe potuto essere.
[2] George Box. Vedere questa voce di wikipedia per più.
