Risultati "sorprendenti" in un DSD-DesignNell'ambito di una tesi di laurea magistrale, è stato condotto uno studio di screening definitivo con sei variabili continue. Abbiamo generato un disegno standard in JMP con 17 prove (+3 prove aggiuntive al livello zero).
I risultati mi hanno sorpreso, in quanto un numero considerevole di interazioni ed effetti quadratici risultano altamente significativi. Il mio sospetto iniziale era di overfitting, ma non riesco a trovare alcuna indicazione a supporto di questa ipotesi. Abbiamo un R-quadro eccellente (come previsto), nessun VIF elevato, un test di Durbin-Watson nella norma, ecc. Inoltre, si ottiene un valore PRESS di 0,044.
Questi risultati rimangono invariati o molto simili anche quando si disabilita l'ereditarietà rigorosa nell'analisi DSD. In tal caso, compaiono 2-3 ulteriori effetti di interazione o quadratici, che risultano nuovamente altamente significativi.
In base a tutto ciò che so, al momento non vedo alcun motivo per dubitare della validità dei risultati. O mi sfugge qualcosa?
Progettazione degli esperimentiOggetto: Risultati "sorprendenti" in un progetto DSDPer un disegno a 6 fattori, questo è un disegno relativamente "ampio" e poiché ci sono solo 27 effetti stimabili in una superficie di risposta con 6 fattori, si ha una buona probabilità di stimare molti di questi effetti. Osservando le corse del punto centrale, i valori vanno da 3,915 a 4,018, quindi una deviazione standard residua di circa 0,02. Pertanto, qualsiasi effetto molto maggiore di 0,2 avrà una buona probabilità di essere significativo. Osservando i punti di flesso, vedo differenze di circa 0,6.
Quindi sì, è assolutamente possibile. Condividere la tabella dei dati effettiva aiuterebbe ad approfondire ulteriormente la questione.
Oggetto: Risultati "sorprendenti" in un progetto DSDNon c'è praticamente modo di rispondere, poiché si hanno troppe poche informazioni sull'esperimento in questione. Si tratta di un esperimento fisico reale (o di una simulazione)? L'errore di misurazione è stato quantificato a priori? Come è stato stimato l'errore quadratico medio (MSE)? La variazione nella risposta ha avuto un qualche valore pratico? La significatività statistica è un'affermazione condizionata. Non ha senso a meno che la stima dell'MSE non sia una stima ragionevole della realtà (e si comprenda cosa costituisce tale stima).
Oggetto: Risultati "sorprendenti" in un progetto DSDCiao @NominalGemsbok3 ,
Potrei avere proposte e osservazioni complementari riguardo ai risultati da voi ottenuti.
- In termini pratici, esistono metriche migliori per valutare qualsiasi possibile scenario di overfitting: utilizzare l'R-quadrato corretto e minimizzare la differenza tra R-quadrato e R-quadrato corretto (l'R-quadrato tende ad aumentare con il numero di termini nel modello, mentre l'R-quadrato corretto considera la complessità/il numero di termini nel modello e penalizza i modelli troppo complessi), i criteri informativi (come AICc e BIC ) che aiutano a confrontare l'equilibrio tra accuratezza e complessità di diversi modelli. Anche i valori PREMERE (R-quadrato e RMSE) sono buoni indicatori delle prestazioni del modello, poiché si basano sulla convalida incrociata Leave-One-Out, quindi è possibile avere un'idea delle prestazioni del modello per punti non utilizzati nell'addestramento del modello. Tutte queste metriche aiutano nella selezione del modello ed evitano di cadere nella trappola del "culto della significatività statistica".
- Inoltre, la significatività statistica è diversa dall'importanza pratica degli effetti: se il rapporto segnale/rumore è molto elevato, è possibile rilevare più facilmente effetti statisticamente significativi, anche se privi di rilevanza pratica. Sfruttate la vostra esperienza nel settore per filtrare gli effetti rilevanti e importanti e per guidare il processo di selezione del modello.
- Per quanto riguarda il numero di effetti attivi, è rassicurante constatare che:
- La progettazione e l'approccio di modellazione sono stati scelti correttamente per il numero di termini attivi rilevati. Come indicato nella Guida di JMP su Fit Definitive Screening : " Un DSD con dimensione minima delle run è in grado di identificare correttamente i termini attivi con alta probabilità se il numero di effetti attivi è inferiore a circa la metà del numero di run e se le dimensioni degli effetti superano il doppio della deviazione standard ". Con 9 termini attivi rilevati su 17 run originali (+3 punti centrali aggiunti) e un RMSE relativamente basso, sembra che tu ti trovi in una buona situazione, come menzionato.
- Essi rispettano il principio della gerarchia degli effetti : più alto è l'ordine dell'effetto, minore è la probabilità che tale effetto spieghi la variazione nella risposta. Se consideriamo la vostra situazione, 5/6 (83%) degli effetti principali risultano significativi, così come 3/15 (20%) delle interazioni a due fattori e 1/6 (16,7%) degli effetti quadratici. La proporzione degli effetti attivi può sembrare elevata, ma tende a seguire la stessa regolarità tra l'ordine degli effetti riscontrata nell'articolo di Xiang Li, Nandan Sudarsanam e Daniel D. Frey (marzo 2006) "Regularities in Data from Factorial Experiments" https://doi.org/10.1002/cplx.20123
Sembra che i tuoi risultati siano la conclusione di un'attenta selezione di predittori potenzialmente rilevanti, un basso livello di rumore nella sperimentazione e nella misurazione delle risposte, una scelta di progettazione appropriata e un approccio di modellazione adeguato. Congratulazioni!
Spero che questa risposta ti aiuti a fidarti di questi risultati positivi,
Oggetto: Risultati "sorprendenti" in un progetto DSDSi tratta di un esperimento fisico reale e concreto. L'errore quadratico medio (MSE) è stato stimato a partire dai residui di un modello lineare. Per convalidare questa stima, è stato ottenuto l'errore puro dai punti centrali replicati (varianza ≈ 0,002). Un test di mancanza di adattamento ha indicato l'assenza di inadeguatezza significativa del modello (p = 0,79), con il quadrato medio per la mancanza di adattamento inferiore a quello dell'errore puro. Pertanto, l'MSE può essere considerato una stima appropriata della varianza dell'errore.
Oggetto: Risultati "sorprendenti" in un progetto DSDLa ringrazio moltissimo per questa risposta incoraggiante e dettagliata.
Oggetto: Risultati "sorprendenti" in un progetto DSDGrazie per la risposta. Cosa intendi con "tabella dati effettiva"?
Oggetto: Risultati "sorprendenti" in un progetto DSDÈ possibile inviare un file JMP codificato? Vorrei provare alcuni modelli GENREG.
Oggetto: Risultati "sorprendenti" in un progetto DSDCiao,
Ecco un file JMP codificato.
Oggetto: Risultati "sorprendenti" in un progetto DSDHo effettuato una rapida analisi (modello di adattamento) e i miei risultati sono completamente diversi dai tuoi. I tre effetti principali sono quelli più rilevanti. Ho aggiunto il modello di adattamento alla tua tabella dati (Tabella1).
Oggetto: Risultati "sorprendenti" in un progetto DSDPotrebbe essere che la differenza derivi dal fatto che si tratta di un Definitive Screening Design e io ho utilizzato la funzione DoE → Definitive Screening → Fit Definitive Screening in JMP per l'analisi, mentre tu no? Credo che i DSD debbano essere analizzati utilizzando il metodo appropriato.
Oggetto: Risultati "sorprendenti" in un progetto DSDTieni presente che in un DSD molti effetti di interazione sono correlati (fortemente aliasati) R > 0,7 cfr. sotto i campi rosa e Valutazione del design - Mappa dei colori sulle correlazioni - nella tabella allegata. Quando hai 5 fattori attivi dovrai aumentare il DSD e aggiungere ulteriori run per de-aliasing degli effetti di interazione.
Oggetto: Risultati "sorprendenti" in un progetto DSDSe si esegue Fit Definitive Screening Design e si seleziona "Crea modello", qual è il risultato finale? Ci si rende conto che la significatività del valore p si basa sul punto centrale replicato.
Oggetto: Risultati "sorprendenti" in un progetto DSDNel risultato DSD si possono trovare 5 effetti puri significativi e anche un paio di potenziali effetti di interazione significativi ma correlati che devono essere de-aliasati aggiungendo ulteriori run
Oggetto: Risultati "sorprendenti" in un progetto DSDNella tabella allegata, l'analisi DSD effettuata utilizzando la piattaforma fit DSD rileva due effetti di interazione correlati significativi: (1) fattore1 * fattore3 correlato con fattore2*fattore5 e (2) fattore4*fattore5 correlato con fattore1*fattore2.
Come si può notare nei campi rosa della mappa di correlazione a colori, è presente anche un effetto di aliasing con gli effetti di interazione del secondo fattore 6; tuttavia, poiché il fattore 6 non è un effetto attivo, non ho preso in considerazione le sue interazioni; è possibile costruire un ottimo modello con iterazioni dai 5 effetti principali significativi.
Oggetto: Risultati "sorprendenti" in un progetto DSDCiao @frankderuyck e @NominalGemsbok3 ,
Non esiste un modello migliore in assoluto, per molteplici ragioni: scelta della metrica di prestazione, soglia (per il p-value, ad esempio), metodo di stima, ecc. Inoltre, in un DSD non ci sono abbastanza trattamenti unici (gradi di libertà) per stimare tutti gli effetti, quindi si può facilmente ottenere modelli diversi ma concorrenti con buone prestazioni. Si potrebbe considerare un DSD come un tipo di disegno supersaturo per il modello di superficie di risposta.
Come menzionato da @frankderuyck , a causa della presenza di alias/correlazioni parziali tra gli effetti di interazione e anche tra gli effetti quadratici dovuti alla struttura del disegno sperimentale, non si può essere sicuri al 100% dell'impatto "reale" degli effetti di interazione e degli effetti quadratici sul target rilevato (da qualsiasi metodo di modellazione), a meno che non si aggiungano delle prove per migliorare il modello. Si può tuttavia avere maggiore fiducia negli effetti principali, poiché la struttura del disegno sperimentale evita qualsiasi correlazione tra gli effetti principali e tra gli effetti principali e gli effetti di ordine superiore, consentendo quindi di stimarli senza distorsioni.
" Tutti i modelli sono sbagliati, ma alcuni sono utili "
Ho provato a creare una visualizzazione specifica chiamata raster plot (vedi Raster plot o altri strumenti di visualizzazione per facilitare la valutazione e la selezione dei modelli per i DoE per vedere come è stato creato) su questo esempio per mostrare questa molteplicità di modelli dovuta all'esplosione combinatoria dei possibili termini inclusi nel modello (oltre all'intercetta, ci sono 27 possibili termini di effetto: 6 effetti principali, 15 interazioni a due fattori e 6 effetti quadratici tra cui scegliere), utilizzando la piattaforma Stepwise e l'opzione "Tutti i modelli possibili" (fino a 10 termini nel modello con forte ipotesi di ereditarietà). Ecco il risultato dei modelli, ordinati per valore R quadro, che mostra quali termini (nelle colonne) sono inclusi per ciascun modello (ogni riga):
Preferisco utilizzare un criterio informativo per confrontare più modelli, come l'AICc (più basso è, meglio è), poiché penalizza l'uso di troppi termini e consente un confronto migliore per modelli con diversa complessità:
Come potete vedere, la maggior parte dei modelli concorda sulla presenza degli effetti principali dei primi 5 fattori. Per il fattore 6, i risultati sono diversi e non si osserva un modello evidente di presenza di questo effetto principale. Anche per le interazioni e gli effetti quadratici è difficile individuare modelli significativi, tranne per il fatto che alcuni effetti di ordine superiore sembrano non essere inclusi nella maggior parte dei casi: interazioni fattore 1 x fattore 6, fattore 2 x fattore 4, fattore 3 x fattore 5, fattore 3 x fattore 6, fattore 4 x fattore 6 e fattore 5 x fattore 6. Per l'effetto quadratico, l'interazione fattore 6 x fattore 6 è assente nella maggior parte dei modelli. Se ingrandiamo un po' i modelli migliori in base al valore di R quadro, emergono alcune interessanti osservazioni sugli effetti di ordine superiore:
Le interazioni Fattore 1 x Fattore 3, Fattore 4 x Fattore 5 tendono ad essere scelte frequentemente nei modelli. Inoltre, vengono spesso selezionati anche effetti quadratici per il fattore 2 e il fattore 4. Questi risultati tendono a concordare con quelli ottenuti dalla piattaforma Fit Definitive Screening, con gli stessi effetti principali ed effetti di ordine superiore rilevati:
Limitando il confronto a tre diversi metodi di stima, si può osservare anche questa situazione di combinazioni di modelli e termini differenti ed equivalenti. Ad esempio, con i metodi di stima Fit Definitive Screening, GenReg Normal Pruned Forward e GenReg Two Stage Forward, possiamo confrontare sia le prestazioni dei modelli che i termini inclusi:
- Prestazioni: qui con R quadro e R quadro corretto a fini esplicativi (quanto il modello spiega la variabilità nella risposta):
Possiamo osservare che i primi due metodi mostrano prestazioni simili.
- Termini nei modelli:
Anche se i primi due metodi di stima forniscono modelli con metodi simili, i termini inclusi per l'effetto di ordine superiore sono diversi. Concordano solo sull'inclusione dell'effetto di interazione Fattore 1 x Fattore 3.
Un seguito ragionevole sarebbe quindi quello di discutere con esperti del settore su quale/i modello/i sia/siano il/i più sensato/i/i/i e utilizzare la piattaforma Augment Designs per confermare e/o precisare il modello più pertinente. Ad esempio, è possibile ampliarlo e specificare il modello per il quale si desidera stimare i termini.
Di seguito è riportata la tabella con tutti gli script utilizzati nella mia risposta.
Spero che questa risposta ti sia d'aiuto.
Oggetto: Risultati "sorprendenti" in un progetto DSDUn DSD rimane un disegno di screening appropriato per escludere effetti forti, in particolare gli effetti principali, da un insieme più ampio di potenziali fattori; fornirà anche un'indicazione di potenziali effetti quadratici e interazioni, tenendo presente che questi ultimi sono correlati (!) cfr. mappa dei colori sulle correlazioni. Se si ottengono tre o meno effetti attivi, il DSD produrrà un RSM. Ma! se > 3 effetti significativi, sarà necessario aumentare il DSD per determinare gli effetti di interazione e quadratici puri. Pertanto, se dopo un brainstorming con esperti, è probabile che ci siano effetti di interazione, inizio sempre con un DSD minimo o basso, sufficiente a rilevare effetti forti e ci sono abbastanza run rimanenti nel budget per l'aumento e la de-aliasing. Inoltre, non dedicherei troppo impegno alla replicazione del punto centrale.
Oggetto: Risultati "sorprendenti" in un progetto DSDIn via ufficiosa: è strano che non tutti e 5 gli effetti attivi vengano visualizzati nel grafico seminormale, ma solo tre?
Oggetto: Risultati "sorprendenti" in un progetto DSDBisogna fare attenzione nella valutazione dei grafici normali/seminormali (vedi Daniel). Non sempre è possibile utilizzare l'errore quadratico medio di Lenth. Osservando i dati, sembra esserci più di una distribuzione degli errori. Notate i 6 valori inferiori, poi l'interruzione, poi 2, poi un'altra interruzione e infine 5. Questo indica una variazione del rumore durante l'esperimento. Potrebbe essere considerato una prova di una causa speciale durante l'esperimento. Osservate il diagramma di Pareto che coincide con questo grafico seminormale. Vedrete più facilmente il "raggruppamento" delle stime.
A margine... replicare i punti centrali può essere un ottimo modo per stimare l'MSE. I punti centrali possono essere utilizzati per testare l'ipotesi lineare in modo piuttosto efficiente, anche se non è specifica. Se ne esegui un numero sufficiente in modo casuale (~8) durante l'esperimento, possono anche valutare la stabilità nel corso dell'esperimento. Traccia il grafico MR nell'ordine di esecuzione. Inoltre, se rappresentano, ad esempio, le condizioni attuali, consentono di impostare livelli più marcati su entrambi i lati della corrente per ottenere una migliore comprensione della direzione. L'unico problema è che i fattori devono essere continui.
Oggetto: Risultati "sorprendenti" in un progetto DSDInteressante, ma come si può utilizzare al meglio questo grafico per individuare gli effetti attivi?
Oggetto: Risultati "sorprendenti" in un progetto DSDLeggete Cuthbert Daniel, l'inventore del metodo.
Daniel, Cuthbert (1976) Applicazioni della statistica agli esperimenti industriali, Wiley (ISBN 0-471-19469-7)
Oggetto: Risultati "sorprendenti" in un progetto DSDOK, i pattern attorno alla linea indicano cause particolari, in questo caso alcuni effetti forti di moderata entità da prendere ulteriormente in considerazione
Oggetto: Risultati "sorprendenti" in un progetto DSDHai già letto il suo libro? Lascia che ti aiuti... Sì, gli effetti del modello che si trovano al di fuori della distribuzione degli errori casuali (che dovrebbero essere distribuiti normalmente con una media di 0) sono effettivamente assegnabili (sono diversi dagli effetti che probabilmente fanno parte della distribuzione degli errori, quindi non assegnabili). Ma questa non è necessariamente la linea tracciata dall'algoritmo di Lenth. Daniel non aveva l'algoritmo di Lenth rappresentato sui suoi grafici normali. Interpretava i grafici e usava la sua interpretazione di dove pensava che la distribuzione degli errori fosse rappresentata sul grafico (io uso il test della matita "spessa"). Menziona l'osservazione di una curva a "S" sul grafico normale che suggerisce che qualcosa di diverso dagli effetti del modello stava influenzando l'esperimento. La causa speciale è nel rumore, non è il risultato dell'effetto del modello. Questo, a sua volta, gonfierebbe l'MSE nell'ANOVA.
Oggetto: Risultati "sorprendenti" in un progetto DSDInsieme al criterio della "matita spessa" di @statman , si può pensare agli spostamenti in direzione verticale come a una variazione della risposta media e a una variazione della pendenza della retta passante per il gruppo di stime come a una differenza nella deviazione standard.
Oggetto: Risultati "sorprendenti" in un progetto DSDPossiamo concludere che il grafico seminormale può essere utilizzato come primo strumento di screening per l'individuazione di effetti molto forti? Quando non si osservano distribuzioni casuali e pattern attorno alla linea continua, ciò indica la presenza di effetti di intensità moderata?
Oggetto: Risultati "sorprendenti" in un progetto DSDSì, la forza relativa rispetto agli altri effetti nel modello. A proposito, consiglio sempre di realizzare questi grafici con un modello saturo.
Da notare inoltre che, se i segni delle impostazioni dei fattori sono significativi (ovvero, fattori continui), è possibile utilizzare grafici normali e sfruttare il vettore direzionale. Un articolo da leggere se non si ha accesso al suo eccellente libro:
Daniel, Cuthbert (1959) "Uso di grafici seminormali nell'interpretazione di esperimenti fattoriali a due livelli", Technometrics, Vol. 1, n. 4, novembre
Oggetto: Risultati "sorprendenti" in un progetto DSDIn risposta all'ultima replica di @statman , la piattaforma di screening (una versione precedente) implementa i suoi suggerimenti. Puoi vederla qui:
Names Default to Here( 1 );
dt = Open( "$SAMPLE_DATA/Design Experiment/2x3x4 Factorial.jmp" );
dt << Screening( Y( :Y ), X( :X1, :X2, :X3 ) );
Oggetto: Risultati "sorprendenti" in un progetto DSDCaso molto interessante e ottima discussione, grazie per averla condivisa!
Oggetto: Risultati "sorprendenti" in un progetto DSDSembra che con la piattaforma di screening a due livelli non otterremo il miglior risultato AICc = -30 Fit Definitive Screenin sopra.
L'anno scorso ho pubblicato un caso di DSD a 7 fattori https://community.jmp.com/t5/Discussions/Setting-Stage-1-P-value-in-Analyis-of-DSD-at-a-high-level-to/mp/837310#M101378 dove questo era l'opposto: ho ottenuto rapidamente un buon modello a 5 fattori attivi con screening a due livelli e usando Fit DSD ho dovuto aumentare il valore P della fase 1 a 0,4 per rilevare i 5 fattori attivi, interessante..
Oggetto: Risultati "sorprendenti" in un progetto DSDPer l'individuazione degli effetti principali attivi e l'indicazione di potenziali interazioni e termini quadratici, consiglio di utilizzare la piattaforma Fit DSD. Tuttavia, tenete presente che il valore p della Fase 1 funge da filtro (!) e, se impostato troppo basso, potrebbe bloccare l'ingresso nel modello di potenziali effetti attivi. Avviate Fit DSD con un valore p della Fase 1 compreso tra 0,2 e 0,4 (valori più alti potrebbero causare overfitting).
