rimuovere termini da un modello a seguito di un esperimento progettatoOk, supponiamo di aver condotto un disegno fattoriale completo con quattro fattori a 2 livelli. Durante l'adattamento del modello ho incluso tutte le interazioni a 2 vie. Alcuni dei principali effetti e interazioni dei fattori non sono significativi a 0,05. Se poi rimuovo i fattori meno significativi (quelli in fondo alla tabella riepilogativa degli effetti), alcuni dei termini non significativi diventano significativi. Se stessi cercando di sviluppare il modello "migliore", mi sentirei a mio agio nel farlo. Ma se sto cercando di determinare se un fattore gioca un ruolo nella variabile di risposta, non sono sicuro che sia legittimo. Esiste una logica adeguata, in un contesto DOE, per rimuovere i termini insignificanti e quindi descrivere i termini rimanenti come significativi?
Analisi e modellazione dei dati di baseProgettazione di esperimentiRi: rimozione di termini da un modello a seguito di un esperimento progettatoEcco i miei pensieri in generale (un consiglio specifico richiederebbe una comprensione più approfondita della situazione):
Innanzitutto, suppongo che tu abbia un fattoriale non replicato con 16 trattamenti. Il modello include tutti i possibili termini fino al 4° ordine.
Sollevi un concetto importante rispetto alla sperimentazione e al test F (o forse a qualsiasi test). Il tipico test di significatività nella sperimentazione consiste nel confrontare l'MS del termine modello con l'MSe (errore). Questa è la razione F o valore F. Le domande importanti sono: come è stato stimato il termine di errore? Quanto è rappresentativa la stima del vero errore? I confronti che vengono fatti sono utili e rappresentativi?
Se rimuovi termini insignificanti dal modello (mancanza di adattamento), stai potenzialmente distorcendo il MSe inferiore (SS piccolo diviso per DF). Pertanto, quando si confronta l'MS del termine del modello con l'MSe più piccolo si ottengono valori F più grandi (e valori p più piccoli).
Una lettura veloce:
https://www.additive-net.de/images/software/minitab/downloads/SCIApr2004MSE.pdf
Raccomando innanzitutto di valutare il significato pratico dei termini del modello utilizzando i grafici di Pareto degli effetti E di utilizzare il metodo di Daniel per valutare la significatività statistica per esperimenti non replicati (grafici normali/seminormali) e magari aumentati con grafici di Bayes (riquadro). Ciò ti darà sia significato pratico che significato statistico senza pregiudizi.
Daniel, Cuthbert, "Uso di grafici seminormali nell'interpretazione di esperimenti fattoriali a due livelli", Tecnometria , vol. 1, n.4 novembre 1959
Una volta determinati i fattori/interazioni attivi nell'esperimento, semplifica/riduci il modello. Lo scopo di semplificare il modello è duplice:
1. ottenere un modello più utile per l'iterazione e la previsione
2. ottenere residui che aiutino a valutare l'adeguatezza del modello e se eventuali ipotesi siano state violate.
Nota: non si rivaluta la significatività statistica per il modello semplificato
Ri: rimozione di termini da un modello a seguito di un esperimento progettatoGrazie. Il tuo punto sulla distorsione dell'MSe è al centro della mia preoccupazione riguardo alle mie conclusioni sul significato dei termini rimanenti ... che probabilmente ho un tasso di errore di tipo I più elevato di quanto penso di avere. Quindi potrei affermare falsamente un effetto fattoriale.
Aggiungo che si è trattato di un esperimento replicato con quattro repliche, poiché ci aspettavamo uno scarso rapporto segnale/rumore. Ciò aiuta a proteggersi da false affermazioni sul significato del termine?
I fattori erano binari/categorici e la risposta era continua.
Ri: rimozione di termini da un modello a seguito di un esperimento progettatoPer aggiungere alcune osservazioni e commenti in aggiunta a @statman risposta.
Il tuo argomento sembra molto simile alla valutazione e alla selezione dei modelli. In questo processo, la significatività statistica può essere una metrica, ma non l’unica (aggiungi sempre competenza nel settore!).
Le metriche di stima e valutazione del modello complementare, come la probabilità logaritmica, i criteri di informazione (AICc, BIC) o le metriche del modello (potere esplicativo tramite R2 e R2 aggiustato, potere predittivo tramite MSE/RMSE/RASE, ...) offrono prospettive diverse e possono evidenziare modelli diversi.
Puoi quindi selezionare in base all'esperienza del settore e alla valutazione statistica quale/i è/sono più appropriato/rilevante per il tuo argomento e scegliere di stimare previsioni individuali con i diversi modelli (per vedere come/dove differiscono) e/o o utilizzare un modello combinato per mediare gli errori di previsione.
"Tutti i modelli sono sbagliati, ma alcuni sono utili" è una citazione abbastanza adeguata quando si ha a che fare con più modelli possibili e si cerca di valutarne e selezionarne alcuni per rispondere a una domanda.
Spero che questa risposta aggiuntiva possa aiutarti,
Ri: rimozione di termini da un modello a seguito di un esperimento progettatoPerchè 4 repliche? Cosa stava cambiando all'interno e tra la replica? L'RMSE sembra ragionevole e paragonabile alla variazione che vedi nel processo? Il processo è stabile?
I difetti più comuni nel DOE sono (parafrasato da Daniel):
- Sovrasaturazione: troppi effetti per il numero di trattamenti
- Iperconservatività: troppe osservazioni per le stime desiderate
- Mancato studio dei dati per valori errati
- Mancata considerazione di tutti gli aliasing
- Imprecisione dovuta a un'errata comprensione della varianza dell'errore.
Il punto 5 è importante, soprattutto se ci si affida ai valori p per valutare la significatività.
Vale la pena prendere in considerazione anche il consiglio di Victor riguardo all'uso di altre statistiche per determinare un modello appropriato.
Ri: rimozione di termini da un modello a seguito di un esperimento progettatoL'esperimento era "open source" in cui i team di partecipanti volontari hanno condotto quattro esecuzioni (trattamenti assegnati in modo casuale) dalla matrice di progettazione principale. Ho bloccato per l'effetto squadra, così come altri fattori fastidiosi come lo scenario (di cui erano quattro). Anche senza questi fattori di disturbo, mi aspettavo che il punteggio di una squadra (la variabile di risposta) variasse nonostante gli effetti dei fattori. Questi fattori di disturbo erano uno sfortunato compromesso tra il "realismo" con soggetti umani e un esperimento più strettamente controllato.
