DOE: modello significativo con significativa mancanza di adattamento<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Ciao a tutti i JMPers,
Sto affrontando un problema con un DOE e vorrei la tua opinione in merito.
Sto cercando di modellare due risposte Y1, Y2 in funzione di 2 fattori X1, X2, la loro interazione di primo ordine e gli effetti quadratici.
Per fare ciò, ho i dati di un disegno fattoriale completo 2 ^ 3 più due esperimenti replicati (non centrati) da un set di dati precedente.
Non ho problemi con Y1 ma quando si tratta di Y2, sembra che né i fattori X1*X2 né X2*X2 siano significativi.
Quando eseguo nuovamente lo script senza questi 2 fattori ottengo quanto segue:
Il mio modello è significativo (p-value <0,0001), ha un R² elevato (0,96) ma presenta anche una significativa mancanza di adattamento (valore p 0,024) !
Cosa dovrei fare ? Non posso ripetere gli esperimenti e trasformare la risposta potrebbe essere complicato qui.
Devo gettare il mio modello nella spazzatura?
Grazie per l'aiuto.
Ri: DOE: modello significativo con significativa mancanza di adattamentoQuentin,
Puoi mantenere X2 a causa dell'effetto ereditarietà con i termini di interazione.Detto in un altro modo, hai interazioni con X2 che sono significative, quindi puoi mantenere quell'effetto principale (X2) nel tuo modello.Con JMP 12. potresti utilizzare la funzionalità Riepilogo effetti nel modello di adattamento per rimuovere i termini e rimuovere solo X2 per vedere come cambia il tuo modello, ma nel tuo caso ti consiglio di tenerlo nel modello.
Conto
Ri: DOE: modello significativo con significativa mancanza di adattamentoMolte grazie a Bill e Peter per questi consigli.
Estrarre i 2 campioni e utilizzarli per la convalida funziona bene ei risultati previsti sono molto vicini a quelli effettivi.
Tuttavia c'è un piccolo cambiamento nel modello per Y1. In precedenza, tutti gli effetti lineari, quadratici e di interazione di X1 e X2 erano significativi per Y1 (valore p<0,05).
Tuttavia, ora che ho prelevato i 2 campioni aggiuntivi, i fattori X2 hanno un effetto non significativo su Y1 (valore p=0,0852) mentre tutti gli altri fattori sono significativi come prima.
La mia domanda è: non posso rimuovere X2 senza rimuovere i suoi effetti quadratici e di interazione con X1, che sono entrambi significativi, quindi posso mantenere X2 nel mio modello affermando che è significativo al livello di confidenza 0,1?
Credo che l'approccio suggerito da Bill sia migliore di quello che uso io, ma prima di usarlo voglio solo assicurarmi che ora sia valido anche il modello per Y1.
Grazie per le tue risposte.
Ri: DOE: modello significativo con significativa mancanza di adattamentoQuentin: Bill Worley offre alcuni ottimi consigli che, francamente, mi vergogno di non aver suggerito anch'io. Ero semplicemente troppo concentrato sulla tua preoccupazione per il valore p associato al test LOF per considerare anche le questioni sollevate da Bill. Troppo spesso penso che alcune persone cerchino di distillare la decisione di "accettare e utilizzare il modello" in una e una sola statistica diagnostica del modello. Chiamo questo comportamento che cade vittima di "mononumerosi".
Passiamo alla tua ultima domanda nel post: "Quindi pensi che tenendo conto di tutte queste osservazioni potrei ragionevolmente accettare questo modello e provare a convalidarlo con corse aggiuntive?"
Sarebbe altamente presuntuoso da parte mia consigliarti in un modo o nell'altro in merito a "...accetta questo modello..". Da lontano sono riluttante a conoscere poco il tuo problema, la conduzione dell'esperimento, la conoscenza del processo, ecc. a iniziare a darti qualcosa di diverso da un'opinione molto disinformata. Quindi rifiuterò.
Questo ti offrirò; Durante il mio incarico di statistico industriale per decenni, non posso dirti quante volte mi è stata posta la stessa domanda. La mia risposta era sempre qualcosa del genere: "OK Quentin, piuttosto che darti la mia opinione, ecco cosa ti suggerisco di fare. Fermati un attimo e pensa alla decisione verso cui ti stanno portando i dati, l'esperimento e la tua analisi. Pensa alle conseguenze di quella decisione da un punto di vista pratico. Soprattutto se il risultato è meno che desiderabile. Come ti senti riguardo a quella decisione? Non da un punto di vista statistico ma da un punto di vista pratico. Ora, nella bocca dello stomaco, come ti senti riguardo a quella decisione? Se senti delle farfalle... allora fermati, fai una pausa e torna indietro per ulteriori informazioni/dati/analisi/sperimentazioni/congetture... qualunque cosa sia... ma ritarda la decisione."
Molto tempo fa ho letto una citazione di Moen, Nolan e Provost che suonava più o meno così: "In ultima analisi non è una questione di inferenza statistica ma una questione di un grado di convinzione". O come diceva il dottor Deming: "Le figure più importanti sono sconosciute e inconoscibili". P - valori che conosciamo... ma le 'cifre' più importanti sono inconoscibili.
Ri: DOE: modello significativo con significativa mancanza di adattamentoQuentin,
Sto per accumulare la risposta di Peter.
Dichiari di aver estratto due campioni da un set di dati precedente e di averli aggiunti ai risultati del DOE.È molto probabile che influenzerai il risultato del tuo DOE/modello utilizzando quei campioni "esterni" per costruire il tuo modello.
Solo un suggerimento, prendi quei due campioni e rimonta i tuoi modelli.Quindi usa quei campioni come dati di test aggiungendoli alla tua tabella di dati e vedi dove escono le previsioni.Assicurati di salvare prima la tua formula di previsione nella tabella dei dati, quindi aggiungi i "nuovi" dati in fondo.Confronta i dati effettivi con i valori previsti.Puoi anche farlo con il tuo profiler di previsione modificando le impostazioni di input e vedendo qual è il valore previsto a sinistra.
Per quanto riguarda il grafico dei residui, sembra che il punto in alto a destra sia un potenziale valore anomalo e anche questo influenzerà i risultati.Rimontare il modello senza quel punto e quindi controllare i parametri del modello di adattamento.
Spero che questo ti aiuti,
Conto
Ri: DOE: modello significativo con significativa mancanza di adattamentoGrazie Pietro.
Ho già guardato ai residui (vedi grafico sotto). Non c'è un pattern latente osservabile nel grafico dei residui, ma c'è una dispersione casuale dei residui. La risposta Y2 varia tra 0 e 100 (è un rendimento), quindi ritengo che la grandezza (<5%) dei residui sia accettabile. Tuttavia, posso dire che il residuo corrispondente al valore più alto di Y2 è "relativamente" più alto (~4) che gli altri suggeriscono un minor grado di confidenza per la previsione degli alti valori di Y2. Ciò era visibile anche quando si tracciava Y2 osservato rispetto a Y2 previsto con intervalli di confidenza.
Quindi pensi che con tutte queste osservazioni prese in considerazione potrei ragionevolmente accettare questo modello e provare a convalidarlo con corse aggiuntive?
Grazie ancora per l'aiuto!
Ri: DOE: modello significativo con significativa mancanza di adattamentoQuentin: Tu chiedi: "Devo gettare il mio modello nella spazzatura?" Solo se il modello è, parafrasando George Box, “non utile”. LOF è solo uno, e sottolineo solo un test utilizzato per valutare l'utilità del modello. Hai dato un'occhiata ai tuoi appezzamenti residui? Sono problematici dal punto di vista della previsione? Che ne dici dell'entità della dimensione dei residui nello spazio sperimentale? Non mi preoccupo troppo di LOF soprattutto se ho esaurito i mezzi per modificare il modello aggiungendo termini. Quello che farei è dare un'occhiata alle previsioni rispetto ai residui ... e valutare ciò che chiamo "entità della mancanza" o valore residuo. La dimensione o la direzione del residuo è problematica da un punto di vista pratico? Se no... perché preoccuparsi di LOF?
Infine, ti incoraggio a eseguire alcune prove aggiuntive ai fini della verifica del modello. Questo passaggio dovrebbe essere eseguito comunque indipendentemente dai risultati LOF per verificare l'utilità del modello... se queste esecuzioni di verifica risultano OK da un punto di vista pratico... ancora una volta, a chi importa del LOF?
Buona fortuna.
