Ri: Previsione e intervallo di fiducia per DOE con blocco casuale?Ciao @JMPLearner_2022 ,
Guardando il tuo file, ecco alcuni commenti che potrebbero aiutarti:
- Guardando il tuo modello, ho ricostruito il modello passo dopo passo (con la stessa personalità, enfasi e metodo) per vedere se avrei trovato gli stessi risultati del modello che hai salvato. Ho un modello leggermente diverso, meno "parsimonioso" in quanto ho altri tre termini nel mio modello: X1*X6, X2*X3 e X2*X4. Confrontando i due modelli, vedo che avere tre termini in più nel modello consente di avere un R² più alto (0,95 vs 0,86), un R² aggiustato più alto (0,90 vs 0,79), un RMSE più basso (1 ,51 vs 2,13) e un valore p inferiore per il modello (<0,0001 vs 0,0003), anche se il mio ultimo termine X2*X4 ha un valore p superiore a 0,05. Questo livello di significatività ti aiuta a distinguere i fattori significativi da quelli non significativi, ma non dovrebbe essere la tua unica guida nella fase di modellazione/analisi. Dovresti anche dare un'occhiata a quanto bene il tuo modello spiega la risposta (con metriche come R², R² aggiustato, ...) e quanto è accurata (con metriche come RMSE). Potrebbe essere meglio interrompere la rimozione dei termini anche se uno è al di sopra della soglia 0,05 se hai trovato un modello più affidabile. Puoi anche dare un'occhiata ai residui: può anche mostrare curvature o modelli che possono aiutarti a determinare che potrebbe esserci ancora un effetto mancante. Inoltre, se possibile, valutare il modello finale e confrontarlo con l'esperienza del dominio: il modello ha senso? Ti aspetteresti che alcuni effetti/termini siano trascurabili o importanti? Vedere lo script "Fit Model 2" nel datatable JMP per maggiori dettagli sul modello che ho trovato.
- Nella tua piattaforma "Fit model", poiché hai specificato e introdotto un blocco casuale, potrebbe essere interessante sapere se questo blocco casuale è un termine significativo è il modello o meno, o detto diversamente nel tuo caso: c'è un effetto blocco sui miei risultati a causa del mio limite di attrezzatura che dovrei curare/utilizzare nella modellazione? Guardando il pannello "REML Variance Component Estimates", puoi vedere che il valore p di Wald è al di sopra della soglia di 0,05, il che significa che l'effetto del blocco non è significativamente diverso da zero. Ciò ti dà un'indicazione che questo effetto di blocco potrebbe essere rimosso in esperimenti futuri o nell'analisi. Maggiori informazioni qui: Metodo REML (Restricted Maximum Likelihood) (jmp.com)
- Nel mio caso, quando si fa clic sul triangolo rosso di "Risposta Y" e successivamente su "Factor Profiling" e "Profiler", il blocco casuale non viene visualizzato. Ce l'hai nel profiler del tuo modello ( Profiler condizionali (jmp.com) ), perché l'opzione "Previsioni condizionali" è spuntata nel triangolo rosso del tuo profiler. Se lo deselezioni, non vedrai più questo effetto di blocco casuale e anche i valori dell'intervallo di confidenza del 95% cambieranno per riflettere questo cambiamento.
- Fatto ciò, puoi salvare la "Formula di previsione" e "Intervallo medio di confidenza" tramite il triangolo rosso, "Salva colonne" e scegliere la formula appropriata. Non dovresti vedere con i passaggi precedenti il blocco casuale nella formula.
Spero che questo ti aiuti,
Ri: Previsione e intervallo di fiducia per DOE con blocco casuale?Ciao @Victor_G , grazie mille per la tua rapida risposta. La tua spiegazione è molto d'aiuto. Ho ancora una domanda, come hai detto, l'effetto casuale non è significativo. Ho rimosso il blocco nel modello e ho rimosso il termine che pvalue> 0,05 e ho ottenuto un modello completamente diverso (adatta il modello 3 nel file JMP), che R2 adj è piuttosto basso. Potresti spiegare in quale situazione dobbiamo includere o meno l'effetto casuale nel modello? Grazie mille ancora.
Ri: Previsione e intervallo di fiducia per DOE con blocco casuale?Ciao @JMPLearner_2022 ,
Potrei aver risposto un po' troppo velocemente sull'effetto di blocco casuale e sul suggerimento di rimuoverlo, mi dispiace.
Una domanda generale prima dei miei commenti/risposte: conosci il vero modello dietro Y (visto che stavi parlando di risultati simulati) per confrontare i diversi modelli con il "vero" modello di simulazione?
L'effetto di blocco casuale aiuta a ridurre il rumore nell'analisi creando blocchi in cui la variabilità all'interno di un blocco sarà ridotta. Questo processo ti aiuta a determinare e risolvere più facilmente gli effetti significativi.
- A livello "concettuale", dal momento che hai progettato il tuo DoE con esso, sembra più rilevante mantenere questo effetto di blocco casuale.
Anche se non significativo, il tuo effetto di blocco casuale sembra essere abbastanza efficace nel rimuovere il rumore dagli esperimenti, poiché cattura dal 70 (nel tuo primo modello) all'83% (nel secondo modello) della varianza totale attraverso questo effetto di blocco. Quindi, anche se non significativo, ottieni sicuramente più precisione nel tuo modello mantenendolo (questo può essere visto anche confrontando gli RMSE dei tuoi modelli 1, 2 e 3).
- A livello di "analisi", mantenere l'effetto blocco casuale ti aiuta a ridurre la varianza nel modello (e nelle previsioni).
Quali sono le conseguenze della rimozione dell'effetto di blocco casuale?
- L'errore inspiegabile nel modello sarà maggiore (come puoi vedere guardando l'RMSE del tuo modello 3 rispetto ai modelli 2 e 1),
- Pertanto, il test dell'effetto del trattamento potrebbe essere meno potente, quindi potresti perdere/rimuovere alcuni effetti significativi a causa dell'aumento del "rumore"/errore (ecco perché potresti ritrovarti con un modello più parsimonioso nel modello 3).
- I valori delle stime dei parametri e le deviazioni standard possono cambiare (questo si vede anche quando si aggiunge/rimuove un effetto nella modellazione).
In questo caso, a meno che tu non abbia il vero modello simulato per Y per sapere quale modello funziona meglio, è difficile scegliere un modello a favore di un altro, poiché sono molto vicini l'uno all'altro (guardando quali effetti sono nel modello e le loro stime dei parametri). Puoi anche confrontare i diversi profiler di previsione (vedi lo script "Confronto di modelli - Profiler" nel datatable), sembrano concordare sull'importanza dei fattori e su quale livello per ciascun fattore sembra essere l'optimum. Ci sono alcune differenze sulle curvature di alcuni fattori (ad esempio X1 ha una certa curvatura nel modello 3, mentre X3 ha una certa curvatura nel modello 1 e 2 con blocco casuale).
Preferirei ancora il modello 2, in quanto tiene conto del blocco casuale e sembra avere "prestazioni" migliori, ma questa potrebbe non essere la scelta definitiva.
Ricordiamo infine da Georges Box che: "Tutti i modelli sono sbagliati ma alcuni sono utili". La scelta del modello dovrebbe essere fatta anche in considerazione della sua "utilità" e in accordo con le competenze di dominio.
In caso di dubbio, puoi comunque aggiungere alcune esecuzioni di convalida che potrebbero aiutarti a vedere/confrontare quali modelli si generalizzano meglio degli altri.
Ci scusiamo per questa risposta "non deterministica", ma spero che questo ti possa aiutare,
Buon Anno !
Ri: Previsione e intervallo di fiducia per DOE con blocco casuale?Ciao @Victor_G , Ho apprezzato molto la tua spiegazione, ho una comprensione molto migliore dell'effetto casuale nell'analisi dei dati DoE. Come hai detto, possiamo mantenere il modello migliore per adattarlo ai dati esistenti con adj R2 elevato e meno RMSE.Ho ancora una domanda sull'effetto casuale sulla previsione. Ho notato che la formula di previsione è condizionale, il che significa che ha offset diversi per blocchi diversi, ma è zero per l'esecuzione futura. È vero? Ho provato ad adattare un modello il cui effetto casuale è significativo, ma l'offset della previsione ha ancora uno zero. Potresti per favore spiegare la mia domanda? Grazie mille ancora per il tuo aiuto.
Ri: Previsione e intervallo di fiducia per DOE con blocco casuale?Ciao @JMPLearner_2022 ,
Puoi scegliere nel Profiler di scegliere tra "Predizioni condizionali" o previsioni non condizionali (nel triangolo rosso del Profiler, controlla se l'opzione "Predizioni condizionali" è selezionata, appena prima dell'ultima opzione del menu "Aspetto" ).
Come hai detto, "Predizioni condizionali" ti consente di scegliere il livello del blocco casuale (quindi ti ritroverai con intervalli di confidenza più piccoli, poiché l'effetto del blocco casuale non è più casuale ma più simile a un effetto fisso che puoi scegliere), mentre quando l'opzione condizionale è deselezionata, l'effetto del blocco casuale viene preso in considerazione per la varianza delle previsioni (non puoi scegliere il livello del blocco casuale e ti ritroverai con intervalli di confidenza più ampi).
- Nel caso di "Predizioni condizionali", le nuove esecuzioni future verranno attribuite a un nuovo blocco, ma poiché l'effetto di questo nuovo blocco è ancora sconosciuto, ha un valore di offset di 0 per impostazione predefinita (non è possibile sapere in anticipo se le nuove esecuzioni in questo blocco saranno in media superiori o inferiori rispetto alle precedenti esecuzioni di un blocco diverso, quindi non ha offset).
- Nel tuo caso, puoi deselezionare "Previsioni condizionali" e guardare la formula di previsione nel triangolo rosso accanto a "Risposta Y", "Stime", "Mostra formula di previsione". Potresti avere una formula simile a questa (e puoi verificare che i livelli di blocco casuali non sono presenti in questa formula):
2.41318058401651 + 1.08446092046299 * :X1 + 0.672993409088489 * :X2 + 1.00977007848638 * :X3
+1.41114309105797 * :X4 + Match( :X6,
"L1", 1.46585081504277,
"L2", -1.30266943360671,
"L3", -0.163181381436053,
.
) + :X1 * (:X2 * 1.58560226366689) + :X2 * (:X3 * 1.30368310940107) + :X3 * (:X3 *
3.86103114153648) + :X2 * (:X4 * 0.591689620884462) + :X1 *
Match( :X6, "L1", 1.6824493957067, "L2", -0.835857163875241, "L3", -0.846592231831457, . ) +
:X2 * Match( :X6, "L1", 2.20524178427256, "L2", -2.78718463269197, "L3", 0.58194284841941, . )
+ :X4 * Match( :X6,
"L1", 3.57200821808011,
"L2", -3.45349090461962,
"L3", -0.118517313460483,
.
)
È possibile salvare le formule per la risposta e per l'IC inferiore/superiore al 95%. Questo ti darà previsioni tenendo conto dell'effetto di blocco casuale e potrebbe essere più rilevante nel tuo caso.
Spero che questa risposta ti possa aiutare,
Previsione e intervallo di fiducia per DOE con blocco casuale?Ho un design personalizzato nell'allegato che ha 5 fattori continui, un fattore categorico con tre livelli, questo design ha 36 esperimenti in 6 blocchi a causa del limite dell'attrezzatura. I risultati in questo file vengono simulati invece dei risultati effettivi. Ho usato il modello predefinito, quindi ho rimosso i termini che PValue> 0,05 uno per uno nel riepilogo dell'effetto e alla fine ho ottenuto un modello. Tuttavia, nel profiler di previsione c'è un blocco casuale [1-6], devo sceglierne uno, il che non ha senso perché il nuovo esperimento sarà un blocco diverso. Come posso scegliere un blocco diverso invece di 1-6? Ho aggiunto una nuova riga nel file JMP, che può prevedere un nuovo valore, ma senza intervallo sicuro. Come posso ottenere l'intervallo di fiducia? Sapevo che possiamo calcolare l'IC in base alla formula seguente. Per il DoE con effetto casuale, qual è la formula per il calcolo dell'intervallo di fiducia? Devo aggiungere il valore medio dell'effetto casuale in cima a CI?
Grazie mille per il vostro aiuto.
Progettazione di esperimentifinestre
