Analisi di un disegno personalizzato con blocchiUtilizzando il designer personalizzato è stato creato un DOE a 36 esecuzioni per 7 fattori: 5 continui e 2 categorici. Ogni giorno vengono eseguite 4 esecuzioni, pertanto all'elenco dei parametri di input viene aggiunto un fattore di blocco con 9 blocchi. La valutazione DOE mostra un buon potere parametrico, una bassa correlazione accettabile tra i fattori e blocchi quasi ortogonali ai fattori. L'analisi dei risultati mediante l'adattamento di una superficie di risposta può essere eseguita in diversi modi; quale dei seguenti è corretto/raccomandato? Considero il blocco come un effetto casuale.
1. Trasformare il blocco in effetto casuale e utilizzare i minimi quadrati standard + REML: dopo aver rimosso i parametri f non efficaci --> 17 effetti attivi, molte interazioni ed effetti quadratici: R² = 0,97 R²adj = 0,94 AICc = 327 Questo sembra mi sta troppo bene..? Tuttavia R² aggiustato è ancora vicino a R²...
2. Stepwise e blocco = effetto fisso (stepwise non accetta effetti casuali?): 10 effetti fissi: 3 effetti di blocco fissi e 7 parametri --> 5 effetti principali, 1 interazione e 1 effetto quadratico. Considerando il blocco come un effetto casuale, prima di realizzare il modello ho trasformato i 3 effetti di blocco fissi in 3 effetti casuali, è corretto? Facendo il modello REML ottengo R² = 0,90 R²adj = 0,87 AICc = 256
I due modelli sono chiaramente diversi! Preferirei il secondo modello con #effetti e AICc inferiori e comunque R² = 0,9. Ci sono troppo poche esecuzioni per creare un set di test, quindi qual è la tua opinione?
Nota: nella seconda procedura graduale, invece di assegnare i 3 effetti del blocco fisso come 3 effetti casuali, posso anche creare un modello REML prendendo il blocco di 9 livelli come un effetto casuale, è questo il modo giusto?
Grazie per il contributo! Franco
Re: Analisi di un design personalizzato con blocchiLa piattaforma di screening è per fattori a due livelli . Modellerà qualsiasi fattore con più di due livelli (come 9 blocchi) come potenze di effetti fissi, fino all'ottava potenza in questo caso, e non come effetti casuali. In questo caso non dovresti utilizzare la piattaforma di screening.
Inoltre, questa semplice piattaforma serve per lo screening dei fattori, non degli effetti. Ignora il modello specificato per creare contrasti basati sui principi chiave dello screening.
Re: Analisi di un design personalizzato con blocchiGrazie Cameron per questo utile commento; Darò un'occhiata a questa piattaforma di analisi dello screening DOE più o meno dimenticata. Sono d'accordo sul fatto che l'approccio a blocchi fissi consuma molti gradi di libertà, d'altra parte questo farà sì che alla fine verranno esclusi solo gli effetti forti, quindi sono soddisfatto del mio modello con effetti R² = 0,9 più bassi ma più forti; Ho provato la scomoda selezione all'indietro standard dei minimi quadrati e talvolta è difficile giudicare quando rimuovere un effetto o meno; rifiuteresti un effetto di interazione con p = 0,075? Usando la selezione all'indietro, quasi ogni volta che trovo un altro modello... il giudizio di p è fondamentale!! Preferisco l'effetto fisso/passo passo e in effetti creando il modello finale il blocco deve essere trasformato in un effetto casuale. Saluti, Frank
Re: Analisi di un design personalizzato con blocchiOK, grazie per gli input. Peccato che Stewise non possa gestire gli effetti casuali, sarebbe fantastico; l’analisi a ritroso è complicata quando sono coinvolti molti fattori. Il criterio AICc non è corretto per giudicare i modelli? il primo modello ha 17 effetti significativi R² = 0,98 ma AICc è molto più alto del secondo modello con #effetti inferiori con R² = 0,9 ?
Re: Analisi di un design personalizzato con blocchiIn definitiva, non puoi sapere se sei in overfit finché non esegui alcune prove di conferma. Hai davvero un progetto di screening, quindi non mi preoccuperei eccessivamente di un adattamento eccessivo in questa fase purché una buona parte dei termini del modello venga eliminata. Non mi aspetterei nemmeno di fare previsioni accurate all'interno del tuo spazio di progettazione.
Non c'è un modo giusto o sbagliato qui. Se procedi per gradi, allora sì, dovrai considerare i blocchi come fissi. Ciò risucchierà molti gradi di libertà, rendendo meno potenti tutti i test sugli effetti. Dovresti essere in grado di applicare effetti interi solo in modo che alcuni termini per i singoli blocchi non vengano eliminati.
Dopo aver selezionato gradualmente un modello, è necessario ripristinare manualmente il blocco in a
un effetto casuale in un adattamento ai minimi quadrati regolari con REML.
Al giorno d'oggi il metodo graduale viene solitamente disprezzato a favore di metodi con regolarizzazione. Non lo ottieni in JMP di base, quindi passo passo è davvero l'unica risposta per la selezione automatizzata del modello.
Di solito eseguo la selezione del modello manualmente. È inoltre disponibile la piattaforma Screening per l'analisi dei progetti di screening. Non lo uso da un paio d'anni, ma vale la pena dargli un'occhiata.Re: Analisi di un design personalizzato con blocchiQuesta risposta è stata creata in duplice copia per sbaglio. Contenuti eliminatiRe: Analisi di un design personalizzato con blocchiHo sollevato il fatto che quando hai utilizzato Custom Design non hai specificato un modello che includesse le interazioni. Perché l'ho menzionato? Perché mi chiedevo quanto fosse efficace l'esperimento per stimare le interazioni che stai inserendo nei tuoi modelli. Mi chiedevo se questo contribuisce alla tua sfida nel trovare il modello migliore.
Dici che il design ha un buon potere e una buona correlazione per questi effetti. In tal caso, non preoccuparti di questo.
Re: Analisi di un design personalizzato con blocchiCitando George Box: "Tutti i modelli sono sbagliati. Alcuni sono utili." Scegli quello che ritieni utile, ma non pensare che sia "la verità". Un'altra citazione di Box: "Non innamorarsi mai di una modella".
Quindi, l’approccio tradizionalista intransigente:
Il disegno che viene costruito dipende dal modello da stimare. Cambiare il modello significa che potresti non avere più il design migliore. Hai un blocco casuale. Hai creato il disegno come un blocco casuale. La tua analisi dovrebbe avere un blocco casuale.
L’approccio non tradizionale:
Potresti certamente utilizzare il tuo approccio graduale, ma renditi conto che trattando l'effetto casuale come fisso, stai modificando il termine di errore. Pertanto, il modello che emerge gradualmente non utilizza lo stesso termine di errore della prima analisi. Se potessi utilizzare il termine di errore corretto, potresti ritrovarti con termini di modello selezionati diversi. Il progetto non è stato creato per questa analisi, quindi perché avresti provato??
Infine, per aiutarti a rispondere alla tua domanda su quale sia il modello migliore:
Alla fine hai due modelli concorrenti. Come si confrontano i loro valori previsti? Esistono regioni dello spazio di progettazione che forniscono previsioni drasticamente diverse? Come con tutti i modelli di un DOE, è necessario verificarlo. Scegli un paio di condizioni da testare. Prova a includere luoghi in cui i modelli differiscono leggermente. Esegui quei test. Quale modello fa meglio? Alla fine, sarai TU a decidere quale modello è il migliore. Baserei tale decisione sulle prestazioni nel mondo reale.
Re: Analisi di un design personalizzato con blocchiCiao Frank, mi dispiace che le risposte non ti siano state utili. Stiamo cercando di aiutare! Sfortunatamente, non c'è niente che crea più confusione degli effetti fissi rispetto a quelli casuali!
Detto questo, penso che tu abbia già risposto alla tua stessa domanda.
"Nel libro Optimal design di Goos e Jones si consiglia di estrarre la variazione casuale generata dai blocchi giornalieri assegnandoli come effetti casuali e utilizzando REML, così ho fatto." Mark ed io siamo entrambi d'accordo che questa è l'analisi appropriata per questo. Ma la risposta che ti dà non sembra piacerti.
Siamo tutti d'accordo sul fatto che l'utilizzo di stepwise e blocchi come effetti fissi non è appropriato in questo caso: "utilizzando Stepwise devo analizzare tutti i fattori fissi, il che è sbagliato perché il blocco è un effetto casuale".Ma preferisci la risposta che ti dà.
"Quale modello è ora la migliore ipotesi? Come controllare?"Puoi decidere quale modello è "migliore". Dipende da cosa significa per te "migliore".
Re: Analisi di un design personalizzato con blocchiScusa ma sono confuso dai commenti sopra. Non capisco e non ho ancora una risposta alla mia domanda.
Ho creato un bel DOE bloccato da 36 esecuzioni con 9 blocchi randomizzati da 4 esecuzioni. Quando guardo la mappa dei colori con principali, interazioni e poteri, tutto è quasi blu, indicando nessuna o solo poca correlazione tra gli effetti quadratici e di interazione. Anche i calcoli sulla potenza vanno bene, quindi mi sembra un bel DOE? L'unica domanda è come analizzare? Nel libro Optimal design di Goos e Jones si consiglia di estrarre la variazione casuale generata dai blocchi giornalieri assegnandoli come effetti casuali e utilizzando REML così ho fatto. Tuttavia, con i minimi quadrati standard e all'indietro ottengo un modello completamente diverso (17 effetti!) rispetto a quello graduale (vedi sopra) Ma! usando stepwise devo analizzare tutti i fattori fissi - il che è sbagliato perché il blocco è un effetto casuale - e quindi creare un modello assegnando il blocco come casuale; Ottengo un bel modello con effetti inferiori diverso dal primo con R² = 0,9 ma questo modo di analizzare il DOE è OK, ovvero primo blocco = fisso e poi casuale?? Quale modello è ora la migliore ipotesi? Come controllare?
Re: Analisi di un design personalizzato con blocchiDovrei chiarire che eliminare l'effetto blocco è qualcosa che puoi provare come parte dell'esplorazione di diversi modelli possibili. Personalmente mi sentirei più a mio agio ad avere l’effetto blocknig nel modello finale, anche se non giudicato significativo.
Re: Analisi di un design personalizzato con blocchiNon sono d'accordo con il consiglio di Phil sulla scelta di considerare l'effetto di blocco come fisso o casuale. Dipende. Ci sono molti casi in cui un’interpretazione ad effetto fisso è significativa e giustificabile. Nel tuo caso, sono d'accordo con te e Phil sul fatto che l'effetto Giorno è meglio interpretarlo come un effetto casuale.
Aggiungi un fattore di blocco se vuoi considerare l'effetto di blocco come fisso. Non aggiungi un fattore di blocco se vuoi considerare l'effetto di blocco come casuale. Seleziona l'opzione "Raggruppa esecuzioni in blocchi casuali di dimensione 4" nella sezione Generazione progetto di Progettazione personalizzata invece di aggiungere un fattore di blocco.
Re: Analisi di un design personalizzato con blocchiGrazie, Frank.
Quindi il modello specificato in Custom Design aveva solo gli effetti principali e le quadratiche? Le interazioni a 2 fattori non erano nel modello? In tal caso, 36 corse sembrano più sensate.
Hai ragione sul fatto che gli effetti casuali non sono supportati in modo graduale o nella piattaforma Gen Reg (potresti voler aggiungerlo nel file Lista dei desideri ). Probabilmente il metodo migliore è adattare il modello REML con l'effetto casuale del blocco e tutti gli altri effetti ed eseguire una regressione graduale "manuale" all'indietro dal riepilogo degli effetti. Sembra che tu lo abbia già fatto.
Una cosa da considerare è quanto è grande l'effetto del blocco rispetto all'errore residuo: consultare le stime dei componenti della varianza REML nel report del modello di adattamento. Se la stima della varianza del 95% dei limiti inferiore e superiore include 0, potresti voler eliminare del tutto l'effetto di blocco. Quindi puoi usare gradualmente come al solito.
Sembra che tu stessi anche cercando di adattare una modalità con interazioni significative, anche se non le hai specificate nel modello in Progettazione personalizzata. Quindi dipenderà dalla bontà dell’esperimento per stimare questi effetti.
Fil
Re: Analisi di un design personalizzato con blocchiCiao Phil, è stato abbastanza semplice creare un DOE personalizzato a 9 blocchi e 7 fattori con 36 esecuzioni; i termini del modello sono principali e poteri, i termini alias sono le seconde interazioni.
Quando provo ad adattare una superficie di risposta selezionando Stepwise, ricevo un avviso JMP che "gli effetti casuali non sono supportati da Stepwise"?? Quindi devo prima fare un'analisi graduale dei blocchi fissi e poi creare un modello con blocchi casuali... è un modo giustificato?
Re: Analisi di un design personalizzato con blocchiCiao Frank,
Troverai una discussione sugli effetti casuali e fissi per gli esperimenti bloccati in Goos & Jones, Optimal Design of Experiments. C'è un download gratuito del capitolo disponibile che riguarda un RSM bloccato. C'è un altro capitolo nel libro sul progetto di screening bloccato, anch'esso rilevante.
Non credo che ci sia una risposta semplice alla tua domanda. Tuttavia, direi che si è concordi nel ritenere che la stima dei blocchi come effetti casuali sia più "statisticamente corretta". Quando crei un disegno bloccato con Design personalizzato, dovrebbe essere visualizzata una finestra di dialogo Adatta modello con l'effetto blocco come effetto casuale e adattamento REML.
Nel tuo approccio n. 2 non ha senso per me prendere i 3 effetti di blocco fissi che hai ritenuto significativi e poi modificarli in effetti casuali. Dovresti, come dici tu, prendere il blocco di 9 livelli come un singolo effetto casuale.
36 esecuzioni per un RSM bloccato con 7 fattori sembrano un numero piuttosto piccolo di esecuzioni. Non sono sicuro di come lo hai progettato in Custom Design. Penso che suggerirebbe più corsa di così.
Saluti,
Fil
