Re: Fit Screening definitivo vs. Stepwise (min. AICC) per la selezione del modelloCIAO @QW ,
Il "Fit Definitive Screening Design" è un'analisi progettata per il DSD, in quanto enfatizza e supporta i principi DOE di gerarchia degli effetti, ereditarietà degli effetti e scarsità degli effetti: Principi e linee guida per la progettazione sperimentale (jmp.com)
- In una prima fase, la piattaforma Fit DSD cerca di trovare gli effetti principali significativi e di creare un modello basato sugli effetti principali identificati.
- Nel secondo round, i residui del primo modello vengono analizzati per trovare e rilevare termini di 2° ordine (dipendenti dagli effetti principali identificati in precedenza, seguendo il principio dell'ereditarietà dell'effetto) come termini di interazione o termini di potere.
Per impostazione predefinita, la piattaforma utilizza il principio di "ereditarietà forte" (esempio: l'interazione A*B può essere analizzata e identificata solo nel secondo round se entrambi gli effetti principali A AND B sono identificati e significativi nel primo round), ma puoi avere più " flessibilità" nella modellazione deselezionando "I termini quadratici obbediscono a una forte eredità" e "Le interazioni obbediscono a una forte ereditarietà". Ciò consentirà l'ereditarietà debole, il che significa che l'interazione A*B può essere analizzata nel secondo round se l'effetto principale A OPPURE l'effetto principale B è identificato e significativo nel primo round, ad esempio. Nel tuo caso, la debole ereditarietà fornisce lo stesso modello. Maggiori informazioni qui: Selezione del modello efficace per i DSD (jmp.com)
Si noti inoltre che i DSD, anche se potenti e interessanti per rilevare gli effetti del secondo ordine, sono ancora progetti di screening, quindi non sarai in grado di rilevare e stimare tutti i possibili effetti e il potere relativo ai termini quadratici o ai termini di interazione è abbastanza basso rispetto agli effetti principali, ad esempio, quindi sembra "normale" avere più difficoltà nel rilevare effetti quadratici:
Se pensi che ci possano essere ancora termini nascosti che non sono stati rilevati tra gli effetti del 2° ordine, ti consiglio vivamente di aumentare il tuo progetto con più esecuzioni (con la piattaforma "Augment Design"), per avere più fiducia nel tuo modello (e eventualmente rilevare nuovi effetti quadratici e/o effetti di interazione).
L'approccio di selezione "Stepwise" è diverso, più orientato come un'analisi "model-agnostica", dove la selezione dei termini non segue necessariamente alcuni dei principi DoE (anche se puoi "bloccare" alcuni termini come effetti principali per rispettare effetto ereditarietà/gerarchia), ma è focalizzata sull'ottimizzazione di un criterio (AICc, BIC, ...). Ciò può comportare modelli più complessi, poiché le "salvaguardie" di altre piattaforme come "Fit DSD" potrebbero non essere presenti. Se vuoi davvero spingerti oltre i confini ed esplorare altri progetti con la piattaforma Stepwise, puoi anche fare clic sul triangolo rosso e provare "Tutti i modelli possibili". È possibile specificare il numero di termini nel modello e JMP proverà tutte le possibili combinazioni di termini per fornire a tutti i possibili modelli il numero di termini specificato. Può darti qualche "ispirazione" nella modellazione, ma i risultati dovrebbero essere presi con cautela, poiché alcuni termini potrebbero essere inseriti nel modello senza alcun significato statistico (quindi potrebbe essere necessaria una piccola messa a punto dopo):
Con il primo modello (alcuni termini vengono aggiunti per impostazione predefinita ma i loro valori p sono superiori alla soglia di 0,05):
È sempre interessante provare a confrontare diverse opzioni di modellazione, e ancora di più quando l'esperienza del dominio può guidarti nel processo. Può aiutarti ad avere idee su termini importanti e può aiutarti a definire come aumentare il tuo DoE con nuove esecuzioni, basate su un presunto modello.
Non credo che ci sia una risposta giusta o sbagliata qui, la chiave è davvero confrontare e valutare diversi modelli per ottenere una buona comprensione del caso. Alcuni metodi sono più conservativi di altri, ma la combinazione di modelli diversi con competenze di dominio può aiutarti ad avere una visione più ampia di ciò che conta di più. E da allora, pianifica i tuoi prossimi esperimenti per perfezionare il tuo modello e prepara alcuni punti di convalida per poter valutare il tuo modello.
Spero che questa (lunga) risposta ti possa aiutare,
PS: puoi anche confrontare altri modelli realizzati con piattaforme diverse come la regressione generalizzata con diversi metodi di stima (sottoinsieme migliore, selezione eliminata/a 2 stadi/avanti, ...).
Re: Fit Screening definitivo vs. Stepwise (min. AICC) per la selezione del modelloQuesti approcci e altri sono le basi per strumenti che ti aiutano ma non dettano un modo o una risposta. L'approccio Fit Definitive Screening non è riuscito a trovare un modello adatto al tuo caso. JMP fornisce una pletora di strumenti basati su una miriade di approcci, quindi non è necessario limitare la ricerca per selezionare il modello migliore a un solo approccio.
JMP dispone di tutti questi strumenti perché nessun approccio si è dimostrato superiore in tutti i casi.
Inoltre, analizzando i tuoi dati con approcci diversi, puoi costruire la tua fiducia quando sono d'accordo. Quando non sono d'accordo, puoi indagare sul motivo del disaccordo e capire perché il modello selezionato è il migliore.
Soprattutto, dovresti convalidare il tuo modello. Utilizzalo per prevedere la risposta con impostazioni non incluse nell'esperimento originale. Dovresti considerare le impostazioni che prevedono il risultato desiderato e le impostazioni che prevedono un risultato indesiderato. Il tuo modello dovrebbe prevedere accuratamente tutte le risposte all'interno dello spazio dell'esperimento.
Fit Screening definitivo vs. Stepwise (min. AICC) per la selezione del modelloSto cercando di adattare un modello a un DSD a 17 run con 4 fattori. Sto valutando due metodi per farlo: la piattaforma "Fit Definitive Screening" consigliata dalla documentazione JMP, nonché il vecchio metodo di selezione in avanti con AICC minimo come criterio.
Sulla base della conoscenza del dominio, mi sarei aspettato un effetto quadratico per il fattore B che sembra un plateau, con il livello basso significativamente peggiore dei livelli medio/alti, che dovrebbero essere relativamente simili. Quando guardo i risultati dell'algoritmo 'Fit DSD', il grafico dei residui degli effetti principali per il fattore B in effetti assomiglia a questo. Tuttavia, l'algoritmo fit DSD non genera alcun effetto quadratico. Ho provato a modificare il rapporto Stage 2 da 1 a 0,1 e non ho riscontrato differenze.
Quando prendo lo stesso set di dati e utilizzo la selezione del modello in avanti con AICC minimo, ottengo il seguente modello, che include B ^ 2 come termine.
Infine, quando eseguo effettivamente i modelli realizzati da Fit DSD vs. stepwise, trovo che il valore p complessivo e R^2 aggiustato del modello derivato stepwise indichino un fit superiore (p = 0,0144 e r^2 = 0,438 per fit DSD, p = 0,0030 e r^2 = 0,615 per stepwise)
L'ho ripetuto per alcuni altri parametri di output e ho scoperto che in generale, il DSD adatto è molto più conservativo della selezione graduale per quanto riguarda i termini di secondo ordine. È vero? In tal caso, si consiglia comunque di utilizzare il modello di adattamento DSD, anche se risulta in un adattamento del modello più scarso?
Ho allegato dati anonimizzati.
Grazie.
Miscelazione e pulizia dei datiProgettazione di esperimenti
