Confusione sulla piattaforma di screening definitiva FitDopo aver eseguito un DSD e aver cliccato sul pulsante "Fit Definite Screening", il programma produce il seguente output:
- Fase 1 - Stime degli effetti principali
- Fase 2 - Stime degli effetti di ordine pari e
- Stime combinate dei parametri del modello
- Insieme a un sistema di profilazione predittiva.
Se nel menu Fase 1 sono elencati diversi effetti principali come significativi, come indicato da Prob>|t| inferiore a 0,01, ma nel menu Stime dei parametri del modello combinato il valore di Prob>|t| per gli stessi effetti è pari o superiore a 0,20, come devo interpretarlo? Significa che il modello deve essere ridotto?
Nella documentazione di JMP si afferma che il Prediction Profiler è per il modello combinato: si riferisce al modello combinato elencato nella tabella Fit Definitive Screening, oppure alla forma ridotta di tale modello combinato?
Mi chiedo anche: dobbiamo sempre selezionare "Esegui modello" e ridurlo manualmente dopo ogni analisi?
Progettazione degli esperimentiOggetto: Confusione sulla piattaforma di screening Fit DefinitiveCiao @MJZ82 ,
Si osserva un aumento dei valori p finali degli effetti principali perché questi vengono calcolati con un numero di gradi di libertà diverso rispetto a quelli della prima fase. Nella prima fase, infatti, vengono studiati solo gli effetti principali, pertanto il numero di gradi di libertà nel disegno sperimentale è maggiore, da cui deriva l'utilizzo di una soglia di 0,05 per rilevare gli effetti principali.
Nella seconda fase, avendo già utilizzato alcuni gradi di libertà per includere gli effetti principali nel modello, gli effetti di ordine superiore vengono inclusi con una soglia di p-value più elevata (spesso 0,2) perché rimangono meno gradi di libertà per testarli nello stesso modo degli effetti principali nella fase 1. Per maggiori informazioni sulla metodologia, consultare la sezione: Dettagli statistici per la piattaforma di screening definitivo Fit.
Nel pannello del modello combinato finale, i valori p vengono calcolati come se i termini di questo modello fossero stati inseriti simultaneamente in un semplice modello dei minimi quadrati, quindi i valori p sono diversi (e più alti) rispetto a quelli calcolati in precedenza in ciascuna delle due fasi. Il profiler visualizzato alla fine corrisponde al modello combinato finale.
Non ridurrei ulteriormente il modello basandomi sui valori p del pannello delle stime dei parametri del modello combinato, poiché la metodologia utilizzata per lo screening definitivo del modello si basa su un approccio sequenziale: prima si identifica l'influenza degli effetti principali sulla risposta, poi si identificano gli effetti di secondo ordine attivi in base ai residui del modello degli effetti principali precedentemente adattato. I valori p calcolati con l'inclusione simultanea dei termini (come nel pannello delle stime dei parametri del modello combinato) non riflettono quanto fatto per identificare e inserire i termini del modello, quindi non sono affidabili, possono essere distorti e la decisione di rimuovere alcuni termini non dovrebbe basarsi esclusivamente su queste informazioni. È inoltre importante rispettare l'ereditarietà degli effetti quando si adattano modelli da DoE, quindi non rimuovere un effetto principale di un'interazione significativa o un effetto quadratico dello stesso fattore se è presente nel modello.
È ancora possibile provare diversi modelli utilizzando le varie piattaforme di modellazione disponibili: la piattaforma di screening definitivo Fit, la piattaforma di screening a due livelli Fit , i modelli standard dei minimi quadrati , i modelli di regressione generalizzata , ... e confrontare i termini comuni identificati da questi metodi con quelli che differiscono. L'argomento della modellazione è molto più vasto (e a volte complicato) del semplice affidarsi ai valori p. A seconda dei vostri obiettivi, potreste seguire percorsi diversi per la valutazione e la selezione dei modelli:
- Modello esplicativo In modalità esplicativa, ci si concentra maggiormente sui termini che hanno effettivamente un'influenza sulla/e risposta/e, quindi si potrebbe valutare la necessità di includere i diversi termini in base alla significatività statistica (con l'aiuto dei valori p e di una soglia predefinita come 0,05) e alla significatività pratica (dimensione delle stime, selezione basata sull'esperienza nel dominio). R², R² aggiustato (e la differenza tra i due, che deve essere minimizzata) potrebbero essere buone metriche per capire quanta varianza è spiegata dai termini identificati e selezionare i modelli pertinenti per spiegare il sistema in esame.
- modello predittivo In modalità predittiva, ci si concentra maggiormente sui termini che aiutano a minimizzare gli errori di previsione, quindi si potrebbe valutare la necessità di includere i diversi termini in base a come questi migliorano le prestazioni predittive, attraverso le visualizzazioni del grafico effettivo vs. predittivo e l'entità degli errori (grafico dei residui). L'RMSE potrebbe essere una buona metrica per valutare quale/i modello/i ha/hanno le migliori prestazioni predittive (l'obiettivo è minimizzare l'RMSE).
Potresti anche essere interessato a una combinazione delle due parti, quindi potrebbero essere utilizzate metriche diverse per aiutarti a valutare e selezionare i modelli, come criteri informativi (AICc, BIC) che aiutano a trovare un compromesso tra le prestazioni predittive del modello e la sua complessità. Per valutare e selezionare un modello in base a questi criteri, più basso è il valore, meglio è.
Spero che questa risposta ti sia d'aiuto.
Oggetto: Confusione sulla piattaforma di screening Fit DefinitiveGrazie per la risposta dettagliata.
Cosa succede se, tra i 9 termini elencati nel mio modello (escluso il termine di intercetta), solo uno dei "Parametri stimati del modello combinato" risulta significativo?
Nella mia sezione "Stime degli effetti principali della Fase 1" sono elencati 3 effetti principali su 5 come significativi. Successivamente, nella sezione "Stime dei parametri del modello combinato" sono elencati gli stessi 3 effetti principali + 3 termini di interazione + 3 termini di secondo ordine. Di questi 9 termini combinati, solo 1 dei termini di secondo ordine è significativo, e molti degli altri termini presentano valori p pari o superiori a 0,20.
Di solito non è consigliabile tentare di ridurre ulteriormente l'output del modello ottenuto dopo aver eseguito la piattaforma "Fit Definitive Screening", anche se 8 dei 9 termini del modello "Combined" non presentano valori p significativi?
Oggetto: Confusione sulla piattaforma di screening Fit DefinitiveCome ho scritto, il calcolo dei valori p nel modello combinato è diverso (test simultaneo) rispetto alla metodologia utilizzata nello Screening Definitivo di Adattamento, basata su test sequenziali e gerarchici degli effetti. Questo Screening Definitivo di Adattamento potrebbe essere più sensibile del metodo classico di test e costruzione del modello, quindi potresti ritrovarti con termini non statisticamente significativi in questo pannello finale del modello combinato anche se la fase 1 o 2 li ha rilevati.
Ciò non significa che questi termini non siano praticamente importanti o che non siano utili per il modello.
Quando si valutano diversi modelli, è importante verificare le ipotesi di regressione (attraverso l'analisi dei residui), nonché utilizzare diverse metriche (per confrontare i modelli con valutazioni differenti) e avvalersi di competenze specifiche del settore per guidare il processo di modellazione.
