Importanza dei fattori nel disegno di screening definitivoCara comunità JMP,
Ho condotto un progetto di screening definitivo in 37 fasi per 15 fattori per trovare quelli dominanti. Ho impostato il valore p su 0,05 e nella documentazione si dice che un fattore verrà mostrato come "attivo" se il valore p è inferiore alla soglia definita (ovvero 0,05). Tuttavia, in alcuni casi, quando si adatta il disegno di screening definitivo, ci sono fattori con valore p superiore a 0,05 che appaiono come "attivi o significativi". Di seguito ho allegato un esempio di ciò che intendo. Qualcuno può aiutarmi a risolvere questa ambiguità?
Progettazione di esperimentifinestreRi: Significato dei fattori nel disegno di screening definitivoCIAO @Ahmedhadi ,
Benvenuto nella Comunità!
È difficile aiutarti senza guardare il tuo progetto e senza sapere come lo progetti.
Tuttavia, penso che potresti trovare risposte in questa sezione di Aiuto sull’analisi dei DSD: Dettagli statistici per la piattaforma di screening definitivo in forma (jmp.com)
Potrebbe interessarti anche la pubblicazione originale del metodo Fit DSD: Bradley Jones e Christopher J. Nachtsheim (2016): Selezione efficace del modello basata sulla progettazione per progetti di screening definitivi , Tecnometria, DOI: 10.1080/00401706.2016.1234979
Come puoi vedere nello screenshot, l'analisi dei DSD viene eseguita in 2 passaggi per tenere conto della struttura specifica del DSD:
- La prima fase prevede l'identificazione degli effetti principali con i valori delle risposte
- La seconda fase prevede le interazioni a 2 fattori e l'identificazione degli effetti quadratici (basati sul principio dell'ereditarietà degli effetti) con le risposte residue del modello della prima fase.
Dalla bassa quantità di informazioni fornite, se i tuoi 37 DSD esecutivi coinvolgono 15 fattori continui, potresti avere 4 esecuzioni extra nella tua progettazione, quindi nella fase 1, la varianza dal modello presunto (con tutti gli effetti principali) viene stimata rispetto all'errore variazione rispetto alle 4 corse extra. Ciò consente di identificare gli effetti attivi al di sotto di una determinata soglia del valore p (definita da te o dal numero di gradi di libertà di cui disponi). Poiché la variabilità degli effetti principali inattivi viene quindi raggruppata nella varianza dell'errore, i valori p potrebbero essere suscettibili di modifica nel processo e finire per essere al di sopra della soglia specificata, anche se originariamente selezionata.
Qualcosa di simile può accadere nella fase 2, dove un sottoinsieme di effetti del 2° ordine viene testato per vedere se c'è un miglioramento del modello RMSE quando si aggiungono questi effetti (anche se potrebbero non essere tutti statisticamente significativi).
Due cose da considerare con cautela:
- Principio di significatività statistica: la soglia del valore p di 0,05 non è un valore limite, poiché anche gli effetti appena al di sopra di questo valore potrebbero essere interessanti da considerare nel modello (a causa delle competenze del settore o dell'uso di altri metodi di modellazione non basati su p -valori). Inoltre, la significatività statistica non fornisce alcuna informazione sull'importanza/dimensione dell'effetto.
- Un modello è solo una rappresentazione della realtà sperimentale che hai registrato. Se si provano diverse tecniche di modellazione, utilizzando la piattaforma di regressione generalizzata con diversi metodi di stima (selezione forward a due stadi, selezione Pruned Forward, ...) e un diverso criterio di convalida (come i criteri di informazione AICc e BIC), è possibile che si ottengano risultati diversi Modelli. È sempre interessante confrontare diversi approcci per vedere come i diversi modelli possono essere simili o differire e utilizzare le competenze del settore per procedere con quello più ragionevole.
Spero che questa risposta ti possa aiutare,
Re: Significato dei fattori nel disegno di screening definitivoCaro Vittorio,
Grazie mille per la tua risposta dettagliata e utile e mi spiace di non aver fornito tutte le informazioni.
Naturalmente ho 15 fattori "continui" e ho incluso 4 corse extra come raccomandato. Per ora mi interessa solo determinare i fattori dominanti che influenzano in modo significativo la risposta. Pertanto considererò significativi tutti i “fattori attivi” elencati dal software nella Fase 1.
Per quanto riguarda il confronto di modelli diversi, ho trovato difficile farlo per alcuni modelli poiché non esiste un valore R quadrato per valutare/confrontare i modelli. Esiste un modo sistematico per farlo?
Ri: Significato dei fattori nel disegno di screening definitivoCIAO @Ahmedhadi ,
Se vuoi confrontare e selezionare i modelli più "sensati", ti consiglio di confrontarli con un'altra metrica diversa da R² (o R² aggiustato), poiché R² prende in considerazione solo la proporzione della varianza spiegata dal modello ma non la sua complessità, quindi se aggiungi sempre più termini, potresti ritrovarti con un R² più alto ma avrai un modello più complesso che potrebbe contenere del rumore.
Un criterio informativo, come AICc o BIC, e/o Massima Verosimiglianza se è necessaria una distribuzione di risposta diversa da quella normale, può essere più efficace per confrontare e selezionare i modelli, poiché bilanciano l'accuratezza del modello con la sua complessità (numero di termini inclusi nel modello).
Non è necessario provare tutte le possibili combinazioni di termini per confrontare e selezionare i modelli, poiché la Regressione Generalizzata (JMP Pro) con i diversi metodi di stima e criteri di validazione è un processo semi-automatizzato (ciascun metodo si fermerà quando raggiunge il modello "migliore"). Maggiori informazioni qui: Modelli di regressione generalizzata (jmp.com)
Puoi anche consultare la piattaforma Stepwise (nella piattaforma Fit Model, cambiando la personalità in Stepwise), dove puoi vagliare "automaticamente" i termini possibili nel tuo modello e selezionare quello più informativo grazie ad una regola/criterio di arresto (basato su BIC, AICc, soglia del valore p, ecc... Consiglio di utilizzare criteri informativi come AICc o BIC). La parte bella è che puoi seguire i diversi passaggi coinvolti durante la creazione dei diversi modelli e come ogni passaggio ha avuto un impatto sulla qualità del modello (in termini di R² e AICc / BIC):
Funziona abbastanza bene, ma potrebbe essere necessario dopo tutto qualche messa a punto del modello, poiché può essere un approccio avido (inserirà ogni termine che potrebbe fornire un impatto positivo per il modello).
Maggiori informazioni qui: Modelli di regressione graduale (jmp.com)
C'è anche un'opzione per provare " Tutti i modelli possibili ", ma dato l'elevato numero di fattori che hai (e un numero ancora più elevato di termini possibili se si prendono in considerazione i termini di 2° ordine), non lo consiglierei perché sarebbe troppo lungo e troppo costoso dal punto di vista computazionale.
Spero che questa risposta ti possa aiutare,
Re: Significato dei fattori nel disegno di screening definitivoUn altro punto da considerare è che il software o l’algoritmo non pretende di trovare il modello migliore. Aiutano a eliminare molti modelli errati da un'ulteriore selezione. Metodi diversi per selezionare un modello possono portare a soluzioni diverse. Le informazioni fornite con una soluzione dovrebbero aiutarti a guidarti verso i miglioramenti. La scelta dei termini da includere dipende da te, non dal software.
Potresti provare un altro metodo di selezione per vedere se la soluzione è più adatta alle tue esigenze. JMP fornisce molti di questi metodi.
