Impostazione del valore P della fase 1 nell'analisi del DSD a un livello elevato per rilevare gli effetti attiviHo una domanda sull'impostazione del valore P di Fase 1 per l'analisi di un DSD a 7 fattori nell'attaccamento.
Devo impostare il valore P della fase 1 a 0,4 per rilevare i 5 fattori attivi, mentre l'impostazione predefinita è 0,05; c'è una spiegazione?
Il valore predefinito di P di fase 1, pari a 0,05, non è troppo basso? Come si imposta P di fase 1? Esiste una regola pratica?
Progettazione degli esperimentiRe: Impostazione del valore P di Fase 1 nell'analisi del DSD a un livello elevato per rilevare gli effetti attiviCiao @frankderuyck ,
Immagino che l'esempio che mostri abbia scopo didattico/formativo, dato che la risposta si basa su una formula?
Un buon promemoria da JMP Help per rispondere alla tua domanda è: " Un DSD con dimensione minima di esecuzione è in grado di identificare correttamente i termini attivi con elevata probabilità se il numero di effetti attivi è inferiore a circa la metà del numero di esecuzioni e se le dimensioni degli effetti superano il doppio della deviazione standard " (Fonte: Panoramica della piattaforma di screening definitivo di Fit )
Nel tuo caso, hai 7 fattori e ti aspetti che 5 vengano rilevati come "attivi", quindi è un'attività molto complessa da eseguire quando si utilizza un DSD con dimensioni di esecuzione minime e un rumore di risposta relativamente elevato.
Quando guardo la parte "rumore"/variabilità della tua formula di risposta, vedo che la parte uniforme casuale è piuttosto ampia (da -25 a 25) rispetto alla dimensione delle stime (da -20,8 a 5,2) per i fattori che vuoi rilevare in questa prima fase. Quindi, per la maggior parte dei fattori per i quali hai specificato una dimensione dell'effetto da stimare, potrebbe essere molto difficile rilevarli e stimare la loro dimensione dell'effetto, rispetto alla parte rumore/variabilità che hai aggiunto nella formula. Menzioni anche 5 fattori "attivi", ma penso che ci sia confusione: saranno considerati "attivi" solo se la loro dimensione relativa delle stime è sufficientemente ampia rispetto al rumore/variabilità naturale dei tuoi esperimenti. Non è perché hai specificato una stima diversa da 0 che dovrebbero essere considerati attivi/importanti. È una questione di rapporto segnale/rumore e una differenza tra significatività statistica e significatività pratica.
Il livello di significatività (soglia del valore p) da regolare potrebbe essere stimato in base al design e al rumore presunto (RMSE previsto) nella piattaforma Valutare i progetti . In questa piattaforma, puoi regolare il livello di significatività e l'RMSE previsto per valutare la potenza (probabilità di rilevare un effetto se attivo).
Forse non "esattamente rigoroso", ma come esercizio, puoi controllare se gli output della tua analisi sembrano corretti mentre lavori su una formula di risposta teorica. Quando aggiungo una nuova colonna di formula per esaminare la parte rumore della formula, posso stimare una deviazione standard di circa 12:
Utilizzando questo valore come RMSE previsto (probabilmente come stima bassa per RMSE), fissando il livello di significatività a 0,05 e utilizzando le stime teoriche della formula come coefficienti previsti (ho lasciato "1" per gli effetti nulli della formula per vedere la potenza "di base" del progetto per gli effetti principali con questo RMSE), esso corrisponde agli output dell'analisi:
Solo X1 ha una dimensione dell'effetto sufficientemente grande da essere rilevata con un'alta probabilità. Gli altri effetti hanno una dimensione dell'effetto relativamente troppo bassa (rispetto all'RMSE anticipato della risposta). Se si ha una soglia di significatività più alta con lo stesso rumore previsto, la potenza di rilevare gli effetti principali aumenterà:
A seconda degli obiettivi didattici, potresti utilizzare diverse opzioni (singole o combinate) per il tuo esempio:
- È possibile ridurre la variabilità (parte uniforme casuale nella risposta della formula Y), per assicurarsi di poter rilevare la maggior parte degli effetti attivi che si desidera rilevare (e stimare).
- È possibile aumentare le dimensioni del design per consentire un rilevamento più semplice degli effetti attivi. Da JMP Help: " Tuttavia, aumentando una dimensione minima di esecuzione DSD con quattro o più esecuzioni selezionate correttamente, è possibile identificare sostanzialmente più effetti con elevata probabilità. ": Panoramica della piattaforma Fit Definitive Screening
- È possibile aumentare la dimensione dell'effetto (dimensione dei fattori stimati nella formula), in modo che diventi più facile rilevare l'effetto nonostante l'elevato rumore/variabilità.
- Puoi anche provare diverse piattaforme di analisi per rilevare gli effetti principali. La piattaforma Fit Two Level Screening potrebbe offrire una prospettiva diversa, ad esempio:
- Indipendentemente dalla scelta, la piattaforma Valutare i progetti (e la piattaforma Confronta i design per confrontare diverse scelte di progettazione) è davvero importante da mostrare e spiegare agli studenti, poiché consente di valutare meglio i pro e i contro di qualsiasi progettazione in base agli obiettivi, alla complessità del modello, alla capacità di rilevare l'effetto, alle proprietà di aliasing, ecc. Può anche essere utilizzata per valutare il livello di significatività da regolare se si hanno informazioni precedenti sull'RMSE previsto e sui coefficienti previsti.
Spero che la mia risposta ti aiuti a capire cosa sta succedendo nel tuo esempio,
Re: Impostazione del valore P di Fase 1 nell'analisi del DSD a un livello elevato per rilevare gli effetti attiviCiao Victor, grazie ancora per la tua risposta dettagliata. Sì, è un caso di formazione DOE basato su uno studio pilota in cui i risultati erano confusi con un rumore considerevole e il budget dell'esperimento era limitato a un massimo di 25 esecuzioni. Sfortunatamente non c'erano conoscenze preliminari ed era richiesto un approccio pragmatico. L'obiettivo principale di questo studio di screening è specificare i forti effetti principali con cui il DSD può essere aumentato per ottenere un RSM. Ecco perché non ho incluso le 4 esecuzioni DSD extra e ne ho mantenute 17, in quanto ci sono 8 esecuzioni di riserva da aumentare (4 esecuzioni di riserva potrebbero essere troppo poche).
È interessante notare che aumentando la soglia P a 0,4 l'analisi DSD rileva ancora 5 fattori significativi! Solo quando la soglia P è alta quanto 0,7 entrano in gioco i 2 effetti più piccoli e non significativi X6 e X7 e (come nell'analisi ROC) la specificità del modello diminuisce. Aumentando il DSD di 17 esecuzioni a 24 utilizzando i 5 effetti forti si ottiene un modello molto buono e utile e il raggiungimento con successo dell'obiettivo sperimentale (corrispondenza del target Y).
Mi piace molto la piattaforma di screening Fit a due livelli che hai menzionato sopra, sceglierei anche la X4.
Questo studio di caso dimostra che usando un approccio pragmatico, anche con risultati rumorosi e vincoli di budget, un DSD è ancora un potente strumento di screening, come indica la "S". Io lo uso ancora molto.
Re: Impostazione del valore P di Fase 1 nell'analisi del DSD a un livello elevato per rilevare gli effetti attiviAnche la selezione in avanti SVEM fa un buon lavoro! cfr. allegato
Re: Impostazione del valore P di Fase 1 nell'analisi del DSD a un livello elevato per rilevare gli effetti attiviCiao @frankderuyck ,
Ho sentimenti contrastanti sull'output e sull'uso (sistematico) di SVEM, in particolare su dati rumorosi.
La selezione in avanti SVEM non "seleziona" i termini nel modello (o li filtra grazie a uno specifico criterio statistico e soglia), ma cerca invece di stimarli il più precisamente possibile grazie al ricampionamento dei punti dati con vari pesi anticorrelati di training/validazione. Per impostazione predefinita, tutti i termini saranno considerati e stimati con SVEM.
Quindi, se il tuo obiettivo è comprendere e filtrare i principali effetti importanti tramite screening, SVEM potrebbe non aiutarti ulteriormente, poiché ti manca un framework decisionale (criterio statistico, metrica e soglia) per farlo. SVEM è tuttavia molto utile in una mentalità predittiva, per una stima precisa dei termini.
Tuttavia :
- Potresti usare la colonna/metrica "Percentuale diversa da zero" come metrica statistica per perfezionare il modello, ma incontrerai la stessa difficoltà che hai con i valori p per definire una soglia: un termine dovrebbe essere >50% diverso da zero per essere incluso nel modello e considerato "attivo"? O un altro livello?
- Visualizzando i dati del modello SVEM, è possibile evidenziare alcuni effetti chiave e selezionarli in base all'importanza pratica (ad esempio, il valore assoluto del termine dovrebbe essere > 2):
Ma ancora una volta, la definizione di questa soglia di "accettazione" può comportare molta competenza di settore e riflessione per non escludere prematuramente alcuni termini che potrebbero essere interessanti da approfondire.
Inoltre, se si osserva il modello dei residui, accade qualcosa di strano:
Non mi fiderei di un modello di regressione che mostra questo pattern di residui non casuali (bias). Ma questo può essere "migliorato" riducendo la complessità del modello, se si avvia SVEM GenReg solo con effetti principali:
Sembra che potrebbe esserci una curvatura nel pattern residuo. Quindi ovviamente nel tuo esempio, le interazioni e gli effetti quadratici della tua formula di risposta non sono indagati qui in questo semplice modello, e questo può spiegare questo pattern di curvatura.
Non credo che complicare la costruzione e la stima dei modelli sia la cosa giusta da fare, soprattutto con dati rumorosi come in questo esempio.
La qualità del tuo modello sarà sempre collegata alla qualità (e precisione) dei tuoi dati.
Re: Impostazione del valore P di Fase 1 nell'analisi del DSD a un livello elevato per rilevare gli effetti attiviSono d'accordo, un modello di regressione basato sullo screening iniziale non è affatto affidabile; questo non è l'obiettivo dello screening che fornisce solo una direzione su come procedere ulteriormente in un flusso di lavoro sequenziale. Tutti e tre gli strumenti di analisi di cui sopra, analisi DSD, adattamento a due livelli e SVEM filtrano gli stessi 5 effetti più forti che possono essere utilizzati per aumentare il DSD. Mi piace l'approccio sequenziale; per costruire una casa di conoscenza si dovrebbe iniziare con i blocchi di costruzione più forti per ottenere una solida struttura per studiare gli altri effetti importanti più piccoli.
Re: Impostazione del valore P di Fase 1 nell'analisi del DSD a un livello elevato per rilevare gli effetti attiviIn questo screening a 2 livelli si riscontra un effetto quadratico forte e significativo; è affidabile? Dato che questa piattaforma di screening controlla solo 2 livelli, come può rilevare effetti quadratici a 3 livelli?
Re: Impostazione del valore P di Fase 1 nell'analisi del DSD a un livello elevato per rilevare gli effetti attiviCiao @frankderuyck ,
Puoi trovare linee guida e maggiori informazioni nella documentazione: Panoramica della piattaforma di screening Fit Two Level
È anche possibile controllare l'ordine di introduzione dei termini/effetti nel modello qui: Dettagli statistici per l'ordine di inserimento degli effetti
Questa piattaforma non è consigliata per fattori categoriali o ordinali multilivello, poiché verranno trattati come continui.
Per gli effetti quadratici, la maggior parte delle volte questi effetti saranno ortogonalizzati artificialmente per entrare nel modello, quindi i valori p e la stima degli effetti potrebbero essere imprecisi. Tuttavia, la piattaforma è comunque in grado di rilevare effetti quadratici ad alto contrasto per fattori continui a 3 livelli.
Ho utilizzato questa piattaforma in questo argomento: Scopri i piani OML (Orthogonal Main Effects Screening Designs for Mixed Le... - JMP User Community e mi ha aiutato a rilevare un effetto quadratico che non era stato rilevato dalla piattaforma Fit Definitive Screening o da due metodi di stima della piattaforma Fit Model (Generalized Regression).
Potrebbe quindi essere interessante testare la piattaforma Fit Two-Levels (e seguire le linee guida e le raccomandazioni) per confrontare modelli di diverse piattaforme e capire quali sono d'accordo/in disaccordo sulla selezione dei termini e quali sono i modelli più rilevanti.
Spero che questa risposta ti possa aiutare,
