Quando ho preso il mio primo corso in modelli lineari e progettazione di esperimenti , il mio professore ha detto alla classe che la domanda più comune che ha incontrato nella sua consulenza statistica è stata: "Quanti campioni ho bisogno [perché i miei risultati siano statisticamente significativi]?" Questa domanda nasce dal desiderio di ottenere risultati utili da uno studio senza sprecare tempo o risorse.
Sebbene la domanda di cui sopra sia semplice, la risposta non lo è. Questo perché la risposta dipende dai valori di diverse quantità che il consulente non conosce ancora. Peggio ancora, spesso il cliente non conosce nemmeno questi valori.
Quali sono queste quantità problematiche?
La quantità più semplice e meno importante è il livello di significatività del test di ipotesi che il cliente intende utilizzare. Storicamente, 0,05 è stato il livello di significatività standard. Potrei immaginare un post sul blog su questa sola scelta, ma andiamo avanti.
Il segnale è la quantità più importante. Questo è l'effetto più piccolo abbastanza grande da essere praticamente importante. Vorresti rilevare un tale effetto con un'alta probabilità, e tale probabilità è la energia del test. Nella mia esperienza, è sorprendentemente difficile convincere uno scienziato o un ingegnere a impegnarsi in un valore per il più piccolo effetto praticamente importante.
Il rumore è un'altra informazione richiesta. Il rumore in questo caso è la deviazione standard dell'errore sperimentale. Un team di ingegneri potrebbe ragionevolmente chiedere come dovrebbero conoscere questo valore prima di eseguire l'esperimento per stimarlo.
I calcoli statici di potenza dipendono dalle tre quantità di cui sopra e dalle ipotesi sulla distribuzione della risposta. Le ipotesi standard sono che le risposte siano distribuite in modo indipendente secondo una distribuzione normale e che la varianza sia costante per tutte le possibili combinazioni di fattori.
Dato il livello di significatività, il segnale e il rumore, nonché le ipotesi di cui sopra, uno statistico (o software statistico ) può dirti la potenza del tuo piano sperimentale.
Cosa può fare un investigatore per aumentare la potenza di un esperimento?
Ecco le cose che puoi fare per aumentare la potenza dei tuoi esperimenti:
1) Aumentare la dimensione del segnale
2) Diminuire il rumore
3) Fai più corse
4) Usa un livello di significatività più grande, ad esempio 0.1 invece di 0.05
Come si aumenta la dimensione del segnale?
Ovviamente, l'effetto di un fattore dipende dalla natura. Tuttavia, puoi decidere di aumentare l'effetto minimo praticamente importante. Potrebbe sembrare un imbroglio, ma riflettendo potresti decidere di essere effettivamente soddisfatto finché riuscirai a rilevare effetti che sono due o tre volte più grandi di quelli che hai specificato all'inizio.
Come diminuisci il rumore?
L'errore sperimentale è il risultato di variazioni casuali nelle condizioni sperimentali da corsa a corsa. Il modo migliore per ridurre questa variazione è identificare le fonti di variabilità casuale e includerle nell'esperimento come fattori di blocco. Ad esempio, se esiste una variazione giorno per giorno e un esperimento richiederà cinque giorni per essere eseguito, puoi rimuovere questa variazione dalla varianza dell'errore rendendo il giorno un fattore di blocco.
Altre esecuzioni sperimentali sono costose. Quanta differenza faranno alcune corse?
Negli esperimenti di screening, ci sono spesso quasi tanti fattori quante sono le corse sperimentali. Nel caso estremo di un design saturo, ci sono esattamente tante incognite quante corse. In questo caso, non è possibile stimare la varianza dell'errore per il modello completo e pertanto non è possibile nemmeno eseguire un test di significatività.
Un esempio di un design saturo è un esperimento a sette fattori per un modello di effetti principali in otto sessioni. Hai otto sessioni, e stai stimando una media globale (o termine dell'intercetto) e sette fattori, quindi non ci sono informazioni lasciate per stimare la varianza dell'errore.
Se aggiungiamo una corsa ed eseguiamo un test t per uno degli effetti principali, il segnale deve essere più di 12 volte il rumore per rifiutare l'ipotesi nulla. La tabella seguente mostra quanto grande deve essere il rapporto segnale-rumore nel test t per respingere l'ipotesi nulla. Ovviamente, non puoi individuare un effetto a meno che tu non rifiuti l'ipotesi che non ci sia alcun effetto. Quindi, con una corsa in più, la barriera per il rilevamento è piuttosto alta. Una buona regola empirica è di avere quattro o cinque più esecuzioni sperimentali rispetto ai parametri sconosciuti.
Come il rapporto segnale-rumore richiesto per il test t diminuisce con l'aumentare del numero di corse extra.
Quanto costa aumentare il livello di significatività da 0,05 a 0,1?
Quando il tuo livello di significatività è 0.05, scoprirai un effetto che è in realtà spuria una volta ogni 20 test in media. Aumentare il livello a 0,1 aumenta il rilevamento spuria a uno su 10 test.
Qual'è il prossimo?
Nel mio prossimo post mostrerò la nuova interfaccia per i calcoli di potenza in JMP 10. Quindi, questo post è fondamentalmente una motivazione per la prossima settimana.
Vorrei concludere ricordando che non si conoscerà la deviazione standard dell'errore fino a quando non si eseguirà l'esperimento. Pertanto, i calcoli di potenza si basano su un'ipotesi su quale sarà quel numero. Anche se il software statistico riporta la potenza a tre cifre decimali, dovresti prendere questi numeri con un granello di sale.
Bradley Jones ha scritto:
Mentre non è banale scrivere uno script per simulare il potere di un'analisi di regressione logistica, JMP può sicuramente farlo. In effetti, spesso paragono i risultati analitici con gli output di tali simulazioni.
Andrew Ekstrom ha scritto:
Sono stato alle prese con questo problema. Ho bisogno di determinare "n" per una regressione logistica multipla con potenze diverse per un sistema in cui il tasso di risposta potrebbe raggiungere il 5% e probabilmente più vicino allo 0,10%. Ho chiesto in giro e mi è stato detto che ho bisogno di eseguire una simulazione (s). JMP ha la capacità di eseguire questi tipi di simulazioni?
Grazie.
Jay Lee ha scritto:
Oltre a modificare il livello di significatività, una ricerca può testare un'ipotesi specifica (direzionale), in modo tale che l'alfa non sia un test a due code.
Analisi della potenza in progettazione personalizzata per un esperimento progettato in JMP 10 ha scritto:
[...] il mio post precedente, ho parlato delle quantità fondamentali che influenzano la capacità di un esperimento progettato per [...]
Bradley Jones ha scritto:
C'è sicuramente un certo valore guardando i dati che hai già o eseguendo un piccolo studio pilota se non ci sono dati. Tuttavia, i dati già presenti potrebbero presentare una variabilità che è possibile evitare in un esperimento tramite il blocco o un controllo più attento delle condizioni sperimentali. Pertanto, la deviazione standard dell'errore ottenuta utilizzando i dati correnti potrebbe essere eccessivamente grande e portare a pensare che il tuo esperimento non abbia abbastanza potenza. Questo, a sua volta, potrebbe farti fare più corse del necessario aumentando così il costo.
Michael Anderson ha scritto:
Vorrei concludere ricordando che non si conoscerà la deviazione standard dell'errore fino a quando non si eseguirà l'esperimento. Pertanto, i calcoli di potenza si basano su un'ipotesi su quale sarà quel numero.
A meno che tu non stia studiando un fenomeno che è stato appena scoperto (o prodotto) stamattina, ci sono sicuramente delle statistiche descrittive in agguato da qualche parte. Quindi scava in su. Se davvero non ce ne sono, è necessario spremere uno studio pilota nei propri piani prima del Big Event sperimentale, in modo da poter ottenere una stima (con un intervallo di confidenza) per quella fastidiosa deviazione standard.
Se ogni insegnante di statistica di base fora l'idea "Pilota, poi Esperimento" nei propri studenti, salveremmo innumerevoli studenti laureati da esperimenti e sondaggi mal definiti e poco potenti. Mi ci sono voluti solo 10 anni di insegnamento per capirlo ...
