Idee chiave
Importanza pratica contro significatività statistica, bassa potenza
Sfondo
John Kerrich era un matematico inglese che si ritrovò in un campo di prigionia in Danimarca durante la seconda guerra mondiale. Questo ha notevolmente liberato il suo calendario. Per occupare il suo tempo, ha eseguito una serie di esperimenti sulla probabilità.
La maggior parte degli statistici afferma che le monete sono eque e questo ha dato a Kerrich la possibilità di verificare questa affermazione. Ha avuto il tempo di lanciare una moneta 10.000 volte, ottenendo 5.067 teste e 4.933 croci ( La pratica della statistica nelle scienze della vita , 2a edizione, Baldi e Moore, pagina 209).
L'obiettivo
Determina se questa è una moneta equa. "Discreto" significa che è probabile che si verifichino teste e croci con la stessa probabilità.
I dati Kerrich.jmp
Il set di dati contiene il risultato e i conteggi per ciascun risultato.
Risultato Testa o croce
Conteggio Il numero di testa e croce nei 10.000 lanci
Analisi
Iniziamo esplorando la frequenza di testa e croce nei 10.000 lanci.
Mostra 1 Distribuzione del risultato
(Analizza > Distribuzione; selezionare Risultato come Y, Colonne e Contare come Freq e fare clic su OK.Per un layout orizzontale seleziona Impila sotto il triangolo rosso in alto.)
Certamente, la moneta appare per essere onesti, nel campione ci sono all'incirca lo stesso numero di testa e croce.
L'intervallo di confidenza del 95% (Allegato 2) indica che le probabilità più plausibili di testa vanno da 0,4969 a 0,5165.
Allegato 2 Intervalli di confidenza per il risultato
(Dall'output Distribuzione, fai clic sul triangolo rosso inferiore e seleziona Intervallo di confidenza > 0,95.)
Questi dati sono coerenti con i risultati che vedremmo con una moneta equa. Tuttavia, NON POSSIAMO affermare che la moneta sia giusta - non possiamo affermare l'ipotesi nulla.
Il test di ipotesi è un test di bontà di adattamento:
Ho: La moneta è giusta.
Ha: La moneta non è giusta.
I test di bontà di adattamento (Allegato 3) forniscono entrambi valori p di 0,1802. Non abbiamo prove che la moneta non sia equa. Ancora una volta, il doppio negativo è necessario per evitare di affermare l'ipotesi nulla.
Allegato 3 Test di bontà di adattamento per l'esito
(Dall'output Distribuzione, fare clic sul triangolo rosso inferiore e selezionare Prova probabilità. Immettere 0,5 sotto Hypoth Prob sia per Testa che per Croce e fare clic su Fatto.)
Come funzionano i test di bontà di adattamento
Sia il rapporto di verosimiglianza che il test di Pearson confrontano i conteggi osservati ( o io ) ai conteggi previsti (ad es io ). In questo caso i conteggi osservati sono 5.067 per capi ( o teste ) e 4.933 per croce ( o code ). L'atteso conta sia per testa che per croce ( e teste E e code ) sono 5.000.
Puoi verificare (un esercizio) che la statistica del test del rapporto di verosimiglianza è:
e la statistica del test di Pearson è:
Potenza e dimensione del campione
Sebbene un'analisi di base dei dati in questa situazione sia abbastanza semplice, offre l'opportunità di esplorare alcune idee importanti in un contesto semplice. Consideriamo altri due insiemi di dati, con dimensioni del campione molto diverse.
Mostra 4 Un campione piccolo (conteggio ridotto) e un campione molto grande (conteggio elevato)
Per il set di dati di piccole dimensioni, le teste della proporzione del campione sono 0,62, mentre la proporzione del campione è 0,502 per il set di dati di grandi dimensioni. Quale fornirà una prova più forte che la moneta è ingiusta? Fino a quando non acquisisci familiarità con alcuni aspetti della verifica delle ipotesi, i risultati potrebbero essere sorprendenti.
Analisi del grande campione
Certamente la moneta ha un bell'aspetto (Allegato 5). È difficile dire dal grafico che si verifica più spesso, testa o croce. Le teste in realtà si sono verificate solo il 50,2% delle volte. Questa moneta appare, a chi non lo sapesse, ancora più bella di quella lanciata da John Kerrich.
Reperto 5 Distribuzione di Risultato
L'inferenza racconta una storia diversa. In effetti, ci sono forti prove per l'affermazione che la moneta non è giusta (Allegato 6).Il valore p è 0,0047!
Reperto 6 Inferenza per il grande campione
È un errore? NO. L'intervallo di confidenza in realtà supporta questa affermazione. La stima dell'intervallo è che la moneta esca testa, nel lungo periodo, tra il 50,006% e il 50,34% delle volte. L'intervallo esclude il 50%, quindi la moneta viene caricata per ottenere testa.
Se questo sembra un risultato bizzarro, allora potresti non avere familiarità con l'impatto di grandi campioni sui test di ipotesi. I test statistici hanno il potere di rilevare deviazioni molto piccole dall'ipotesi nulla quando le dimensioni del campione sono grandi. Qui, l'ipotesi nulla è che la moneta sia giusta e che la moneta sembri non esserlo. Naturalmente, la moneta non è molto sleale, ma sembra avere una leggera propensione verso la testa. Questo può o non può essere ciò che intendi veramente per una moneta equa. Se tu e il tuo coinquilino state usando questa moneta per determinare chi porta fuori la spazzatura, questa moneta potrebbe essere perfettamente giusta. Ma se un casinò utilizza questa moneta per scommettere su testa, mentre i clienti scommettono su croce e ci sono 100.000 scommesse da $ 10 all'ora, questo potrebbe rendere il casinò una fortuna.
In statistica, la potenza di un test di ipotesi è la probabilità che il test rifiuti l'ipotesi nulla quando è falsa. Quando le dimensioni del campione sono grandi, i test hanno molto potere. Infatti, quando le dimensioni del campione sono molto grandi, rifiutare l'ipotesi nulla può essere una routine. Questo arriva alla differenza tra importanza pratica e significatività statistica. Misure che indicano importanza pratica come intervalli di confidenza, R 2 , ecc. possono essere più importanti dei valori p quando le dimensioni del campione sono grandi.
Analisi per un campione molto piccolo
Consideriamo ora i risultati per il piccolo campione.
Dal grafico a barre e dalla distribuzione di frequenza nell'Allegato 7, sembra una chiara prova che la moneta esce testa molto più che croce. La moneta ha effettivamente ottenuto testa il 62% delle volte nel campione, rispetto al 50,67% dei dati di Kerrich. Ma, come prima, l'inferenza racconterà una storia diversa.
Reperto 7 Distribuzione di Risultato , Campione Molto Piccolo
Infatti, i valori p sono entrambi al di sopra del livello di significatività di 0,05, quindi non possiamo rifiutare l'ipotesi nulla che la moneta sia equa.
Reperto 8 Inferenza per il campione molto piccolo
L'esame dell'intervallo di confidenza nell'Allegato 8 è di nuovo rivelatore. Poiché la dimensione del campione è piccola, l'intervallo di confidenza è molto ampio. L'intervallo per la stima a lungo termine della proporzione del tempo in cui la moneta esce testa va da 0,48 a 0,74. Questo intervallo include valori superiori e inferiori a 0,50, quindi non abbiamo prove sufficienti per escludere una moneta equa.
La morale
La dimensione del campione gioca un ruolo importante nell'inferenza statistica. Quando le dimensioni del campione sono grandi, possiamo rilevare una differenza, ma la differenza potrebbe non avere alcuna importanza pratica. Quando le dimensioni del campione sono piccole potremmo non essere in grado di rilevare una differenza (tra il nostro campione e l'ipotesi nulla) anche quando sembra che stia succedendo qualcosa. Grandi campioni generalmente significano che abbiamo molta potenza per rilevare le differenze, mentre piccoli campioni di solito si traducono in una bassa potenza.
Un esempio che utilizza alcuni dati generati casualmente, grafici a dispersione e regressione illustra ulteriormente questa idea.
Per generare i dati in Kerrich Power.jmp:
Innanzitutto, 2.000 righe di valori normali casuali ( errore ) sono stati prodotti utilizzando JMP Formula Editor, con una media pari a zero e una deviazione standard pari a 1.
Quindi, x valori ( x_big ) sono stati generati. Questi valori sono numeri interi casuali da 1 a 8.
Infine, i valori y ( y_grande ) sono stati generati dai valori normali casuali ( errori ) e i valori x ( x_big ).
Potrebbe non sembrare che una linea si adatti a questi dati, ma i grandi set di dati (n = 2.000) producono alcune sorprese. Vedete una tendenza nel grafico a dispersione nell'Allegato 9?
Reperto 9 Grafico a dispersione per un set di dati di grandi dimensioni ( y_grande E x_big )
(Analizza, adatta Y per X; usa y_grande come Y, Risposta e x_big come X, Fattore.) Nell'Allegato 10, adattiamo una retta di regressione ai dati. Una linea si adatta ai dati?
Mostra 10 Regressione per un set di dati di grandi dimensioni ( y_grande E x_big )
(Dall'output Bivariate Fit, fare clic sul triangolo rosso e selezionare Fit Line.)
Mentre r 2 è un mero 0,056, che indica solo il 5,6% della variazione in y_grande è spiegato dalla regressione usando x_big , il p-value è inferiore a 0,0001 (l'ipotesi nulla è l'assenza di tendenza nei dati, l'alternativa è che vi sia una tendenza nei dati).
Questo è il potere dei grandi campioni; viene rilevata una piccola tendenza. Tuttavia, la tendenza potrebbe non avere alcuna importanza pratica. Certamente, se questo è il tasso al quale il mio stipendio sta salendo, non sarei impressionato!
Ora, diamo un'occhiata a un campione molto piccolo, con i valori y e x tratti dal campione grande. Colonne y_small E x_small contengono cinque osservazioni.
Nel grafico della figura 5, sembra esserci una forte tendenza lineare nei dati. Tuttavia, tieni presente che il modello chiaro nei dati, ma la dimensione del campione è molto piccola (n = 5).
Mostra 10 Regressione per un set di dati molto piccolo ( y_small E x_small )
Sono sicuro che potresti aver indovinato dove sta andando tutto questo.
Mentre il r 2 è del 64,2%, indicando che gran parte della variazione in y_small può essere spiegato dalla regressione su x_small , il valore p è 0,1031. Ciò significa che ci sono solo prove deboli (nella migliore delle ipotesi) che una linea si adatta ai dati. Quindi cosa sta succedendo?
Con un piccolo set di dati, mentre una linea sembra adattarsi ai dati, non possiamo escludere il caso come spiegazione alternativa per il modello apparente. I valori P sono un modo per valutare la probabilità che il caso possa aver prodotto uno schema come questo. Sebbene sembri esserci uno schema, c'è una probabilità del 10,04% che avremmo potuto ottenere uno schema così forte, o anche più forte, se i punti fossero stati prodotti a caso senza una vera relazione tra x_small E y_small .
Riepilogo
Approfondimenti statistici
Grandi campioni possono rilevare modelli sottili, a volte questi modelli non hanno alcuna importanza pratica. Valori p molto piccoli non sempre indicano che sta accadendo qualcosa di importante, in particolare quando la dimensione del campione è grande. Piccoli campioni possono indicare uno schema relativamente chiaro, ma non possiamo essere sicuri che lo schema sia reale e non prodotto da variazioni casuali. Valori p elevati non sempre significano che non sta accadendo nulla, in particolare quando la dimensione del campione è piccola.
Implicazioni
Alcuni dei risultati più istruttivi nella scienza si verificano quando i risultati sembrano contraddire ciò che abbiamo affermato sulla potenza e sulla dimensione del campione. Spesso uno studio pilota con un campione molto piccolo trova un effetto osservabile. In tali casi gli scienziati sono spesso incoraggiati anche se il valore p potrebbe non essere particolarmente piccolo, perché è stato trovato qualcosa nonostante la bassa potenza del test. Tali risultati spesso meritano di essere ulteriormente approfonditi con uno studio più ampio.
D'altra parte, a volte diversi studi che coinvolgono campioni di dimensioni enormi non riescono a trovare un effetto. Anche se non possiamo mai affermare l'ipotesi nulla, quando diversi studi veramente ampi non producono alcuna prova di un effetto, a un certo punto dovremmo essere molto scettici sull'affermazione.
Ad esempio, molti (se non la maggior parte) appassionati di basket credono che alcuni giocatori abbiano serie di tiri caldi e freddi. Un gruppo di psicologi cognitivi ha utilizzato diversi grandi set di dati dell'NBA per testare varie versioni di questa affermazione. Non hanno trovato prove di serie di tiri ("The Cold Facts About the 'Hot Hand' in Basketball", Amos Tversky e Thomas Gilovich, Chance, Vol. 2,1989, Pages 16-21). Sebbene non si possa dire che non si verifichino serie di riprese (ciò significherebbe affermare l'ipotesi nulla), il numero di diversi set di dati, l'ampia dimensione del campione dei set di dati, aumentati con la loro spiegazione del motivo per cui le persone percepiscono erroneamente i modelli casuali si combinano per produrre estremo scetticismo verso il tiro a segno come fenomeno.
Quando le dimensioni del campione sono piccole (e di conseguenza la potenza è bassa), trovare qualsiasi prova di un effetto può essere importante. Quando le dimensioni del campione sono grandi (quindi la potenza è elevata) è degno di nota l'incapacità di trovare un effetto.
JMP ® Caratteristiche e suggerimenti
Questo caso ha utilizzato la piattaforma di distribuzione per produrre grafici a barre e distribuzioni di frequenza, creare intervalli di confidenza per le proporzioni e condurre test di adattamento.
L'editor di formule è stato utilizzato per generare dati casuali per l'illustrazione della relazione con la dimensione e la potenza del campione in una situazione di regressione. Abbiamo utilizzato Stima Y per X per generare grafici a dispersione e adattare le linee di regressione.
Esercizi
- Per l'esercizio di lancio della moneta di Kerrich ( Kerrich.jmp ), qual è la popolazione e qual è il campione? Il campione è un semplice campione casuale? Se il campione non è un semplice campione casuale, pensi che sia un campione rappresentativo? Perché o perché no? Pensi che i lanci della moneta siano indipendenti?
- Karl Pearson, un famoso statistico da cui prende il nome la statistica del test di Pearson, lanciò una moneta 24.000 volte, risultando in 12.012 teste. Creare una tabella di dati in JMP ed eseguire un'analisi di questi dati simile a quella eseguita in precedenza. Qual è la tua ipotesi nulla? Quali conclusioni puoi trarre?
- Nell'esempio del grande campione abbiamo osservato 251.000 teste e 249.000 code. Ci saremmo aspettati di vedere (per una moneta giusta) 250.000 teste e 250.000 croci.
- Verificare il rapporto di verosimiglianza e le statistiche del test di Pearson utilizzando le formule fornite:
- Molti libri di testo utilizzano la seguente statistica di test per eseguire un test che coinvolge una proporzione (per una moneta equa):
Ho: p = p o contro
Ha: p ≠ p o
Per questo test, la statistica del test è: dov'è la proporzione di teste nel campione, è la proporzione ipotizzata di teste, e N è la dimensione del campione.
Calcolare z.z e verificare. In altre parole, conferma che questa è solo un'altra forma della statistica del test di Pearson (puoi anche verificare che i valori p siano gli stessi).
