Idee chiave
Importanza pratica contro significatività statistica, bassa potenza
Sfondo
John Kerrich era un matematico inglese che si ritrovò in un campo di prigionia in Danimarca durante la seconda guerra mondiale. Ciò ha liberato notevolmente il suo calendario. Per occupare il suo tempo, eseguì una serie di esperimenti sulla probabilità.
La maggior parte degli statistici sostiene che le monete sono giuste e questo ha dato a Kerrich la possibilità di verificare questa affermazione. Ha avuto il tempo di lanciare una moneta 10.000 volte, ottenendo 5.067 teste e 4.933 croci ( La pratica della statistica nelle scienze della vita , 2a edizione, Baldi e Moore, pagina 209).
L'obiettivo
Determina se si tratta di una moneta giusta. “Equo” significa che è altrettanto probabile che si verifichi testa e croce.
I dati Kerrich.jmp
Il set di dati contiene il risultato e i conteggi per ciascun risultato.
Risultato Testa o croce
Conteggio Il numero di teste e croci nei 10.000 lanci
Analisi
Iniziamo esplorando la frequenza di testa e croce nei 10.000 lanci.
Mostra 1 Distribuzione dei risultati
(Analizza > Distribuzione; seleziona Risultato come Y, colonne e Contare come Freq e fare clic su OK.Per un layout orizzontale seleziona Impila sotto il triangolo rosso in alto.)
Certamente, la moneta appare per essere onesti, nel campione c'è più o meno lo stesso numero di teste e code.
L'intervallo di confidenza del 95% (Figura 2) indica che le probabilità più plausibili che esca testa vanno da 0,4969 a 0,5165.
Figura 2 Intervalli di confidenza per il risultato
(Dall'output Distribuzione, fare clic sul triangolo rosso inferiore e selezionare Intervallo di confidenza > 0,95.)
Questi dati sono coerenti con i risultati che vedremmo con una moneta equa. Tuttavia, NON POSSIAMO affermare che la moneta sia equa: non possiamo affermare l'ipotesi nulla.
Il test di ipotesi è un test di bontà di adattamento:
Ho: La moneta è giusta.
Ha: La moneta non è giusta.
I test di bontà di adattamento (Figura 3) danno entrambi valori p di 0,1802. Non abbiamo prove che la moneta non sia giusta. Anche in questo caso la doppia negazione è necessaria per evitare di affermare l’ipotesi nulla.
Figura 3 Test di bontà di adattamento per i risultati
(Dall'output Distribuzione, fare clic sul triangolo rosso in basso e selezionare Probabilità del test. Inserisci 0,5 in Hypoth Prob sia per Testa che per Croce e fai clic su Fine.)
Come funzionano i test di bontà di adattamento
Sia il rapporto di verosimiglianza che i test di Pearson confrontano i conteggi osservati ( o io ) ai conteggi attesi (ad es io ). In questo caso i conteggi osservati sono 5.067 per teste ( o teste ) e 4.933 per croce ( o code ). I conteggi attesi sia per testa che per croce ( e teste E e code ) sono 5.000.
Puoi verificare (un esercizio) che la statistica del test del rapporto di verosimiglianza è:
e la statistica del test di Pearson è:
Potenza e dimensione del campione
Sebbene un'analisi di base dei dati in questa situazione sia abbastanza semplice, offre l'opportunità di esplorare alcune idee importanti in un contesto semplice. Consideriamo altri due set di dati, con dimensioni del campione molto diverse.
Mostra 4 Un campione piccolo (conteggio piccolo) e un campione molto ampio (conteggio grande)
Per il set di dati piccolo la proporzione del campione è 0,62, mentre la proporzione del campione è 0,502 per il set di dati grande. Quale fornirà una prova più forte del fatto che la moneta è ingiusta? Finché non acquisirai familiarità con alcuni aspetti della verifica delle ipotesi, i risultati potrebbero essere sorprendenti.
Analisi del campione ampio
Certamente la moneta sembra giusta (Figura 5). È difficile dire dal grafico se si verifica più spesso, testa o croce. In realtà la testa si è verificata solo nel 50,2% dei casi. Questa moneta appare, a chi non lo sapesse, ancora più bella di quella lanciata da John Kerrich.
Mostra 5 Distribuzione di Risultato
L'inferenza racconta una storia diversa. In effetti, ci sono prove evidenti a sostegno dell’affermazione che la moneta non è equa (Figura 6).Il valore p è 0,0047!
Mostra 6 Inferenza per il campione grande
È un errore? NO. L’intervallo di confidenza supporta effettivamente questa affermazione. La stima intervallare è che la moneta esce testa, nel lungo periodo, tra il 50,006% e il 50,34% delle volte. L'intervallo esclude il 50%, quindi la moneta viene caricata sulle teste di terra.
Se questo sembra un risultato bizzarro, allora potresti non avere familiarità con l’impatto di campioni di grandi dimensioni sui test di ipotesi. I test statistici hanno il potere di rilevare deviazioni molto piccole dall’ipotesi nulla quando le dimensioni del campione sono grandi. Qui, l’ipotesi nulla è che la moneta sia giusta, e la moneta sembra non essere giusta. Naturalmente, la moneta non è molto ingiusta, ma sembra avere una leggera inclinazione verso testa. Questo può essere o meno ciò che intendi realmente per moneta giusta. Se tu e il tuo coinquilino usate questa moneta per determinare chi porta fuori la spazzatura, questa moneta potrebbe essere perfettamente corretta. Ma, se un casinò utilizza questa moneta per scommettere su testa, mentre i clienti scommettono su croce, e ci sono 100.000 scommesse da $ 10 l'ora, questo potrebbe rendere il casinò una fortuna.
In statistica, la potenza di un test di ipotesi è la probabilità che il test rifiuti l’ipotesi nulla quando questa è falsa. Quando le dimensioni del campione sono grandi, i test hanno molta potenza. Infatti, quando le dimensioni del campione sono molto grandi, rifiutare l’ipotesi nulla può essere una routine. Ciò fa la differenza tra importanza pratica e significatività statistica. Misure che indicano importanza pratica come gli intervalli di confidenza, R 2 , ecc. possono essere più importanti dei valori p quando le dimensioni del campione sono grandi.
Analisi per un campione molto piccolo
Consideriamo ora i risultati per il piccolo campione.
Dal grafico a barre e dalla distribuzione di frequenza nella Figura 7, sembra una prova evidente che la moneta dà molto più testa che croce. La moneta ha effettivamente colpito la testa il 62% delle volte nel campione, rispetto al 50,67% dei dati di Kerrich. Ma, come prima, l’inferenza racconterà una storia diversa.
Mostra 7 Distribuzione di Risultato , Campione Molto Piccolo
In effetti, i valori p sono entrambi al di sopra del livello di significatività di 0,05, quindi non possiamo rifiutare l’ipotesi nulla che la moneta sia equa.
Mostra 8 Inferenza per il campione molto piccolo
L’esame dell’intervallo di confidenza nell’Allegato 8 è ancora una volta rivelatore. Poiché la dimensione del campione è piccola, l’intervallo di confidenza è molto ampio. L'intervallo per la stima a lungo termine della proporzione del tempo in cui la moneta cadrà testa va da 0,48 a 0,74. Questo intervallo include valori superiori e inferiori a 0,50, quindi in realtà non abbiamo prove sufficienti per escludere una moneta giusta.
La morale
La dimensione del campione gioca un ruolo importante nell’inferenza statistica. Quando le dimensioni del campione sono grandi possiamo rilevare una differenza, ma la differenza potrebbe non avere alcuna importanza pratica. Quando le dimensioni del campione sono piccole potremmo non essere in grado di rilevare una differenza (tra il nostro campione e l’ipotesi nulla) anche quando sembra che stia succedendo qualcosa. Campioni di grandi dimensioni in genere significano che abbiamo molta potenza per rilevare le differenze, mentre campioni piccoli di solito comportano una potenza ridotta.
Un esempio che utilizza alcuni dati generati casualmente, grafici a dispersione e regressione illustra ulteriormente questa idea.
Per generare i dati in Kerrich Power.jmp:
Innanzitutto, 2.000 righe di valori normali casuali ( errore ) sono stati prodotti utilizzando l'editor di formule JMP, con una media pari a zero e una deviazione standard pari a 1.
Successivamente, x valori ( x_big ) sono stati generati. Questi valori sono numeri interi casuali da 1 a 8.
Infine, i valori y ( sì_grande ) sono stati generati dai valori normali casuali ( errori ) e i valori x ( x_big ).
Potrebbe non sembrare che una linea si adatti a questi dati, ma i set di big data (n = 2.000) producono alcune sorprese. Vedi una tendenza nel grafico a dispersione nell'Allegato 9?
Mostra 9 Grafico a dispersione per un set di dati di grandi dimensioni ( sì_grande E x_big )
(Analizza, adatta Y per X; usa sì_grande come Y, risposta e x_big come X, Fattore.) Nell'Allegato 10, adattiamo una retta di regressione ai dati. Una linea si adatta ai dati?
Mostra 10 Regressione per un set di dati di grandi dimensioni ( sì_grande E x_big )
(Dall'output Adattamento bivariato, fare clic sul triangolo rosso e selezionare Adatta linea.)
Mentre R 2 è solo 0,056, indicando solo il 5,6% della variazione in sì_grande è spiegato dalla regressione utilizzando x_big , il valore p è inferiore a 0,0001 (l'ipotesi nulla è l'assenza di trend nei dati, l'alternativa è che ci sia un trend nei dati).
Questa è la potenza dei campioni di grandi dimensioni; viene rilevata una piccola tendenza. Tuttavia, la tendenza potrebbe non avere alcuna importanza pratica. Certamente, se questo è il ritmo con cui il mio stipendio aumenta, non ne rimarrei impressionato!
Consideriamo ora un campione molto piccolo, con i valori y e x estratti dal campione più grande. Colonne y_piccolo E x_piccolo contengono cinque osservazioni.
Nel grafico in figura 5, sembra che ci sia una forte tendenza lineare nei dati. Tuttavia, tieni presente che lo schema chiaro nei dati, ma la dimensione del campione è molto piccola (n = 5).
Mostra 10 Regressione per un set di dati molto piccolo ( y_piccolo E x_piccolo )
Sono sicuro che potresti aver indovinato dove sta andando tutto questo.
Mentre il r 2 è del 64,2%, indicando che gran parte della variazione in y_piccolo può essere spiegato dalla regressione su x_piccolo , il valore p è 0,1031. Ciò significa che ci sono solo prove deboli (nella migliore delle ipotesi) che una linea si adatti ai dati. Allora cosa sta succedendo?
Con un insieme di dati piccolo, anche se una linea sembra corrispondere ai dati, non possiamo escludere il caso come spiegazione alternativa per lo schema apparente. I valori P sono un modo per valutare la probabilità che il caso possa aver prodotto un modello come questo. Anche se sembra esserci uno schema, c'è una probabilità del 10,04% che avremmo potuto ottenere uno schema così forte, o anche più forte, se i punti fossero stati prodotti in modo casuale senza alcuna vera relazione tra x_piccolo E y_piccolo .
Riepilogo
Approfondimenti statistici
Campioni di grandi dimensioni possono rilevare modelli sottili, a volte questi modelli non hanno alcuna importanza pratica. Valori p molto piccoli non sempre significano che sta accadendo qualcosa di importante, in particolare quando la dimensione del campione è ampia. Piccoli campioni possono indicare uno schema relativamente chiaro, ma non possiamo essere sicuri che lo schema sia reale e non prodotto da variazioni casuali. Valori p elevati non sempre significano che non sta accadendo nulla, in particolare quando la dimensione del campione è piccola.
Implicazioni
Alcuni dei risultati più informativi in campo scientifico si verificano quando i risultati sembrano contraddire ciò che abbiamo affermato riguardo alla potenza e alla dimensione del campione. Spesso uno studio pilota con un campione molto piccolo rileva un effetto osservabile. In questi casi gli scienziati sono spesso incoraggiati anche se il valore p potrebbe non essere particolarmente piccolo, perché è stato trovato qualcosa nonostante la bassa potenza del test. Tali risultati spesso meritano di essere approfonditi con uno studio più ampio.
D’altra parte, a volte diversi studi che coinvolgono campioni di dimensioni enormi non riescono a trovare un effetto. Anche se non potremo mai affermare l’ipotesi nulla, quando diversi studi davvero ampi non producono prove di un effetto, ad un certo punto dovremmo essere molto scettici riguardo a tale affermazione.
Ad esempio, molti (se non la maggior parte) appassionati di basket credono che alcuni giocatori abbiano serie di tiri caldi e freddi. Un gruppo di psicologi cognitivi ha utilizzato diversi grandi set di dati della NBA per testare varie versioni di questa affermazione. Non trovarono prove di tiri consecutivi (“The Cold Facts About the 'Hot Hand' in Basketball,” Amos Tversky e Thomas Gilovich, Chance, Vol. 2,1989, Pagine 16-21). Anche se non possiamo dire che non si verifichino casi di serie di dati (ciò significherebbe affermare l’ipotesi nulla), il numero di set di dati diversi, l’ampia dimensione del campione dei set di dati, aumentati con la loro spiegazione del motivo per cui le persone percepiscono erroneamente i modelli casuali, si combinano per produrre uno scetticismo estremo. verso il tiro a segno come fenomeno.
Quando le dimensioni del campione sono piccole (e di conseguenza la potenza è bassa) può essere importante trovare prove di un effetto. Quando le dimensioni del campione sono grandi (quindi la potenza è elevata), vale la pena notare l'incapacità di trovare un effetto.
JMP ® Caratteristiche e suggerimenti
In questo caso è stata utilizzata la piattaforma di distribuzione per produrre grafici a barre e distribuzioni di frequenza, creare intervalli di confidenza per le proporzioni e condurre test di bontà di adattamento.
L'editor di formule è stato utilizzato per generare dati casuali per illustrare la relazione con la dimensione e la potenza del campione in una situazione di regressione. Abbiamo utilizzato Fit Y by X per generare grafici a dispersione e adattare le linee di regressione.
Esercizi
- Per l'esercizio di lancio della moneta di Kerrich ( Kerrich.jmp ), qual è la popolazione e qual è il campione? Il campione è un campione casuale semplice? Se il campione non è un campione casuale semplice, pensi che sia un campione rappresentativo? Perché o perché no? Pensi che i lanci della moneta siano indipendenti?
- Karl Pearson, un famoso statistico da cui prende il nome il test statistico di Pearson, lanciò una moneta 24.000 volte, dando come risultato 12.012 teste. Creare una tabella dati in JMP ed eseguire un'analisi di questi dati simile a quella eseguita sopra. Qual è la tua ipotesi nulla? Quali conclusioni puoi trarre?
- Nell'esempio del campione ampio abbiamo osservato 251.000 teste e 249.000 code. Ci saremmo aspettati di vedere (per una moneta equa) 250.000 teste e 250.000 croci.
- Verificare il rapporto di verosimiglianza e le statistiche del test di Pearson utilizzando le formule fornite:
- Molti libri di testo utilizzano la seguente statistica di test da eseguire in un test che coinvolge una proporzione (per una moneta equilibrata):
Ho: p = p o contro
Ah: p ≠ p o
Per questo test, la statistica del test è: Dov’è la proporzione di teste nel campione, è la proporzione ipotizzata delle teste, e N è la dimensione del campione.
Calcolare z e verificare. In altre parole, conferma che questa è solo un'altra forma della statistica del test di Pearson (puoi anche verificare che i valori p siano gli stessi).
