Se ne hai mai preso qualcuno statistiche o lezioni di scienze, probabilmente hai sentito il termine "valore p". Tecnicamente, p significa probabilità: un valore p è la probabilità che accada qualcosa, ma voglio dirti che p può rappresentare molte cose come Probabilità, Perplesso e parte.
Probabilità
Cominciamo con le cose tecniche. Quando eseguiamo un test di ipotesi, la prima cosa che facciamo è assumere che l'ipotesi nulla sia vera. Successivamente raccogliamo alcuni dati. Mi interessa sapere se esiste una differenza tra la velocità relativa delle rondini africane e quelle europee. Prendo il mio kit per la cattura degli uccelli e prendo un gruppo di uccelli, misuro la loro velocità dell'aria e scopro che in media le rondini africane sono 5 miglia orarie più veloci delle loro controparti europee.
Quindi chiedo "se non ci fosse differenza tra le rondini africane e quelle europee e prendessi solo alcuni uccelli a caso, quale percentuale di volte otterrò due gruppi di rondini con una differenza media maggiore di 5 mph?" La probabilità che ciò accada è il mio valore p: la probabilità di ottenere un valore altrettanto estremo o più estremo dei miei dati, assumendo che l'ipotesi nulla sia vera.
Ma come facciamo a sapere quanto sono probabili tutte queste cose? Per ogni statistica del test, abbiamo una distribuzione. Per citarne alcuni, abbiamo una distribuzione z, distribuzione t , distribuzione F e Distribuzione del chi quadrato . Hanno tutti forme diverse – alcuni cambiano addirittura a seconda della dimensione del nostro campione – ma tutti ci dicono la probabilità relativa di ottenere tutti i diversi valori per ciascuna statistica del test.
Quindi calcoliamo una statistica di test – diciamo un valore t – basata sui nostri dati e poi tracciamo mentalmente una linea su quel valore. Il nostro valore p è la proporzione della distribuzione più estrema di quella linea.
È come un grafico a torta, o meglio ancora una torta. Il tuo valore p è la proporzione della torta con ipotesi nulla che ottieni nella tua fetta. Man mano che la tua fetta di torta diventa sempre più piccola, ti arrabbi sempre di più finché non diventa così piccola che alla fine dici "al diavolo questa torta, vado a prendere una torta con ipotesi alternative!"
Perplesso
Forse sembra semplice, ma ultimamente ci sono state molte controversie sul valore p. Il problema nasce da un diffuso malinteso sul valore p. Ecco un breve elenco di cose che rappresenta un valore p non :
- La probabilità che l'ipotesi nulla sia vera.
- La probabilità che i risultati siano falsi se ottieni un valore p significativo.
- La probabilità che si verifichi effettivamente un effetto se si ottiene un valore p insignificante.
- Un'indicazione di quanto siano praticamente significativi i tuoi risultati.
Allora perché i valori p sono così sconcertanti? Uno dei motivi è che non sono molto intuitivi. Vogliamo che le statistiche ci dicano la possibilità che la nostra ipotesi sia corretta - o, al contrario, la possibilità che l'ipotesi nulla sia errata - ma non è quello che ci dicono i test di ipotesi frequentista. Nella notazione di probabilità, questo è:
Tuttavia, i test frequentisti ci dicono la probabilità di ottenere i nostri dati, dato che l’ipotesi nulla è vera:
Puoi vedere che questi due non sono la stessa cosa, ma trattiamo P(dati | H0) come un proxy per P(H0 | dati), il che contribuisce sia alla confusione che alle dichiarazioni errate su cosa significhi un valore p significativo. Se i valori p non vengono insegnati chiaramente, si crea confusione, ma c'è una differenza tra la probabilità di essere un bambino dato che sei a Chuck-E-Cheese e la probabilità che tu sia a Chuck-E-Cheese visto che sei un bambino.
Parte
Quindi cosa facciamo? Seguiamo la strada di alcune riviste accademiche e scartiamo i valori p? Io sostengo di no. La p finale è parte. I valori P sono solo una parte del quadro di cui abbiamo bisogno per comprendere i nostri dati e cosa dicono del mondo che ci circonda; ci dicono quanto è probabile che qualcosa sia successo per caso.
Un'altra parte importante è la dimensione dell'effetto. Le dimensioni dell’effetto misurano quanto è grande il tuo effetto rispetto a quanto variano le cose nella popolazione. Se scoprissi che le bionde pesano in media 3 chili, sarebbe più interessante se parlassi dei neonati rispetto a tutti gli adulti, perché i neonati variano meno in peso rispetto agli adulti. Le dimensioni dell'effetto prendono il tuo effetto (nel nostro caso, 3 libbre) e lo dividono per la variabilità della tua popolazione (molto per gli adulti, poco per i neonati).
Insieme, i valori p e le dimensioni degli effetti possono darti un quadro migliore dei tuoi dati e del mondo che ti circonda. Ti dicono di più sul significato pratico. Dire che hai trovato una differenza di peso statisticamente significativa di 3 libbre non significa molto finché non sai se si tratta di bambini (che variano molto poco) o di adulti (che variano molto).
Quindi, prima di usare o parlare dei valori p, ricorda solo che sono i probabilità di ottenere i tuoi dati se l'ipotesi nulla è vera, a volte sconcertante cosa di cui parlare, e solo parte del quadro generale.
Ma torniamo a quelle rondini (giuro che nessun uccello è stato maltrattato durante la stesura di questo articolo)...
Quando osservi un'ANOVA sulla velocità dell'aria e vedi un effetto significativo del tipo di rondine, puoi utilizzare la piattaforma Analizza>Distribuzione in JMP o il Componente aggiuntivo Calcola dimensioni effetto per esaminare anche le dimensioni degli effetti dei dati. (File JMP allegato; #AfricanSwallowsForAllCoconutTransport.)
Nota: una versione di questo articolo è stata originariamente pubblicata con i nostri amici Parzialmente derivato .
Grazie mille Chelsea per il bell'articolo e adoro le illustrazioni!Poiché le controversie sui valori p continuano a crescere, vogliamo assicurarci che tutti sappiano come interpretarli correttamente nei numerosi punti in cui compaiono sulle piattaforme JMP.
Una nota di chiarimento sugli approcci frequentisti rispetto a quelli bayesiani e sulla notazione P(dati|H0) rispetto a P(H0|dati): la teoria della probabilità è matematica e può essere applicata in molti modi diversi ai problemi della vita reale.Un metodo bayesiano definisce tipicamente una misura di probabilità P() come un grado soggettivo di convinzione, che esprime l'incertezza sulle proposizioni in un modello statistico sia sui dati che sui parametri.Tutta la matematica rigorosa e una teoria meravigliosamente coerente sono state sviluppate da grandi come Laplace e de Finetti, tipicamente motivati da scenari di scommesse e calcolabili con le tecniche Markov Chain Monte Carlo.Due grandi trucchi con i metodi bayesiani sono la necessità di specificare i valori a priori e questo modo tacitamente sottile ma molto importante di esprimere epistemicamente P().Con tutto questo in atto, descrivi bene il pericolo di trasporre il condizionale e per essere sicuro di capire cosa c'è a sinistra e a destra della barra nella notazione bayesiana P(|).
Al contrario, i metodi frequentisti si associano al mondo reale impostando una diversa misura di probabilità, che cattura la variazione di frequenza nel presunto meccanismo di generazione dei dati dei sistemi scientifici che studiamo.Immagina tutte le forze incredibilmente piccole che si accumulano quando si misura la velocità della velocità dell'aria: la velocità del vento attraverso le molecole dell'aria, le microfibre muscolari, la tecnologia degli strumenti e possiamo persino spingere tutto questo oltre al livello quantico.Qui il teorema del limite centrale e le leggi dei grandi numeri prendono letteralmente vita e possono fornire una ragionevole giustificazione per un modello lineare della teoria normale con P() definito in base alle frequenze del mondo reale.Con questa misura di probabilità, i parametri sconosciuti nel modello si associano a costanti fisiche di un certo tipo e, come tali, P(H0) e P(H0|dati) (precedenti e posteriori) non hanno davvero senso.La convenzione nella letteratura statistica è quella di utilizzare un punto e virgola o una notazione in pedice quando si presuppone che H0 sia vero e di utilizzare frasi come "sotto H0".I metodi frequentisti come il valore p, introdotti da Fisher, Neyman e Pearson, si concentrano sul controllo dei tassi di errore e coinvolgono concetti correlati come intervalli di confidenza, potenza e gravità (vedi il libro e il blog di Deborah Mayo).
Trovo utile la distinzione di cui sopra mentre siamo alle prese con i commenti sui valori p, e ovviamente possiamo provare a creare connessioni e riconciliazioni tra le probabilità bayesiane e frequentiste una volta apprezzate le loro differenze.Vorrei anche avvertire tutti i lettori di diffidare di qualsiasi affermazione che si riferisca alla "probabilità".L'autore in genere ha in mente una misura di probabilità bayesiana o frequentista e questa spesso non viene dichiarata, e talvolta fluiscono anche liberamente avanti e indietro senza preavviso.Il nostro brillante esempio qui è un valore p, che è una statistica frequentista, ma spesso può essere interpretata in modo bayesiano se lo si desidera.
Grazie per la spiegazione!!
