Abbiamo tutti sentito qualcuno dire qualcosa che non è "giusto". A volte lo lasci semplicemente andare, o perché non è abbastanza importante da sfidare, o non vuoi causare conflitti con chi parla.
Questa è la prima di una serie di affermazioni statistiche che considero "degne di nota". Inizialmente sto pubblicando queste dichiarazioni nel forum di discussione della comunità per ottenere feedback da altri. Fortunatamente, molti di voi (grida ai membri della comunità @dale_lehman , @P_Bartell , @statman , @ih , @Georg , e @brady_brady ) ha dato risposte molto ponderate e perspicaci. Perfavore continua la discussione ! Trova la seconda discussione su Cringeworthy Statistics, che ho pubblicato oggi!
E continua a leggere per capire perché questa prima affermazione è degna di nota.
introduzione
Uno dei miei "piccoli fastidi" nel mondo della statistica ha a che fare con le affermazioni più elementari relative a un test di ipotesi. Spesso, se un test t (o ANOVA) termina con un fattore p relativamente alto, lo statistico/analista dirà: "Abbiamo p>0,05, quindi non possiamo dimostrare che le medie delle due popolazioni sono diverse. Pertanto, CONCLUDIAMO CHE I MEZZI DELLA POPOLAZIONE SONO GLI STESSI."
La prima metà di questa affermazione è corretta. Se p>0.05 (e stiamo cercando una confidenza del 95%, e i campioni provengono da popolazioni normalmente distribuite, e...), allora non possiamo concludere che le medie delle due popolazioni sono diverse.
Ma questo NON significa che i mezzi delle due popolazioni siano UGUALI! Sento sempre questa affermazione, anche da persone che probabilmente dovrebbero conoscerla meglio. È così facile scivolare direttamente in questa falsa conclusione. E può essere dannoso, se l'ascoltatore non ha familiarità con le statistiche!
Un semplice esempio: altezza media degli uomini rispetto alle donne
Come semplice esempio, supponiamo di voler determinare se l'altezza dei maschi adulti è diversa da quella delle femmine adulte. Abbiamo risorse limitate, quindi in questo test possiamo misurare solo le altezze di tre maschi e tre femmine. Fermiamo casualmente tre maschi e tre femmine per strada e misuriamo le loro altezze (mostrate sotto):
Noi usiamo JMP della piattaforma Fit Y by X per eseguire un t-test per confrontare le medie dei due campioni. Il valore p risultante è 0,7096. Supponendo di volere una fiducia del 95% nella nostra conclusione, e poiché p>0,05, concludiamo che non possiamo essere certi al 95% che i campioni provengano da popolazioni con medie diverse. In altre parole, sulla base di questo campione non possiamo dire che l'altezza media degli uomini sia diversa da quella delle donne.
Ma questo NON SIGNIFICA CHE UOMINI E DONNE ABBIANO LA STESSA ALTEZZA MEDIA. (Puoi cercarlo... Secondo Notizie mediche oggi , nel 2017 l'altezza media degli uomini era di 67". E secondo il Clinica Cleveland , nel 2018 l'altezza media delle donne era di 64".)
Perché è successo? Perché il t-test non ha dimostrato che gli uomini sono (in media) più alti delle donne? È a causa del campionamento. Non possiamo misurare tutti gli uomini e tutte le donne, quindi abbiamo scelto di campionare solo tre di ciascuno per questo test. Ci è capitato di scegliere tre uomini di altezza media, ma le tre donne scelte a caso erano un po' più alte della media. La combinazione di ciò con l'intervallo delle misurazioni ha portato a un po' di incertezza su dove potrebbe essere la vera altezza media di uomini e donne, quindi l'alto valore p.
È un "grosso problema?"
Sì, credo che questo possa davvero essere un grosso problema! Facciamo un esempio più pratico e industriale. Supponiamo che tu abbia una macchina che sta riempiendo fiale con una polvere. La tua azienda desidera espandere la capacità, quindi acquisti una seconda macchina. Ti viene chiesto di assicurarti che la macchina B stia riempiendo lo stesso peso della macchina A.
Esegui un test rapido, campionando diverse fiale dalla macchina A e diverse dalla macchina B, ed esegui un t-test. Ritorna con un valore p di 0,35. Dovresti andare dal capo e dire che le macchine stanno producendo lo stesso livello di riempimento? NO! Se lo fai, rischi di sbagliare. Se tutte le fiale provenienti dalla macchina B hanno effettivamente un peso di riempimento medio più elevato rispetto alla macchina A, allora stai costando denaro all'azienda regalando materiale "gratuito". Se B ha effettivamente un peso di riempimento medio inferiore rispetto ad A, rischi di rendere infelici i tuoi clienti.
Cosa possiamo fare al riguardo?
Se vuoi più certezza nelle medie, aumenteresti le dimensioni del campione. Ciò fornirà anche una valutazione più accurata del confronto tra le altezze degli uomini e delle donne. Ma ti trovi ancora di fronte solo alla possibilità di dichiarare che le due popolazioni si sono dimostrate diverse o non si sono dimostrate diverse. Non stai concludendo che sono "la stessa cosa".
Potresti anche eseguire un test di equivalenza (che coinvolge più t-test). Se interessati, ti indirizzerei qui per maggiori informazioni . Lo lascerò a questo, poiché il test di equivalenza va oltre lo scopo di questo post.
Conclusione
Quindi il punto è che mentre puoi usare un test t (o ANOVA) per dimostrare che qualcosa è DIVERSO, non puoi usarlo (almeno da solo) per dimostrare che qualcosa è LO STESSO. Si prega di fare attenzione ai termini e alle conclusioni per evitare di commettere errori nelle applicazioni!
Non sentirti male se hai fatto queste affermazioni in passato. Nella mia esperienza, è un errore estremamente facile e comune da commettere. (Divulgazione completa: sono stato colpevole di averlo fatto da solo!) Quindi, anche se questo è stato detto molte volte da molte persone prima di me, penso che valga la pena ripeterlo.
