Abbiamo tutti sentito qualcuno dire qualcosa che non è "giusto". A volte lo lasciamo perdere, o perché non è abbastanza importante da contestare, o perché non vogliamo creare conflitti con chi ha parlato.
Questa è la prima di una serie di affermazioni statistiche che considero "imbarazzanti". Inizialmente, sto pubblicando queste affermazioni nel forum di discussione della community per ricevere feedback dagli altri. Fortunatamente, molti di voi (un ringraziamento speciale ai membri della community @dale_lehman , @P_Bartell , @statman , @loro , @Georg e @brady_brady ) hanno fornito risposte molto ponderate e perspicaci. Continuate la discussione ! Trovate la seconda discussione sulle statistiche imbarazzanti, che ho pubblicato oggi!
E continuate a leggere per scoprire perché questa prima affermazione è imbarazzante, secondo me.
Introduzione
Uno dei miei "crudeli" nel mondo della statistica riguarda le affermazioni più basilari relative a un test di ipotesi. Spesso, se un test t (o un'ANOVA) finisce con un fattore p relativamente alto, lo statistico/analista dirà: "Abbiamo p>0,05, quindi non possiamo dimostrare che le medie delle due popolazioni siano diverse. Pertanto, CONCLUDIAMO CHE LE MEDIA DELLA POPOLAZIONE SONO LE STESSE".
La prima metà di questa affermazione è corretta. Se p>0,05 (e stiamo cercando una confidenza del 95%, e i campioni provengono da popolazioni con distribuzione normale, e...), allora non possiamo concludere che le medie delle due popolazioni siano diverse.
Ma questo NON significa che le medie delle due popolazioni siano UGUALI! Sento questa affermazione di continuo, anche da persone che probabilmente dovrebbero saperne di più. È davvero facile cadere in questa falsa conclusione. E può essere dannoso, se chi ascolta non ha familiarità con le statistiche!
Un semplice esempio: altezza media degli uomini rispetto alle donne
Per fare un semplice esempio, supponiamo di voler determinare se l'altezza degli uomini adulti è diversa da quella delle donne adulte. Abbiamo risorse limitate, quindi possiamo misurare solo l'altezza di tre uomini e tre donne in questo test. Fermiamo casualmente tre uomini e tre donne per strada e misuriamo le loro altezze (come mostrato di seguito):
Utilizziamo la piattaforma Fit Y by X di JMP per eseguire un test t per confrontare le medie dei due campioni. Il valore p risultante è 0,7096. Supponendo di voler raggiungere un livello di confidenza del 95% nella nostra conclusione, e poiché p>0,05, concludiamo che non possiamo essere certi al 95% che i campioni provengano da popolazioni con medie diverse. In altre parole, sulla base di questo campione non possiamo affermare che l'altezza media degli uomini sia diversa da quella delle donne.
Ma questo NON SIGNIFICA CHE UOMINI E DONNE ABBIANO LA STESSA ALTEZZA MEDIA. (Potete verificarlo... Secondo Notizie mediche oggi , nel 2017 l'altezza media degli uomini era di 170 cm. E secondo la Clinica di Cleveland , nel 2018 l'altezza media delle donne era di 160 cm.)
Perché è successo questo? Perché il test t non ha dimostrato che gli uomini sono (in media) più alti delle donne? È a causa del campionamento. Non possiamo misurare tutti gli uomini e tutte le donne, quindi abbiamo scelto di campionare solo tre di ciascuno per questo test. Abbiamo scelto tre uomini di altezza pressoché media, ma le tre donne scelte a caso erano leggermente più alte della media. Combinando questo con l'intervallo delle misurazioni, si è creata una notevole incertezza su quale potesse essere la vera altezza media di uomini e donne, da cui l'elevato valore p.
Si tratta di un "grande problema"?
Sì, credo che questo possa essere davvero un grosso problema! Facciamo un esempio più pratico, di tipo industriale. Supponiamo che abbiate una macchina che riempie fiale con una polvere. La vostra azienda desidera aumentare la capacità produttiva, quindi acquistate una seconda macchina. Vi viene chiesto di assicurarvi che la Macchina B riempia fiale dello stesso peso della Macchina A.
Si esegue un test rapido, campionando diverse fiale dalla Macchina A e diverse dalla Macchina B, ed esegue un t-test. Il risultato è un p-value di 0,35. Dovresti andare dal capo e dire che le macchine producono lo stesso livello di riempimento? NO! Se lo fai, rischi di commettere un errore. Se tutte le fiale provenienti dalla Macchina B hanno effettivamente un peso medio di riempimento superiore a quello della Macchina A, stai facendo perdere soldi all'azienda regalando materiale "gratuito". Se B ha effettivamente un peso medio di riempimento inferiore a quello di A, rischi di rendere insoddisfatti i tuoi clienti.
Cosa possiamo fare al riguardo?
Se si desidera maggiore certezza nelle medie, si dovrebbero aumentare le dimensioni del campione. Questo fornirà anche una valutazione più accurata del confronto tra le altezze di uomini e donne. Ma si continua a poter affermare solo che le due popolazioni sono diverse o non lo sono. Non si sta concludendo che siano "la stessa cosa".
Potresti anche eseguire un test di equivalenza (che prevede più t-test). Se interessato, ti rimando qui per maggiori informazioni . Mi fermo qui, dato che i test di equivalenza vanno oltre lo scopo di questo post.
Conclusione
Quindi la conclusione è che, sebbene sia possibile usare un test t (o ANOVA) per dimostrare che qualcosa è DIVERSO, non è possibile usarlo (almeno da solo) per dimostrare che qualcosa è UGUALE. Si prega di fare attenzione ai termini e alle conclusioni per evitare di commettere errori nelle applicazioni!
Non sentirti in colpa se hai già fatto queste affermazioni in passato. Per esperienza personale, è un errore estremamente facile e comune. (A dire il vero: l'ho fatto anch'io!) Quindi, anche se questo è già stato detto molte volte da molte persone prima di me, penso che valga la pena ripeterlo.
