Todos hemos escuchado a alguien decir algo que no está "bien". A veces simplemente lo dejas pasar, ya sea porque no es lo suficientemente importante como para desafiarlo o porque no quieres causar un conflicto con el hablante.
Esta es la primera de una serie de afirmaciones estadísticas que considero "vergonzosas". Inicialmente estoy publicando estas declaraciones en el foro de discusión de la comunidad para recibir comentarios de otros. Felizmente, varios de ustedes (saludos a los miembros de la comunidad @dale_lehman , @P_Bartell , @statman , @ih , @georg , y @brady_brady ) dio respuestas muy reflexivas y perspicaces. Por favor continua La discusión ! ¡Encuentra la segunda discusión de Cringeworthy Statistics, que publiqué hoy!
Y sigue leyendo para conocer mi opinión sobre por qué esta primera declaración es vergonzosa.
Introducción
Una de mis "manías favoritas" en el mundo de la estadística tiene que ver con las declaraciones más básicas relacionadas con una prueba de hipótesis. A menudo, si una prueba t (o ANOVA) termina con un factor p relativamente alto, el estadístico/analista dirá: "Tenemos p>0.05, por lo que no podemos demostrar que las medias de las dos poblaciones son diferentes. Por lo tanto, CONCLUYEMOS QUE LOS MEDIOS DE LA POBLACIÓN SON LOS MISMOS".
La primera mitad de esa afirmación es correcta. Si p>0.05 (y buscamos un 95% de confianza, y las muestras provienen de poblaciones normalmente distribuidas, y...), entonces no podemos concluir que las medias de las dos poblaciones son diferentes.
¡Pero eso NO SIGNIFICA que las medias de las dos poblaciones son IGUALES! Escucho esta declaración todo el tiempo, incluso de personas que probablemente deberían saberlo mejor. Es tan fácil caer en esta falsa conclusión. ¡Y puede ser perjudicial si el oyente no está familiarizado con las estadísticas!
Un ejemplo simple: Estatura promedio de hombres vs. mujeres
Como ejemplo simple, digamos que queremos determinar si las alturas de los machos adultos son diferentes de las alturas de las hembras adultas. Tenemos recursos limitados, por lo que solo podemos medir las alturas de tres machos y tres hembras en esta prueba. Detenemos al azar a tres hombres y tres mujeres en la calle y medimos sus alturas (como se muestra a continuación):
Usamos JMP La plataforma Fit Y by X para realizar una prueba t para comparar las medias de las dos muestras. El valor p resultante es 0,7096. Suponiendo que queremos un 95 % de confianza en nuestra conclusión, y dado que p>0.05, concluimos que no podemos estar 95 % seguros de que las muestras provienen de poblaciones con diferentes medias. En otras palabras, con base en esta muestra no podemos decir que la estatura promedio de los hombres sea diferente a la de las mujeres.
Pero esto NO QUIERE DECIR QUE HOMBRES Y MUJERES TIENEN LA MISMA ESTATURA PROMEDIO. (Puedes buscarlo... De acuerdo a Noticias médicas de hoy , en 2017 la altura media de los hombres era de 67". Y según el Clínica Cleveland , en 2018 la altura media de las mujeres era de 64".)
¿Por qué pasó esto? ¿Por qué la prueba t no demostró que los hombres son (en promedio) más altos que las mujeres? Es debido al muestreo. No podemos medir a todos los hombres y todas las mujeres, por lo que elegimos probar solo tres de cada uno para esta prueba. Elegimos tres hombres de estatura promedio, pero las tres mujeres elegidas al azar resultaron ser un poco más altas que el promedio. La combinación de eso con el rango de las medidas resultó en bastante incertidumbre sobre dónde podría estar la altura promedio real de hombres y mujeres, de ahí el alto valor p.
¿Es esto un "gran problema"?
¡Sí, creo que esto puede ser un gran problema! Tomemos un ejemplo industrial más práctico. Supongamos que tiene una máquina que llena viales con un polvo. Su empresa quiere ampliar la capacidad, por lo que compra una segunda máquina. Se le pide que se asegure de que la Máquina B esté llenando hasta el mismo peso que la Máquina A.
Ejecuta una prueba rápida, tomando muestras de varios viales de la Máquina A y varios de la Máquina B, y ejecuta una prueba t. Vuelve con un valor p de 0,35. ¿Debería ir al jefe y decirle que las máquinas están produciendo el mismo nivel de llenado? ¡NO! Si lo hace, corre el riesgo de cometer un error. Si todos los viales provenientes de la Máquina B en realidad tienen un peso de llenado promedio más alto que el de la Máquina A, entonces le está costando dinero a la empresa al regalar material "gratis". Si B realmente tiene un peso de llenado promedio más bajo que A, entonces corre el riesgo de hacer que sus clientes no estén contentos.
¿Qué podemos hacer al respecto?
Si desea más certeza en los promedios, aumentaría los tamaños de muestra. Esto también dará una evaluación más precisa de la comparación de las alturas de hombres y mujeres. Pero aún se enfrenta a que solo puede declarar que las dos poblaciones se prueban diferentes o no se prueban diferentes. No estás concluyendo que son "lo mismo".
También puede ejecutar una prueba de equivalencia (que involucre múltiples pruebas t). si te interesa te dirijo aquí para más información . Lo dejaré así, ya que la prueba de equivalencia está más allá del alcance de esta publicación.
Conclusión
Entonces, la conclusión es que si bien puede usar una prueba t (o ANOVA) para demostrar que algo es DIFERENTE, no puede usarla (al menos por sí misma) para demostrar que algo es LO MISMO. ¡Tenga cuidado con sus términos y conclusiones para evitar cometer errores en sus aplicaciones!
No se sienta mal si ha hecho estas declaraciones en el pasado. En mi experiencia, es un error extremadamente fácil y común de cometer. (Divulgación completa: ¡he sido culpable de hacerlo yo mismo!) Entonces, aunque esto ha sido dicho muchas veces por muchas personas antes que yo, creo que vale la pena repetirlo.
