Todos hemos escuchado a alguien decir algo que no está bien. A veces simplemente lo dejamos pasar, ya sea porque no es tan importante como para cuestionarlo o porque no queremos generar un conflicto con quien lo dice.
Esta es la primera de una serie de afirmaciones estadísticas que considero "vergonzosas". Inicialmente, las publico en el foro de discusión de la comunidad para recibir comentarios. Afortunadamente, varios de ustedes (un saludo a los miembros de la comunidad @dale_lehman , @P_Bartell , @statman , @a ellos , @Georg y @brady_brady ) dieron respuestas muy reflexivas y perspicaces. ¡Continúen la discusión ! ¡Encuentren la segunda discusión sobre estadísticas vergonzosas, que publiqué hoy!
Y siga leyendo para conocer mi opinión sobre por qué esta primera afirmación resulta vergonzosa.
Introducción
Una de mis manías en el mundo de la estadística tiene que ver con las afirmaciones más básicas sobre una prueba de hipótesis. A menudo, si una prueba t (o ANOVA) arroja un factor p relativamente alto, el estadístico/analista dirá: «Tenemos p > 0,05, por lo que no podemos demostrar que las medias de las dos poblaciones sean diferentes. Por lo tanto, CONCLUIMOS QUE LAS MEDIAS POBLACIONALES SON IGUALES».
La primera mitad de esa afirmación es correcta. Si p > 0,05 (y buscamos un 95 % de confianza, y las muestras provienen de poblaciones con distribución normal, y...), entonces no podemos concluir que las medias de ambas poblaciones sean diferentes.
¡Pero eso NO significa que las medias de las dos poblaciones sean IGUALES! Escucho esta afirmación constantemente, incluso de personas que probablemente deberían saberlo mejor. Es muy fácil llegar a esta conclusión falsa. ¡Y puede ser perjudicial si quien la escucha no está familiarizado con la estadística!
Un ejemplo sencillo: altura promedio de hombres vs. mujeres
Como ejemplo sencillo, supongamos que queremos determinar si la altura de los hombres adultos es diferente a la de las mujeres adultas. Contamos con recursos limitados, por lo que solo podemos medir la altura de tres hombres y tres mujeres en esta prueba. Paramos aleatoriamente a tres hombres y tres mujeres en la calle y medimos sus alturas (como se muestra a continuación):
Utilizamos la plataforma Fit Y by X de JMP para realizar una prueba t y comparar las medias de las dos muestras. El valor p resultante es 0,7096. Suponiendo que buscamos un 95 % de confianza en nuestra conclusión, y dado que p > 0,05, concluimos que no podemos tener una certeza del 95 % de que las muestras provengan de poblaciones con medias diferentes. En otras palabras, con base en esta muestra, no podemos afirmar que la estatura promedio de los hombres sea diferente a la de las mujeres.
Pero esto no significa que hombres y mujeres tengan la misma estatura promedio. (Puedes consultarlo... Según Noticias médicas de hoy , en 2017 la estatura promedio de los hombres era de 67". Y según la Clínica Cleveland , en 2018 la estatura promedio de las mujeres era de 64").
¿Por qué ocurrió esto? ¿Por qué la prueba t no demostró que los hombres son (en promedio) más altos que las mujeres? Se debe al muestreo. No podemos medir a todos los hombres ni a todas las mujeres, así que optamos por muestrear solo tres de cada uno para esta prueba. Resultó que elegimos a tres hombres de estatura promedio, pero las tres mujeres elegidas al azar resultaron ser un poco más altas que el promedio. Esto, sumado al rango de mediciones, generó bastante incertidumbre sobre dónde podría ubicarse la verdadera estatura promedio de hombres y mujeres, de ahí el alto valor p.
¿Es esto un "gran problema"?
Sí, ¡creo que esto puede ser realmente importante! Tomemos un ejemplo más práctico e industrial. Supongamos que tiene una máquina que llena viales con un polvo. Su empresa quiere ampliar su capacidad, así que compra una segunda máquina. Se le pide que se asegure de que la Máquina B llene el mismo peso que la Máquina A.
Realiza una prueba rápida, tomando muestras de varios viales de la máquina A y varios de la máquina B, y realiza una prueba t. El resultado es un valor p de 0,35. ¿Debería decirle a su jefe que las máquinas producen el mismo nivel de llenado? ¡No! Si lo hace, se arriesga a cometer un error. Si todos los viales de la máquina B tienen un peso de llenado promedio mayor que el de la máquina A, le está costando dinero a la empresa al regalar material. Si la máquina B tiene un peso de llenado promedio menor que la máquina A, se arriesga a insatisfechos con sus clientes.
¿Qué podemos hacer al respecto?
Si se desea mayor certeza en los promedios, se aumentaría el tamaño de la muestra. Esto también proporcionará una evaluación más precisa de la comparación de las estaturas de hombres y mujeres. Sin embargo, aún se enfrenta a la única posibilidad de declarar que las dos poblaciones son diferentes o no lo son. No se concluye que sean "iguales".
También podrías realizar una prueba de equivalencia (que implica varias pruebas t). Si te interesa, te redireccionaría aquí para obtener más información . Lo dejaré así, ya que las pruebas de equivalencia no son el objetivo de esta publicación.
Conclusión
La conclusión es que, si bien se puede usar una prueba t (o ANOVA) para demostrar que algo es DIFERENTE, no se puede usar (al menos por sí sola) para demostrar que algo es IGUAL. ¡Ten cuidado con los términos y conclusiones para evitar errores en tus aplicaciones!
No te sientas mal si has dicho esto en el pasado. En mi experiencia, es un error extremadamente fácil y común. (Para ser sincero: ¡yo mismo lo he cometido!). Así que, aunque muchas personas lo han dicho muchas veces antes que yo, creo que vale la pena repetirlo.
