T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!Las pruebas T son fáciles de ejecutar, ¡pero los resultados pueden ser confusos! En mi entrada de blog anterior, Describí un escenario en el que un ingeniero tenía la tarea de determinar si un cambio en el proceso afectaba la resistencia de una pieza. El ingeniero eligió muestrear tres partes con el nuevo tratamiento (Tratamiento A) y compararlas con tres partes estándar (Control). Los resultados se analizaron con una prueba t estándar y el valor p resultante fue superior a 0,05 (para un 95 % de confianza). Por lo tanto, se abandonó el nuevo proceso.
En mi carrera como ingeniero, he visto este escenario varias veces y sostengo que el ingeniero puede haber abandonado una buena mejora del proceso.
¿Por qué digo eso? Para empezar, creo que la prueba puede haber sido mal planificada y ejecutada debido a la falta de comprensión sobre las pruebas t y la falta de claridad sobre lo que estábamos tratando de lograr. En otras palabras, ¡el Tratamiento A podría haber sido una solución viable a nuestro deseo de aumentar la fuerza de la pieza!
Veamos la prueba t, lo que podemos esperar de ella y cómo los resultados a menudo se malinterpretan.
¿Qué podemos esperar de una prueba t?
¿Qué estamos tratando de hacer con una prueba t? Los ingenieros suelen utilizar pruebas t para tratar de detectar diferencias entre los promedios (o medias) de dos grandes grupos de piezas (o poblaciones). Las poblaciones son demasiado grandes para que podamos medir todas las partes, por lo que tomamos un número limitado de muestras de cada una de las poblaciones, con la esperanza de que sean representativas del todo. Pero como los tamaños de las muestras son limitados, las medias de las muestras casi siempre serán diferentes de las de sus poblaciones originales. De hecho, ¡pueden estar bastante lejos! (Por ejemplo, podríamos extraer accidentalmente tres muestras altas de una población, por lo que la media de la muestra podría ser mucho más alta que la media de la población). prueba) para permitir que algunos "Viento de Kentucky" como compensación por los medios muestrales.
Una interpretación típica (y no informada) de la prueba t
En nuestro escenario, el ingeniero extrajo tres muestras de cada tipo de pieza. (No sabemos por qué lo hizo... tal vez solo era una tradición en su empresa). Le decimos a nuestro paquete de software cuántas muestras se han recolectado y qué nivel de confianza (a menudo 95% de confianza) queremos tener en el resultados. Luego dejamos que nuestro software ejecute el cálculo de la prueba t y obtenemos un "factor p". Este factor p evalúa si debemos “refutar la hipótesis nula”. (¿Por qué los estadísticos no pueden hablar en lenguaje sencillo, verdad?) En nuestro escenario, para un 95 % de confianza, necesitamos un factor p de menos de 0,05, que no logramos. Así que abandonamos la mejora.
El problema con esta interpretación
Niveles de confianza, factores p, hipótesis nulas… esta es una jerga estadística que a menudo es difícil de entender y puede llevar a conclusiones incorrectas. Vamos a desenvolverlo un poco en términos sencillos.
- Lo que nos dice la prueba t (con un factor p mayor que 0.05) es que dados nuestros datos de muestra (incluido el tamaño de la muestra), NO PUEDO DECIR con un 95% de certeza de que existe una diferencia en las medias de las dos grandes poblaciones.
- ¿Qué es la prueba t? NO ESTÁ DICIENDO es que las poblaciones comparten los mismos medios! ¡Esto es muy sutil pero extremadamente importante! No hemos podido probar que sean diferentes, ¡pero de hecho pueden seguir siendo diferentes! La variación (o ruido) en nuestros datos hizo imposible detectar la diferencia en esta prueba. Pero quizás si hubiéramos recolectado cinco muestras cada uno (o 10 o 100) ¡habríamos podido detectar una diferencia!
Entonces, el primer error que he visto es concluir de la prueba t fallida (es decir, factor p alto) que las medias de población son las mismas. ¡Recuerde que las pruebas T solo pueden indicar si las medias de las poblaciones son diferentes!
(Un segundo error que pasé por alto fue que no definimos explícitamente qué nivel de confianza se necesitaba en los resultados.Un nivel de confianza del 95% es típico en el mundo de la ingeniería, pero a menudo se necesita una confianza mucho mayor en los estudios médicos, etc.)
En el siguiente error...
¿Qué es una diferencia importante para usted?
Recuerde que el ingeniero se lanzó al experimento simplemente buscando si existía una diferencia entre las medias de las dos poblaciones. Pero en la mayoría de los escenarios prácticos, estamos interesados en saber si el Tratamiento A (en nuestro ejemplo) nos brinda al menos una cierta mejora sobre el estándar. En nuestro escenario, ¿es importante para nosotros una mejora del 0,00001 % en la fuerza? Tal vez, pero probablemente no. ¿Sería importante para nosotros una mejora del 1%? ¿O el 10%?
Esta “diferencia importante” realmente se reduce a la Voz del Cliente, ya que (generalmente) una mejora de proceso debe juzgarse según lo que el cliente quiere y, por lo tanto, lo que pagará. También podría implicar varias otras consideraciones para la productora.
En nuestro escenario, no se dijo nada sobre lo que significa la diferencia en la población que es importante para nosotros. De hecho, ¡ni siquiera dijimos explícitamente que queríamos que la media de la población del Tratamiento A fuera más alta que la del Control! (En este caso, parece obvio que queremos aumentar la resistencia de las piezas, pero tal vez la pieza está sobrediseñada y queremos reducir la resistencia para ahorrar costos). Ya sea que busquemos un aumento o una disminución, también influye en el cálculos estadísticos, por lo que es importante especificar esto. El equipo de ingeniería, junto con la gerencia, debe decidir qué diferencia es importante y si se trata de un aumento o una disminución antes de que pueda comenzar la planificación de cualquier prueba.
Entonces, el segundo error que veo a menudo es que no se especificó el tamaño de la diferencia importante, ni se especificó la dirección (creciente o decreciente) de la diferencia.
¿Cómo afectaron estos errores a nuestro escenario de prueba?
Si hubiéramos pensado en estos puntos, podríamos haber rediseñado nuestra prueba y llegar a una conclusión completamente diferente sobre el Tratamiento A. Pero debido a nuestra falta de conocimiento sobre la prueba t y nuestra pobre definición de lo que estábamos tratando de lograr , pasamos por alto el Tratamiento A como una solución viable.
Hablaremos más sobre otros aspectos de la planificación de pruebas en la próxima publicación del blog, que culminará en Formule la pregunta completa, que puede ayudar a evitar muchos de estos errores. ¡Espero que puedas sintonizar la Parte 3 en aproximadamente una semana!
Mirando hacia el futuro
Estoy planeando tocar todos los siguientes temas a medida que avanzamos. Espero que puedas unirte a mí para toda la serie !
- Diseño de un escenario típico
- ¿Qué nos dice realmente la prueba t? (esta publicación)
- Otras consideraciones de prueba y hacer la pregunta completa
- ¿Es su medidor apto (y qué hacer si no lo es)?
- Planificación y ejecución de la prueba: desde tamaños de muestra hasta mejores prácticas
- Análisis de los resultados (incluida la entrada de basura = la salida de basura)
- Resumen final
