Cuando tiene millones de observaciones de datos reales y hace un ajuste simple entre dos variables, si no obtiene una prueba significativa, entonces es una fuerte evidencia de fraude. El único tipo de datos que no son significativos de manera confiable para tablas de datos muy altos son los datos simulados. Vivimos en un mundo con muchas fuerzas sutiles que actúan de muchas maneras complejas, por lo que las cosas son generalmente un poco diferentes, incluso si no son muy diferentes.
En una era de Big Data, cuando tenemos millones de observaciones, podemos esperar que casi todas las pruebas sean significativas. Pero en la mayoría de los casos, no nos importan las pequeñas diferencias. Lo que queremos saber es si la diferencia es mayor de lo que nos importa.
En la industria, generalmente tenemos una idea bastante clara de qué cambio nos interesa: tenemos límites de especificación, el límite inferior de especificación (LSL) y el límite superior de especificación (USL). Si la diferencia es mayor que alguna fracción de ese rango de especificación, digamos 10%, entonces sabemos que nos interesa verlo. Los datos de ingeniería usualmente tienen límites de especificación para guiarnos sobre qué tan sensibles son los cambios.
Si no tenemos límites de especificación, usamos algo similar. Suponiendo que la diferencia media es pequeña en comparación con la variación natural y que el proceso se comporta razonablemente con una capacidad de 1, entonces utilizamos 6 * sigma como el rango de especificaciones. Usamos IQR / (Q (.75) -Q (.25)) para estimar sigma, donde Q es el cuantil normal, y luego nos importa aproximadamente el 10% de ese intervalo.
Si tenemos en mente una diferencia práctica, entonces podemos construir fácilmente una prueba de hipótesis de que el valor absoluto de la diferencia real es menor que la diferencia práctica. Esta prueba no siempre será significativa si tiene millones de observaciones; más bien, tenderá a ser muy significativa o lo contrario.
Aquí hay una foto de cómo funciona la prueba. Supongamos que la diferencia práctica que le importa es 2 y la diferencia real es 4. Usted construye una distribución t de Student escalada por el error estándar de la diferencia en torno a la diferencia práctica. Luego, calcula la probabilidad de la cola más allá de la diferencia real, que en este caso es aproximadamente .3. Pero eso es sólo una dirección. También tiene que mirar el negativo de la diferencia real y medir la probabilidad en esa cola de la misma distribución. Ahora tienes un valor de p para la prueba de diferencia práctica. Esta es la prueba que debe hacer para informarle sobre los cambios que le interesan.
Sin embargo, esa prueba puede ser la inversa de la prueba que realmente desea. Si desea tener la seguridad de que las diferencias son pequeñas, entonces no tiene sentido usar la falta de evidencia de que la diferencia no es grande. Realmente desea probar de forma inversa, para estar bastante seguro de que la diferencia es menor que la diferencia práctica.
Las pruebas en esa dirección se llaman pruebas de equivalencia . Se utilizan con mayor frecuencia en las industrias de dispositivos médicos y medicamentos regulados para demostrar que un cambio no afecta los resultados. Las pruebas de equivalencia se deben enseñar a los estudiantes de estadísticas introductorias para que comprendan que aceptar una hipótesis nula no prueba que sea nula, solo significa que no tiene pruebas suficientes para rechazarla.
El enfoque estándar para las pruebas de equivalencia es el TOST: dos pruebas t de un solo lado. Se prueba que la diferencia es menor que la diferencia práctica y también se prueba que la diferencia es mayor que la diferencia negativa de la práctica. Por lo tanto, demuestras que la diferencia es menor en valor absoluto que la diferencia.
Supongamos que la diferencia que le importa, la diferencia práctica, es 4 y la diferencia real es 2. Para probar que la diferencia es menor que la diferencia práctica, coloca la distribución t de Student con los grados de libertad apropiados y la escala del error estándar de la diferencia sobre la diferencia práctica, 4. Tenga en cuenta que el área en la cola baja en la diferencia real es aproximadamente .01. Ahora pones la distribución t de Student sobre la negativa de la diferencia práctica, -4. Se mide el área en la cola derecha, que aquí es muy, muy pequeña. Luego tomas el máximo de los dos valores p, que aquí resulta ser .01. Por lo tanto, ha demostrado equivalencia práctica en el nivel de significancia de .01.
Ahora tenemos ambas herramientas. Entonces, cuando comparamos medias, con referencia a una diferencia práctica, tenemos dos valores de p y tres conclusiones posibles: prácticamente equivalente, prácticamente diferente y prácticamente no concluyente, si ambos valores de p no son significativos.
En las comparaciones de medios anteriores, todas las pruebas son extremadamente importantes para probar que la media es cero; estos son los valores p sombreados en azul. Pero solo tres de las respuestas son prácticamente diferentes, es decir, significativamente diferentes más que la diferencia práctica. Estos son los valores p sombreados en rojo. Siete de las respuestas son prácticamente equivalentes, es decir, la diferencia es significativamente menor que la diferencia práctica en el valor absoluto. Estos están sombreados en verde. Dos de las pruebas no son concluyentes: la diferencia es significativamente diferente de cero, pero no significativamente diferente en comparación con la diferencia práctica, y tampoco es significativamente menor que la diferencia práctica (equivalente).
Ahora puede realizar las comparaciones e identificar rápidamente cómo cada una de las muchas respuestas ha cambiado su media en todo el factor, incluso si tiene millones de observaciones.
Pruebas prácticas de diferencia están disponibles en JMP 11 en la plataforma Response Screening, y las pruebas de equivalencia están disponibles allí, así como en Oneway y el nuevo Nonlinear.
Nota: Esto es parte de un Grandes estadisticas Serie de publicaciones del blog de John Sall. Leer todo su Grandes publicaciones de estadísticas .
Mike Clayton escribió:
Estas ideas deben elaborarse en formato de seminario web para las clases STEM de la escuela secundaria.
Estos son conceptos importantes que deben ilustrarse (como lo ha hecho) y no están bien ilustrados en muchos libros de texto. Los datos son tan ricos como ahora, las pruebas de hipótesis antiguas son mucho menos útiles a primera vista, pero usted ha recuperado el valor p para big data mediante el uso de límites prácticos y una visualización novedosa (para mí) y una tabla (cuando muchas personas ahora están atacando los valores de p como peligrosos o inútiles de muchas maneras.)
Advertencia: no soy un estadístico.
