Los datos puramente aleatorios tienen un 5% de probabilidad de ser significativos. Elija los valores de p más significativos de muchas pruebas de datos aleatorios y filtrará las pruebas que son significativas solo por casualidad.
Supongamos que tenemos un proceso que sabemos que es estable y consistente. Medimos muchas respuestas y también tenemos un ID de lote. La pregunta es: ¿Hay alguna diferencia de respuesta significativa entre los lotes? Así que ejecutamos ANOVA en ellos, extraemos los valores de p, los ordenamos y vemos esto, desde el más pequeño hasta el más grande. Tenemos 13 pruebas que son significativas, es decir, por debajo de la línea en .05. Con datos aleatorios, esperamos que alrededor del 5% sea significativo, que es .05 * 118 = 5.9, por lo que tenemos algunos más de lo que cabría esperar.
Observe la distribución de los valores de p: a lo largo de la fracción de los datos, siguen una línea recta de cerca de 0 a 1. Esta es la característica de una distribución uniforme de valores. Para pruebas independientes puramente aleatorias, los valores de p siguen una distribución uniforme. Sabemos que aquí no hay diferencias reales, sin embargo, 13 pruebas son significativas. Nuestro objetivo principal es buscar grandes diferencias, por lo que siempre queremos ordenar y filtrar por valores de p. Pero necesitamos algo que ajustar para ver muchas pruebas. De lo contrario, tenemos un sesgo de selección - sesgo de prueba múltiple - un filtro de coincidencia.
Ahora que hemos visto el patrón de los datos donde no hay diferencias, veamos cómo puede verse cuando muchas de las pruebas son realmente significativas. Aquí, más del 60% de los datos parece significativo.
Mirando en el lado derecho del gráfico, parece que todos los valores por encima de .05 siguen una línea recta hacia 1, pero alrededor de .10 o .05, la pendiente de la línea parece cambiar mucho y se vuelve muy densa cerca del fondo. Ver valores de p como este, buscando un cambio en la pendiente, resulta ser el tema de un artículo de Schweder y Spjotvoll (Biometrika 1982, p. 493-502) que comenzó a los investigadores a pensar en observar a toda la población de valores de p . El razonamiento fue similar a una situación análoga en la que Cuthbert Daniel notó más de 20 años antes cuando trazaba estimaciones de un experimento factorial: los pequeños valores cerca del medio parecían seguir una línea de cuantil normal, pero los efectos significativos se desviaron de esa pendiente.
Bueno, sucede que existe una vasta literatura sobre el sesgo de las pruebas múltiples y los métodos para ajustar las pruebas para justificarlas. Estas técnicas funcionaron bien cuando había solo unos pocos medios para comparar o hacer pruebas. Un procedimiento muy simple fue simplemente pedir que los valores de p sean menores que alfa / m, donde m es el número de pruebas, y alfa es el nivel de significación. En 1961, OJ Dunn probó (usando el Bonferroni desigualdad) que este criterio le dio protección general para todas las pruebas.
Si observamos el primer conjunto de valores p, el valor p más bajo es 0.00055, y hay 118 pruebas. Entonces nuestro criterio es .05 / 118 = 0.0004, y llegamos a la conclusión de que no hay nada significativo.
Pero el Bonferroni es un criterio muy conservador, lo que dificulta que la mayoría de los experimentos con muchas pruebas obtengan resultados, por lo que se desarrollaron muchos otros métodos.
En 1995, Benjamini y Hochberg (BH) cambiaron el juego completamente. En lugar de controlar si las diferencias se declararon falsamente significativas, cambiaron los criterios para controlar la tasa a la que las declaraciones de significación eran falsas. Si su tolerancia al descubrimiento falso era del 5%, entonces solo tenía que asegurarse de que el número esperado de descubrimientos falsos fuera solo del 5% de los declarados significativos. Pudieron construir un método muy simple para controlar la tasa de descubrimiento falso. Usted clasifica sus valores de p de alto a bajo. Para el valor p más alto, puede usar la tasa alfa de tasa de descubrimiento falso (FDR), por ejemplo, .05 como criterio. Para cada siguiente valor p más alto, su criterio se reduce un poco, restando alfa / m, formando una rampa. En la parte inferior de la rampa está el criterio para el valor p más pequeño, que es alfa / m, el criterio de Bonferroni. Cualquier valor de p que caiga bajo esa rampa se considera significativo, y BH demostró que para pruebas independientes, usted controla la tasa de descubrimiento falso con este método.
A la izquierda están los datos de lote a lote, y la rampa de Benjamini-Hochberg se muestra mediante la línea roja, que comienza en .05 a la derecha, hasta .05 / 118, y ninguno de los valores de p rojos se logra ponte debajo de la rampa. A la derecha están los datos de cambio de ingeniería; los puntos rojos se sumergen debajo de la rampa, de manera que más del 60% de las respuestas son significativamente diferentes.
También puede transformar el valor p de modo que el nuevo valor p ajustado por FDR tenga la propiedad de descubrimiento falso en comparación con la tasa de descubrimiento falso, por ejemplo, .05. Los valores de p ajustados por FDR se muestran mediante los marcadores azules, que se sumergen bajo la línea azul en .05 para la misma prueba que el marcador rojo se sumerge bajo la línea roja. Observe que cuando los valores de p parecen distribuirse uniformemente en el lado izquierdo, los valores de p ajustados por FDR se ajustan hacia arriba mucho. Pero cuando los valores p descienden rápidamente de derecha a izquierda, el ajuste FDR es mucho menor.
¿Qué pasa si las pruebas no son independientes? En la mayoría de los casos, específicamente cuando hay una correlación positiva entre las pruebas, resulta que el ajuste de FDR de BH es conservador, brindándole la protección que desea. La idea de la tasa de descubrimiento falso desde entonces ha crecido en una rica literatura, incluyendo refinamientos que vale la pena hacer en algunos casos.
En la era de las grandes estadísticas, cuando se realizan cientos, miles o incluso millones de pruebas, los valores p ajustados por FDR deberían ser la nueva mejor práctica estándar. No solo estarás filtrando las coincidencias; Sabrás que la mayoría de lo que atrapes serán efectos reales.
Usted puede obtener el Falso Discovery Rate PValue add-in desde el intercambio de archivos JMP. (La descarga requiere un perfil SAS gratuito). También los ajustes FDR son estándar en el Plataforma de detección de respuestas y personalidad adecuada en JMP 11 .
Nota: Esto es parte de un Grandes estadisticas Serie de publicaciones del blog de John Sall. Leer todo su Grandes publicaciones de estadísticas .
