La primera línea de la novela clásica de Leo Tolstoy, Anna Karenina, comienza:
“Las familias felices son todas iguales; "Cada familia infeliz es infeliz a su manera".
Esta es una línea muy memorable. Pero mirando el Entrada de Wikipedia para el principio de Anna Karenina , Vi esta versión para pruebas de significación estadística:
"... hay varias formas en las que un conjunto de datos puede violar la hipótesis nula y solo una en la que se cumplen todas las suposiciones".
Cuando hacemos una prueba de hipótesis de que dos medios son iguales, el caso aburrido es donde son iguales, es decir, donde no rechazamos la hipótesis nula. El caso interesante es donde los medios son diferentes, aunque quizás no lo suficientemente interesantes como para valer una novela de Tolstoy. La diferencia puede ser suficiente para ser significativo. La diferencia puede ser muchas veces la diferencia que sería significativa. Pueden ser diferentes en una u otra dirección. Cuando tenemos más de dos medios, hay muchas combinaciones de diferencias que son de interés. Estamos buscando algo interesante, algo diferente, en las estadísticas.
Considere un proceso de fabricación en el que desea buscar diferencias. Supongamos que ha cambiado un proveedor por un ingrediente y desea asegurarse de que el proceso o producto no cambie, o cambie en la dirección correcta. Supongamos que realiza un cambio de ingeniería en la forma en que se fabrica el producto y desea asegurarse de que no empeore. Tiene cientos de variables que analizar y desea probar cientos de hipótesis. Quieres ver dónde están las mayores diferencias.
Veamos algunos datos de semiconductores. Queremos mantener un ojo en 387 variables de proceso, y estamos preocupados por un cambio de ingeniería, descrito en la columna "Proceso" como Antiguo o Nuevo. Puedo hacer un Fit Y by X fácilmente para todas las respuestas en comparación con Process. Luego hago un control-clic en ANOVA para obtener todas las pruebas. El control-clic difunde el comando a todos los 387 análisis. Aquí hay una foto de uno de los 387 informes:
Ahora tengo el mismo problema que se describe en mi blog anterior: hay 387 informes para revisar. Solo quiero ver el valor p de ANOVA, "Prob> F", la probabilidad de obtener una estadística F aún mayor que la que obtuve, dado que las medias son iguales. Bueno, JMP puede reunir estos valores p Hago clic con el botón derecho en el valor y elijo el elemento de menú "Crear tabla de datos combinados", que resulta en esto:
La tabla tiene tres líneas por respuesta, pero las filas que quiero eliminar tienen valores faltantes para el valor p. Así que puedo usar Select Matching Cells para seleccionarlas, eliminarlas y luego ordenarlas en orden ascendente mediante otro comando de clic derecho en la columna p-value.
¡Oye! Parece que muchos de mis valores de p son significativos. Algo realmente cambió cuando cambié el proceso. Aquí está la distribución de los valores de p:
Mirando el gráfico de CDF, veo que casi el 60 por ciento de los valores de p son muy pequeños. El otro 40% de los valores de p parece bastante distribuido de 0 a 1. Mira todos los valores de p en orden, de pequeño a grande:
Recuerda el principio de Anna Karenina ahora. Cuando los medios son los mismos, es decir, la hipótesis nula no se rechaza, todo es igual de aburrido. Pero cuando los medios son diferentes, la hipótesis nula se rechaza, y los medios pueden ser diferentes de muchas maneras, en muchas magnitudes. Visualmente, quiero que la igualdad se vea igual, y quiero que las diferencias significativas se vean diferentes e interesantes.
En una gráfica de valor p, tenemos lo contrario: para todas las pruebas no interesantes donde las medias son las mismas, los valores p son fácilmente distinguibles. Para todas las pruebas interesantes donde los medios son diferentes de manera interesante, todos tienen valores cercanos a cero donde no puedo distinguir uno de otro. Los valores P violan el principio visual de Anna Karenina: no puedes ver lo interesante, pero puedes ver lo aburrido. Es como si Tolstoy escribiera muchos capítulos sobre los personajes periféricos aburridos, y solo unas pocas líneas sobre los personajes principales de la novela. Necesitamos corregir esto.
La forma obvia de obtener detalles para valores positivos muy pequeños es cambiar a la escala de registro. Resulta que tengo que elegir un origen muy pequeño para obtener la mayoría de estos valores p.
En lugar de usar una escala de registro, ¿por qué no calcular log10 (pvalue) y trazar eso? De hecho, nos gustaría tener los valores más significativos en la parte superior, no en la inferior, por lo que cambiamos los signos y trazamos –log10 (pvalue). Y como queremos hacer esto mucho, necesitamos inventar un nombre corto para esto, así que llamémoslo LogWorth.
El nombre LogWorth fue utilizado a partir de 1995 por Padraic Neville en el contexto específico de los criterios del árbol de decisión. Es mucho más fácil decir "LogWorth" que decir "log-to-base-10 negativo del valor p".
Así que ahora hemos llegado a cumplir con el Principio de Anna Karenina. Los conjuntos de medios que son significativamente diferentes son diferentes en la gráfica de significación. Los medios que son aburridamente iguales son los mismos en la trama.
¿Pero hemos renunciado a alguna perspectiva? ¿Entenderemos LogWorth así como las probabilidades? Soy optimista de que podemos. Aquí están los nuevos objetivos de importancia para aprender:
PValue = .01 -> LogWorth = 2PValue = .05 -> LogWorth = 1.3
PValue = .10 -> LogWorth = 1
En la gráfica anterior, incluso tengo una línea de referencia roja en 2. También nos sentimos cómodos al hablar de información sobre la escala de probabilidad de registro, como puede imaginar con frases como "tan raro como tres 10s seguidos en lanzamientos de dados de 10 lados", que es (1/10) 3 o.001.
La teoría de la información es muy cómoda con la escala de registro, donde puede agregar en lugar de multiplicarse. La terminología de las unidades ha sido resuelta. El registro negativo a la base 2 de probabilidad en la teoría de la información se llama bits; Si usas la base 10, se llama decits. Así que podemos ver que el eje LogWorth se mide en decits de ridad, o cuántos decahedron muere. (Para varios términos alternativos, vea el Unidades de información entrada en Wikipedia.)
La escala de registro es especialmente importante cuando se manejan pruebas que son extremadamente importantes, lo que sucede todo el tiempo con grandes conjuntos de datos. Todavía quieres trazar y clasificar el significado. Pero el sistema de punto flotante de nuestras computadoras solo puede representar valores hasta aproximadamente 10 ^ -323. En nuestros datos, de las 387 pruebas que hemos realizado, 38 de las pruebas tienen valores de p más pequeños que 10 ^ -323, se pueden representar solo como cero y, por lo tanto, no se pueden distinguir. Por lo tanto, utilizamos rutinas de probabilidad logarítmica cuando calculamos significados, de modo que podamos seguir representando el significado. La prueba más significativa en estos datos tiene un LogWorth de 4638.1808456. Ese es un valor muy distinguido, tanto que distorsiona una gráfica de los LogWorths; en algunos casos es posible que necesitemos usar otra transformación de registro. En realidad, pondremos un límite máximo en el LogWorth, con el fin de ver más detalles en el resto de los datos y pedir disculpas por violar el principio visual de Anna Karenina por algunos valores.
Por cierto, LogWorths comenzó a aparecer en la plataforma de la partición en su introducción, y ahora la plataforma de Screening de respuesta y la personalidad de adaptación asociada lo utilizan en todas partes.
Nota: Esto es parte de un Grandes estadisticas Serie de publicaciones del blog de John Sall. Leer todo su Grandes publicaciones de estadísticas .
