NOTA: Este artículo apareció originalmente en JMPer Cable, Número 15, verano de 2004.
John Sall, Vicepresidente Ejecutivo, SAS Institute Inc.
Bradley Jones, JMP Desarrollo
Todo procedimiento estadístico implica supuestos. Se nos enseña a temer la violación de estas suposiciones. Por ejemplo, los procedimientos estándar para comparar medias, las muestras de dos t- prueba, el pareado t -test, y ANOVA incluyen la suposición de que el error residual se distribuye normalmente. Si el error se distribuye normalmente, y todas las demás suposiciones se mantienen, entonces todas las estadísticas de prueba tienen sus distribuciones declaradas, y los intervalos de confianza y las pruebas de hipótesis pueden ser confiables. Incluso tenemos una rica fuente de herramientas analíticas para probar nuestras suposiciones, como las características en la plataforma de distribución que prueban y representan gráficamente la distribución normal. ¿Qué pasa si los residuos no se distribuyen normalmente? ¿Cuánto debería preocuparse un practicante acerca de si los residuos son normales? Pocos artículos, y menos libros, entran en detalles sobre cuánto preocuparse por el supuesto de normalidad.
Tener residuos distribuidos normalmente es un problema del que probablemente no tenemos que preocuparnos mucho porque:
- En muestras grandes, es fácil detectar la no normalidad, pero no importa.
- En muestras pequeñas, la no normalidad puede importar, pero no se puede detectar.
Con muestras grandes, el teorema del límite central establece que incluso si los datos no son normales, las estadísticas de tipo medio se aproximan a las distribuciones normales a medida que aumenta el tamaño de la muestra. Con muestras pequeñas, el estadístico de prueba no es necesariamente normal, pero no tenemos una muestra lo suficientemente grande como para saberlo.
Los desarrolladores de JMP reciben solicitudes frecuentes para implementar una prueba de normalidad residual como una característica conveniente para nuestras plataformas de adaptación. Pero esto solo sería útil si hubiera tamaños de muestra para los que se pudiera detectar e importar la no normalidad. Vamos a investigar, utilizando la simulación.
Para nuestra simulación, comparamos las medias de dos grupos utilizando dos distribuciones de error no normales diferentes: una doble exponencial y una normal contaminada por desplazamiento. El doble exponencial es simétrico, pero leptokurtótico, es decir , mucho más pico y con colas mucho más pesadas que la distribución normal. El cambio contaminado normal es una distribución normal sesgada hacia la derecha al agregar un cambio de tres desviaciones estándar en un 5% de las muestras seleccionadas al azar.
El doble exponencial es simulado por esta fórmula JMP:
if (randomUniform ()> 0.5,1, -
1) * log (randomUniform ())
La distribución contaminada por turnos utiliza esta fórmula JMP:
10 + 5 * (randomNormal () +
(randomUniform () <0.05) * 3)
Estos deben ser característicos de la no normalidad fuerte, pero no extrema, que puede ver en datos reales.
La Figura 1 muestra 10,000 puntos de la doble exponencial simulada y la Figura 2 muestra las distribuciones contaminadas por desplazamiento. La línea diagonal roja sólida es una referencia de cómo se verían los datos si se ajustara a una distribución normal. Tenga en cuenta que los datos caen debajo de la línea para cuantiles pequeños y sobre la línea para cuantiles grandes. La suya es característica de las distribuciones leptokurtóticas. Tienen una gran cantidad de probabilidad en el medio con colas largas pero escasamente pobladas.
Los datos en el gráfico de cuantiles normales para la distribución contaminada por desplazamiento (Figura 2) caen por encima de la línea diagonal roja sólida para cuantiles grandes. Esto es característico de las distribuciones sesgadas a la derecha. Si los datos se hubieran distribuido normalmente, la parte superior del histograma habría terminado alrededor de 30 en lugar de continuar un poco después de 40.
Fig. 1: Resultados de distribución para la distribución exponencial doble.
Fig. 2: Resultados de distribución para las distribuciones de cambio de contaminantes.
Se ejecutó un script JSL que generó 10,000 muestras de Monte Carlo con 10 observaciones para estas dos distribuciones no normales. Cada muestra se dividió en dos grupos de igual tamaño. Por diseño, no hay diferencia entre los medios de los dos grupos. También generamos 10,000 muestras para la distribución normal estándar como control. Para cada muestra, realizamos un análisis de una vía para probar la diferencia de los medios y una distribución para probar la normalidad de los residuos. Repetimos todo este procedimiento para muestras de tamaño 20, 30, 50, 70 y 100.
Prueba de medios iguales cuando no hay diferencia en los medios de población
En primer lugar, echemos un vistazo a las parcelas de nuestros 10.000 pag -valores para las distribuciones no normales. Recuerde que nuestro procedimiento está diseñado para que no haya una verdadera diferencia en los medios para cada muestra. Debido a la variación aleatoria, la pag -Los valores para nuestros 10,000 análisis unidireccionales deben distribuirse uniformemente entre cero y uno. La función de distribución uniforme es la línea diagonal F (x) = x.
Para producir las parcelas en las Figuras 3a y 3b, primero clasificamos los 10,000 pag -valores. los y -El eje es la proporción de los 10.000. pag -valores menores o iguales a una probabilidad de significación dada. los X -El eje muestra las probabilidades de significación ( pag valores). Cada tamaño de muestra se muestra en un color diferente.
Fig. 3a: Gráfica de probabilidad de valores p para la distribución exponencial doble.
Fig. 3b: Diagrama de probabilidad de los valores de p para la distribución contaminada por desplazamiento.
Tanto para las parcelas como para todos los tamaños de muestra, las distribuciones de pag -los valores se ven cerca de la línea diagonal de la función de distribución acumulativa uniforme. Como esperábamos, ni cambiar la distribución ni cambiar el tamaño de la muestra tiene mucho efecto en la precisión de la probabilidad de significación de la prueba ANOVA para medias iguales.
Veamos más de cerca la escala baja cerca de 0.05, donde estamos juzgando la importancia. Las parcelas en la Figura 4a y 4b magnifican el área.
Fig. 4a: Vista en escala ampliada de la gráfica de probabilidad de valor p para una distribución exponencial doble no normal. 
Fig. 4b: Vista en escala ampliada de la gráfica de probabilidad de valor p para una distribución no normal contaminada por turnos.
Tenga en cuenta que la línea diagonal roja correspondiente a la prueba de igualdad de medias para dos grupos con cinco observaciones se desvía ligeramente por debajo de la línea y = x. ¿Qué significa esto?
Sabemos que si elegimos una probabilidad de significación de 0.05, rechazaremos la hipótesis de que nuestras medias son iguales en el 5% de nuestros experimentos debido a los caprichos del azar, incluso si las medias son realmente iguales. Es decir, el 5% del tiempo cometeremos un error de Tipo I; rechazaremos la hipótesis de que las medias son iguales cuando la hipótesis es verdadera.
Esta tasa de error de Tipo I del 5% está incorporada y lo que esperamos si elegimos una probabilidad de significación de 0.05. Si esto parece demasiados errores, debe elegir una probabilidad de significación menor.
Cuando la línea diagonal roja cruza la línea punteada vertical x = 0.05, su y -valor es 0.043. Eso significa que en lugar de rechazar la hipótesis de que nuestros medios son iguales al 5% del tiempo, solo rechazamos el 4.3% del tiempo. Llamamos a esto un resultado conservador porque estamos cometiendo menos errores de Tipo I de lo que esperamos. Si vas a fallar, es mejor faltar conservadoramente.
Por otro lado, suponga que una línea ha cruzado la línea punteada vertical a 0.05 a un valor CumProb de 0.06. Luego, en lugar de ver los errores esperados del Tipo I del 5%, veríamos realmente los errores Tipo I del 6%. Llamamos a tal prueba demasiado liberal porque la verdadera tasa de error es más grande de lo esperado.
Es tranquilizador que en el único caso en que las líneas se desvíen de la línea de 45 grados, se encuentre en el lado conservador. El caso contaminado por cambio también tiene la norte = 10 caso desplazado al lado conservador, pero no tanto como el doble exponencial.
La Figura 5 muestra la simulación de Monte Carlo con una curva normal pura para mostrar la variación aleatoria natural en el estudio de Monte Carlo.
Fig. 5: Vista en escala ampliada de la gráfica de probabilidad p-valor para la distribución normal estándar.
Prueba de no normalidad
La siguiente pregunta es si podemos detectar que los errores no son normales. Comenzamos calculando los residuos de cada análisis unidireccional que hicimos antes. Usando la plataforma de distribución, probamos estos residuos para la normalidad. Por lo tanto, para cada distribución y tamaño de muestra, hacemos 10,000 pruebas de Shapiro-Wilks para la normalidad. Las gráficas en la Figura 6 muestran el porcentaje acumulativo de resultados de las pruebas de normalidad en función de la probabilidad de significación en la prueba de Shapiro-Wilks.
Fig. 6: Gráficos de potencia de las pruebas de Shapiro-Wilkes para distribuciones no normales.
¿Qué nos dicen estas parcelas? Primero, sabemos que tanto en el caso exponencial doble como en el caso normal contaminado por desplazamiento, la distribución de los residuos no es normal. Queremos saber qué tan probable es que nuestra prueba detecte esta no normalidad. En otras palabras, queremos saber cuán poderosa es nuestra prueba.
Una prueba perfectamente potente tendría un gráfico que se parecía a la letra griega gamma,. Por el contrario, una prueba sin potencia tendría un gráfico que parece una línea diagonal.
Para los residuos distribuidos de forma exponencial doble, podemos ver que la gráfica para la muestra de 100 observaciones aumenta rápidamente en el extremo izquierdo, según se desee. Desafortunadamente, el parecido del gráfico con Γ se deteriora a medida que el tamaño de la muestra disminuye. Cuando el tamaño de la muestra es 10, la función se parece mucho más a la línea diagonal (sin poder de detección).
Para los residuos distribuidos normales contaminados por cambio, el poder de detección de la prueba de Shapiro-Wilks es peor para cada tamaño de muestra.
Cuando los residuos son realmente normales, como se muestra en la Figura 7, vemos una línea diagonal para cada tamaño de muestra. Esto es lo que queremos. No deseamos detectar la no normalidad inexistente. Aquí, la "potencia" de la prueba es la probabilidad de un error de Tipo I. Es imposible que una prueba sea menos poderosa que esta.
Fig. 7: Diagrama de potencia de la prueba de Shapiro-Wilkes para la distribución normal estándar.
Ahora vamos a expandir la pag -valor área para que podamos examinar la potencia en alfa = 0.05, como se muestra en las figuras 8a y 8b. La curva inferior (tamaño de la muestra). norte = 10) en la Figura 8 cruza la línea de la cuadrícula vertical x = 0.05 en el valor 0.10. Eso significa que si la probabilidad de significación de Shapiro-Wilks es de 0.05, tiene un 10% de probabilidad de detectar el hecho de que los residuos no son normales. Decimos que el poder de la prueba de Shapiro-Wilks es del 10%. Esto no es impresionante.
Fig. 8a: Gráficos de potencia a escala ampliada para una distribución no normal no exponencial doble.
Fig. 8b: Diagrama de potencia a escala ampliada para distribución no normal contaminada con cambio.
Otra forma de decir esto es que la probabilidad de un error de Tipo II es del 90%. Es decir, el 90% del tiempo que la prueba de Shapiro-Wilks (dada esta distribución de errores y nivel de significación) no podrá rechazar la hipótesis de los residuos normales.
Por el contrario, la curva superior de arriba (tamaño de la muestra norte = 100) cruza la línea de cuadrícula vertical x = 0.05 en el valor 0.78. Entonces, el poder de esta prueba es de casi el 80%.
Las curvas de potencia tienen una forma similar para los residuos normales contaminados con cambio, pero la potencia resultante es aún menor. Por ejemplo, la curva superior (tamaño de muestra n = 100) cruza la línea de 0.05 a aproximadamente 0.63 (la potencia es del 63%).
Por lo tanto, vemos que para un pequeño número de observaciones no puede detectar la no normalidad. Para gran número de
las observaciones no le importan si los errores no son normales porque nuestra tasa de error simulada de Tipo I coincidió con la tasa esperada para muestras de gran tamaño.
Este estudio tendería a apoyar la no implementación de una prueba de normalidad en las plataformas de adaptación. Incluir esta función solo animaría a las personas a preocuparse por algo que no pueden ver o que no importa.
Poner en características gráficas y de diagnóstico para la distribución residual es un asunto diferente. En lugar de realizar pruebas, está buscando anomalías gráficas, como valores atípicos, o un patrón que podría ser una pista de alguna estructura oculta del modo. Los valores atípicos y los patrones son a menudo la pista principal de un descubrimiento importante.
Uno de los mandamientos de W. Edwards Deming fue "Expulsar el miedo", pero como estadísticos generalmente hacemos lo contrario, inculcando miedos irracionales en nuestros clientes y estudiantes. Con este estudio, que puede duplicar fácilmente, espero que ahora sea lo suficientemente valiente como para luchar contra la "leptokurtosifobia".
¿No es bueno tener una cosa menos de qué preocuparse?
