No es normal ¿o sí?
En varios debates recientes sobre el uso de pruebas paramétricas surgió la cuestión de si los datos se distribuyen normalmente (o si pasan una prueba de bondad de ajuste para determinar la normalidad). En cada uno de los casos, el tamaño de la muestra fue relativamente bajo (<30) y la conclusión fue que los datos no provenían de una población con distribución normal. Los pasos siguientes implicaron algunos pasos de transformación enrevesados que complicaron excesivamente el análisis.
Empecé a preguntarme cuáles son las probabilidades de fallar una prueba de bondad de ajuste cuando la población subyacente en realidad estaba distribuida normalmente, o cuál es la tasa de error de tipo I. Por otro lado, si la población estaba solo un poco sesgada, no era normal, ¿con qué frecuencia pasaría una prueba de bondad de ajuste?
Para empezar, generé conjuntos de 10 muestras de una población con distribución normal y de una población con distribución gamma utilizando algunas funciones aleatorias como fórmulas en una tabla de datos: distribución normal aleatoria (20,4) y distribución gamma aleatoria (20). Las estadísticas de población muestran claramente que la distribución normal es normal y que la distribución gamma no supera una prueba de normalidad (figura 1).
Figura 1. Comparaciones de distribución de poblaciones de una distribución normal o gamma. El tamaño de la muestra es de 10 000. Con un tamaño de muestra grande, las colas de la población distribuida gamma (panel izquierdo) claramente quedan fuera de los intervalos de confianza del 95 % (líneas discontinuas rojas) de la línea de regresión de probabilidad normal en el gráfico de cuantiles normal.
Los grandes conjuntos de datos (n=100.000) se dividieron en grupos de 10 y cada subgrupo (n=10.000) se evaluó para determinar la normalidad utilizando las mismas pruebas utilizadas para el conjunto de datos de la figura 1. Los valores de probabilidad pequeños rechazan la hipótesis nula de que los datos provienen de una distribución normal, por lo que se utilizó un valor de corte de 0,05 para determinar si el subgrupo pasó la prueba de bondad de ajuste. Los resultados tabulados se presentan en la figura 2. Tanto la prueba de bondad de ajuste de Anderson-Darling como la de Shapiro-Wilk señalaron una proporción similar de los grupos de muestra. Los grupos de la población normal fallaron aproximadamente el 5% de las veces y los grupos de la población con distribución gamma aprobaron aproximadamente el 94% (fallaron aproximadamente el 6%) de las veces.
Figura 2. Proporción de muestras que no superan las pruebas de bondad de ajuste. Los grupos de muestras (n=10) con una probabilidad de pertenecer a una distribución normal <= 0,05 se etiquetan como "1" y los grupos que aprueban se etiquetan como "0".
Me sorprendió un poco la tasa de error de tipo 1 de las muestras de la distribución normal (tal vez no debería haberlo hecho...). Esto significa que con un tamaño de muestra pequeño, aproximadamente 1 de cada 20 veces, los datos de una población subyacente con distribución normal no superarán una prueba de bondad de ajuste. Las muestras de una población ligeramente sesgada tuvieron una tasa de detección similar.
Obviamente, el problema es el pequeño tamaño de la muestra. El siguiente paso fue realizar los mismos grupos de prueba con tamaños de muestra cada vez más grandes. Sin duda, la tasa de falsos positivos disminuirá drásticamente con una muestra un poco más grande. El siguiente paso fue probar subgrupos de 30, con poco efecto, seguido de subgrupos de 100, 300 y 1000. Ahora bien, solo para mantener las cosas equilibradas, quería n=10.000 para el número de subgrupos; sin embargo, las tablas comenzaron a hacerse grandes y el análisis comenzó a volverse lento, así que me detuve con el tamaño de muestra de 1000. Principalmente porque no soy tan paciente y la tendencia se estaba volviendo obvia. En mi línea de ciencia, un tamaño de muestra de 3 era el mínimo, 10 era mucho y 30 era simplemente una tontería. Resulta que el número correcto es probablemente mucho mayor para evaluar realmente la bondad del ajuste de manera confiable. La Figura 3 incluye la proporción de muestras que no pasaron las pruebas de bondad de ajuste para los tamaños de muestra que utilicé.
Figura 3. Proporción de muestras no normales. Se representa gráficamente la proporción de muestras no normales para cada tamaño de muestra, tanto para la prueba de Anderson-Darling como para la de Shapiro-Wilk. Las muestras procedían de una población con una distribución normal.
A partir de los datos y análisis de estas simulaciones, soy más cauteloso a la hora de aceptar los resultados de una prueba de bondad de ajuste sin examinar cuidadosamente los datos. Sería extremadamente reticente a añadir una estadística de bondad de ajuste a los criterios de aceptación o un procedimiento operativo estándar para el manejo de los datos. ¿Trabajar con estadísticas a ciegas es casi tan seguro como hacerlo con tijeras? Supongo que esto plantea la pregunta de cómo evaluar mejor los supuestos de normalidad para las pruebas paramétricas. Tal vez ese sea un buen tema para una futura entrada del blog.
Si desea mejorar el método que utilicé para cuestionar la tasa de falsos positivos de una prueba de normalidad, o simplemente desea intentar reproducir mis resultados, he incluido el script que utilicé para generar los datos a continuación. En el script hay notas sobre dónde cambiar los valores del tamaño de la tabla y del tamaño de la muestra.
Names Default To Here( 1 );
dt = New Table( "Source Data",
Add Rows( 10000 ), //Change row number when using larger sample sizes
New Column( "Normal", Numeric, "Continuous", Format( "Best", 12 ), Formula( Random Normal( 20, 4 ) ) ),
New Column( "Gamma", Numeric, "Continuous", Format( "Best", 12 ), Formula( Random Gamma( 20 ) ) ),
//Change the number of times the group column repeats for larger or smaller sample sizes
New Column( "group", Numeric, "Continuous", Format( "Best", 12 ), Formula( Sequence( 1, N Rows(), 1, 10 ) ) )
);
rpt = New Window( "Distribution",
dt << Distribution(
Continuous Distribution(
Column( :Normal ),
Quantiles( 0 ),
Summary Statistics( 0 ),
Process Capability( 0 ),
Fit Normal( Goodness of Fit( 1 ) )
),
Continuous Distribution(
Column( :Gamma ),
Quantiles( 0 ),
Summary Statistics( 0 ),
Process Capability( 0 ),
Fit Normal( Goodness of Fit( 1 ) )
),
By( :group )
)
);
Wait( 0 );
//Get tables from the report
dt1 = rpt["Distributions", "group=1", "Normal", "Fitted Normal Distribution", "Goodness-of-Fit Test", Table Box( 1 )] << Make Combined Data Table;
dt1 << set name( "AD" );
dt2 = rpt["Distributions", "group=1", "Normal", "Fitted Normal Distribution", "Goodness-of-Fit Test", Table Box( 2 )] << Make Combined Data Table;
dt2 << set name( "SW" );
rpt << Close Window;
//table formatting
dt1 << New Formula Column( Operation( Category( "Row" ), "Row" ), Columns( :Table ) );
dt2 << New Formula Column( Operation( Category( "Row" ), "Row" ), Columns( :Table ) );
dt1:Column 1 << Set Name( "Goodness of Fit Test" );
dt2:Column 1 << Set Name( "Goodness of Fit Test" );
Column( dt1, 7 ) << Set Name( "Fit" );
Column( dt2, 7 ) << Set Name( "Fit" );
Column( dt1, 8 ) << Set Name( "Prob" );
Column( dt2, 8 ) << Set Name( "Prob" );
dt3 = dt1 << Concatenate( dt2, Output Table( "Goodness of Fit Tests" ) );
Close( dt, nosave );Close( dt1, nosave );Close( dt2, nosave );
sfsdff
Empecé a preguntarme cuáles son las probabilidades de fallar una prueba de bondad de ajuste cuando la población subyacente en realidad estaba distribuida normalmente, o cuál es la tasa de error de tipo I. Por otro lado, si la población estaba solo un poco sesgada, no era normal, ¿con qué frecuencia pasaría una prueba de bondad de ajuste?
Otra consideración interesante (en particular si está realizando un análisis de capacidad del proceso) es cuál es la probabilidad de que la distribución normal no aparezca en el primer lugar de la lista al comparar distribuciones basadas en AICc.
