Análisis de la bondad de ajuste: valores p de Shapiro-Wilk y Anderson-DarlingHola,
Tenía curiosidad por algo. Estaba mirando la bondad de ajuste en Distribuciones usando Distribución normal ajustada -> Prueba de bondad de ajuste y sé por lo que leí sobre la interpretación de los resultados que si los valores p son pequeños, entonces se rechaza la hipótesis nula y se puede concluir que los datos no se distribuyen normalmente. Por lo tanto, mi mirada inicial a la columna fue obvia: no se distribuye normalmente (lo cual esperaba).
Luego intenté normalizar usando Johnson Normalize y lo volví a ejecutar con eso y no funcionó.
Entonces probé el método de cuantiles normales y lo ejecuté nuevamente. A primera vista pensé que funcionaba, pero luego noté que el valor p de Shapiro-Wilk = 0,0027 (lo que justificaría el rechazo de la hipótesis nula), pero el valor p de Anderson-Darling = 0,1672, lo que no lo justifica.
Pregunta 1: ¿Qué haces cuando hay un conflicto de este tipo? ¿Ambos deben llegar a la misma conclusión?
Pregunta 2: ¿Es malo probar distintos métodos de normalización como ese? Si es así, ¿tienes alguna sugerencia de documentación o videos que ayuden a elegir el mejor?
Análisis y modelado de datos básicosExploración y visualización de datosRe: Análisis de la bondad del ajuste: valores p de Shapiro-Wilk y Anderson-Darling1: Están en conflicto porque utilizan diferentes matemáticas. Anderson-Darling es más sensible a la desviación en la cola. En tu imagen, parece bastante "ondulado" en todo ese gráfico normal. Por lo tanto, Shapiro-Wilk podría estar detectando esa señal no normal que está fuera de las colas.
2: ¿Malo? No lo sé. Es una estrategia aceptada para explorar qué transformación de datos funcionaría mejor en la situación. No estoy seguro de decir que es mala. Sin embargo, me gusta más la transformación de Box-Cox que cualquier otra cuando resuelve la no normalidad.
Aunque creo que todo el planteamiento es más una conversación académica. ¿Qué pasa si esto sucede y por qué es importante realizar pruebas de normalidad? Yo diría que es casi seguro que el tiempo que se dedique a esto sea solo un procesamiento adicional y no sea necesario para el contexto de una decisión comercial. Sus datos parecen números financieros y muy grandes, por lo que no es sorprendente que no sean normales.
Un mayor contexto podría generar más respuestas.
Re: Análisis de la bondad del ajuste: valores p de Shapiro-Wilk y Anderson-DarlingHola @ACraig : Una nota sobre la "transformación" del cuantil normal. Independientemente de cuál sea la distribución original, la "transformación" del cuantil normal, por definición, siempre dará como resultado una distribución normal. Es una función de los rangos, no de los datos brutos. Por lo tanto, no es una transformación adecuada a la normalidad.
Como dijo @awelsh , el contexto es importante aquí; ¿por qué estás probando la normalidad?
Re: Análisis de la bondad del ajuste: valores p de Shapiro-Wilk y Anderson-DarlingHola, ¡agradezco mucho tus comentarios! En respuesta a tu pregunta, quería realizar algunas pruebas ANOVA.
Re: Análisis de la bondad del ajuste: valores p de Shapiro-Wilk y Anderson-Darling¿Está combinando todo el conjunto de datos en los ejemplos anteriores? Podrían ser las diferencias entre las medias de los subgrupos las que están causando la no normalidad en el conjunto de datos combinado. Verifique los subgrupos individualmente para ver si no se combinan.
Alternativamente, puede utilizar algunas alternativas como gráficos de barras X y R, o el ANOVA de Welch. Si se trata de datos financieros, puede que desee probar las medianas con Mann-Whitney en lugar de las medias.
Re: Análisis de la bondad del ajuste: valores p de Shapiro-Wilk y Anderson-DarlingHola @ACraig : Para tu información, y además de los muy buenos comentarios de @awelsh , la varianza constante (las DE, para cada grupo, son similares) es más importante que la normalidad.
