414327_es-ES

liliconcom

Prueba de normalidad

Quería obtener Shapiro Wilks Test para una distribución pero no puedo obtenerlo. Probé el método publicado en la discusión sobre instaladores heredados. Eso solo me da la prueba KSL. De lo contrario, si no uso instaladores heredados, me da la prueba de Anderson-Darlling. El tamaño de mi muestra es extremadamente grande, >30k, no estoy seguro si eso tiene algo que ver. Gracias por ayudar

AnalíticaRe: Prueba de normalidad

La mayoría de las estadísticas que nos enseñan se desarrollaron hace 80-100 años, cuando las muestras pequeñas eran la regla. Entonces, el problema era: "¿Qué puedo aprender de manera convincente o decidir con una pequeña muestra?" Entonces comenzaron las técnicas inferenciales. Tales situaciones todavía existen (p. ej., no hay datos disponibles, es necesario experimentar...) pero surgió una nueva situación hace 25 años. Ahora tenemos bases de datos masivas de las cuales aprender. La inferencia no tiene sentido. Todo es estadísticamente significativo. Es decir, incluso las diferencias más pequeñas o las estimaciones de parámetros más pequeñas son estadísticamente significativas. Entonces, el modelado predictivo no intenta inferir significado. En su lugar, la atención se centra en el rendimiento predictivo a través de la selección de características/modelos. Es un desafío diferente y requiere una mentalidad diferente.

 

Además, en este caso específico, ¿por qué se supone una distribución normal? ¿Qué se supone que se distribuye normalmente? ¿Datos? ¿Un estimado? ¿Y cuáles son las consecuencias de la no normalidad? ¿Cuánta desviación de lo normal es necesaria para comprometer el resultado o la decisión? ¿Qué tan robusto es el método?

Re: Prueba de normalidad

Gracias @Mark_Bailey por este comentario. Este es un punto muy importante con todas las pruebas de significación estadística. desafortunadamente, demasiadas personas se fijan en los valores de p sin mirar las imágenes o el tamaño de los coeficientes. En algunos campos de investigación, esto se evita parcialmente mediante el uso de tamaños de muestra mínimos para detectar una diferencia significativa en la práctica.

Sin embargo, es muy difícil explicarles a algunas personas, incluidos revisores e investigadores, que es muy fácil obtener una significación estadística que no tiene sentido.  

Re: Prueba de normalidad

Su gran muestra N > 30,000 conduce a la detección de características no normales (desviaciones de la CDF normal ideal) que pueden ser estadísticamente significativas pero prácticamente sin importancia.

Re: Prueba de normalidad

@tonya_mauldin explicó esto muy bien cuando los cambios se hicieron por primera vez en un Publicación del blog de JMP .

Re: Prueba de normalidad

Estoy confundido sobre cómo interpretarlo. Todos mis valores p de Anderson-Darling para ~50 variables son significativos, pero las distribuciones de muchas de ellas parecen normales...

Re: Prueba de normalidad

Anderson-Darling es una prueba más poderosa y es la que sugerimos usar.

Re: Prueba de normalidad

Gracias por tu mensaje. Entonces, entre KSL y Anderson-Darling, ¿qué prueba es un buen sustituto para Shapiro Wilks?

Re: Prueba de normalidad

Para las distribuciones heredadas, se informa la prueba de normalidad de Shapiro-Wilk cuando el tamaño de la muestra es menor o igual a 2000. La prueba KSL se calcula para muestras superiores a 2000.Cuando el tamaño de la muestra es grande, la prueba de Shapiro-Wilk tiene una gran potencia. Por lo tanto, cualquier pequeña diferencia entre su distribución y la hipótesis nula es significativa y conduce al rechazo de la hipótesis nula.