¿Prueba de Shapiro-Wilk para muestras mayores de 2000?La página de ayuda de JMP dice " Para distribuciones normales, la Shapiro -La prueba de normalidad de Wilk también se informa cuando el tamaño de la muestra es inferior a 2000 y no hay parámetros fijos. "
Tengo un cliente que a veces tiene muestras de más de 2000, pero sus procedimientos internos le dicen que use la prueba de Shapiro-Wilk. Varias fuentes en línea mencionan 5000 observaciones como el límite superior del tamaño de la muestra para esta prueba. Mi cliente preguntó por qué JMP limita la disponibilidad de la prueba de Shaipiro-Wilk a 2000 observaciones. Tardaría mucho en calcular? ¿O hay alguna otra razón?
Re: ¿Prueba de Shapiro-Wilk para muestras mayores de 2000?Si no recuerdo mal, los valores p deben generarse mediante simulación o aproximación. Podría ser que solo hayamos generado valores hasta N=2000.
Re: ¿Prueba de Shapiro-Wilk para muestras mayores de 2000?Sólo el desarrollador lo sabría.Como @DonMcCormack menciona que el valor p se simula para esta prueba. SAS también limita el tamaño de la muestra <=2000; para n>2000 la prueba no está disponible; Ver los detalles PROC UNIVARIATE: Pruebas de bondad de ajuste (sas.com)
Re: ¿Prueba de Shapiro-Wilk para muestras mayores de 2000?Aquí hay una buena referencia que describe y compara varios tipos diferentes de pruebas de normalidad ( https://www.tandfonline.com/doi/pdf/10.1080/00949655.2010.520163 ).Eliminamos brevemente la prueba SW (creo que en v14 o 15.0), pero la volvimos a traer en v15.1 para tamaños de muestra inferiores a 2000. Mi pregunta es ¿por qué están probando la normalidad con un tamaño de muestra tan grande?Para las estadísticas de muestra, el teorema central funcionará para ellos y para el análisis donde la distribución real es importante (¿estimación de intervalos de tolerancia, percentiles, gráficos de control, tal vez?). entonces las estadísticas empíricas deberían estar bien.
Re: ¿Prueba de Shapiro-Wilk para muestras mayores de 2000?Gracias @SamGardner Le mencioné que con un tamaño de muestra tan grande, la prueba probablemente sería significativa incluso con la desviación más pequeña de la normalidad. Se dio cuenta de eso y estuvo de acuerdo, y no presioné más. Es estadístico en Abbott Laboratories. Usaré la información que proporcionaste para hacer un seguimiento con él. Gracias @DonMcCormack y @jiancao por responder también.
Re: ¿Prueba de Shapiro-Wilk para muestras mayores de 2000?El articulo de wikipedia en esta prueba da más detalles y antecedentes.La razón por la que se limita a 2000 es porque la estadística de prueba utiliza coeficientes que se basan en el valor esperado y el inverso de la matriz de covarianza de las estadísticas de orden de distribución normal estándar.Esto es computacionalmente tedioso, y cuando el método se propuso por primera vez, no era factible hacerlo para tamaños de muestra grandes.El SW se propuso originalmente para tamaños de muestra de hasta 50. A finales de los 80 y principios de los 90, Royston ideó una forma aproximada de calcular esos coeficientes o tamaños de muestra n=3 a n=1999.No he podido encontrar ninguna otra investigación que haya extendido la prueba SW a muestras de mayor tamaño.
Re: ¿Prueba de Shapiro-Wilk para muestras mayores de 2000?Estoy investigando esto un poco más para otro cliente y quería aprovechar la oportunidad para consolidar mi pensamiento y agradecerles por poner esto en la comunidad. Para reiterar, según el documento de SAS, se usa una transformación de normalización en la estadística de prueba W [Shapiro-Wilk] para determinar los valores p para la prueba (para un tamaño de muestra, n ≥ 4).Las constantes utilizadas en esa transformación de normalización se derivan de los resultados de la simulación que dependen de n. Pero los valores de p en sí mismos no se simulan para la prueba.Las constantes están ahí hasta un n de 1,999; entonces, la prueba no calculará en JMP o SAS para n ≥ 2000. Creo que podríamos haber subido a 5000 y supongo que es solo un precedente histórico (que puede provenir o no de una referencia de publicación).Sin embargo, ¿por qué limitarlo a un tamaño de muestra 'grande'? (aparte de las limitaciones computacionales en el momento en que se desarrolló el método, como @SamGardner mencionado)
Para SW, no está relacionado con el tiempo de cálculo (aunque para AD, sí lo está). Creo que está relacionado con el hecho de que W se calcula utilizando un cálculo de covarianza (en la matriz de estadísticas de orden normal como @SamGardner mencionado).La covarianza aumenta con el aumento de n (o dof) y eso puede sesgar la estimación de la estadística de prueba (inflando su error estándar).2000 podría haber sido una elección arbitraria, pero la idea de limitarlo es que queremos minimizar el riesgo de inflación de covarianza, por lo que el estadístico de prueba W (que es una función de n) es un estimador imparcial (sobre miles de muestras de tamaño n ).Esa es mi forma de verlo.
De acuerdo con las precauciones sobre la realización de pruebas de normalidad en un tamaño de muestra tan grande.Por supuesto, depende de la aplicación, pero en mi producto med-device mfg. experiencia, nunca había visto tamaños de muestra tan grandes provenientes de un proceso continuo (es decir, uno con una sola fuente de variabilidad).
(Diapositivas cortesía de JMP Education)
Por lo general, se ve así, donde puede reemplazar la palabra "Lote" con Lote (y donde los tamaños de lote generalmente eran del orden de varios cientos).
Re: ¿Prueba de Shapiro-Wilk para muestras mayores de 2000?La restricción de tiempo de cálculo está en el tiempo que se tarda en utilizar realmente la simulación o la integración numérica y las operaciones matriciales para determinar los coeficientes de SW.Probé un enfoque de simulación y aquí se muestra la gráfica del tiempo de cálculo frente a n.También aumentan los requisitos de memoria, al menos el orden n ^ 2, por lo que no es factible hacer esto.Además, para cada tamaño de muestra n, debe almacenar una lista de n coeficientes que se utilizarán, por lo que el almacenamiento total necesario crece n*(n+1)/2, que también es de orden n^2.
Pero @patrickgiuliano es correcto que con la informática moderna, esto probablemente podría extenderse a tamaños de muestra superiores a 2000, pero no de manera dramática.
