Test de Shapiro-Wilk pour des échantillons supérieurs à 2 000 ?La page d'aide de JMP indique " Pour les distributions normales, le Shapirô -Le test de Wilk pour la normalité est également rapporté lorsque la taille de l'échantillon est inférieure à 2000 et qu'il n'y a pas de paramètres fixes. "
J'ai un client qui a parfois des échantillons supérieurs à 2000, mais ses procédures internes lui disent d'utiliser le test de Shapiro-Wilk. Plusieurs sources en ligne mentionnent 5000 observations comme limite supérieure de la taille de l'échantillon pour ce test. Mon client a demandé pourquoi JMP limite la disponibilité du test de Shaipiro-Wilk à 2 000 observations. Est-ce trop long à calculer ? Ou y a-t-il une autre raison ?
Re : Test de Shapiro-Wilk pour des échantillons supérieurs à 2 000 ?Si je me souviens bien, les valeurs p doivent être générées par simulation ou approximation. Il se peut que nous n'ayons généré que des valeurs allant jusqu'à N=2000.
Re : Test de Shapiro-Wilk pour des échantillons supérieurs à 2 000 ?Seul le développeur le saurait.Comme @DonMcCormack mentionne que la valeur p est simulée pour ce test. SAS limite également la taille de l'échantillon <=2000 ; pour n>2000 le test n'est pas disponible ; Voir les détails PROC UNIVARIATE : Tests d'adéquation de l'ajustement (sas.com)
Re : Test de Shapiro-Wilk pour des échantillons supérieurs à 2 000 ?Voici une belle référence qui décrit et compare plusieurs types de tests de normalité différents ( https://www.tandfonline.com/doi/pdf/10.1080/00949655.2010.520163 ).Nous avions brièvement supprimé le test SW (je pense en v14 ou 15.0), mais l'avons ramené en v15.1 pour des tailles d'échantillon inférieures à 2000. Ma question est pourquoi testent-ils la normalité avec une taille d'échantillon aussi grande ?Pour les statistiques d'échantillon, le théorème central fonctionnera pour eux, et pour l'analyse où la distribution réelle est importante (estimation des intervalles de tolérance, des centiles, des cartes de contrôle, peut-être ?). alors les statistiques empiriques devraient suffire.
Re : Test de Shapiro-Wilk pour des échantillons supérieurs à 2 000 ?Merci @SamGardner Je lui ai mentionné qu'avec un si grand échantillon, le test serait probablement significatif, même avec le plus petit écart par rapport à la normalité. Il s'en est rendu compte et a accepté, et je n'ai plus insisté. Il est statisticien chez Abbott Laboratories. Je vais utiliser les informations que vous avez fournies pour le suivre. Merci @DonMcCormack et @jiancao aussi pour avoir répondu.
Re : Test de Shapiro-Wilk pour des échantillons supérieurs à 2 000 ?Le article wikipédia sur ce test donne plus de détails et de contexte.La raison pour laquelle il est limité à 2000 est que la statistique de test utilise des coefficients basés sur la valeur attendue de et l'inverse de la matrice de covariance des statistiques d'ordre de distribution normale standard.Ceci est fastidieux en termes de calcul et lorsque la méthode a été proposée pour la première fois, il n'était pas possible de le faire pour des échantillons de grande taille.Le SW a été proposé à l'origine pour des tailles d'échantillon allant jusqu'à 50. Royston à la fin des années 80/début des années 90 a proposé une méthode approximative pour calculer ces coefficients ou la taille des échantillons n = 3 à n = 1999.Je n'ai trouvé aucune autre recherche qui ait étendu le test SW à des échantillons de plus grande taille.
Re : Test de Shapiro-Wilk pour des échantillons supérieurs à 2 000 ?Je creuse un peu plus cela pour un autre client et je voulais profiter de l'occasion pour consolider ma réflexion et merci les gars d'avoir mis cela sur la communauté. Pour réitérer, selon la documentation SAS, une transformation de normalisation est utilisée sur la statistique de test [Shapiro-Wilk] W pour déterminer les valeurs de p pour le test (pour une taille d'échantillon, n ≥ 4).Les constantes utilisées dans cette transformation de normalisation sont dérivées des résultats de simulation qui dépendent de n. Mais les valeurs p elles-mêmes ne sont pas simulées pour le test.Les constantes sont là jusqu'à un n de 1 999 ; ainsi, le test ne calculera pas dans JMP ou SAS pour n ≥ 2000. Je pense que nous aurions pu aller jusqu'à 5000 et je suppose que c'est juste un précédent historique (qui peut provenir ou non d'une référence de publication).Pourquoi le plafonner à une « grande » taille d'échantillon ? (hormis les contraintes de calcul au moment où la méthode a été développée, comme @SamGardner mentionné)
Pour SW, ce n'est pas lié au temps de calcul (bien que pour AD, ça l'est). Je crois que c'est lié au fait que W est calculé à l'aide d'un calcul de covariance (sur la matrice des statistiques d'ordre normal comme @SamGardner mentionné).La covariance augmente avec l'augmentation de n (ou ddl) et cela peut biaiser l'estimation de la statistique de test (en gonflant son erreur standard).2000 aurait pu être un choix arbitraire, mais l'idée en le plafonnant est que nous voulons minimiser ce risque d'inflation de covariance, donc la statistique de test W (qui est une fonction de n) est un estimateur sans biais (sur des milliers d'échantillons de taille n ).C'est mon point de vue.
Acceptez les mises en garde concernant les tests de normalité sur un échantillon aussi important.Bien sûr, cela dépend de l'application, mais dans mon produit med-device mfg. expérience, je n'ai jamais vu des tailles d'échantillons aussi importantes provenir d'un processus continu (c'est-à-dire un processus avec une seule source de variabilité).
(Diapositives fournies avec l'aimable autorisation de JMP Education)
Habituellement, cela ressemble à ceci à la place, où vous pouvez remplacer le mot "Batch" par Lot (et où les tailles de lot étaient généralement de l'ordre de plusieurs centaines).
Re : Test de Shapiro-Wilk pour des échantillons supérieurs à 2 000 ?La contrainte de temps de calcul porte sur le temps qu'il faut pour utiliser réellement la simulation ou l'intégration numérique et les opérations matricielles pour déterminer les coefficients SW.J'ai essayé une approche de simulation et le tracé du temps de calcul en fonction de n est présenté ici.De plus, les besoins en mémoire augmentent, au moins l'ordre n ^ 2, il devient donc tout simplement impossible de le faire.De plus, pour chaque taille d'échantillon n, vous devez stocker une liste de n coefficients à utiliser, de sorte que le stockage total nécessaire augmente n*(n+1)/2 qui est également d'ordre n^2.
Mais @PatrickGiuliano est exact qu'avec l'informatique moderne, cela pourrait probablement être étendu à des tailles d'échantillon supérieures à 2000, mais pas de manière spectaculaire.
