REMARQUE : Cet article a été initialement publié dans JMPer Cable, numéro 15, été 2004.
John Sall, vice-président exécutif, SAS Institute Inc. @John_Sall
Bradley Jones, développement JMP @bradleyjones
Toute procédure statistique implique des hypothèses. On nous apprend à craindre la violation de ces hypothèses. Par exemple, les procédures standard de comparaison des moyennes, la méthode à deux échantillons t- test, le jumelé t -test et ANOVA incluent tous l'hypothèse selon laquelle l'erreur résiduelle est normalement distribuée. Si l'erreur est normalement distribuée et que toutes les autres hypothèses sont vérifiées, alors toutes les statistiques de test ont leurs distributions revendiquées, et les intervalles de confiance et les tests d'hypothèses peuvent être fiables. Nous disposons même d'une riche source d'outils analytiques pour sonder nos hypothèses, tels que les fonctionnalités de la plate-forme de distribution qui testent et représentent la distribution normale. Que se passe-t-il si les résidus ne sont pas normalement distribués ? Dans quelle mesure un praticien devrait-il s’inquiéter de savoir si les résidus sont normaux ? Peu d’articles, et moins de livres, expliquent en détail à quel point il faut s’inquiéter de l’hypothèse de normalité.
Avoir des résidus normalement distribués est un problème dont nous n'avons probablement pas besoin de nous soucier beaucoup car :
- Dans de grands échantillons, il est facile de détecter une non-normalité, mais cela n'a pas d'importance.
- Dans de petits échantillons, la non-normalité peut être importante, mais vous ne pouvez pas la détecter.
Avec de grands échantillons, le théorème central limite stipule que même si les données ne sont pas normales, les statistiques de type moyenne se rapprochent des distributions normales à mesure que la taille de l'échantillon augmente. Avec de petits échantillons, les statistiques du test ne sont pas nécessairement normales, mais nous ne disposons pas d'un échantillon suffisamment grand pour le dire.
Les développeurs JMP reçoivent fréquemment des demandes pour implémenter un test de normalité résiduelle en tant que fonctionnalité pratique pour nos plates-formes d'ajustement. Mais cela ne serait utile que s’il existait des tailles d’échantillon pour lesquelles la non-normalité pouvait être détectée et prise en compte. Enquêteons en utilisant la simulation.
Pour notre simulation, nous comparons les moyennes de deux groupes en utilisant deux distributions d'erreurs non normales différentes : une double exponentielle et une normale contaminée par le décalage. La double exponentielle est symétrique, mais leptokurtotique, c'est à dire , beaucoup plus pointue et ayant des queues beaucoup plus lourdes que la distribution normale. Le décalage de la normale contaminée est une distribution normale asymétrique vers la droite en ajoutant un décalage de trois écarts types dans 5 % des échantillons sélectionnés au hasard.
La double exponentielle est simulée par cette formule JMP :
if(randomUniform()>0.5,1,-1)*log(randomUniform())
La distribution contaminée par décalage utilise cette formule JMP :
10+5*(randomNormal() + (randomUniform()<0.05)*3)
Celles-ci sont censées être caractéristiques d’une non-normalité forte, mais pas extrême, que vous pourriez voir dans les données réelles.
La figure 1 montre 10 000 points de la double exponentielle simulée et la figure 2 montre les distributions contaminées par décalage. La ligne diagonale rouge continue indique à quoi ressembleraient les données si elles correspondaient à une distribution normale. Notez que les données se situent en dessous de la ligne pour les petits quantiles et au-dessus de la ligne pour les grands quantiles. Il est caractéristique des distributions leptokurtotiques. Ils ont une masse moyenne abondante avec des queues longues mais peu peuplées.
Les données du tracé des quantiles normaux pour la distribution contaminée par déplacement (Figure 2) se situent au-dessus de la ligne diagonale rouge continue pour les grands quantiles. Ceci est caractéristique des distributions asymétriques à droite. Si les données avaient été distribuées normalement, le haut de l'histogramme se serait terminé autour de 30 au lieu de continuer un peu au-delà de 40.
Fig. 1: Distribution results for the double-exponential distribution.Fig. 1: Distribution results for the double-exponential distribution.Fig. 1: Distribution results for the double-exponential distribution.Fig. 1: Distribution results for the double-exponential distribution.Fig. 1 : Résultats de distribution pour la distribution double exponentielle.
Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2 : Résultats de distribution pour les distributions de déplacement-contamination.
Un script JSL a été exécuté et a généré 10 000 échantillons de Monte Carlo avec 10 observations pour ces deux distributions non normales.Le script (MonteCarlo.jsl) est joint. (REMARQUE : l'exécution du script prend un certain temps.) Chaque échantillon a été divisé en deux groupes de taille égale. De par leur conception, il n’y a aucune différence entre les moyens des deux groupes. Nous avons également généré 10 000 échantillons pour la distribution normale standard à titre de contrôle. Pour chaque échantillon, nous avons effectué une analyse unidirectionnelle pour tester la différence des moyennes et une distribution pour tester la normalité des résidus. Nous avons répété toute cette procédure pour des échantillons de taille 20, 30, 50, 70 et 100.
Test d'égalité des moyennes lorsqu'il n'y a pas de différence dans les moyennes de la population
Examinons d’abord les parcelles de nos 10 000 p -valeurs pour les distributions non normales. N'oubliez pas que notre procédure est conçue de manière à ce qu'il n'y ait pas de véritable différence dans les moyennes de chaque échantillon. En raison de la variation aléatoire, le p -les valeurs de nos 10 000 analyses unidirectionnelles doivent être uniformément réparties entre zéro et un. La fonction de distribution uniforme est la diagonale F(x) = x.
Pour produire les parcelles des figures 3a et 3b, nous avons d'abord trié les 10 000 p -valeurs. Le oui -l'axe est la proportion des 10 000 p -valeurs inférieures ou égales à une probabilité de signification donnée. Le X -l'axe montre les probabilités de signification ( p valeurs). Chaque taille d’échantillon est affichée dans une couleur différente.
Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a : Diagramme de probabilité des valeurs p pour la distribution double exponentielle.
Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b : Diagramme de probabilité des valeurs p pour la distribution contaminée par déplacement.
Pour les placettes et toutes les tailles d’échantillon, les distributions des p -les valeurs semblent proches de la ligne diagonale de la fonction de distribution cumulative uniforme. Comme nous l'espérions, ni la modification de la distribution ni la modification de la taille de l'échantillon n'ont beaucoup d'effet sur l'exactitude de la probabilité de signification du test ANOVA pour des moyennes égales.
Regardons de plus près l'échelle basse proche de 0,05 où nous jugeons la signification. Les tracés des figures 4a et 4b agrandissent la zone.
Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a : Vue à échelle étendue du tracé de probabilité de la valeur p pour une distribution double exponentielle non normale.
Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution. Fig. 4b : Vue à échelle étendue du tracé de probabilité de la valeur p pour une distribution non normale contaminée par déplacement.
A noter que la diagonale rouge correspondant au test d'égalité des moyennes pour deux groupes de cinq observations s'écarte légèrement en dessous de la droite y = x. Qu'est-ce que cela signifie?
Nous savons que si nous choisissons une probabilité de signification de 0,05, nous rejetterons l’hypothèse selon laquelle nos moyennes sont égales dans 5 % de nos expériences en raison des aléas du hasard, même si les moyennes sont réellement égales. Autrement dit, dans 5 % des cas, nous commettrons une erreur de type I : nous rejetterons l’hypothèse selon laquelle les moyennes sont égales lorsque l’hypothèse est vraie.
Ce taux d'erreur de type I de 5 % est intégré et correspond à ce à quoi nous nous attendons si nous choisissons une probabilité de signification de 0,05. Si cela semble représenter trop d’erreurs, vous devez alors choisir une probabilité de signification plus faible.
Lorsque la ligne diagonale rouge croise la ligne pointillée verticale x = 0,05, son oui -la valeur est de 0,043. Cela signifie qu'au lieu de rejeter l'hypothèse selon laquelle nos moyennes sont égales 5 % du temps, nous n'avons rejeté que 4,3 % du temps. Nous appelons cela un résultat conservateur car nous commettons moins d’erreurs de type I que prévu. Si vous voulez rater, il vaut mieux rater de manière conservatrice.
D'un autre côté, supposons qu'une ligne ait traversé la ligne pointillée verticale à 0,05 pour une valeur CumProb de 0,06. Ensuite, au lieu de voir les 5 % d’erreurs de type I attendus, nous verrions en réalité 6 % d’erreurs de type I. Nous qualifions un tel test de trop libéral car le taux d’erreur réel est plus élevé que prévu.
Il est rassurant de constater que dans le seul cas où les lignes s’écartent de la ligne des 45 degrés, c’est du côté conservateur. Le cas contaminé par le quart de travail présente également le n =10 cas décalé du côté conservateur, mais pas autant que le double exponentiel.
La figure 5 montre la simulation de Monte Carlo avec une courbe normale pure pour montrer la variation aléatoire naturelle dans l'étude de Monte Carlo.
Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5 : Vue à échelle étendue du tracé de probabilité de la valeur p pour la distribution normale standard.
Tester la non-normalité
La question suivante est de savoir si nous pouvons détecter que les erreurs ne sont pas normales. Nous commençons par calculer les résidus de chaque analyse unidirectionnelle que nous avons effectuée auparavant. À l’aide de la plateforme de distribution, nous testons la normalité de ces résidus. Ainsi, pour chaque distribution et taille d'échantillon, nous effectuons 10 000 tests de normalité de Shapiro-Wilks. Les graphiques de la figure 6 montrent le pourcentage cumulé des résultats des tests de normalité en fonction de la probabilité de signification dans le test de Shapiro-Wilks.
Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6 : Courbes de puissance des tests de Shapiro-Wilkes pour les distributions non normales.
Que nous disent ces intrigues ? Premièrement, nous savons que dans le cas double exponentiel et dans le cas normal contaminé par le décalage, la distribution des résidus n’est pas normale. Nous voulons savoir quelle est la probabilité que notre test détecte cette non-normalité. En d’autres termes, nous voulons connaître la puissance de notre test.
Un test parfaitement puissant aurait un graphique ressemblant à la lettre grecque gamma, Γ.En revanche, un test sans puissance aurait un graphique qui ressemble à une ligne diagonale.
Pour les résidus à double distribution exponentielle, nous pouvons voir que le graphique de l'échantillon de 100 observations monte rapidement à l'extrême gauche, comme souhaité. Malheureusement, la ressemblance du graphique avec Γ se détériore à mesure que la taille de l’échantillon diminue. Lorsque la taille de l’échantillon est de 10, la fonction ressemble beaucoup plus à une ligne diagonale (pas de pouvoir de détection).
Pour les résidus distribués normaux contaminés par déplacement, le pouvoir de détection du test de Shapiro-Wilks est pire pour chaque taille d'échantillon.
Lorsque les résidus sont réellement normaux, comme le montre la figure 7, nous voyons une ligne diagonale pour chaque taille d’échantillon. C'est ce que nous voulons. Nous ne souhaitons pas détecter une non-normalité inexistante. Ici, la « puissance » du test est la probabilité d’une erreur de type I. Il est impossible qu’un test soit moins puissant que cela.
Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7 : Diagramme de puissance du test de Shapiro-Wilkes pour la distribution normale standard.
Maintenant, développons le p -zone de valeur afin que nous puissions examiner la puissance à alpha = 0,05, comme le montrent les figures 8a et 8b. La courbe inférieure (taille de l'échantillon n = 10) sur la figure 8 coupe la ligne de grille verticale x=0,05 à la valeur 0,10. Cela signifie que si la probabilité de signification de Shapiro-Wilks est de 0,05, vous avez 10 % de chances de détecter le fait que les résidus ne sont pas normaux. On dit que la puissance du test de Shapiro-Wilks est de 10 %. Ce n'est pas impressionnant.
Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a : Courbes de puissance à échelle étendue pour une distribution non normale double exponentielle.
Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b : Diagramme de puissance à échelle élargie pour une distribution non normale contaminée par un déplacement.
Une autre façon de dire cela est que la probabilité d’une erreur de type II est de 90 %. Autrement dit, dans 90 % des cas, le test de Shapiro-Wilks (étant donné cette distribution d’erreurs et ce niveau de signification) échouera à rejeter à tort l’hypothèse des résidus normaux.
En revanche, la courbe supérieure ci-dessus (taille de l'échantillon n = 100) traverse la ligne de grille verticale x=0,05 à la valeur 0,78. La puissance de ce test est donc de près de 80 %.
Les courbes de puissance ont une forme similaire pour les résidus normaux contaminés par le décalage, mais la puissance résultante est encore moindre. Par exemple, la courbe supérieure (taille de l'échantillon n = 100) franchit la ligne 0,05 à environ 0,63 (la puissance est de 63 %).
Nous voyons donc que pour un petit nombre d’observations, vous ne pouvez pas détecter de non-normalité. Pour un grand nombre d'observations, peu importe si les erreurs sont anormales, car notre taux d'erreur de type I simulé correspondait au taux attendu pour de grandes tailles d'échantillon.
Cette étude tendrait à plaider en faveur de la non-implémentation d’un test de normalité dans les plateformes d’essayage. L’inclusion de cette fonctionnalité ne ferait qu’encourager les gens à s’inquiéter de quelque chose qu’ils ne peuvent pas voir ou qui n’a pas d’importance.
Mettre en place des fonctionnalités graphiques et de diagnostic pour la distribution résiduelle est une autre affaire. Au lieu de tester, vous recherchez des anomalies graphiques, comme des valeurs aberrantes, ou un modèle qui pourrait être un indice sur une structure cachée du mode. Les valeurs aberrantes et les tendances constituent souvent le principal indice d’une découverte importante.
L'un des commandements de W. Edwards Deming était « Chasser la peur », mais en tant que statisticiens, nous faisons généralement le contraire, en instillant des peurs irrationnelles chez nos clients et nos étudiants. Avec cette étude, que vous pouvez facilement reproduire, j’espère que vous êtes désormais assez courageux pour combattre la « leptokurtosiphobie ».
N'est-il pas agréable d'avoir un souci de moins ?
