REMARQUE : cet article a été initialement publié dans JMPer Cable, numéro 15, été 2004.
John Sall, vice-président exécutif, SAS Institute Inc. @John_Sall
Bradley Jones, développement JMP @bradleyjones
Toute procédure statistique implique des hypothèses. On nous apprend à craindre la violation de ces hypothèses. Par exemple, les procédures standard de comparaison des moyennes, la méthode à deux échantillons t- test, la paire t -test et ANOVA incluent tous l'hypothèse que l'erreur résiduelle est normalement distribuée. Si l'erreur est distribuée normalement et que toutes les autres hypothèses sont valables, alors toutes les statistiques de test ont leurs distributions revendiquées, et les intervalles de confiance et les tests d'hypothèses peuvent être fiables. Nous disposons même d'une riche source d'outils analytiques pour sonder nos hypothèses, telles que les fonctionnalités de la plate-forme de distribution qui testent et tracent un graphique par rapport à la distribution normale. Que se passe-t-il si les résidus ne sont pas distribués normalement ? Dans quelle mesure un praticien devrait-il s'inquiéter de savoir si les résidus sont normaux ? Peu d'articles, et moins de livres, expliquent en détail à quel point il faut s'inquiéter de l'hypothèse de normalité.
Avoir des résidus normalement distribués est un problème dont nous n'avons probablement pas besoin de nous inquiéter car :
- Dans les grands échantillons, il est facile de détecter la non-normalité, mais cela n'a pas d'importance.
- Dans de petits échantillons, la non-normalité peut avoir de l'importance, mais vous ne pouvez pas la détecter.
Avec de grands échantillons, le théorème central limite stipule que même si les données ne sont pas normales, les statistiques de type moyenne se rapprochent des distributions normales à mesure que la taille de l'échantillon augmente. Avec de petits échantillons, la statistique de test n'est pas nécessairement normale, mais nous n'avons pas un échantillon suffisamment grand pour le dire.
Les développeurs JMP reçoivent fréquemment des demandes de mise en œuvre d'un test de normalité résiduelle comme fonctionnalité pratique pour nos plates-formes d'ajustement. Mais cela ne serait utile que s'il existait des tailles d'échantillon pour lesquelles la non-normalité pouvait être détectée et prise en compte. Faisons une enquête, en utilisant la simulation.
Pour notre simulation, nous comparons les moyennes de deux groupes en utilisant deux distributions d'erreur non normales différentes : une double exponentielle et une normale contaminée par décalage. La double exponentielle est symétrique, mais leptokurtotique, c'est à dire , beaucoup plus pointue et ayant des queues beaucoup plus lourdes que la distribution normale. La normale contaminée par décalage est une distribution normale biaisée vers la droite en ajoutant un décalage de trois écarts-types dans 5 % des échantillons sélectionnés au hasard.
La double exponentielle est simulée par cette formule JMP :
if(randomUniform()>0.5,1,-1)*log(randomUniform())
La distribution contaminée par décalage utilise cette formule JMP :
10+5*(randomNormal() + (randomUniform()<0.05)*3)
Celles-ci sont censées être caractéristiques d'une non-normalité forte, mais pas extrême, que vous pourriez voir dans des données réelles.
La figure 1 montre 10 000 points de la double exponentielle simulée et la figure 2 montre les distributions contaminées par décalage. La ligne diagonale rouge continue est une référence pour l'apparence des données si elles correspondaient à une distribution normale. Notez que les données se situent sous la ligne pour les petits quantiles et au-dessus de la ligne pour les grands quantiles. Son est caractéristique des distributions leptokurtotique. Ils ont beaucoup de masse de probabilité au milieu avec des queues longues mais peu peuplées.
Les données du graphique quantile normal pour la distribution contaminée par décalage (figure 2) tombent au-dessus de la ligne diagonale rouge continue pour les grands quantiles. Ceci est caractéristique des distributions asymétriques à droite. Si les données avaient été distribuées normalement, le haut de l'histogramme se serait terminé autour de 30 au lieu de continuer un peu après 40.
Fig. 1: Distribution results for the double-exponential distribution.Fig. 1 : Résultats de distribution pour la distribution double exponentielle.
Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2 : Résultats de distribution pour les distributions de contamination par déplacement.
Un script JSL a été exécuté qui a généré 10 000 échantillons de Monte Carlo avec 10 observations pour ces deux distributions non normales.Le script (MonteCarlo.jsl) est joint. (REMARQUE : l'exécution du script prend un certain temps.) Chaque échantillon a été divisé en deux groupes de taille égale. Par conception, il n'y a pas de différence entre les moyennes des deux groupes. Nous avons également généré 10 000 échantillons pour la distribution normale standard comme contrôle. Pour chaque échantillon, nous avons effectué une analyse unidirectionnelle pour tester la différence des moyennes et une distribution pour tester la normalité des résidus. Nous avons répété toute cette procédure pour les échantillons de taille 20, 30, 50, 70 et 100.
Tester l'égalité des moyennes lorsqu'il n'y a pas de différence dans les moyennes de la population
Examinons d'abord les parcelles de nos 10 000 p -valeurs pour les distributions non normales. N'oubliez pas que notre procédure est conçue de manière à ce qu'il n'y ait pas de véritable différence dans les moyennes de chaque échantillon. En raison de la variation aléatoire, le p -les valeurs de nos 10 000 analyses unidirectionnelles doivent être uniformément réparties entre zéro et un. La fonction de distribution uniforme est la ligne diagonale F(x) = x.
Pour produire les graphiques des figures 3a et 3b, nous avons d'abord trié les 10 000 p -valeurs. La y -l'axe est la proportion des 10 000 p -valeurs inférieures ou égales à une probabilité de significativité donnée. La X -axe montre les probabilités de signification ( p valeurs). Chaque taille d'échantillon est affichée dans une couleur différente.
Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a : Tracé de probabilité des valeurs de p pour la distribution double exponentielle.
Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b : Diagramme de probabilité des valeurs de p pour la distribution contaminée par décalage.
Pour les deux parcelles et toutes les tailles d'échantillon, les distributions des p -les valeurs semblent proches de la ligne diagonale de la fonction de distribution cumulative uniforme. Comme nous l'espérions, ni la modification de la distribution ni la modification de la taille de l'échantillon n'ont beaucoup d'effet sur la précision de la probabilité de signification du test ANOVA pour des moyennes égales.
Regardons de plus près l'échelle basse proche de 0,05 où nous jugeons la signification. Les tracés des figures 4a et 4b agrandissent la zone.
Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a : Vue à grande échelle du diagramme de probabilité de valeur p pour une distribution double exponentielle non normale.
Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution. Fig. 4b : Vue à grande échelle du tracé de probabilité de la valeur p pour une distribution contaminée par décalage non normal.
Notez que la ligne diagonale rouge correspondant au test d'égalité des moyennes pour deux groupes de cinq observations s'écarte légèrement en dessous de la ligne y = x. Qu'est-ce que ça veut dire?
Nous savons que si nous choisissons une probabilité de signification de 0,05, nous rejetterons l'hypothèse que nos moyennes sont égales dans 5 % de nos expériences en raison des aléas du hasard même si les moyennes sont vraiment égales. Autrement dit, 5 % du temps, nous ferons une erreur de type I : nous rejetterons l'hypothèse selon laquelle les moyennes sont égales lorsque l'hypothèse est vraie.
Ce taux d'erreur de type I de 5 % est intégré et ce à quoi nous nous attendons si nous choisissons une probabilité de signification de 0,05. Si cela semble être trop d'erreurs, vous devez choisir une probabilité de signification plus petite.
Lorsque la ligne diagonale rouge croise la ligne pointillée verticale x = 0,05, son y -la valeur est de 0,043. Cela signifie qu'au lieu de rejeter l'hypothèse que nos moyennes sont égales 5 % du temps, nous n'avons rejeté que 4,3 % du temps. Nous appelons cela un résultat prudent car nous commettons moins d'erreurs de type I que prévu. Si vous allez rater, il vaut mieux rater prudemment.
D'autre part, supposons qu'une ligne ait traversé la ligne pointillée verticale à 0,05 à une valeur CumProb de 0,06. Ensuite, au lieu de voir les 5 % d'erreurs de type I attendues, nous verrions en fait 6 % d'erreurs de type I. Nous appelons un tel test trop libéral parce que le taux d'erreur réel est plus grand que prévu.
Il est rassurant que dans le seul cas où les lignes s'écartent de la ligne des 45 degrés, c'est du côté conservateur. Le cas contaminé par l'équipe a également le n =10 cas déplacé vers le côté conservateur, mais pas autant que la double exponentielle.
La figure 5 montre la simulation de Monte Carlo avec une courbe normale pure pour montrer la variation aléatoire naturelle dans l'étude de Monte Carlo.
Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5 : Vue à grande échelle du tracé de probabilité de la valeur p pour la distribution normale standard.
Tester la non-normalité
La question suivante est de savoir si nous pouvons détecter que les erreurs ne sont pas normales. Nous commençons par calculer les résidus de chaque analyse unidirectionnelle que nous avons effectuée auparavant. À l'aide de la plate-forme de distribution, nous testons la normalité de ces résidus. Ainsi, pour chaque distribution et taille d'échantillon, nous effectuons 10 000 tests de Shapiro-Wilks pour la normalité. Les tracés de la figure 6 montrent le pourcentage cumulé des résultats du test de normalité en fonction de la probabilité de signification dans le test de Shapiro-Wilks.
Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6 : Graphiques de puissance des tests de Shapiro-Wilkes pour les distributions non normales.
Que nous disent ces parcelles ? Premièrement, nous savons que dans le cas double exponentiel et dans le cas normal contaminé par le décalage, la distribution des résidus n'est pas normale. Nous voulons savoir quelle est la probabilité que notre test détecte cette non-normalité. En d'autres termes, nous voulons connaître la puissance de notre test.
Un test parfaitement puissant aurait un graphique qui ressemblait à la lettre grecque gamma, Γ.En revanche, un test sans puissance aurait un graphique qui ressemble à une ligne diagonale.
Pour les résidus à double distribution exponentielle, nous pouvons voir que le graphique de l'échantillon de 100 observations augmente rapidement à l'extrême gauche, comme souhaité. Malheureusement, la ressemblance du graphique avec Γ se détériore à mesure que la taille de l'échantillon diminue. Lorsque la taille de l'échantillon est de 10, la fonction ressemble beaucoup plus à la ligne diagonale (pas de puissance de détection).
Pour les résidus distribués normaux contaminés par le décalage, la puissance de détection du test de Shapiro-Wilks est pire pour chaque taille d'échantillon.
Lorsque les résidus sont vraiment normaux, comme le montre la figure 7, nous voyons une ligne diagonale pour chaque taille d'échantillon. C'est ce que nous voulons. Nous ne souhaitons pas détecter une non-normalité inexistante. Ici, la "puissance" du test est la probabilité d'une erreur de type I. Il est impossible qu'un test soit moins puissant que cela.
Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7 : Diagramme de puissance du test de Shapiro-Wilkes pour la distribution normale standard.
Développons maintenant le p -value area afin que nous puissions examiner la puissance à alpha = 0,05, comme le montrent les figures 8a et 8b. La courbe inférieure (taille de l'échantillon n = 10) de la Figure 8 croise la ligne de grille verticale x=0,05 à la valeur 0,10. Cela signifie que si la probabilité de signification de Shapiro-Wilks est de 0,05, vous avez 10 % de chances de détecter le fait que les résidus ne sont pas normaux. On dit que la puissance du test de Shapiro-Wilks est de 10 %. Ce n'est pas impressionnant.
Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a : Graphiques de puissance à échelle élargie pour une distribution non normale à double exponentielle.
Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b : Diagramme de puissance à échelle élargie pour une distribution non normale contaminée par décalage.
Une autre façon de dire cela est que la probabilité d'une erreur de type II est de 90 %. Autrement dit, 90 % du temps, le test de Shapiro-Wilks (compte tenu de cette distribution d'erreur et de ce niveau de signification) échouera à tort à rejeter l'hypothèse de résidus normaux.
En revanche, la courbe supérieure ci-dessus (taille de l'échantillon n = 100) croise la ligne de grille verticale x=0,05 à la valeur 0,78. Ainsi, la puissance de ce test est de près de 80 %.
Les courbes de puissance ont une forme similaire pour les résidus normaux contaminés par le décalage, mais la puissance résultante est encore moindre. Par exemple, la courbe supérieure (taille d'échantillon n = 100) croise la ligne 0,05 à environ 0,63 (la puissance est de 63 %).
Donc, nous voyons que pour un petit nombre d'observations, vous ne pouvez pas détecter la non-normalité. Pour un grand nombre d'observations, peu importe si les erreurs sont non normales, car notre taux d'erreur de type I simulé correspondait au taux attendu pour les échantillons de grande taille.
Cette étude tendrait à soutenir la non-implantation d'un test de normalité dans les plateformes d'appareillage. L'inclusion de cette fonctionnalité ne ferait qu'encourager les gens à s'inquiéter de quelque chose qu'ils ne peuvent pas voir ou qui n'a pas d'importance.
L'ajout de caractéristiques graphiques et de diagnostic pour la distribution résiduelle est une autre affaire. Au lieu de tester, vous recherchez des anomalies graphiques, comme des valeurs aberrantes, ou un modèle qui pourrait être un indice d'une structure cachée du mode. Les valeurs aberrantes et les modèles sont souvent le principal indice d'une découverte importante.
L'un des commandements de W. Edwards Deming était « chasser la peur », mais en tant que statisticiens, nous faisons généralement le contraire, instillant des peurs irrationnelles chez nos clients et étudiants. Avec cette étude, que vous pouvez facilement dupliquer, j'espère que vous êtes maintenant assez courageux pour combattre la "leptokurtosiphobie".
N'est-il pas agréable d'avoir une chose de moins à s'inquiéter ?
