Bienvenue dans mon deuxième article de blog sur Outliers. Dans cet épisode, j'examinerai l'utilisation de plages de quantiles pour détecter les valeurs aberrantes.
Dans l'épisode 1 , nous avons cherché à décrire et à identifier visuellement les valeurs aberrantes. Vous vous souviendrez peut-être qu'il existe des cas simples unidimensionnels (ou univariés) où nous devons identifier les valeurs aberrantes. Ce sont les plus faciles à identifier et les plages de quantiles sont un excellent moyen de les rechercher.
Pour la détection de valeurs aberrantes multidimensionnelles, vous devrez attendre mes prochains articles !
Que sont les quantiles ?
Les quantiles sont très faciles à comprendre. Disons que nous avons une série de 20 nombres. Nous pouvons trier les nombres du plus bas au plus élevé. Nous pouvons ensuite regrouper ces points en quantiles, qui sont identifiés par des points de coupure dans les données triées qui décrivent le point en dessous duquel X % des données se situent.
Notez que les quantiles sont généralement exprimés sous forme de fraction (de 0 à 1). Ils correspondent exactement à des centiles, qui vont de 0 à 100. Je les utiliserai indifféremment tout au long de cet article.
La figure 1 montre les 20 nombres avant et après le tri, et les quantiles 0,20 et 0,50 (ou 20 e et 50 e centiles).
Figure 1: Data from 20 point sample, random order and sortedFigure 1 : Données d'un échantillon de 20 points, ordre aléatoire et triées
Le point de coupure pour le 50 e le centile est la médiane de l'échantillon. (Dans ce cas, la médiane est numériquement 32,5, le point médian entre 40 et 25.)
Quelques autres définitions intéressantes incluent:
- Les quartiles, qui divisent les données en groupes de 25 %. Le premier quartile représente les points de données qui se situent dans les 25 % les plus bas, les points du deuxième quartile se situent entre 25 % et 50 %, et ainsi de suite.
- L'intervalle interquartile, ou IQR, qui définit l'intervalle couvert par 2 nd et 3 rd quartiles.
Notez qu'aucune hypothèse n'est faite sur la forme de la distribution lorsque l'on parle de quantiles.
Où se trouvent les calculs de quantiles dans JMP ?
Vous pouvez trouver des quantiles répertoriés à trois endroits dans JMP . La plate-forme Distribution et Graph Builder utilisent tous deux les mêmes calculs. Explore Outliers/Quantile Range Outliers offre plus de flexibilité à l'utilisateur en termes de sensibilité aux valeurs aberrantes. Regardons chacun.
Plateforme de distribution
Dans Distribution, tous les histogrammes de données continues/numériques incluent un résumé des quantiles tabulaires. Par défaut, JMP affiche plusieurs quantiles d'intérêt. L'utilisation de la plate-forme de distribution dans la colonne intitulée "Données d'origine" dans la figure 1 donne le résultat suivant :
Plusieurs quantiles communs sont présentés dans le tableau central de la figure 2. Vous pouvez modifier les quantiles affichés dans ce tableau en sélectionnant la zone réactive rouge et en choisissant Options d'affichage, puis soit Définir l'incrément quantile soit Personnaliser les quantiles.
Le graphique Box & Whisker est également affiché dans la figure 2. Les symboles affichés dans le graphique sont annotés dans la figure 2.
Les extrémités des moustaches sont les plus intéressantes pour détecter les valeurs aberrantes. Notez que la longueur des moustaches est mesurée à partir du minimum et du maximum de l'intervalle interquartile et que les moustaches se terminent au dernier point de données situé à l'intérieur de 1,5 fois cet intervalle. Il s'agit d'une règle empirique courante pour la détection des valeurs aberrantes. Les points situés en dehors de ces moustaches peuvent mériter une enquête plus approfondie.
Mais dans l'ensemble de données illustré aux figures 1 et 2, cette technique ne détecte aucune valeur aberrante. Ce n'est pas rare, en particulier avec des échantillons de petite taille.
La figure 3 montre la sortie de la plate-forme de distribution pour les 1 000 exemples de données de mon article de blog précédent. Ces échantillons sont tirés d'une distribution normale aléatoire, avec une moyenne de 0,0 et un écart type de 1,0. J'inclus également le point à X1=4 qui a été identifié visuellement comme une valeur aberrante dans mon post précédent :
Figure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3 : Sortie de la plate-forme de distribution pour un échantillon de 1 000 points de la distribution normale
Avec la plus grande taille d'échantillon, certains des points semblent maintenant être des valeurs aberrantes (au moins telles que définies par les extrémités des moustaches). Dans ce cas particulier, puisque nous savons que les données proviennent d'une population normalement distribuée avec 1 000 points, il n'est probablement pas rare de voir au moins un point avec une valeur de 4. Dans un cas réel, les points au-delà des moustaches pourraient justifier une enquête supplémentaire.
Créer des diagrammes en boîte et moustaches dans le générateur de graphiques
Vous pouvez également générer des diagrammes en boîte et moustaches dans Graph Builder. La configuration complète de Graph Builder est illustrée à la figure 4 :
Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4 : Configuration du générateur de graphiques pour le diagramme Box & Whisker (échantillon de 1 000 points de la distribution normale)
Notez l'icône du type de graphique au-dessus du graphique (entourée de rouge), qui active le type de tracé Box & Whisker.
Comme pour la plate-forme de distribution, les longueurs de moustaches sont de 1,5 * plage interquartile et s'étendent vers le bas à partir du 25 e centile et plus à partir du 75 e centile.
Explorer les valeurs aberrantes
Et si nous voulions choisir d'autres limites de moustaches ?
Comme indiqué ci-dessus, une longueur de moustache de 1,5 * IQR est une pratique courante pour identifier les valeurs aberrantes. Je crois que cela vient probablement de l'examen de grandes distributions normales d'échantillons. 1,5 * IQR au-delà de la plage interquartile peut être démontré qu'il englobe 99,30 % de la distribution normale (laissant 0,3488 % des données dans chaque queue). Cela identifierait un événement relativement rare - si vous avez une distribution normale.
Mais que se passe-t-il si vous n'avez pas de distribution normale ? Et si la distribution ressemble à ceci ?
Figure 5: Skewed distributionFigure 5 : Distribution asymétrique
La figure 5 montre une distribution asymétrique de N = 100 points, avec cinq valeurs aberrantes au-delà de la moustache supérieure, selon la méthode 1,5 * IQR. Mais le point à X1=3 est-il vraiment une valeur aberrante ? Ou peut-être y a-t-il d'autres points cachés par la moustache qui justifieraient une enquête aberrante. Comment ajuster cette règle 1.5*IQR ?
JMP vous permet de le faire sous Analyser/Screening/Explore Outliers, puis en choisissant l'option Quantile Range Outliers. L'affichage de cette option présente l'écran de saisie illustré ci-dessous pour l'échantillon de 100 points résumé à la figure 5.
Figure 6: Quantile Range Outliers user interface and sample outputFigure 6 : Interface utilisateur Quantile Range Outliers et exemple de sortie
Il existe deux entrées principales pour le panneau Quantile Range Outliers :
- Quantile de queue (TQ). Cette fraction décrit le plus petit point de coupure dans la distribution qui sera utilisé dans les calculs de moustaches. (1-Tail Quantile) décrit le point de coupure supérieur dans la distribution. La différence entre ces seuils décrit la plage utilisée dans les calculs ultérieurs.
- Pour les calculs IQR décrits précédemment, le quantile de queue serait de 0,25, indiquant que les moustaches commenceraient au 25 e et 75 e percentiles, et l'intervalle serait l'intervalle interquartile (ou 75 e -25 e centiles).
- La valeur par défaut du quantile de queue dans Quantile Range Outliers est 0,1, ce qui indique que les moustaches commenceraient au 10 e et 90 e percentiles, et la longueur dépend du (90 e -dix e centile).
- Q C'est le multiplicateur utilisé pour déterminer la longueur des moustaches.
- Dans les calculs IQR précédents, il s'agissait de 1,5, donc l'intervalle interquartile a été multiplié par 1,5 pour obtenir la longueur des moustaches.
- La valeur par défaut de Q dans Quantile Range Outliers est 3, ce qui indique que la longueur des moustaches sera définie par (90 e -dix e centile) plage multipliée par 3.
La sortie des valeurs aberrantes de la plage quantile est affichée au bas du panneau de la figure 6. Ici, nous voyons que la colonne X1 avait un 10 e centile à -1,283, et un 90 e centile à 1,65556. Les extrémités des moustaches (notées comme les seuils bas et haut [LT et HT, respectivement] dans la sortie) sont basées sur les calculs suivants :
LT = 10 e quantile – (90 e quantile – 10 e quantile) * Q
= -1,283 – (1,65556 – -1,283) * 3
= -10.099
TH = 90 e quantile + (90 e quantile – 10 e quantile) * Q
= 1,65556 + (1,65556 – -1,283) * 3
= 10,4713
Dans ce cas, il n'y a qu'une seule valeur dans la colonne qui existe au-delà du seuil haut, à une valeur de 12,0, qui s'affiche au bas du rapport illustré à la figure 6.
Sensibilité au quantile de queue et Q
La sensibilité de détection des valeurs aberrantes est clairement régie par les valeurs du quantile de queue et de Q. Le traditionnel 1.5*IQR et le 3*(90 e -dix e quantile) sont toutes deux acceptables, la première étant beaucoup plus sensible à la détection des valeurs aberrantes. Vous pouvez utiliser la plate-forme Quantile Range Outliers pour ajuster ces valeurs selon les besoins de votre cas particulier.
Bien que l'efficacité du choix du quantile de queue et de Q dépende de votre distribution particulière, nous pouvons avoir un aperçu de leur comportement en examinant les distributions normales. Vous trouverez ci-dessous un tableau montrant plusieurs combinaisons de quantile de queue et Q, ainsi que le pourcentage de valeurs dans les queues d'une distribution normale qui tomberaient en dehors des moustaches :
Table 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTableau 1 : Pourcentage de valeurs aberrantes détectées dans la distribution normale d'un grand échantillon pour diverses valeurs de quantile de queue et de Q
En développant cette idée, nous pouvons créer une carte de contour montrant une image plus complète des quantités du tableau 1 :
Figure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7 : Pourcentage de valeurs aberrantes détectées dans la distribution normale d'un grand échantillon pour diverses valeurs de quantile de queue et de Q
La figure 7 montre clairement que la combinaison de valeurs élevées de quantile de queue et de faibles valeurs de Q rend les calculs plus sensibles aux valeurs aberrantes, tandis que de faibles valeurs de TQ et un Q élevé nous rendent moins sensibles.
L'épisode suivant
La prochaine fois, nous discuterons Distance Mahalanobis , qui est utilisé pour détecter les valeurs aberrantes dans plusieurs dimensions.
Voir tous les articles de cette série sur comprendre les valeurs aberrantes .
