Bienvenue dans ma série de blogs sur les valeurs aberrantes. Dans les épisodes précédents, nous avons examiné :
Aujourd’hui, après un rapide (mais nécessaire) examen de Mahalanobis, nous nous pencherons sur la distance jackknife.
Aperçu rapide de la distance de Mahalanobis
Vous vous souvenez de l'ensemble de données tridimensionnelles en 10 points de l'épisode 3 ? La matrice de nuages de points multivariée ressemblait à ceci dans JMP :
Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1 : Matrice de nuages de points de 10 points de données avec une valeur aberrante (rouge)
Le point rouge semble être une valeur aberrante par rapport aux neuf autres points. Cela est particulièrement clair dans l’intrigue mise en évidence.
Pourtant, lorsque nous avons effectué un calcul de distance de Mahalanobis, le point rouge ne semblait pas être une « terrible » valeur aberrante :
Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2 : Distance de Mahalanobis pour un échantillon de 10 points de données illustré à la figure 1
Dans la figure 2, le point rouge est au-dessus de la ligne de signification, mais pas de beaucoup. Cela semble contre-intuitif si l'on se base sur la matrice de nuages de points de la figure 1, où le point rouge semble être une valeur aberrante évidente.
Mais rappelez-vous, le calcul de Mahalanobis consiste à mesurer la distance par rapport à l'ensemble en tenant compte de la structure de covariance des données. Si nous prenons le nuage de points en surbrillance de la figure 1 et y ajustons une ligne droite, nous obtenons quelque chose comme ceci (depuis Graph Builder) :
Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3 : tracé simple de X1 par rapport à X2, y compris la droite de meilleur ajustement (à partir des moindres carrés ordinaires)
L'ajustement en ligne droite est une représentation visuelle de la structure de covariance entre ces deux variables (X1 et X2). Notez que le point rouge aberrant a une forte influence sur la position de la ligne ; il tire la ligne vers lui, rendant la distance entre lui et la ligne plus petite qu'elle n'aurait dû l'être.
De plus, la ligne mal ajustée donne également l'impression que d'autres points de données sont plus éloignés de la ligne qu'ils ne l'auraient été si le point rouge ne l'avait pas si fortement influencé. Par exemple, le point de données 6 (étiqueté dans la figure 3) semble être loin de la ligne et pourrait être sur le point d'être une valeur aberrante si cette ligne particulière de meilleur ajustement était choisie.
Existe-t-il un meilleur moyen de détecter les valeurs aberrantes ?
La technique du jackknife
La technique du jackknife est très simple, mais très puissante, et repose sur des calculs utilisant la technique du « laisser un de côté ». Conceptuellement, si nous laissions la valeur aberrante rouge en dehors des calculs d'ajustement de ligne, cela générerait un nuage de points avec la ligne de meilleur ajustement qui ressemble à ceci :
Figure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4 : tracé simple de X1 par rapport à X2, y compris la ligne de meilleur ajustement basée sur tous les points SAUF la valeur aberrante rouge
Il est désormais clair que la valeur aberrante rouge est véritablement considérée comme une valeur aberrante, ce qui justifie une enquête plus approfondie.
En général, rappelez-vous cette équation pour calculer la distance de Mahalanobis de l'épisode 3 :
Pour calculer la distance jackknife, utilisez la technique du « laisser-un-dehors » et calculez la
vecteur et le
matrice pour tous les points sauf le point d'intérêt . Ensuite, placez simplement le point d'intérêt dans le
vecteur et calculez la distance de Mahalanobis, qui est maintenant appelée la distance jackknife.
Répétez les calculs pour tous les points, en quittant à chaque fois le point d'intérêt
à partir des calculs de
et
.
Le tracé du jackknife ressemble alors à ceci :
Figure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5 : Tracé de distance Jackknife pour un échantillon de 10 points
Il est désormais clair que le point rouge est une valeur aberrante.
Histoire du jackknife
Par Wikipédia , John Tukey a proposé le nom de « jackknife » car il s'agit d'un outil polyvalent robuste qui peut être utilisé dans diverses circonstances, bien que la technique ait été développée à l'origine par Maurice Quenouille au début des années 1950.
Parallèles avec d'autres techniques
Si vous êtes familier avec d'autres schémas de validation (comme la validation K-fold) ou des choses comme les techniques de forêt d'amorçage et d'arbre boosté, vous reconnaîtrez que laisser une (ou plusieurs) observations en dehors d'une analyse est un moyen très courant et puissant de tirez le meilleur parti de vos analyses statistiques.
L'épisode suivant
De retour Épisode 1 , j'ai mentionné que l'épisode 5 impliquerait T 2 distances. Cependant, j'ai déjà souligné dans Épisode 3 que T 2 est simplement le carré de la distance de Mahalanobis, nous n'avons donc pas besoin d'un autre épisode pour en discuter.
Au lieu de cela, mon cinquième et dernier article de blog sur les valeurs aberrantes abordera la détection multivariée des K-voisins les plus proches des valeurs aberrantes. Restez à l'écoute!
