Bienvenue à ma série de blogs sur les valeurs aberrantes. Dans les épisodes précédents, nous avons examiné:
Aujourd'hui, après un examen rapide (mais nécessaire) de Mahalanobis, nous examinerons la distance jackknife.
Aperçu rapide de la distance de Mahalanobis
Vous vous souvenez de l'ensemble de données tridimensionnel à 10 points de l'épisode 3? La matrice de nuages de points multivariée ressemblait à ceci dans JMP :
Figure 1: Matrice de nuage de points de 10 points de données avec une valeur aberrante (rouge)
Le point rouge semble être une valeur aberrante par rapport aux neuf autres points. Cela est particulièrement clair dans le graphique en surbrillance.
Pourtant, lorsque nous avons effectué un calcul de distance de Mahalanobis, le point rouge ne semblait pas être une valeur aberrante «terrible»:
Figure 2: Distance de Mahalanobis pour un échantillon de 10 points de données illustré à la figure 1
Dans la figure 2, le point rouge est au-dessus de la ligne de signification, mais pas de beaucoup. Cela semble contre-intuitif basé sur la matrice de dispersion de la figure 1 où le point rouge semble être une valeur aberrante évidente.
Mais rappelez-vous, le calcul de Mahalanobis consiste à mesurer la distance du tout en tenant compte de la structure de covariance des données. Si nous prenons le nuage de points en surbrillance de la figure 1 et y ajustons une ligne droite, nous obtenons quelque chose comme ceci (de Graph Builder):
Figure 3: Graphique simple de X1 par rapport à X2, y compris la ligne de meilleur ajustement (à partir des moindres carrés ordinaires)
L'ajustement linéaire est une représentation visuelle de la structure de covariance entre ces deux variables (X1 et X2). Notez que le point aberrant rouge a une forte influence sur la position de la ligne; il tire la ligne vers elle, ce qui rend la distance entre elle-même et la ligne plus petite qu'elle n'aurait dû l'être.
De plus, la ligne mal ajustée donne également l'impression que d'autres points de données sont plus éloignés de la ligne qu'ils ne le seraient réellement si le point rouge ne l'avait pas influencée aussi fortement. Par exemple, le point de données 6 (étiqueté dans la figure 3) semble être loin de la ligne et pourrait être à la limite d'être une valeur aberrante si cette ligne de meilleur ajustement particulière était choisie.
Existe-t-il un meilleur moyen de détecter la valeur aberrante?
La technique du jackknife
La technique du jackknife est très simple, mais très puissante, reposant sur des calculs utilisant la technique du «laisser de côté». Conceptuellement, si nous laissions la valeur aberrante rouge en dehors des calculs d'ajustement de ligne, cela générerait un nuage de points avec la meilleure ligne d'ajustement qui ressemblerait à ceci:
Figure 4: Graphique simple de X1 par rapport à X2, y compris la ligne de meilleur ajustement basée sur tous les points SAUF pour la valeur aberrante rouge
Il est maintenant clair que la valeur aberrante rouge est vraiment considérée comme une valeur aberrante, ce qui justifie une enquête plus approfondie.
En général, rappelez-vous cette équation pour calculer la distance de Mahalanobis à partir de l'épisode 3:
Pour calculer la distance jackknife, utilisez la technique du «laisser-un-dehors» et calculez le
vecteur et le
matrice pour tous les points sauf pour le point d'intérêt . Ensuite, placez simplement le point d'intérêt dans le
vector et calculez la distance de Mahalanobis, qui est maintenant appelée distance jackknife.
Répétez les calculs pour tous les points, en quittant à chaque fois le point d'intérêt
hors des calculs de
et
.
L'intrigue jackknife ressemble alors à ceci:
Figure 5: Diagramme de distance Jackknife pour un échantillon de 10 points
Maintenant, il est tout à fait clair que le point rouge est une valeur aberrante.
Histoire de Jackknife
Par Wikipédia , John Tukey a inventé le nom de «jackknife» parce qu'il s'agit d'un outil polyvalent robuste qui peut être utilisé dans diverses circonstances, bien que la technique ait été développée à l'origine par Maurice Quenouille au début des années 1950.
Parallèles avec d'autres techniques
Si vous êtes familier avec d'autres schémas de validation (comme la validation K-fold) ou des choses comme la forêt bootstrap et les techniques d'arbre boosté, vous reconnaîtrez que laisser une (ou plusieurs) observations hors d'une analyse est un moyen très courant et puissant tirez le meilleur parti de vos analyses statistiques.
L'épisode suivant
Chemin du retour Épisode 1 , J'ai mentionné que l'épisode 5 impliquerait T 2 distances. Cependant, je l'ai déjà souligné dans Épisode 3 que T 2 est simplement le carré de la distance de Mahalanobis, nous n'avons donc pas besoin d'un autre épisode pour en discuter.
Au lieu de cela, mon cinquième et dernier article de blog sur les valeurs aberrantes traitera de la détection multivariée du voisin le plus proche K des valeurs aberrantes. Restez à l'écoute!
