Dans un précédent article de blog , nous avons examiné le nettoyage des données sales dans les catégories. Cette fois, nous examinons le nettoyage des données encrassées sous la forme de valeurs aberrantes pour les colonnes continues.
Dans l’industrie, il n’est pas inhabituel d’avoir la plupart de vos valeurs dans une plage étroite (par exemple entre .1 et .7) avec quelques valeurs bien en dehors de cette plage (telle que 99, qui est le code de valeur manquant). Parmi les exemples les plus courants d'aberrants, citons:
• Codes de valeurs manquants, souvent une chaîne de 9.
• Manifestement des valeurs mal codées et entrées manuellement, en particulier lorsque le point décimal est égaré.
• Les pannes de l’instrument, qui entraînent l’insertion d’un code de panne de l’instrument à l’endroit où doivent se trouver les données.
• Événements inhabituels, tels qu'un court-circuit électrique provoquant une surtension ou une chute de tension.
• Distributions à longue queue, telles que les distributions de temps avant défaillance, où de grandes valeurs peuvent être rares, mais réelles.
• Valeurs aberrantes, dans lesquelles quelques éléments se sont glissés dans une collection d’articles supposés propres.
Si nous n'avions que quelques colonnes à explorer et à nettoyer, il serait raisonnable de le faire à la main. Cependant, avec des dizaines, voire des milliers de colonnes, vous avez besoin d'aide. La fonction «Explorer les valeurs éloignées» dans Cols-> Modeling Utilities est le nouvel outil à utiliser.
L’approche la plus simple consiste à obtenir des quantiles de queue, puis à mesurer une échelle de la plage interquantile au-delà des quantiles de queue. le Données ANSUR Anthopometry fournit une bonne illustration; il mesure 131 mesures corporelles chez 3 982 personnes. Avant d’analyser ces données, vous devez d’abord vérifier les valeurs aberrantes et en prendre conscience.
Explorer les valeurs éloignées calcule d’abord les quantiles de 10% et 90% pour déterminer une bonne estimation pour la plage de la plupart des données. S'il existe un grand nombre de liens, ce qui signifie que les quantiles de 10% et 90% sont identiques, l'utilitaire va plus loin dans la queue pour obtenir une valeur. Il multiplie ensuite par 3 la plage interquantile (facteur d'échelle 'Q' par défaut) et recherche les valeurs plus éloignées des quantiles 10% et 90% que trois fois la plage interquantile. Il s'agit d'un critère de sélection des valeurs aberrantes par défaut assez extrême, mais vous vous intéressez probablement davantage aux valeurs aberrantes les plus éloignées, du moins au début. Vous pouvez ajuster les quantiles et le multiplicateur ultérieurement pour être plus sensible.
L'analyse par défaut des données ANSUR a révélé deux colonnes avec une valeur de -999, soit plus de trois plages interquantiles au-delà des queues 10% et 90%. Dans ce cas, il est évident qu’il s’agit de codes de valeur manquante et non de données réelles.
Comme les 129 autres variables ne montraient pas les valeurs aberrantes, nous pouvons nous concentrer plus facilement sur les colonnes qui le faisaient en cochant l'option «Afficher uniquement les colonnes avec des valeurs aberrantes». La sélection de ces colonnes dans l'affichage sélectionne les colonnes du tableau de données.
Ensuite, nous devons déterminer quelle action entreprendre pour remédier à ces valeurs aberrantes. Il y a six boutons d'action. Vous pouvez sélectionner les lignes et utiliser la commande Lignes «Suivant la sélection» pour faire passer la vue de la table de données à chaque ligne sélectionnée. Vous pouvez colorer les lignes pour souligner le fait que la ligne avait une valeur aberrante. Vous pouvez colorier les cellules pour les faire ressortir lorsque vous parcourez le tableau de données présenté ci-dessous. Vous pouvez également exclure les lignes pour les retenir d'une analyse.
Dans ce cas, les valeurs aberrantes représentant réellement des données manquantes, les deux actions restantes présentent des choix évidents: Cliquez sur «Ajouter aux codes de valeur manquants», ce qui installe une propriété de colonne «Code de valeur manquant» pour cette colonne ou cliquez sur «Modifier to missing », qui le change en une valeur manquante matérielle (NAN) qui JMP reconnaît toujours comme manquant. Vous souhaiterez peut-être utiliser l'ancien bouton s'il existe plusieurs codes de valeur manquants ayant des significations distinctes.
Nous vérifions également les valeurs nines hautes, car elles sont souvent utilisées comme codes de valeur manquante, mais toutes les valeurs nines hautes ne sont pas loin de la queue supérieure des données et ne risquent donc pas de représenter des valeurs manquantes.
Parfois, les valeurs éloignées sont éloignées dans un sens multivarié, ce qui signifie qu'elles peuvent se situer dans la plage de quantiles de chaque colonne, mais les données sont regroupées et certains points sont éloignés des autres. En prenant pour exemple les données sur l'iris de Fisher, nous constatons qu'il existe en réalité trois grappes représentant les trois espèces. Comme les espèces sont largement séparées, il y a beaucoup d'espaces presque vides où une valeur aberrante peut être éloignée de tous les autres points, même s'il ne s'agit pas d'une valeur univariée. Nous disposons des k-voisins les plus proches pour trouver ces valeurs éloignées. Pour chaque point, il trouve la distance entre ce point et le point le plus proche, le deuxième point le plus proche, le troisième point le plus proche, etc. Ici, nous identifions un point éloigné du point le plus proche.
Si nous regardons ce point dans une matrice de nuages de points, nous voyons que ce n'est pas inhabituel dans aucune des coordonnées simples, mais c'est loin des autres points. Il est très éloigné en sépal si l’on considère son emplacement par rapport à la longueur et à la largeur des pétales. Nous connaissons les identités de ces groupes, et la particularité inhabituelle est qu’il a une largeur de sépale très faible par rapport aux autres de son espèce.
Pour continuer, nous pourrions avoir plusieurs valeurs aberrantes, c'est-à-dire des points qui ne sont pas loin de leurs voisins les plus proches mais qui sont encore loin des données. Voici la distance de chaque point de son troisième voisin proche.
Si vous regardez la matrice du diagramme de dispersion des deux valeurs aberrantes k = 3 bleues, vous voyez qu'elles sont proches les unes des autres, mais séparées des autres points, en se concentrant sur la représentation de la largeur Sépale par la longueur des sépales.
Ainsi, des valeurs aberrantes multivariées peuvent être explorées et considérées pour discerner ce qui se passe. Des aberrations au sens k-le plus proche peuvent survenir dans des situations de contamination, par exemple, si un iris provenant d'une espèce totalement distincte était mélangé et mal identifié dans les données de l'iris de Fisher.
Que faire avec les valeurs aberrantes dépend de la situation, même si certaines actions sont claires. Si vous avez des codes de valeur manquants, vous devez ajouter une propriété de code de valeur manquante afin que les plates-formes d'analyse la traitent comme manquant. Si vous avez un point décimal mal placé, vous devez le corriger s'il s'agit d'un cas clair ou le remplacer par une valeur manquante s'il n'est pas clair.
Parfois, la découverte de valeurs aberrantes peut mener à des découvertes importantes. Ils ne devraient pas automatiquement être traités comme de la terre qui ne rentre pas.
Ce sujet a également été abordé dans un blog précédent .
Remarque: Cela fait partie d'un Big Statistics série d'articles de blog de John Sall. Lire tout son Big statistiques posts .
