Un quiz rapide : qu'est-ce qu'une valeur aberrante ?
- Points de données impairs qui pourraient influencer les résultats de la modélisation et qui doivent être traités.
- Des points de données impairs qui justifient une enquête plus approfondie, fournissant éventuellement de nouvelles informations sur votre processus.
- Un très bon livre de Malcolm Gladwell. (Valeurs aberrantes, 2008)
La réponse, bien sûr, est "tout ce qui précède".
Si vous êtes dans le domaine de l'examen des données, vous avez rencontré de temps à autre des « valeurs aberrantes », ces lectures numériques qui ne correspondent pas au modèle normal des données. En conséquence, nos ajustements des moindres carrés des données (par exemple) pourraient être déformés. Par conséquent, nous devons les identifier rapidement et les traiter de manière appropriée.
Ceci est le premier d'une série de blogs qui examine les valeurs aberrantes. Aujourd'hui, nous allons nous intéresser à l'identification visuelle des valeurs aberrantes. Dans le prochain épisode, nous examinerons si les valeurs aberrantes sont généralement bonnes ou mauvaises ; les derniers épisodes examineront différents moyens et algorithmes utilisés pour détecter les valeurs aberrantes.
Exemples de valeurs aberrantes - Identification visuelle
L'un des moyens les plus simples d'identifier les valeurs aberrantes est visuellement. J'espère que vous tracez déjà vos données pour rechercher des tendances, etc. Selon la façon dont vous tracez vos données, les valeurs aberrantes seront souvent évidentes. Les exemples ci-dessous aident à décrire les valeurs aberrantes à l'aide de graphiques simples.
Exemple 1 : données unidimensionnelles
La figure 1 montre un diagramme en points de 1 000 échantillons tirés d'une population normalement distribuée (moyenne = 0, écart type = 1).
Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1 : Un exemple avec des données unidimensionnelles.
Le point en X1=4 est surligné en rouge. Dans ce cas, il s'agit de 4 écarts-types par rapport à la moyenne. Pour une distribution normale (comme celle illustrée ci-dessus), il s'agit d'un événement très peu probable. En fait, nous nous attendrions à tirer un "4" d'une distribution normale avec une moyenne de 0 et un écart type de 1 seulement 0,01 % du temps. C'est certainement une observation inhabituelle.
Exemple 2 : Données bidimensionnelles, variables indépendantes et normalement distribuées
Dans l'exemple ci-dessous, nous avons deux variables d'entrée : X1 et X2 :
Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2 : Un exemple 2D, avec des variables indépendantes et normalement distribuées.
Dans la figure 2, nous avons deux variables normalement distribuées et indépendantes, X1 et X2. Les histogrammes à côté de chacun peuvent être utilisés pour supposer la normalité. Notez le point marqué en rouge en (4,4). Encore une fois, nous avons une valeur aberrante qui est visuellement évidente, car elle est située loin des moyennes de X1 ou X2.
Exemple 3 : Données bidimensionnelles, variables normales et indépendantes, différentes moyennes et écarts-types
Allons un peu plus loin avec l'exemple à deux variables. Cette fois, nous avons des moyennes et des écarts-types différents.
Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3 : Un exemple 2D, avec différentes moyennes et écarts-types.
Le point à environ (1,27) pourrait être considéré comme une valeur aberrante. C'est à l'intérieur de la distribution X1, mais clairement en dehors de la distribution X3.
Mais qu'en est-il du point rouge en (4,5) ? Est-ce une valeur aberrante ? Nos yeux nous disent que c'est possible, mais comment pouvons-nous le savoir ? Comment l'évalue-t-on algorithmiquement ? (Pour la réponse à cette question, vous devrez attendre les prochains articles de blog !)
Exemple 4 : Données bidimensionnelles avec corrélation entre les variables
Vous trouverez ci-dessous un autre exemple bidimensionnel, cette fois avec une corrélation entre les deux variables :
Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4 : Un exemple 2D, avec corrélation entre les deux variables.
Visuellement, le point rouge à (-3,6) sur la figure 4 est assez évident à l'œil. Mais regarder l'une ou l'autre variable indépendamment indiquerait que ce point se comporte bien à la fois dans la dimension X1 et dans la dimension X4. (Ceci est un excellent exemple de la raison pour laquelle il est important de tracer vos données !)
Exemple 5 : une valeur aberrante bidimensionnelle plus délicate
Une autre valeur aberrante impaire en deux dimensions est illustrée dans la figure ci-dessous :
Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5 : Une valeur aberrante bidimensionnelle plus délicate.
Encore une fois, c'est évident à l'œil nu, mais plus difficile à détecter de manière algorithmique. Pourtant, il y a moyen ! (Voir les futurs articles de blog.)
Exemple 6 : Plus de deux dimensions
Et si nous avions plus de deux dimensions ? Les choses deviennent plus difficiles à visualiser. Pour trois dimensions, vous pouvez essayer un nuage de points 3D et le faire pivoter pour identifier les valeurs aberrantes. Pour plus de trois dimensions, vous pouvez essayer de créer une série de nuages de points pour couvrir toutes les paires de variables (comme dans la plate-forme Analyze/Multivariate), mais n'oubliez pas que les valeurs aberrantes peuvent être difficiles à repérer.
À mesure que la dimensionnalité augmente, nous commençons à nous tourner vers des algorithmes spécifiquement développés pour aider à identifier les valeurs aberrantes, qui seront couvertes dans de futurs articles.
Futurs épisodes du blog
Dans les prochains articles, nous discuterons des différents algorithmes de valeurs aberrantes disponibles dans JMP , y compris comment ils fonctionnent sur les exemples ci-dessus (et plus) et quand les utiliser. Ces algorithmes incluent :
Voir tous les articles de cette série sur comprendre les valeurs aberrantes .
Super série de blogs Jerry !
D'après mon expérience, la cause la plus fréquente de « valeurs aberrantes » était une erreur de saisie de données. Quelqu'un a glissé une virgule décimale ou inversé deux nombres, manqué d'appuyer sur "retour" pour la prochaine entrée de point de données dans la colonne, ou tout simplement manqué d'appuyer sur la touche du clavier lors de la saisie manuelle des données. Vérifiez toujours les données source en premier si des données suspectes apparaissent graphiquement !
Cette série de blogs renforce la meilleure pratique consistant à TOUJOURS tracer vos données dans tous les sens dans JMP AVANT de travailler sur l'analyse numérique.
