Grande série de blogs Jerry!
D'après mon expérience, la cause la plus fréquente de «valeurs aberrantes» était l'erreur de saisie des données. Quelqu'un a glissé un point décimal, ou inversé deux nombres, a manqué de frapper «retour» pour la prochaine entrée de point de données dans la colonne, ou tout simplement manqué d'appuyer sur la touche du clavier pendant la saisie manuelle des données. Vérifiez toujours d'abord les données sources si des données suspectes apparaissent graphiquement!
Cette série de blogs renforce la meilleure pratique consistant à TOUJOURS tracer vos données de toutes les manières dont vous pouvez penser dans JMP AVANT le travail d'analyse numérique.
Sujet très intéressant, merci pour le partage!
Pour ajouter au commentaire précédent, ce que nous essayons toujours de faire est d'appliquer "PGA":
- P ractique: d'où viennent les données, comment ont-elles été collectées, à quelle période, etc.
- g raphical: tracez toujours vos données en premier et essayez de voir si cela a du sens, si vous voyez des relations, des «valeurs aberrantes», etc.
- UNE nalytique: alors seulement commencer à faire une analyse numérique / statistique ...
Dans l'attente des blogs à venir!
Un petit quiz: Que sont les valeurs aberrantes?
- Points de données étranges qui pourraient influencer les résultats de la modélisation et doivent être traités.
- Points de données étranges qui justifient une enquête plus approfondie, fournissant éventuellement de nouvelles informations sur votre processus.
- Un très bon livre de Malcolm Gladwell. (Outliers, 2008)
La réponse, bien sûr, est «Tout ce qui précède».
Si vous étudiez des données, vous rencontrez de temps à autre des «valeurs aberrantes», ces lectures numériques qui ne correspondent pas au modèle normal des données. En conséquence, nos ajustements des moindres carrés des données (par exemple) pourraient être déformés. Par conséquent, nous devons les identifier rapidement et les traiter de manière appropriée.
Ceci est le premier d'une série de blogs qui examine les valeurs aberrantes. Aujourd'hui, nous examinerons l'identification visuelle des valeurs aberrantes. Dans le prochain épisode, nous examinerons si les valeurs aberrantes sont généralement bonnes ou mauvaises; les derniers épisodes examineront différents moyens et algorithmes utilisés pour détecter les valeurs aberrantes.
Exemples de valeurs aberrantes - Identification visuelle
L'un des moyens les plus simples d'identifier les valeurs aberrantes est visuellement. Espérons que vous tracez déjà vos données pour rechercher des tendances, etc. Selon la façon dont vous tracez vos données, les valeurs aberrantes seront souvent évidentes. Les exemples ci-dessous aident à décrire les valeurs aberrantes à l'aide de graphiques simples.
Exemple 1: données unidimensionnelles
La figure 1 montre un diagramme à points de 1 000 échantillons provenant d'une population normalement distribuée (moyenne = 0, écart-type = 1).
Figure 1: Un exemple avec des données unidimensionnelles.
Le point à X1 = 4 est surligné en rouge. Dans ce cas, il s'agit de 4 écarts types par rapport à la moyenne. Pour une distribution normale (comme celle illustrée ci-dessus), il s'agit d'un événement très improbable. En fait, nous nous attendrions à tirer un «4» d'une distribution normale avec une moyenne de 0 et un écart type de 1 seulement 0,01% du temps. C'est certainement une observation inhabituelle.
Exemple 2: Données bidimensionnelles, variables indépendantes et normalement distribuées
Dans l'exemple ci-dessous, nous avons deux variables d'entrée: X1 et X2:
Figure 2: Un exemple 2D, avec des variables indépendantes et normalement distribuées.
Dans la figure 2, nous avons deux variables normalement distribuées et indépendantes, X1 et X2. Les histogrammes à côté de chacun peuvent être utilisés pour supposer la normalité. Notez le point marqué en rouge en (4,4). Encore une fois, nous avons une valeur aberrante qui est visuellement évidente, car elle est située loin des moyennes de X1 ou X2.
Exemple 3: Données bidimensionnelles, variables normales et indépendantes, différentes moyennes et écarts types
Allons un peu plus loin avec l'exemple à deux variables. Cette fois, nous avons des moyennes et des écarts types différents.
Figure 3: Un exemple 2D, avec différentes moyennes et écarts types.
Le point à environ (1,27) peut être considéré comme une valeur aberrante. C'est à l'intérieur de la distribution X1, mais clairement en dehors de la distribution X3.
Mais qu'en est-il du point rouge à (4,5)? Est-ce une valeur aberrante? Nos yeux nous disent que c'est peut-être le cas, mais comment pouvons-nous le savoir? Comment l'évaluons-nous de manière algorithmique? (Pour obtenir la réponse, vous devrez attendre les articles de blog suivants!)
Exemple 4: Données bidimensionnelles avec corrélation entre les variables
Voici un autre exemple bidimensionnel, cette fois avec corrélation entre les deux variables:
Figure 4: Un exemple 2D, avec corrélation entre les deux variables.
Visuellement, le point rouge en (-3,6) sur la figure 4 est assez évident à l'œil. Mais regarder l'une ou l'autre variable indépendamment indiquerait que ce point se comporte bien à la fois dans la dimension X1 et dans la dimension X4. (Ceci est un excellent exemple de pourquoi il est important de tracer vos données!)
Exemple 5: Une valeur aberrante bidimensionnelle plus délicate
Une autre valeur aberrante étrange en deux dimensions est illustrée dans la figure ci-dessous:
Figure 5: Une valeur aberrante bidimensionnelle plus délicate.
Encore une fois, c'est évident à l'œil, mais plus difficile à détecter par algorithme. Pourtant, il y a un moyen! (Voir les futurs articles du blog.)
Exemple 6: plus de deux dimensions
Et si nous avons plus de deux dimensions? Les choses deviennent plus difficiles à visualiser. Pour les trois dimensions, vous pouvez essayer un nuage de points 3D et le faire pivoter pour identifier les valeurs aberrantes. Pour plus de trois dimensions, vous pouvez essayer de créer une série de nuages de points pour couvrir toutes les paires de variables (comme dans la plate-forme Analyser / Multivarié), mais rappelez-vous que les valeurs aberrantes peuvent être difficiles à repérer.
À mesure que la dimensionnalité augmente, nous commençons à nous tourner vers des algorithmes spécialement développés pour aider à identifier les valeurs aberrantes, qui seront couvertes dans les prochains articles.
Futurs épisodes de blog
Dans les prochains articles, nous discuterons des différents algorithmes aberrants disponibles dans JMP , y compris comment ils fonctionnent sur les exemples ci-dessus (et plus) et quand les utiliser. Ces algorithmes comprennent:
Voir tous les articles de cette série sur comprendre les valeurs aberrantes .
