Analyse des valeurs aberrantesJ'ai un ensemble de données dans lequel j'essaie d'identifier les valeurs aberrantes ou les autres points d'intérêt. L'examen de mes modèles réels par tracé prédit révèle des points avec un marqueur étoile. Cependant la distance de Mahalanobis et la distance de Jacknife n'identifient pas nécessairement ces points de la même manière. Existe-t-il une recommandation sur l’analyse des valeurs aberrantes ?
Analyse et modélisation des données de baseRe : Analyse des valeurs aberrantesSalut @sanch1 ,
Vous comparez deux manières très différentes d'évaluer les valeurs aberrantes avec des objectifs différents :
- Les méthodes de détection des valeurs aberrantes indépendantes du modèle, comme les distances de Mahalanobis, ne s'appuient pas sur un modèle spécifié et comparent simplement la distance entre les points en fonction de variables/facteurs/caractéristiques. Ainsi, une valeur aberrante identifiée par ce type de méthodes indique que ce point semble « étrange » et ne semble pas faire partie des distributions factorielles des autres points.
- Méthodes de détection des valeurs aberrantes basées sur un modèle, basées sur des résidus (résidus Studentized, ou d'autres métriques comme PRESS RMSE/R2...) qui permettent d'identifier les valeurs aberrantes qui ne sont pas bien ajustées/prédites par le modèle. Cela peut indiquer que le modèle manque certains termes importants (comme l'interaction ou les effets non linéaires) ou qu'il n'est pas approprié aux données. Vous pouvez utiliser les autres panneaux/outils de diagnostic pour voir si le modèle semble bien s'adapter à vos données, en fonction de la signification statistique de votre modèle, de différentes métriques en fonction de votre objectif comme le critère d'information/RMSE/R2... Vous pouvez également vérifier si cette valeur aberrante détectée basée sur le modèle a un fort impact sur votre modèle en calculant les distances de Cook : https://www.jmp.com/en_us/statistics-knowledge-portal/what-is-multiple-regression/mlr-residual-analysis -and-outliers.html Si les valeurs de ces points sont élevées et/ou inhabituelles, cela indique que ces points pourraient avoir une influence et biaiser votre modèle. Il faut alors rechercher quels sont ces points et si les mesures sont valides, avant de décider de diminuer leur influence sur le modèle ou de les supprimer.
Plus d'informations sur les valeurs aberrantes dans ma réponse précédente sur un sujet similaire : https://community.jmp.com/t5/Discussions/Supress-the-effect-of-outliers-when-fitting-the-model-and-in/mp/ 747105/surbrillance/true#M92689
J'espère que cette réponse vous aidera,
Re : Analyse des valeurs aberrantesComment les données ont-elles été collectées ? Cela a un effet énorme sur l’analyse appropriée. Comme l'indique Victor, Mahalanobis est un détecteur de valeurs aberrantes multivariées. Si votre réponse est univariée, vous souhaiterez peut-être utiliser de bonnes vieilles cartes de contrôle, mais encore une fois, cela dépend de la manière dont les données ont été collectées.
Re : Analyse des valeurs aberrantesBelle série d'articles de blog par @JerryFish sur la détection des valeurs aberrantes de Mahalanobis et Jackknife :
Outliers Épisode 3 : Détection des valeurs aberrantes à l'aide de la distance de Mahalanobis (et de T2)
Outliers Épisode 4 : Détection des valeurs aberrantes à l’aide de la distance jackknife
comment as-tu calculé les distances ?
Re : Analyse des valeurs aberrantes@sanch1,
Il existe une autre option appelée Cook's D Influence. Vous enregistrez l'influence D de Cook via l'option Enregistrer les colonnes sous le triangle rouge de réponse. Sélectionnez la colonne enregistrée, puis exécutez une distribution. Si l'un de vos points de données est >= 1 tel que mesuré par Cook's D, il peut être considéré comme des valeurs aberrantes potentielles. Voir l’exemple d’image de distribution ci-dessous.
