421801_fr-FR

liliconcom

Défi 11 - Dépistage des valeurs aberrantes

Le dépistage des valeurs aberrantes est une méthodologie de détection d'anomalies où les données sont généralement numériques. JMP dispose de quatre méthodes de filtrage des valeurs aberrantes sous l'option de menu Analyser > Criblage > Explorer les valeurs aberrantes. Deux de ces méthodes sont univariées, applicables aux valeurs aberrantes qui peuvent être identifiées à partir d'une seule colonne de données.

Ces méthodes utilisent une approche standard consistant à définir les valeurs aberrantes comme des observations éloignées du centre des données. La définition algorithmique de la distance et du centre est au cœur de ces types de méthodes. Ils fonctionnent bien lorsque les données sont unimodales et illimitées, mais moins bien lorsque les valeurs aberrantes se produisent à proximité d'une limite ou sous forme de clusters entre les modes principaux ou aux extrémités des valeurs de données.

Dans ces situations, les méthodes standard de filtrage des valeurs aberrantes ne trouvent aucune valeur aberrante ou nécessitent plusieurs itérations. Trois exemples qui suscitent ces comportements sont donnés dans le Trois exemples aberrants.JMP au dessous de.

Pour le défi de ce mois-ci, développez un algorithme qui trouvera ces types de valeurs aberrantes en plus de celles trouvées par les techniques standard. Supposons que les valeurs aberrantes sont univariées et les données numériques. Les Sonde.JMP exemple de table de données est un bon ensemble de données pour tester votre algorithme.

Pouvez-vous proposer une méthode de dépistage des valeurs aberrantes améliorée ?

Re : Défi 11 - Dépistage des valeurs aberrantes

C'était un exercice amusant !Voici ma soumission pour la colonne Bimodale pour le tableau de données ci-joint.J'admets qu'il a fallu un certain réglage des paramètres K pour obtenir les résultats souhaités.Pour les 2 autres colonnes, ce qui devait être considéré comme une valeur aberrante était moins clair pour moi.

 

dt = Open( "Three Outlier Examples.jmp" );

obj1 = dt << Explore Outliers(
 Y( :Bimodal ),
 K Nearest Neighbor Outliers( K( 20 ), Impute Missing( 1 ) )
); 

obj1 << Save NN Distances;

obj2 = dt << Explore Outliers(
 Y( :Nearest 20 Distance ),
 Robust Fit Outliers( K Sigma( 200 ), Huber( 1 ) )
);

obj2 << Select Rows (:"Nearest 20 Distance"n) << Color Rows (:"Nearest 20 Distance"n);

dt << Graph Builder(
 Size( 489, 454 ),
 Show Control Panel( 0 ),
 Variables( X( :Bimodal ) ),
 Elements( Points( X, Legend( 3 ) ) )
);

 

Re : Défi 11 - Dépistage des valeurs aberrantes

Merci @mzwald , j'aime l'approche.