421801_fr-FR

liliconcom

Défi 11 - Dépistage des valeurs aberrantes

Le dépistage des valeurs aberrantes est une méthodologie de détection d'anomalies dans laquelle les données sont généralement numériques. JMP propose quatre méthodes de dépistage des valeurs aberrantes sous l'option de menu Analyser > Dépistage > Explorer les valeurs aberrantes. Deux de ces méthodes sont univariées, applicables aux valeurs aberrantes qui peuvent être identifiées à partir d'une seule colonne de données.

Ces méthodes utilisent une approche standard consistant à définir les valeurs aberrantes comme des observations éloignées du centre des données. La définition algorithmique de loin et de centre est au cœur de ces types de méthodes. Ils fonctionnent bien lorsque les données sont unimodales et illimitées, mais moins bien lorsque les valeurs aberrantes se produisent près d'une frontière ou sous forme de clusters entre les modes principaux ou aux extrémités des valeurs de données.

Dans ces situations, les méthodes standard de dépistage des valeurs aberrantes ne trouvent aucune valeur aberrante ou nécessitent plusieurs itérations. Trois exemples qui suscitent ces comportements sont donnés dans le Trois exemples de valeurs aberrantes.JMP dessous.

Pour le défi de ce mois-ci, développez un algorithme qui trouvera ces types de valeurs aberrantes en plus de celles trouvées par les techniques standard. Supposons que les valeurs aberrantes sont univariées et les données numériques. Le Sonde.JMP exemple de table de données est un bon ensemble de données pour tester votre algorithme.

Pouvez-vous proposer une méthode améliorée de dépistage des valeurs aberrantes ?

Re : Défi 11 - Dépistage des valeurs aberrantes

Merci @mzwald , j'aime l'approche.

Re : Défi 11 - Dépistage des valeurs aberrantes

C'était un exercice amusant!Voici ma soumission pour la colonne bimodale pour la table de données jointe.J'admettrai qu'il a fallu un réglage fin des paramètres K pour obtenir les résultats souhaités.Pour les 2 autres colonnes, il était moins clair pour moi ce qui devait être considéré comme une valeur aberrante.

 

dt = Open( "Three Outlier Examples.jmp" );

obj1 = dt << Explore Outliers(
 Y( :Bimodal ),
 K Nearest Neighbor Outliers( K( 20 ), Impute Missing( 1 ) )
); 

obj1 << Save NN Distances;

obj2 = dt << Explore Outliers(
 Y( :Nearest 20 Distance ),
 Robust Fit Outliers( K Sigma( 200 ), Huber( 1 ) )
);

obj2 << Select Rows (:"Nearest 20 Distance"n) << Color Rows (:"Nearest 20 Distance"n);

dt << Graph Builder(
 Size( 489, 454 ),
 Show Control Panel( 0 ),
 Variables( X( :Bimodal ) ),
 Elements( Points( X, Legend( 3 ) ) )
);