421801_de-DE

liliconcom

Herausforderung 11 – Ausreißer-Screening

Das Ausreißer-Screening ist eine Methode zur Erkennung von Anomalien, bei der die Daten normalerweise numerisch sind. JMP verfügt über vier Ausreißer-Screening-Methoden unter der Menüoption Analysieren > Screening > Ausreißer untersuchen. Zwei dieser Methoden sind univariat und gelten für Ausreißer, die aus einer einzelnen Datenspalte identifiziert werden können.

Diese Methoden verwenden einen Standardansatz, bei dem Ausreißer als Beobachtungen definiert werden, die weit vom Zentrum der Daten entfernt liegen. Das algorithmische Definieren von Fern und Zentrum sind das Herzstück dieser Arten von Methoden. Sie funktionieren gut, wenn die Daten unimodal und unbegrenzt sind, aber nicht so gut, wenn die Ausreißer nahe einer Grenze oder als Cluster zwischen Hauptmodi oder an den Enden der Datenwerte auftreten.

In diesen Situationen finden standardmäßige Ausreißer-Screening-Methoden entweder keine Ausreißer oder erfordern mehrere Iterationen. Drei Beispiele, die diese Verhaltensweisen hervorrufen, werden in der Drei Ausreißer-Beispiele.JMP unter.

Entwickeln Sie für die Herausforderung dieses Monats einen Algorithmus, der diese Arten von Ausreißern zusätzlich zu denen findet, die mit Standardtechniken gefunden werden. Angenommen, die Ausreißer sind univariat und die Daten numerisch. Die Probe.JMP Die Beispieldatentabelle ist ein guter Datensatz, um Ihren Algorithmus zu testen.

Können Sie ein verbessertes Ausreißer-Screening-Verfahren entwickeln?

Betreff: Herausforderung 11 - Ausreißer-Screening

Das war eine lustige Übung!Hier ist meine Einreichung für die bimodale Spalte für die angehängte Datentabelle.Ich gebe zu, dass es einer gewissen Feinabstimmung der K-Parameter bedurfte, um die gewünschten Ergebnisse zu erzielen.Bei den anderen 2 Spalten war mir weniger klar, was als Ausreißer zu betrachten ist.

 

dt = Open( "Three Outlier Examples.jmp" );

obj1 = dt << Explore Outliers(
 Y( :Bimodal ),
 K Nearest Neighbor Outliers( K( 20 ), Impute Missing( 1 ) )
); 

obj1 << Save NN Distances;

obj2 = dt << Explore Outliers(
 Y( :Nearest 20 Distance ),
 Robust Fit Outliers( K Sigma( 200 ), Huber( 1 ) )
);

obj2 << Select Rows (:"Nearest 20 Distance"n) << Color Rows (:"Nearest 20 Distance"n);

dt << Graph Builder(
 Size( 489, 454 ),
 Show Control Panel( 0 ),
 Variables( X( :Bimodal ) ),
 Elements( Points( X, Legend( 3 ) ) )
);

 

Betreff: Herausforderung 11 - Ausreißer-Screening

Vielen Dank @mzwald , der Ansatz gefällt mir.