Desafío 11 - Detección de valores atípicos
El cribado de valores atípicos es una metodología de detección de anomalías en la que los datos suelen ser numéricos. JMP tiene cuatro métodos de detección de valores atípicos en la opción de menú Analizar> Detección> Explorar valores atípicos. Dos de estos métodos son univariados, aplicables a valores atípicos que pueden identificarse a partir de una sola columna de datos.
Estos métodos utilizan un enfoque estándar para definir valores atípicos como observaciones que se encuentran lejos del centro de los datos. La definición algorítmica de lejos y centro está en el corazón de este tipo de métodos. Funcionan bien cuando los datos son unimodales e ilimitados, pero no tan bien cuando los valores atípicos ocurren cerca de un límite o como agrupaciones entre modos principales o en los extremos de los valores de los datos.
En estas situaciones, los métodos de detección de valores atípicos estándar no encuentran valores atípicos o requieren múltiples iteraciones. Tres ejemplos que provocan estos comportamientos se dan en el Tres ejemplos de valores atípicos.JMP debajo.
Para el desafío de este mes, desarrolle un algoritmo que encuentre este tipo de valores atípicos además de los encontrados por las técnicas estándar. Suponga que los valores atípicos son univariados y los datos numéricos. los Probe.JMP La tabla de datos de muestra es un buen conjunto de datos para probar su algoritmo.
¿Puede pensar en un método de detección de valores atípicos mejorado?
Re: Desafío 11 - Detección de valores atípicos¡Fue un ejercicio divertido!Aquí está mi envío para la columna Bimodal para la tabla de datos adjunta.Debo admitir que se necesitaron algunos ajustes finos de los parámetros K para obtener los resultados deseados.Para las otras 2 columnas, me quedó menos claro qué debería considerarse un valor atípico.
dt = Open( "Three Outlier Examples.jmp" );
obj1 = dt << Explore Outliers(
Y( :Bimodal ),
K Nearest Neighbor Outliers( K( 20 ), Impute Missing( 1 ) )
);
obj1 << Save NN Distances;
obj2 = dt << Explore Outliers(
Y( :Nearest 20 Distance ),
Robust Fit Outliers( K Sigma( 200 ), Huber( 1 ) )
);
obj2 << Select Rows (:"Nearest 20 Distance"n) << Color Rows (:"Nearest 20 Distance"n);
dt << Graph Builder(
Size( 489, 454 ),
Show Control Panel( 0 ),
Variables( X( :Bimodal ) ),
Elements( Points( X, Legend( 3 ) ) )
);
Re: Desafío 11 - Detección de valores atípicosGracias @mzwald , Me gusta el enfoque.
