En una entrada de blog anterior , nos fijamos en la limpieza de datos sucios en categorías. Esta vez, analizamos la limpieza de datos sucios en forma de valores atípicos para columnas continuas.
En la industria, no es raro que la mayoría de sus valores se encuentren en un rango estrecho (por ejemplo, entre .1 y .7) con algunos valores fuera de ese rango (como 99, que es el código de valor faltante). Algunos de los ejemplos más comunes de valores atípicos incluyen:
• Códigos de valores faltantes, a menudo una cadena de 9s.
• Obviamente codificado, los valores ingresados manualmente, especialmente cuando el punto decimal está fuera de lugar.
• Fallos del instrumento, que dan lugar a un código de fallo del instrumento insertado donde deberían estar los datos.
• Eventos inusuales, como un cortocircuito eléctrico que causa un aumento de corriente o una caída de voltaje.
• Distribuciones de cola larga, como distribuciones de tiempo hasta fallas, donde valores grandes pueden ser raros, pero reales.
• Outliers de contaminación, en los que algunos elementos se han colado en una colección de elementos que se presume que estaban limpios.
Si solo tuviéramos unas pocas columnas para explorar y limpiar, sería razonable hacerlo a mano. Sin embargo, con docenas o miles de columnas, necesita ayuda. La función "Explorar valores atípicos" en Cols-> Modeling Utilities es la nueva herramienta que se debe utilizar.
El enfoque más sencillo es obtener algunos cuantiles de cola y luego medir alguna escala del rango intercuántil más allá de los cuantiles de cola. los ANSUR datos de antropometría proporciona una buena ilustración; Mide 131 medidas corporales en 3.982 individuos. Antes de analizar estos datos, primero debe verificar y tener en cuenta los valores atípicos.
Para cada variable seleccionada, Explore Outliers primero calcula los cuantiles del 10% y del 90% para determinar una buena estimación del rango de la mayoría de los datos. Si hay una gran cantidad de vínculos, lo que significa que el 10% y el 90% de los cuantiles son los mismos, la utilidad llega más lejos en la cola para obtener un valor. Luego, multiplica el rango intercuántil por 3 (el factor de escala 'Q' predeterminado) y busca cualquier valor que se encuentre más alejado de los cuantiles del 10% y del 90% que tres veces el rango intercuántil. Este es un criterio de selección de valores atípicos por defecto bastante extremo, pero probablemente esté más interesado en los valores atípicos más remotos, al menos al principio. Puedes ajustar los cuantiles y el multiplicador más tarde para que sean más sensibles.
El escaneo por defecto de los datos de ANSUR reveló dos columnas con un valor de -999, que es más de tres rangos intercuantiles más allá del 10% y el 90% de las colas. En este caso, es obvio que son códigos de valor faltante, no datos reales.
Como las otras 129 variables no mostraron valores atípicos, podemos enfocarnos más fácilmente en las columnas que sí lo hicieron al marcar "Mostrar solo columnas con valores atípicos". Al seleccionar estas columnas en la pantalla, se seleccionarán las columnas en la tabla de datos.
A continuación, debemos determinar qué acción tomar para abordar estos valores atípicos. Hay seis botones de acción. Puede seleccionar las filas y usar el comando Filas "Siguiente seleccionado" para avanzar la vista de la tabla de datos a cada fila seleccionada. Puede colorear las filas para enfatizar que la fila tenía un valor atípico. Puede colorear las celdas para resaltarlas mientras navega por la tabla de datos, que se muestra a continuación. También puede excluir las filas para retenerlas de un análisis.
En este caso, dado que los valores atípicos representan realmente datos faltantes, las dos acciones restantes presentan las opciones obvias: haga clic en "Agregar a los códigos de valor faltantes", que instala una propiedad de columna de "código de valor faltante" para esa columna, o haga clic en "Cambiar a faltante ", que lo cambia a un valor faltante de hardware (NAN) que JMP Siempre se reconoce como faltante. Es posible que desee utilizar el botón anterior si hay varios códigos de valor faltantes que tienen significados distintos.
También verificamos si hay altos índices, ya que a menudo se usan como códigos de valor faltante, pero todos los altos no están lejos de la parte superior de los datos y, por lo tanto, no es probable que representen valores faltantes.
A veces, los valores atípicos son periféricos en un sentido multivariado, lo que significa que pueden estar muy bien en el rango de cuantiles de cada columna, pero los datos están agrupados, y algunos puntos están muy lejos de otros puntos. Utilizando los datos de Fisher's Iris como ejemplo, vemos que en realidad hay tres grupos, que representan a las tres especies. Debido a que las especies están muy separadas, hay un montón de espacio casi vacío donde un valor atípico puede estar distante de todos los otros puntos, aunque no sea un valor atípico univariado. Tenemos las instalaciones del vecino más cercano para encontrar estos valores atípicos. Para cada punto, encuentra la distancia de ese punto al punto más cercano, al segundo punto más cercano, al tercer punto más cercano, y así sucesivamente. Aquí, identificamos un punto que está lejos del punto más cercano.
Si observamos este punto en una Matriz de Diagrama de Dispersión, vemos que no es inusual en ninguna de las coordenadas individuales, pero está lejos de otros puntos. Está lejos en el ancho de Sépalo cuando se considera su ubicación con respecto a la longitud del pétalo y el ancho del pétalo. Resulta que conocemos las identidades de estos grupos, y la característica inusual es que tiene un ancho de sépalo muy bajo en comparación con otros en su especie.
Para continuar, es posible que tengamos múltiples valores atípicos, es decir, aquellos puntos que no están lejos de sus vecinos más cercanos pero que aún están lejos de los datos. Aquí está la distancia de cada punto desde su tercer vecino cercano.
Si observa la Matriz de Diagrama de Dispersión de los dos valores atípicos de k = 3 azules, verá que están cerca uno del otro, pero separados de otros puntos, centrándose en el ancho del Sépalo por el diagrama de dispersión de la longitud del Sépalo.
Por lo tanto, los valores atípicos multivariantes se pueden explorar y considerar para discernir lo que está sucediendo. Los valores atípicos en el sentido k más cercano pueden ocurrir en situaciones de contaminación, por ejemplo, si un iris de una especie totalmente separada se mezcló y se identificó erróneamente en los datos de Fisher Iris.
Lo que se debe hacer con los valores atípicos depende de la situación, aunque algunas acciones son claras. Si le faltan códigos de valor, debe agregar una propiedad de código de valor faltante para que las plataformas de análisis lo traten como faltante. Si tiene un punto decimal fuera de lugar, debe corregirlo si es un caso claro, o cambiarlo a un valor perdido si no está claro.
A veces, encontrar valores atípicos puede llevar a descubrimientos importantes. No deben tratarse automáticamente como la suciedad que no encaja.
Este tema también fue tratado en una entrada de blog anterior .
Nota: Esto es parte de un Grandes estadisticas Serie de publicaciones del blog de John Sall. Leer todo su Grandes publicaciones de estadísticas .
