Una prueba rápida: ¿Qué son los valores atípicos?
- Puntos de datos extraños que podrían influir en los resultados del modelo y deben abordarse.
- Puntos de datos extraños que justifican una mayor investigación, posiblemente proporcionando nuevos conocimientos sobre su proceso.
- Un muy buen libro de Malcolm Gladwell. (Valores atípicos, 2008)
La respuesta, por supuesto, es "Todo lo anterior".
Si está en el negocio de buscar datos, se ha topado con "valores atípicos" de vez en cuando, esas lecturas numéricas que no caen dentro del patrón normal de los datos. Como resultado, nuestros ajustes de mínimos cuadrados de los datos (por ejemplo) podrían distorsionarse. Por lo tanto, necesitamos identificarlos rápidamente y tratarlos adecuadamente.
Este es el primero de una serie de blogs que analiza los valores atípicos. Hoy, veremos la identificación visual de valores atípicos. En el próximo episodio, examinaremos si los valores atípicos son generalmente buenos o malos; los últimos episodios examinarán diferentes medios y algoritmos utilizados para detectar valores atípicos.
Ejemplos de valores atípicos: identificación visual
Una de las formas más fáciles de identificar valores atípicos es visualmente. Con suerte, ya está graficando sus datos para buscar tendencias, etc. Dependiendo de cómo grafica sus datos, los valores atípicos a menudo serán obvios. Los ejemplos a continuación ayudan a describir los valores atípicos usando algunas gráficas simples.
Ejemplo 1: datos unidimensionales
La figura 1 muestra un gráfico de puntos de 1000 muestras extraídas de una población distribuida normalmente (media = 0, desviación estándar = 1).
Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figura 1: Un ejemplo con datos unidimensionales.
El punto en X1=4 está resaltado en rojo. En este caso, está a 4 desviaciones estándar de la media. Para una distribución normal (como la que se muestra arriba), esto es muy poco probable. De hecho, esperaríamos sacar un “4” de una distribución normal con media 0 y desviación estándar de 1 solo el 0,01 % de las veces. Esta es definitivamente una observación inusual.
Ejemplo 2: Datos bidimensionales, variables independientes y normalmente distribuidas
En el ejemplo que se muestra a continuación, tenemos dos variables de entrada: X1 y X2:
Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figura 2: Un ejemplo 2D, con variables independientes y normalmente distribuidas.
En la Figura 2, tenemos dos variables normalmente distribuidas e independientes, X1 y X2. Los histogramas junto a cada uno se pueden utilizar para suponer la normalidad. Tenga en cuenta el punto marcado en rojo en (4,4). Nuevamente, tenemos un valor atípico que es visualmente obvio, ya que está ubicado lejos de las medias de X1 o X2.
Ejemplo 3: Datos bidimensionales, variables normales e independientes, diferentes medias y desviaciones estándar
Avancemos un poco más con el ejemplo de dos variables. Esta vez, tenemos diferentes medias y desviaciones estándar.
Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figura 3: Un ejemplo 2D, con diferentes medias y desviaciones estándar.
El punto en aproximadamente (1,27) podría considerarse un valor atípico. Está dentro de la distribución X1, pero claramente fuera de la distribución X3.
Pero, ¿qué pasa con el punto rojo en (4,5)? ¿Es un caso atípico? Nuestros ojos nos dicen que podría ser, pero ¿cómo podemos saberlo? ¿Cómo lo evaluamos algorítmicamente? (Para obtener la respuesta a esto, ¡tendrá que esperar a las siguientes publicaciones del blog!)
Ejemplo 4: Datos bidimensionales con correlación entre las variables
A continuación se muestra otro ejemplo bidimensional, esta vez con correlación entre las dos variables:
Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figura 4: Un ejemplo 2D, con correlación entre las dos variables.
Visualmente, el punto rojo en (-3,6) en la Figura 4 es bastante obvio a simple vista. Pero mirar cualquiera de las variables de forma independiente indicaría que este punto se comporta bien tanto en la dimensión X1 como en la dimensión X4. (¡Este es un excelente ejemplo de por qué es importante graficar sus datos!)
Ejemplo 5: un valor atípico bidimensional más complicado
Otro extraño valor atípico en dos dimensiones se muestra en la siguiente figura:
Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figura 5: Un valor atípico bidimensional más complicado.
Nuevamente, es obvio a simple vista, pero más difícil de detectar algorítmicamente. Aún así, hay una manera! (Ver futuras publicaciones de blog).
Ejemplo 6: más de dos dimensiones
¿Qué pasa si tenemos más de dos dimensiones? Las cosas se vuelven más difíciles de visualizar. Para tres dimensiones, puede probar un diagrama de dispersión 3D y rotarlo para identificar valores atípicos. Para más de tres dimensiones, puede intentar crear una serie de diagramas de dispersión para cubrir todos los pares de variables (como en la plataforma Analizar/Multivariante), pero recuerde que los valores atípicos pueden ser difíciles de detectar.
A medida que aumenta la dimensionalidad, comenzamos a recurrir a algoritmos desarrollados específicamente para ayudar a identificar valores atípicos, que se tratarán en publicaciones futuras.
Futuros episodios del blog
En las próximas publicaciones, discutiremos los diversos algoritmos de valores atípicos disponibles en JMP , incluido cómo funcionan en los ejemplos anteriores (y más) y cuándo usarlos. Estos algoritmos incluyen:
Ver todas las publicaciones de esta serie en comprender los valores atípicos .
Gran serie de blogs Jerry!
En mi experiencia, la causa más frecuente de 'valores atípicos' fue el error de entrada de datos. Alguien deslizó un punto decimal, o invirtió dos números, no presionó 'retorno' para la siguiente entrada de datos en la columna, o simplemente no presionó la tecla en el teclado durante la entrada manual de datos. ¡Siempre verifique primero los datos de origen si aparecen gráficamente datos sospechosos!
Esta serie de blogs refuerza la mejor práctica de SIEMPRE graficar sus datos de todas las formas que pueda pensar en JMP ANTES del trabajo de análisis numérico.
