¡Gran serie de blogs Jerry!
En mi experiencia, la causa más frecuente de "valores atípicos" fue el error de entrada de datos. Alguien deslizó un punto decimal, o invirtió dos números, falló al presionar 'retorno' para la siguiente entrada del punto de datos en la columna, o simplemente falló al presionar la tecla en el teclado durante la entrada manual de los datos. ¡Siempre verifique primero los datos de origen si aparecen gráficamente datos de aspecto sospechoso!
Esta serie de blogs refuerza la mejor práctica de trazar SIEMPRE sus datos de todas las formas que pueda pensar en JMP ANTES del trabajo de análisis numérico.
Tema muy interesante, gracias por compartir!
Para agregar al comentario anterior, lo que siempre intentamos hacer es aplicar "PGA":
- PAGS táctico: de dónde provienen los datos, cómo se recopilaron, en qué período, etc.
- GRAMO Raphical: siempre traza tus datos primero e intenta ver si tienen sentido, si ves relaciones, "valores atípicos", etc.
- UN analítico: solo entonces comience a hacer análisis numérico / estadístico ...
¡Esperamos los próximos blogs!
Un cuestionario rápido: ¿Qué son los valores atípicos?
- Puntos de datos extraños que podrían influir en los resultados del modelado y deben abordarse.
- Puntos de datos extraños que justifican una mayor investigación, posiblemente proporcionando nuevos conocimientos sobre su proceso.
- Un libro realmente bueno de Malcolm Gladwell. (Valores atípicos, 2008)
La respuesta, por supuesto, es "Todas las anteriores".
Si está en el negocio de mirar datos, ha encontrado “valores atípicos” de vez en cuando, esas lecturas numéricas que no caen dentro del patrón normal de los datos. Como resultado, nuestros ajustes por mínimos cuadrados de los datos (por ejemplo) podrían estar distorsionados. Por lo tanto, debemos identificarlos rápidamente y tratarlos de manera adecuada.
Este es el primero de una serie de blogs que analiza los valores atípicos. Hoy, veremos los valores atípicos de identificación visual. En el próximo episodio, examinaremos si los valores atípicos son generalmente buenos o malos; los últimos episodios examinarán diferentes medios y algoritmos utilizados para detectar valores atípicos.
Ejemplos de valores atípicos: identificación visual
Una de las formas más fáciles de identificar valores atípicos es visualmente. Con suerte, ya está trazando sus datos para buscar tendencias, etc. Dependiendo de cómo trace sus datos, los valores atípicos a menudo serán obvios. Los ejemplos siguientes ayudan a describir los valores atípicos mediante algunos gráficos simples.
Ejemplo 1: datos unidimensionales
La Figura 1 muestra un diagrama de puntos de 1,000 muestras extraídas de una población distribuida normalmente (media = 0, desviación estándar = 1).
Figura 1: Un ejemplo con datos unidimensionales.
El punto en X1 = 4 está resaltado en rojo. En este caso, son 4 desviaciones estándar de la media. Para una distribución normal (como la que se muestra arriba), esto es muy poco probable. De hecho, esperaríamos sacar un “4” de una distribución normal con media 0 y desviación estándar de 1 solo el 0.01% del tiempo. Esta es definitivamente una observación inusual.
Ejemplo 2: datos bidimensionales, variables independientes y distribuidas normalmente
En el ejemplo que se muestra a continuación, tenemos dos variables de entrada: X1 y X2:
Figura 2: Un ejemplo 2D, con variables independientes y normalmente distribuidas.
En la Figura 2, tenemos dos variables independientes y distribuidas normalmente, X1 y X2. Los histogramas al lado de cada uno se pueden usar para suponer normalidad. Tenga en cuenta el punto marcado en rojo en (4,4). Nuevamente, tenemos un valor atípico que es visualmente obvio, ya que está ubicado lejos de las medias de X1 o X2.
Ejemplo 3: datos bidimensionales, variables normales e independientes, diferentes medias y desviaciones estándar
Vayamos un poco más allá con el ejemplo de dos variables. Esta vez, tenemos diferentes medias y desviaciones estándar.
Figura 3: Un ejemplo 2D, con diferentes medias y desviaciones estándar.
El punto en aproximadamente (1,27) podría considerarse un valor atípico. Está dentro de la distribución X1, pero claramente fuera de la distribución X3.
Pero, ¿qué pasa con el punto rojo en (4,5)? ¿Es un valor atípico? Nuestros ojos nos dicen que podría ser, pero ¿cómo podemos saberlo? ¿Cómo lo evaluamos algorítmicamente? (¡Para obtener la respuesta a esto, tendrá que esperar a las publicaciones de blog posteriores!)
Ejemplo 4: datos bidimensionales con correlación entre las variables
A continuación se muestra otro ejemplo bidimensional, esta vez con correlación entre las dos variables:
Figura 4: Un ejemplo en 2D, con correlación entre las dos variables.
Visualmente, el punto rojo en (-3,6) en la Figura 4 es bastante obvio para el ojo. Pero mirar cualquiera de las variables de forma independiente indicaría que este punto se comporta bien tanto en la dimensión X1 como en la dimensión X4. (¡Este es un excelente ejemplo de por qué es importante graficar sus datos!)
Ejemplo 5: un valor atípico bidimensional más complicado
Otro valor atípico extraño en dos dimensiones se muestra en la siguiente figura:
Figura 5: Un valor atípico bidimensional más complicado.
De nuevo, es obvio a simple vista, pero más difícil de detectar algorítmicamente. Aún así, ¡hay una manera! (Consulte las publicaciones de blog futuras).
Ejemplo 6: más de dos dimensiones
¿Y si tenemos más de dos dimensiones? Las cosas se vuelven más difíciles de visualizar. Para tres dimensiones, puede probar un diagrama de dispersión 3D y rotarlo para identificar valores atípicos. Para más de tres dimensiones, puede intentar hacer una serie de diagramas de dispersión para cubrir todos los pares de variables (como en la plataforma Analizar / Multivariante), pero recuerde que los valores atípicos pueden ser difíciles de detectar.
A medida que aumenta la dimensionalidad, comenzamos a recurrir a algoritmos desarrollados específicamente para ayudar a identificar valores atípicos, que se tratarán en publicaciones futuras.
Episodios futuros del blog
En próximas publicaciones, discutiremos los distintos algoritmos atípicos disponibles en JMP , incluido cómo funcionan en los ejemplos anteriores (y más) y cuándo usarlos. Estos algoritmos incluyen:
Ver todas las publicaciones de esta serie sobre comprender los valores atípicos .
