Bienvenido de nuevo a mi serie de blogs sobre valores atípicos. En el primer episodio , analizamos la definición e identificación visual de valores atípicos. En el segundo episodio , usamos cuantiles (a través de diagramas de Box & Whisker) para ayudar a identificar valores atípicos en una dimensión.
En este episodio, analizamos la identificación de valores atípicos en múltiples dimensiones utilizando la distancia de Mahalanobis. También echamos un vistazo rápido a T 2 , que es una simple extensión de la distancia de Mahalanobis.
Valores atípicos multidimensionales
La figura 1 es una reproducción de una de las figuras de Episodio 1 y muestra un gráfico bidimensional de 1000 puntos de datos con un valor atípico claro (marcado con el cuadrado rojo):
Figura 1: 1000 puntos de datos en dos dimensiones, valor atípico marcado en rojo
El diagrama de dispersión en la Figura 1 nos permite determinar fácilmente valores atípicos visualmente en dos dimensiones, incluso cuando el valor atípico no es evidente a partir de las distribuciones univariadas del histograma. Entonces, las técnicas de Box & Whisker (cuantiles) descritas en Episodio 2 no siempre son fiables al analizar datos multidimensionales. E identificar visualmente los valores atípicos (como en Episodio 1 ) se vuelve difícil a medida que aumenta el número de dimensiones. Entonces, ¿cómo podemos detectar de manera más confiable estos valores atípicos multidimensionales?
La distancia de Mahalanobis
La distancia de Mahalanobis (D METRO ) nos da un método numérico para identificar valores atípicos multidimensionales. Lleva el nombre de su creador, el estadístico indio Prasanta Chandra Mahalanobis (1893-1972). Para obtener más información sobre el Dr. Mahalanobis, le dirijo a este artículo de Wikipedia .
ANUNCIO METRO La gráfica para el conjunto de datos que se muestra en la Figura 1 se muestra a continuación:
Figura 2: Gráfico de distancia de Mahalanobis para 1000 puntos de datos de la Figura 1
La figura 2 muestra todos los puntos de datos en orden de filas frente a D METRO en el eje Y El valor de D METRO para cada punto representa la "distancia" estandarizada de cada punto desde el centroide de todos los puntos de datos. El punto de datos rojo se destaca claramente de los puntos restantes, por lo que justificaría una mayor investigación como un valor atípico.
Entonces, ¿cómo funciona este cálculo?
El método general
Digamos que tenemos una distribución bidimensional de 1000 puntos. En cada dimensión, 999 de los puntos se extraen de una población distribuida normalmente con una media de cero y una desviación estándar de 1,0. Luego agregué un punto atípico como último punto de la muestra. Si hacemos un diagrama de dispersión XY, podríamos tener algo como esto:
Figura 3: Diagrama de dispersión de 1000 puntos de datos no correlacionados, con un valor atípico marcado (rojo)
Note el punto rojo de interés en la Figura 3. Podemos calcular fácilmente la media y la desviación estándar de la muestra de 1000 puntos en cada dimensión, y podemos calcular la distancia euclidiana desde el punto rojo al centroide de los puntos usando el Teorema de Pitágoras. Para múltiples dimensiones:
De hecho, podemos dibujar círculos centrados en el centroide que representan distancias iguales desde el centroide, como en la Figura 4:
Figura 4: Diagrama de dispersión de 1000 puntos de datos no correlacionados, con círculos equidistantes del centroide superpuesto
En la Figura 4, los círculos representan distancias de 1, 2, 3 y 4 unidades (de menor a mayor) al centroide de los puntos. Aquí se ve claramente que el punto en rojo es el más alejado del centroide de los puntos. Su distancia está representada por "d".
Esto funciona bien si tenemos distribuciones escaladas de manera similar (es decir, que las desviaciones estándar son las mismas).Pero, ¿qué pasa si tenemos diferentes escalas, como se muestra en la Figura 5?
Figura 5: Diagrama de dispersión de 1000 puntos de datos no correlacionados, con diferentes medias y desviaciones estándar en cada dimensión.
Aquí tenemos dos problemas. Primero, la media de los puntos en la dimensión X3 no es cero. Eso es lo suficientemente simple de solucionar simplemente restando la media de todos los puntos de datos.
El segundo problema es que la desviación estándar en la dimensión X3 es mucho mayor que en la dimensión X1. Esto hace que el cálculo de la distancia sea discutible, a menos que podamos compensar las diferencias. Esto también se hace fácilmente. Después de corregir el desplazamiento medio desde cero, simplemente dividimos en cada dimensión por su desviación estándar. Esto se normaliza para cualquier desajuste en las desviaciones estándar. La ecuación multidimensional para evaluar esta distancia se convierte en:
donde mys representan la desviación estándar y media en cada dimensión. Si realizamos estos cálculos y reproducimos los datos estandarizados, obtenemos la siguiente figura:
Figura 6: Datos de la Figura 5 después de transformar para corregir la desviación estándar y media de cada dimensión
Así que ahora tenemos una forma de ajustar los datos para medias distintas de cero y para desviaciones estándar desiguales. Esto funciona bien siempre que los datos de cada dimensión sean independientes entre sí (es decir, no estén correlacionados). Pero si existe una correlación como la que se muestra en la Figura 1, ¿qué hacemos?
Una forma de hacer esto sería emplear componentes principales para establecer nuevos ejes alineados con las tendencias en los datos y luego realizar las operaciones descritas anteriormente. Pero esto requiere muchos clics. (Si está interesado en cómo podría funcionar esto, consulte el Apéndice A.)
Afortunadamente, el Dr. Mahalanobis nos brinda una manera fácil y elegante de calcular esta distancia.
Ecuación de Mahalanobis para calcular distancias
La elegante ecuación del Dr. Mahalanobis para calcular la D METRO es:
dónde:
es un vector de valores de las N dimensiones de la i th punto de datos observado individual.
N = el número de dimensiones (o columnas) de interés.
T indica la operación de transposición.
es un vector de las medias de cada una de las N dimensiones (o columnas) de interés.
S -1 es la inversa de la matriz de covarianza NxN para todos los puntos de datos (disponible en la plataforma Multivariante en JMP).
Colocando los valores apropiados en la ecuación anterior da la D METRO desde el yo th apunte al centroide de todos los puntos del conjunto de datos. Si está interesado en cómo funciona este cálculo, el Apéndice B resuelve un pequeño problema de muestra.
La trama de Mahalanobis en JMP
re METRO por sí solo es de poca utilidad para nosotros. Solo tiene significado cuando se compara con otros puntos de datos. El gráfico de Mahalanobis en JMP muestra estos resultados.
Podemos generar la gráfica de Mahalanobis yendo a Análisis / Métodos multivariados / Multivariante, seleccionando las columnas, luego desde el menú desplegable rojo seleccione Análisis de valores atípicos / Distancia de Mahalanobis. Para el conjunto de datos de ejemplo de la Figura 1, esto da:
Figura 7: Distancias de Mahalanobis para una muestra de 1000 puntos de datos (repetición de la Figura 2)
Aquí vemos que el punto de datos en la Fila 1 de la tabla de datos tiene la mayor distancia (D METRO ), lo que indica que es el más alejado del centroide de los 10 puntos de datos. La línea azul representa un límite superior de confianza del 95% (UCL) sobre si creemos que la D METRO es significativamente diferente de cero. El punto rojo está claramente por encima del UCL, por lo que merece una mayor investigación como valor atípico.
Pero los valores atípicos no siempre son tan obvios de detectar, particularmente con conjuntos de datos pequeños. En el ejemplo del Apéndice B, muestro ejemplos de cálculos para un pequeño conjunto de datos (10 puntos de datos en tres dimensiones). Este conjunto de datos genera una D METRO trazar como se muestra a continuación:
Figura 8: Distancias de Mahalanobis para una muestra de 10 puntos de datos en el Apéndice B
El d METRO la trama ha identificado el punto 1 como un valor atípico. Pero también vemos que D METRO para la Fila 1 no es tan diferente de D METRO para la fila 7! ¿Por qué es esto? ¡Tendrás que esperar al próximo episodio para obtener la respuesta a esa pregunta!
Una nota rápida sobre T 2
JMP también ofrece una opción para una T 2 cálculo en Análisis / Métodos multivariados / Multivariante, y luego Análisis de valores atípicos. T 2 es simplemente el cuadrado de D METRO . A algunas personas les gusta usarlo para forzar una separación más visual entre los valores atípicos y la mayor parte de los datos, pero T 2 realmente contiene la misma información que D METRO .
Siguiente episodio
En el próximo episodio, cubriremos la distancia Jackknife, que es otra forma de ver los valores atípicos y que hará que el valor atípico del conjunto de datos de ejemplo anterior se destaque.
Ver todas las publicaciones de esta serie sobre comprender los valores atípicos .
Apéndice A: Uso de componentes principales para identificar valores atípicos
Sería bueno si tuviéramos una forma de rotar los ejes en la Figura 1 para que se alinearan con la tendencia de los datos, algo como esto:
Figura 9: Rotación conceptual de ejes para un conjunto de datos bidimensionales
Luego, podríamos usar las técnicas descritas anteriormente para estandarizar los datos para detectar valores atípicos.
Una forma de hacerlo es el análisis de componentes principales (PCA). PCA encuentra el conjunto de ejes ortogonales (mutuamente perpendiculares) que mejor se ajusta a los datos. Puede tener tantos componentes principales como dimensiones originales (columnas) en su conjunto de datos. En JMP, PCA se puede encontrar en dos lugares: en Analizar / Métodos multivariados / Componentes principales, o en Analizar / Métodos multivariados / Multivariante, y luego en el menú desplegable rojo junto a Multivariante, elija Componentes principales / en Correlaciones. El menú desplegable rojo también ofrece una opción para guardar los componentes principales en la tabla de datos. Una vez que haya hecho esto, puede usar los métodos para corregir las medias y las desviaciones estándar descritas anteriormente para determinar la distancia desde el centroide.
Apéndice B: D METRO cálculos para un conjunto de datos de ejemplo
Digamos que tenemos un conjunto de datos de muestra con tres columnas y 10 filas:
Figura 10: Conjunto de datos de muestra pequeño utilizado para cálculos de ejemplo de DM
En JMP, podemos ejecutar Análisis / Métodos multivariantes / Multivariante en estas tres columnas para producir la siguiente matriz de diagrama de dispersión:
Figura 11: Matriz de gráficos de dispersión para datos de ejemplo
En la Figura 11 podemos ver que los datos de la Fila 1 (resaltados en rojo) parecen ser un valor atípico cuando se comparan en las dimensiones X1-X2, aunque no es tan claro en los gráficos X1-X3 o X2-X3.
Queremos calcular la distancia de Mahalanobis para el primer punto. Entonces, completando los vectores y matrices en el D anterior METRO ecuación, comenzamos con el punto de interés:
Las medias de cada columna se pueden encontrar de varias formas diferentes. Usemos Cols / Column Viewer, luego Show Summary:
Figura 12: Resumen de estadísticas, por ejemplo, conjunto de datos tridimensionales de 10 puntos
Entonces el vector de medias se convierte en:
A continuación, necesitamos la matriz de covarianza, que se encuentra en Análisis / Métodos multivariados. Seleccione Matriz de covarianza en el triángulo desplegable rojo:
Figura 13: Matriz de covarianza, por ejemplo, conjunto de datos tridimensionales de 10 puntos
También necesitamos la inversa de la matriz de covarianza, S -1 . JMP no nos da esa información del sistema de menús, pero podemos obtenerla fácilmente de un script personalizado de la siguiente manera:
Figura 14: Script JMP JSL para encontrar la inversa de una matriz
Esto resulta en:
S -1 =
Luego, simplemente conectamos y resolvemos la ecuación matricial:
La distancia de Mahalanobis (D METRO ) es 2.814 para los datos mostrados en la Fila 1 del conjunto de datos de ejemplo.
Figura 15: Gráfico de Mahalanobis para un conjunto de datos de ejemplo (repetición de la Figura 8)
