Bienvenido de nuevo a mi serie de blogs sobre valores atípicos. En el primer episodio , buscamos definir e identificar visualmente los valores atípicos. En el segundo episodio , usamos cuantiles (a través de diagramas de caja y bigotes) para ayudar a identificar valores atípicos en una dimensión.
En este episodio, analizamos la identificación de valores atípicos en múltiples dimensiones utilizando la distancia de Mahalanobis. También echamos un vistazo rápido a T 2 , que es una simple extensión de la distancia de Mahalanobis.
Valores atípicos multidimensionales
La figura 1 es una reproducción de una de las figuras de Episodio 1 y muestra un gráfico bidimensional de 1000 puntos de datos con un valor atípico claro (marcado con el cuadrado rojo):
Figure 1: 1,000 data points in two dimensions, outlier marked in redFigure 1: 1,000 data points in two dimensions, outlier marked in redFigure 1: 1,000 data points in two dimensions, outlier marked in redFigure 1: 1,000 data points in two dimensions, outlier marked in redFigura 1: 1000 puntos de datos en dos dimensiones, valor atípico marcado en rojo
El diagrama de dispersión de la Figura 1 nos permite determinar fácilmente los valores atípicos visualmente en dos dimensiones, incluso cuando el valor atípico no es evidente en las distribuciones de histogramas univariadas. Entonces, las técnicas Box & Whisker (cuantil) descritas en Episodio 2 no siempre son fiables cuando se analizan datos multidimensionales. E identificar visualmente los valores atípicos (como en Episodio 1 ) se vuelve difícil a medida que aumenta el número de dimensiones. Entonces, ¿cómo podemos detectar de manera más confiable estos valores atípicos multidimensionales?
La distancia de Mahalanobis
La distancia de Mahalanobis (D METRO ) nos da un método numérico para identificar valores atípicos multidimensionales. Lleva el nombre de su creador, el estadístico indio Prasanta Chandra Mahalanobis (1893-1972). Para obtener más información sobre el Dr. Mahalanobis, lo dirijo a este artículo de Wikipedia .
ANUNCIO METRO La gráfica para el conjunto de datos que se muestra en la Figura 1 se muestra a continuación:
Figure 2: Mahalanobis Distance plot for 1,000 data points from Figure 1Figure 2: Mahalanobis Distance plot for 1,000 data points from Figure 1Figure 2: Mahalanobis Distance plot for 1,000 data points from Figure 1Figure 2: Mahalanobis Distance plot for 1,000 data points from Figure 1Figura 2: Diagrama de distancia de Mahalanobis para 1000 puntos de datos de la Figura 1
La figura 2 muestra todos los puntos de datos en orden de fila frente a D METRO en el eje Y. El valor de D METRO para cada punto representa la "distancia" estandarizada de cada punto desde el centroide de todos los puntos de datos. El punto de datos rojo se destaca claramente de los puntos restantes, por lo que justificaría una mayor investigación como un valor atípico.
Entonces, ¿cómo funciona este cálculo?
el metodo general
Digamos que tenemos una distribución bidimensional de 1000 puntos. En cada dimensión, 999 de los puntos se extraen de una población normalmente distribuida con una media de cero y una desviación estándar de 1,0. Luego agregué un punto atípico como el último punto de la muestra. Si hacemos un diagrama de dispersión XY, podríamos tener algo como esto:
Figure 3: Scatterplot of 1,000 uncorrelated data points, with one marked outlier (red)Figure 3: Scatterplot of 1,000 uncorrelated data points, with one marked outlier (red)Figure 3: Scatterplot of 1,000 uncorrelated data points, with one marked outlier (red)Figure 3: Scatterplot of 1,000 uncorrelated data points, with one marked outlier (red)Figura 3: Diagrama de dispersión de 1000 puntos de datos no correlacionados, con un valor atípico marcado (rojo)
Tenga en cuenta el punto rojo de interés en la Figura 3. Podemos calcular fácilmente la media y la desviación estándar de la muestra de 1000 puntos en cada dimensión, y podemos calcular la distancia euclidiana desde el punto rojo hasta el centroide de los puntos utilizando el teorema de Pitágoras. Para multidimensiones:
De hecho, podemos dibujar círculos centrados en el centroide que representan distancias iguales del centroide, como en la Figura 4:
Figure 4: Scatterplot of 1,000 uncorrelated data points, with equidistant circles from centroid overlaidFigure 4: Scatterplot of 1,000 uncorrelated data points, with equidistant circles from centroid overlaidFigure 4: Scatterplot of 1,000 uncorrelated data points, with equidistant circles from centroid overlaidFigure 4: Scatterplot of 1,000 uncorrelated data points, with equidistant circles from centroid overlaidFigura 4: Diagrama de dispersión de 1000 puntos de datos no correlacionados, con círculos equidistantes del centroide superpuestos
En la Figura 4, los círculos representan distancias de 1, 2, 3 y 4 unidades (de menor a mayor) al centroide de los puntos. Aquí es claro ver que el punto en rojo es el más alejado del centroide de los puntos. Su distancia está representada por “d”.
Esto funciona bien si tenemos distribuciones a escala similar (es decir, que las desviaciones estándar sean las mismas).Pero, ¿y si tenemos diferentes escalas, como se muestra en la Figura 5?
Figure 5: Scatterplot of 1,000 uncorrelated data points, having different means and standard deviations in each dimension.Figure 5: Scatterplot of 1,000 uncorrelated data points, having different means and standard deviations in each dimension.Figure 5: Scatterplot of 1,000 uncorrelated data points, having different means and standard deviations in each dimension.Figure 5: Scatterplot of 1,000 uncorrelated data points, having different means and standard deviations in each dimension.Figura 5: Diagrama de dispersión de 1000 puntos de datos no correlacionados, con diferentes medias y desviaciones estándar en cada dimensión.
Aquí tenemos dos problemas. Primero, la media de los puntos en la dimensión X3 es distinta de cero. Eso es bastante simple de solucionar simplemente restando la media de todos los puntos de datos.
El segundo problema es que la desviación estándar en la dimensión X3 es mucho mayor que en la dimensión X1. Esto hace que el cálculo de la distancia sea discutible, a menos que podamos compensar las diferencias. Esto también se hace fácilmente. Después de corregir el cambio medio desde cero, simplemente dividimos cada dimensión por su desviación estándar. Esto normaliza cualquier discrepancia en las desviaciones estándar. La ecuación multidimensional para evaluar esta distancia se convierte en:
donde m y s representan la media y la desviación estándar en cada dimensión. Si llevamos a cabo estos cálculos y volvemos a representar los datos estandarizados, obtenemos la siguiente figura:
Figure 6: Data from Figure 5 after transforming to correct for mean and standard deviation of each dimensionFigure 6: Data from Figure 5 after transforming to correct for mean and standard deviation of each dimensionFigure 6: Data from Figure 5 after transforming to correct for mean and standard deviation of each dimensionFigure 6: Data from Figure 5 after transforming to correct for mean and standard deviation of each dimensionFigura 6: Datos de la Figura 5 después de transformarlos para corregir la media y la desviación estándar de cada dimensión
Así que ahora tenemos una forma de ajustar los datos para medias distintas de cero y para desviaciones estándar desiguales. Esto funciona bien siempre que los datos de cada dimensión sean independientes entre sí (es decir, no estén correlacionados). Pero si existe una correlación como la que se muestra en la Figura 1, ¿qué hacemos?
Una forma de hacerlo sería emplear componentes principales para establecer nuevos ejes alineados con las tendencias de los datos y luego realizar las operaciones descritas anteriormente. Pero esto requiere muchos clics. (Si está interesado en cómo podría funcionar esto, consulte el Apéndice A).
¡Afortunadamente, el Dr. Mahalanobis nos brinda una manera fácil y elegante de calcular esta distancia!
Ecuación de Mahalanobis para calcular distancias
La elegante ecuación del Dr. Mahalanobis para calcular la D METRO es:
dónde:
es un vector de valores de las N dimensiones de la i el punto de datos observado individual.
N = el número de dimensiones (o columnas) de interés.
T indica la operación de transposición.
es un vector de las medias de cada una de las N dimensiones (o columnas) de interés.
S -1 es el inverso de la matriz de covarianza NxN para todos los puntos de datos (disponible en la plataforma Multivariante en JMP).
Reemplazar los valores apropiados en la ecuación anterior da la D METRO de la yo el apunte al centroide de todos los puntos en el conjunto de datos. Si está interesado en cómo funciona este cálculo, el Apéndice B funciona a través de un pequeño problema de muestra.
La trama de Mahalanobis en JMP
D METRO por sí solo nos sirve de poco. Solo tiene significado cuando se compara con otros puntos de datos. El diagrama de Mahalanobis en JMP muestra estos resultados.
Podemos generar el diagrama de Mahalanobis yendo a Análisis/Métodos multivariados/Multivariados, seleccionando las columnas, luego, desde el menú desplegable rojo, seleccione Análisis de valores atípicos/Distancia de Mahalanobis. Para el conjunto de datos de ejemplo de la Figura 1, esto da:
Figure 7: Mahalanobis distances for 1,000 data point sample (repeat of Figure 2)Figure 7: Mahalanobis distances for 1,000 data point sample (repeat of Figure 2)Figure 7: Mahalanobis distances for 1,000 data point sample (repeat of Figure 2)Figure 7: Mahalanobis distances for 1,000 data point sample (repeat of Figure 2)Figura 7: Distancias de Mahalanobis para una muestra de 1000 puntos de datos (repetición de la Figura 2)
Aquí vemos que el punto de datos en la Fila 1 de la tabla de datos tiene la mayor distancia (D METRO ), lo que indica que es el más alejado del centroide de los 10 puntos de datos. La línea azul representa un límite de confianza superior (UCL) del 95 % sobre si creemos que la D METRO es significativamente diferente de cero. El punto rojo está claramente por encima de la UCL, por lo que merece una mayor investigación como un valor atípico.
Pero los valores atípicos no siempre son tan obvios de detectar, particularmente con conjuntos de datos pequeños. En el ejemplo del Apéndice B, muestro ejemplos de cálculos para un pequeño conjunto de datos (10 puntos de datos en tres dimensiones). Este conjunto de datos genera una D METRO parcela como se muestra a continuación:
Figure 8: Mahalanobis distances for 10 data point sample in Appendix BFigure 8: Mahalanobis distances for 10 data point sample in Appendix BFigure 8: Mahalanobis distances for 10 data point sample in Appendix BFigure 8: Mahalanobis distances for 10 data point sample in Appendix BFigura 8: Distancias de Mahalanobis para una muestra de 10 puntos de datos en el Apéndice B
El d METRO la trama ha identificado el Punto 1 como un valor atípico. Pero también vemos que D METRO porque la fila 1 no es tan diferente de la D METRO para la fila 7! ¿Por qué es esto? ¡Tendrás que esperar al próximo episodio para encontrar la respuesta a esa pregunta!
Una nota rápida sobre T 2
JMP también ofrece una opción para una T 2 cálculo en Análisis/Métodos multivariados/Multivariados y, a continuación, Análisis de valores atípicos. T 2 es simplemente el cuadrado de D METRO . A algunas personas les gusta usarlo para forzar una mayor separación visual entre los valores atípicos y la mayor parte de los datos, pero T 2 realmente contiene la misma información que D METRO .
Siguiente episodio
En el próximo episodio, cubriremos la distancia Jackknife, que es otra forma de ver los valores atípicos y que hará que el valor atípico del conjunto de datos del ejemplo anterior se destaque.
Ver todas las publicaciones de esta serie en comprender los valores atípicos .
Apéndice A: uso de componentes principales para identificar valores atípicos
Sería bueno si tuviéramos una forma de rotar los ejes en la Figura 1 para que se alinearan con la tendencia de los datos, algo como esto:
Figure 9: Conceptual rotation of axes for two-dimensional data setFigure 9: Conceptual rotation of axes for two-dimensional data setFigure 9: Conceptual rotation of axes for two-dimensional data setFigure 9: Conceptual rotation of axes for two-dimensional data setFigura 9: Rotación conceptual de ejes para conjuntos de datos bidimensionales
Entonces podríamos usar las técnicas descritas anteriormente para estandarizar los datos para detectar valores atípicos.
Una forma de hacerlo es el análisis de componentes principales (PCA). PCA encuentra el conjunto de ejes ortogonales (mutuamente perpendiculares) que mejor se ajusta a los datos. Puede tener tantos componentes principales como dimensiones originales (columnas) tenga en su conjunto de datos. En JMP, PCA se puede encontrar en dos lugares: en Analizar/Métodos multivariantes/Componentes principales, o en Analizar/Métodos multivariantes/Multivariante, y luego, en el menú desplegable rojo junto a Multivariante, elija Componentes principales/en Correlaciones. El menú desplegable rojo también ofrece una opción para guardar los componentes principales en la tabla de datos. Una vez que haya hecho esto, puede usar los métodos para corregir las medias y las desviaciones estándar descritas anteriormente para determinar la distancia desde el centroide.
Apéndice B: D METRO cálculos para un conjunto de datos de ejemplo
Digamos que tenemos un conjunto de datos de muestra con tres columnas y 10 filas:
Figure 10: Small sample data set used for DM example calculationsFigure 10: Small sample data set used for DM example calculationsFigure 10: Small sample data set used for DM example calculationsFigure 10: Small sample data set used for DM example calculationsFigura 10: Conjunto de datos de muestra pequeño utilizado para cálculos de ejemplo de DM
En JMP, podemos ejecutar Análisis/Métodos multivariados/Multivariados en estas tres columnas para producir la siguiente matriz de diagrama de dispersión:
Figure 11: Scatterplot matrix for example dataFigure 11: Scatterplot matrix for example dataFigure 11: Scatterplot matrix for example dataFigure 11: Scatterplot matrix for example dataFigura 11: Matriz de diagrama de dispersión para datos de ejemplo
En la Figura 11 podemos ver que los datos de la Fila 1 (resaltados en rojo) parecen ser un valor atípico cuando se comparan en las dimensiones X1-X2, aunque no es tan claro en los gráficos X1-X3 o X2-X3.
Queremos calcular la distancia de Mahalanobis para el primer punto. Entonces, completando los vectores y matrices en la D anterior METRO ecuación, comenzamos con el punto de interés:
Las medias de cada columna se pueden encontrar de varias maneras diferentes. Usemos Cols/Column Viewer, luego Show Summary:
Figure 12: Summary statistics for example three-dimensional 10-point data setFigure 12: Summary statistics for example three-dimensional 10-point data setFigure 12: Summary statistics for example three-dimensional 10-point data setFigure 12: Summary statistics for example three-dimensional 10-point data setFigura 12: Estadísticas de resumen para un ejemplo de conjunto de datos tridimensionales de 10 puntos
Entonces el vector de medias se convierte en:
A continuación, necesitamos la matriz de covarianza, que se encuentra en Análisis/Métodos multivariados. Seleccione Matriz de covarianza del triángulo desplegable rojo:
Figure 13: Covariance matrix for example three-dimensional 10-point data setFigure 13: Covariance matrix for example three-dimensional 10-point data setFigure 13: Covariance matrix for example three-dimensional 10-point data setFigure 13: Covariance matrix for example three-dimensional 10-point data setFigura 13: Matriz de covarianza para un conjunto de datos de 10 puntos tridimensionales de ejemplo
También necesitamos la inversa de la matriz de covarianza, S -1 . JMP no nos brinda esa información desde el sistema de menús, pero podemos obtenerla fácilmente desde un script personalizado de la siguiente manera:
Figure 14: JMP JSL script to find inverse of a matrixFigure 14: JMP JSL script to find inverse of a matrixFigure 14: JMP JSL script to find inverse of a matrixFigure 14: JMP JSL script to find inverse of a matrixFigura 14: Script JMP JSL para encontrar el inverso de una matriz
Esto resulta en:
S -1 =
Luego simplemente conectamos y resolvemos la ecuación matricial:
La distancia de Mahalanobis (D METRO ) es 2,814 para los datos que se muestran en la Fila 1 del conjunto de datos de ejemplo.
Figure 15: Mahalanobis plot for example data set (repeat of Figure 8)Figure 15: Mahalanobis plot for example data set (repeat of Figure 8)Figure 15: Mahalanobis plot for example data set (repeat of Figure 8)Figure 15: Mahalanobis plot for example data set (repeat of Figure 8)Figura 15: Diagrama de Mahalanobis para un conjunto de datos de ejemplo (repetición de la Figura 8)
