Bienvenido de nuevo a mi serie de blogs sobre valores atípicos. En episodios anteriores, hemos visto:
Hoy, después de una revisión rápida (pero necesaria) de Mahalanobis, veremos la distancia jackknife.
Revisión rápida de la distancia de Mahalanobis
¿Recuerdas el conjunto de datos tridimensionales de 10 puntos del Episodio 3? La matriz de diagrama de dispersión multivariante se veía así en JMP :
Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figura 1: Matriz de diagrama de dispersión de 10 puntos de datos con un valor atípico (rojo)
El punto rojo parece ser un valor atípico en comparación con los otros nueve puntos. Esto es particularmente claro en la trama resaltada.
Sin embargo, cuando realizamos un cálculo de la distancia de Mahalanobis, el punto rojo no parecía ser un valor atípico "terrible":
Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figura 2: Distancia de Mahalanobis para la muestra de 10 puntos de datos que se muestra en la Figura 1
En la Figura 2, el punto rojo está por encima de la línea de significación, pero no mucho. Esto parece contrario a la intuición según la matriz de diagramas de dispersión de la figura 1, donde el punto rojo parece ser un valor atípico obvio.
Pero recuerde, el cálculo de Mahalanobis implica medir la distancia del total al tener en cuenta la estructura de covarianza de los datos. Si tomamos el diagrama de dispersión resaltado de la Figura 1 y le ajustamos una línea recta, obtenemos algo como esto (de Graph Builder):
Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figura 3: Gráfica simple de X1 vs X2, incluida la línea de mejor ajuste (de mínimos cuadrados ordinarios)
El ajuste de línea recta es una representación visual de la estructura de covarianza entre estas dos variables (X1 y X2). Tenga en cuenta que el punto atípico rojo tiene una gran influencia en la posición de la línea; tira de la línea hacia arriba, haciendo que la distancia entre sí y la línea sea más pequeña de lo que debería haber sido.
Además, la línea mal ajustada también hace que parezca que otros puntos de datos están más lejos de la línea de lo que realmente podrían estar si el punto rojo no hubiera influido con tanta fuerza. Por ejemplo, el punto de datos 6 (etiquetado en la Figura 3) parece estar lejos de la línea y podría estar en el borde de ser un valor atípico si se eligiera esta línea de mejor ajuste en particular.
¿Hay una mejor manera de detectar el valor atípico?
La técnica de la navaja
La técnica jackknife es muy simple, pero muy poderosa, y se basa en cálculos que utilizan la técnica de "dejar uno fuera". Conceptualmente, si dejáramos el valor atípico rojo fuera de los cálculos de ajuste de línea, generaría un diagrama de dispersión con la línea de mejor ajuste que se vería así:
Figure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigura 4: Gráfica simple de X1 vs X2, incluida la línea de mejor ajuste basada en todos los puntos EXCEPTO para el valor atípico rojo
Ahora está claro que el valor atípico rojo realmente se considera un valor atípico, lo que justifica una mayor investigación.
En general, recuerde esta ecuación para calcular la distancia de Mahalanobis del episodio 3:
Para calcular la distancia jackknife, use la técnica de "dejar uno fuera" y calcule la
vector y el
matriz para todos los puntos a excepción del punto de interés . A continuación, simplemente coloque el punto de interés en el
vector y calcule la distancia de Mahalanobis, que ahora se denomina distancia jackknife.
Repita los cálculos para todos los puntos, dejando cada vez el punto de interés
de los cálculos de
y
.
El diagrama de jackknife se ve así:
Figure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigura 5: Gráfica de distancia Jackknife para una muestra de 10 puntos
Ahora está bastante claro que el punto rojo es un valor atípico.
Historia de la navaja
Por Wikipedia A John Tukey se le ocurrió el nombre de "jackknife" porque es una herramienta multipropósito robusta que se puede usar en una variedad de circunstancias, aunque la técnica fue desarrollada originalmente por Maurice Quenouille a principios y mediados de la década de 1950.
Paralelos con otras técnicas.
Si está familiarizado con otros esquemas de validación (como la validación de K-fold) o cosas como el bosque de arranque y las técnicas de árboles potenciados, reconocerá que dejar una (o más) observaciones fuera de un análisis es una forma muy común y poderosa de Obtenga más de sus análisis estadísticos.
Siguiente episodio
Camino de regreso Episodio 1 , mencioné que el Episodio 5 involucraría a T 2 distancias Sin embargo, ya señalé en Episodio 3 que T 2 es simplemente el cuadrado de la distancia de Mahalanobis, así que no necesitamos otro episodio para discutir eso.
En cambio, mi quinta y última publicación de blog sobre valores atípicos abordará la detección multivariada de valores atípicos del vecino más cercano K. ¡Manténganse al tanto!
