Bienvenido de nuevo a mi serie de blogs sobre valores atípicos. En episodios anteriores, analizamos:
Hoy, después de una revisión rápida (pero necesaria) de Mahalanobis, veremos la distancia de la navaja.
Revisión rápida de la distancia de Mahalanobis
¿Recuerda el conjunto de datos tridimensionales de 10 puntos del episodio 3? La matriz de diagramas de dispersión multivariante se ve así en JMP :
Figura 1: Matriz de diagrama de dispersión de 10 puntos de datos con un valor atípico (rojo)
El punto rojo parece ser un valor atípico en comparación con los otros nueve puntos. Esto es particularmente claro en la trama resaltada.
Sin embargo, cuando realizamos un cálculo de la distancia de Mahalanobis, el punto rojo no parecía ser un valor atípico "terrible":
Figura 2: Distancia de Mahalanobis para una muestra de 10 puntos de datos que se muestra en la Figura 1
En la Figura 2, el punto rojo está por encima de la línea de importancia, pero no mucho. Esto parece contrario a la intuición según la matriz de gráficos de dispersión de la Figura 1, donde el punto rojo parece ser un valor atípico obvio.
Pero recuerde, el cálculo de Mahalanobis implica medir la distancia del todo teniendo en cuenta la estructura de covarianza de los datos. Si tomamos la gráfica de dispersión resaltada de la Figura 1 y le ajustamos una línea recta, obtenemos algo como esto (de Graph Builder):
Figura 3: Gráfico simple de X1 vs X2, incluida la línea de mejor ajuste (de mínimos cuadrados ordinarios)
El ajuste en línea recta es una representación visual de la estructura de covarianza entre estas dos variables (X1 y X2). Tenga en cuenta que el punto de valor atípico rojo tiene una gran influencia en la posición de la línea; tira de la línea hacia él, haciendo que la distancia entre sí y la línea sea más pequeña de lo que debería haber sido.
Además, la línea mal ajustada también hace que parezca que otros puntos de datos están más lejos de la línea de lo que realmente podrían estar si el punto rojo no hubiera influido tanto en ella. Por ejemplo, el punto de datos 6 (etiquetado en la Figura 3) parece estar lejos de la línea y podría estar al borde de ser un valor atípico si se eligiera esta línea de mejor ajuste en particular.
¿Existe una mejor manera de detectar el valor atípico?
La técnica de la navaja
La técnica de la navaja es muy simple, pero muy poderosa, y se basa en cálculos que utilizan la técnica de "dejar uno fuera". Conceptualmente, si dejamos el valor atípico rojo fuera de los cálculos de ajuste de línea, generaría un diagrama de dispersión con la línea de mejor ajuste que se ve así:
Figura 4: Gráfico simple de X1 vs X2, incluida la línea de mejor ajuste basada en todos los puntos EXCEPTO para el valor atípico rojo
Ahora está claro que el valor atípico rojo se considera realmente un valor atípico, lo que justifica una mayor investigación.
En general, recuerde esta ecuación para calcular la distancia de Mahalanobis del episodio 3:
Para calcular la distancia de la navaja, utilice la técnica de "dejar uno fuera" y calcule la
vector y el
matriz para todos los puntos excepto por el punto de interés . A continuación, simplemente coloque el punto de interés en el
vector y calcule la distancia de Mahalanobis, que ahora se llama distancia de navaja.
Repita los cálculos para todos los puntos, cada vez que salga del punto de interés.
fuera de los cálculos de
y
.
La trama de la navaja se ve así:
Figura 5: Gráfico de distancia Jackknife para una muestra de 10 puntos
Ahora está bastante claro que el punto rojo es un valor atípico.
Historia de jackknife
Por Wikipedia A John Tukey se le ocurrió el nombre de “navaja” porque es una herramienta robusta de usos múltiples que se puede usar en una variedad de circunstancias, aunque la técnica fue desarrollada originalmente por Maurice Quenouille a principios y mediados de la década de 1950.
Paralelos con otras técnicas
Si está familiarizado con otros esquemas de validación (como la validación de K-fold) o cosas como el bosque de arranque y las técnicas de árbol potenciado, reconocerá que dejar una (o más) observaciones fuera de un análisis es una forma muy común y poderosa de Saque más provecho de sus análisis estadísticos.
Siguiente episodio
Camino de regreso Episodio 1 , Mencioné que el episodio 5 involucraría a T 2 distancias. Sin embargo, ya lo señalé en Episodio 3 que T 2 es simplemente el cuadrado de la distancia de Mahalanobis, por lo que no necesitamos otro episodio para discutir eso.
En cambio, mi quinta y última publicación de blog sobre valores atípicos abordará la detección de valores atípicos del vecino más cercano K multivariante. ¡Manténganse al tanto!
