Outliers에 대한 내 블로그 시리즈에 다시 오신 것을 환영합니다. 이전 에피소드에서는 다음을 살펴 보았습니다.
오늘은 Mahalanobis에 대한 빠른 (그러나 필요한) 검토 후 잭나이프 거리를 살펴 보겠습니다.
Mahalanobis 거리에 대한 빠른 검토
에피소드 3의 3 차원 10 점 데이터 세트를 기억하십니까? 다변량 산점도 행렬은 다음과 같습니다. JMP :
그림 1 : 하나의 특이 치 (빨간색)가있는 10 개의 데이터 포인트로 구성된 산점도 행렬
빨간색 점은 다른 9 개 점과 비교할 때 이상치로 나타납니다. 이것은 강조 표시된 플롯에서 특히 분명합니다.
그러나 Mahalanobis 거리 계산을 수행했을 때 빨간색 점은 "끔찍한"이상 값으로 보이지 않았습니다.
그림 2 : 그림 1에 표시된 10 개의 데이터 포인트 샘플에 대한 Mahalanobis 거리
그림 2에서 빨간색 점은 유의선 위에 있지만 그다지 많지는 않습니다. 이것은 그림 1의 산점도 행렬을 기반으로 할 때 직관적이지 않은 것처럼 보입니다. 여기서 빨간색 점은 명백한 이상 값으로 보입니다.
그러나 Mahalanobis 계산에는 데이터의 공분산 구조를 고려할 때 전체로부터의 거리 측정이 포함됩니다. 그림 1에서 강조 표시된 산점도를 가져와 직선을 맞추면 다음과 같은 결과가 나타납니다 (그래프 빌더에서).
그림 3 : 최적 선 (일반 최소 제곱에서)을 포함한 X1 대 X2의 간단한 플롯
직선 적합은이 두 변수 (X1 및 X2) 사이의 공분산 구조를 시각적으로 표현한 것입니다. 빨간색 특이 치 점은 선의 위치에 큰 영향을 미칩니다. 선을 그쪽으로 끌어 당겨서 선까지의 거리를 원래보다 더 작게 만듭니다.
또한 적합하지 않은 선은 다른 데이터 포인트가 빨간색 포인트가 그다지 강하게 영향을 미치지 않았을 때보 다 실제로 더 멀리있는 것처럼 보이게합니다. 예를 들어, 데이터 포인트 6 (그림 3에 표시됨)은 선에서 멀리 떨어져있는 것처럼 보이며이 특정 최적의 선을 선택한 경우 이상 값의 경계에있을 수 있습니다.
이상 치를 감지하는 더 좋은 방법이 있습니까?
잭나이프 기술
잭나이프 기술은 "leave one out"기술을 사용하는 계산에 의존하는 매우 간단하지만 매우 강력합니다. 개념적으로, 선 적합 계산에서 빨간색 이상 값을 제외하면 다음과 같은 최적 적합 선이있는 산점도가 생성됩니다.
그림 4 : 빨간색 이상 값을 제외한 모든 점을 기반으로 한 최적 선을 포함한 X1 대 X2의 간단한 플롯
이제 빨간색 이상 값이 실제로 이상 값으로 간주되므로 추가 조사가 필요합니다.
일반적으로 에피소드 3에서 Mahalanobis 거리를 계산하기 위해이 방정식을 기억하십시오.
잭나이프 거리를 계산하려면 "leave-one-out"기법을 사용하고
벡터 및
모든 점에 대한 행렬 관심 지점을 제외하고 . 다음으로 관심 장소를
벡터를 사용하고 이제 잭나이프 거리라고하는 Mahalanobis 거리를 계산합니다.
관심 지점에서 나갈 때마다 모든 지점에 대해 계산을 반복합니다.
계산 중
과
.
잭나이프 플롯은 다음과 같습니다.
그림 5 : 10 포인트 샘플에 대한 잭나이프 거리 플롯
이제 빨간색 점이 특이 치라는 것이 분명합니다.
잭나이프의 역사
당 위키 백과 , John Tukey는 원래 1950 년대 중반에 Maurice Quenouille에 의해 개발되었지만 다양한 상황에서 사용할 수있는 강력한 다목적 도구이기 때문에 "jackknife"라는 이름을 내놓았습니다.
다른 기술과의 유사성
다른 유효성 검사 체계 (예 : K- 폴드 유효성 검사) 또는 부트 스트랩 포리스트 및 부스트 트리 기술에 익숙한 경우 분석에서 하나 이상의 관찰을 제외하는 것이 매우 일반적이고 강력한 방법이라는 것을 알 수 있습니다. 통계 분석에서 더 많은 것을 얻으십시오.
다음 에피소드
돌아 오는 길 에피소드 1 , 에피소드 5에는 T가 포함될 것이라고 언급했습니다. 2 거리. 그러나 나는 이미 지적했다. 에피소드 3 그 T 2 단순히 Mahalanobis 거리의 제곱이므로 논의하기 위해 다른 에피소드가 필요하지 않습니다.
대신, 이상치에 대한 다섯 번째이자 마지막 블로그 게시물은 이상치의 다변량 K- 최근 접 이웃 탐지를 다룰 것입니다. 계속 지켜봐주세요!
Jackknife 이상치 계산에 대한 훌륭한 설명에 감사드립니다. 나는이 일련의 포스트를 정말로 즐겼다!
