Outliers에 대한 내 블로그 시리즈에 다시 오신 것을 환영합니다. 이전 에피소드에서는 다음을 살펴보았습니다.
오늘은 Mahalanobis에 대한 간단한(그러나 필요한) 검토 후 잭나이프 거리를 살펴보겠습니다.
Mahalanobis 거리에 대한 간략한 검토
에피소드 3의 3차원 10포인트 데이터 세트를 기억하시나요? 다변량 산점도 행렬은 다음과 같습니다. JMP :
Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)그림 1: 1개의 이상값(빨간색)이 있는 10개 데이터 포인트의 산점도 행렬
빨간색 점은 다른 9개 점과 비교할 때 이상값으로 보입니다. 이는 강조 표시된 플롯에서 특히 분명합니다.
그러나 Mahalanobis 거리 계산을 수행했을 때 빨간색 점은 "끔찍한" 이상값으로 나타나지 않았습니다.
Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1그림 2: 그림 1에 표시된 10개 데이터 포인트 샘플에 대한 Mahalanobis 거리
그림 2에서 빨간색 점은 유의선 위에 있지만 그다지 크지는 않습니다. 이는 그림 1의 산점도 매트릭스에 따르면 빨간색 점이 명백한 이상값으로 나타나는 직관에 어긋나는 것 같습니다.
그러나 Mahalanobis 계산에는 데이터의 공분산 구조를 고려할 때 전체로부터의 거리를 측정하는 작업이 포함된다는 점을 기억하십시오. 그림 1에서 강조 표시된 산점도를 직선으로 연결하면 다음과 같은 결과를 얻을 수 있습니다(Graph Builder에서).
Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)그림 3: 최적선(보통 최소 제곱에서 나온)을 포함하는 X1 대 X2의 간단한 플롯
직선 피팅은 이 두 변수(X1과 X2) 사이의 공분산 구조를 시각적으로 표현한 것입니다. 빨간색 특이점은 선의 위치에 큰 영향을 미칩니다. 그것은 선을 그쪽으로 끌어당겨서 그 자체로부터 선까지의 거리를 원래 있었던 것보다 더 작게 만듭니다.
또한 적합하지 않은 선은 다른 데이터 포인트가 빨간색 점이 라인에 그렇게 큰 영향을 미치지 않았을 경우 실제보다 선에서 더 멀리 떨어져 있는 것처럼 보이게 합니다. 예를 들어, 데이터 포인트 6(그림 3에 표시됨)은 선에서 멀리 떨어져 있는 것처럼 보이며 이 특정 최적 맞춤 선을 선택한 경우 이상치 경계에 있을 수 있습니다.
이상값을 감지하는 더 좋은 방법이 있나요?
잭나이프 기술
잭나이프 기술은 "하나를 남겨두기" 기술을 사용한 계산에 의존하므로 매우 간단하면서도 매우 강력합니다. 개념적으로 선 적합 계산에서 빨간색 이상값을 제외하면 다음과 같은 최적 선이 포함된 산점도가 생성됩니다.
Figure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlier그림 4: 빨간색 이상값을 제외한 모든 점을 기반으로 한 최적선을 포함하는 X1 대 X2의 간단한 플롯
이제 빨간색 이상값이 실제로 이상값으로 간주되어 추가 조사가 필요하다는 것이 분명해졌습니다.
일반적으로 에피소드 3에서 Mahalanobis 거리를 계산하는 다음 방정식을 기억해 보세요.
잭나이프 거리를 계산하려면 "leave-one-out" 기술을 사용하여 다음을 계산하십시오.
벡터와
모든 점에 대한 행렬 관심 장소를 제외하고 . 다음으로 관심 지점을
벡터를 생성하고 이제 잭나이프 거리라고 불리는 Mahalanobis 거리를 계산합니다.
관심 지점을 떠날 때마다 모든 지점에 대해 계산을 반복합니다.
계산 중에서
그리고
.
잭나이프 플롯은 다음과 같습니다.
Figure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sample그림 5: 10점 샘플에 대한 잭나이프 거리 플롯
이제 빨간색 점이 특이치라는 것이 분명해졌습니다.
잭나이프의 역사
당 위키피디아 , John Tukey가 "잭나이프"라는 이름을 붙인 이유는 이 기술이 원래 1950년대 초중반에 Maurice Quenouille에 의해 개발되었지만 다양한 상황에서 사용할 수 있는 강력한 다목적 도구이기 때문입니다.
다른 기술과의 유사점
다른 검증 방식(예: K-겹 검증)이나 부트스트랩 포레스트 및 부스팅 트리 기술과 같은 것에 익숙하다면 분석에서 하나 이상의 관측치를 제외하는 것이 매우 일반적이고 강력한 방법이라는 것을 인식할 것입니다. 통계 분석을 통해 더 많은 것을 얻으세요.
다음 에피소드
다시 들어가는 길 에피소드 1 , 에피소드 5에는 T가 참여할 것이라고 언급했습니다. 2 거리. 그러나 나는 이미 지적했다. 에피소드 3 그 T 2 는 단순히 Mahalanobis 거리의 제곱이므로 이를 논의하기 위해 다른 에피소드가 필요하지 않습니다.
대신, 이상치에 대한 다섯 번째이자 마지막 블로그 게시물에서는 이상치에 대한 다변량 K-최근접 이웃 탐지를 다룰 것입니다. 계속 지켜봐 주시기 바랍니다!
잭나이프 이상값 계산에 대한 훌륭한 설명에 감사드립니다. 저는 이 일련의 게시물을 정말 즐겼습니다!
잭나이프 분석 후, 그래프나 그림만이 아니라 각 데이터 포인트의 세부 거리 계산을 얻을 수 있는 방법이 있습니까?
