Outliers에 대한 두 번째 블로그에 오신 것을 환영합니다. 이 에피소드에서는 분위수 범위를 사용하여 이상값을 감지하는 방법을 살펴보겠습니다.
에피소드 1에서 , 이상값을 설명하고 시각적으로 식별하는 방법을 살펴보았습니다. 이상값을 식별해야 하는 간단한 1차원(또는 일변량) 사례가 있다는 것을 기억할 수 있습니다. 이들은 식별하기 가장 쉽고 분위수 범위는 이를 찾는 훌륭한 방법입니다.
다차원 이상값 감지를 위해서는 다음 게시물을 기다려야 합니다!
분위수란 무엇입니까?
분위수는 이해하기 매우 쉽습니다. 일련의 20개의 숫자가 있다고 가정해 봅시다. 숫자를 낮은 것부터 높은 것까지 정렬할 수 있습니다. 그런 다음 이러한 포인트를 분위수로 그룹화할 수 있습니다. 이 분위수는 데이터의 X%가 떨어지는 지점을 설명하는 정렬된 데이터의 컷 포인트로 식별됩니다.
분위수는 일반적으로 분수(0에서 1까지)로 표현됩니다. 0에서 100 사이의 백분위수에 정확히 일치합니다. 이 게시물 전체에서 이를 서로 바꿔서 사용할 것입니다.
그림 1은 정렬 전후의 20개 숫자와 0.20 및 0.50 분위수(또는 20 일 그리고 50 일 백분위수).
Figure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sorted그림 1: 20포인트 샘플의 데이터, 무작위 순서 및 정렬
50의 컷 포인트 일 백분위수는 표본의 중앙값입니다. (이 경우 중앙값은 수치상 32.5, 40과 25 사이의 중간점입니다.)
몇 가지 다른 흥미로운 정의는 다음과 같습니다.
- 데이터를 25% 그룹으로 나누는 사분위수. 첫 번째 사분위수는 하위 25%에 해당하는 데이터 포인트를 나타내고, 두 번째 사분위수 포인트는 25%에서 50% 사이에 해당하는 등의 방식으로 진행됩니다.
- 2에 해당하는 범위를 정의하는 사분위수 범위 또는 IQR 차 그리고 3 일 사분위수.
분위수에 대해 이야기할 때 분포의 모양에 대한 가정은 없습니다.
JMP에서 분위수 계산은 어디에 있습니까?
의 세 위치에 나열된 분위수를 찾을 수 있습니다. JMP . 분포 플랫폼과 그래프 빌더는 모두 동일한 계산을 사용합니다. 이상값 탐색/분위수 범위 이상값은 이상값 민감도 측면에서 사용자에게 더 많은 유연성을 제공합니다. 각각을 살펴보겠습니다.
유통 플랫폼
분포에서 모든 연속/숫자 데이터 히스토그램에는 표 분위수 요약이 포함됩니다. 기본적으로 JMP는 관심 있는 여러 분위수를 표시합니다. 그림 1의 원본 데이터 열에서 배포 플랫폼을 사용하면 다음과 같은 결과가 나타납니다.
그림 2의 중앙 테이블에는 몇 가지 일반적인 Quantile이 표시되어 있습니다. 레드 핫스팟을 선택하고 표시 옵션을 선택한 다음 분위수 증분 설정 또는 사용자 지정 분위수를 선택하여 이 테이블에 표시되는 분위수를 변경할 수 있습니다.
또한 그림 2에는 Box & Whisker 플롯이 표시되어 있습니다. 플롯에 표시된 기호는 그림 2에 주석이 있습니다.
위스커의 끝은 이상값을 감지하는 데 가장 중요합니다. 수염 길이는 사분위수 범위의 최소값과 최대값에서 측정되며 수염은 해당 범위의 1.5배 내에 있는 마지막 데이터 포인트에서 끝납니다. 이는 이상값 감지에 대한 일반적인 경험 법칙입니다. 이 위스커 외부에 있는 점은 추가 조사가 필요합니다.
그러나 그림 1과 2에 표시된 데이터 세트에서 이 기술은 이상값을 감지하지 않습니다. 이것은 특히 작은 샘플 크기에서 드문 일이 아닙니다.
그림 3은 이전 블로그 게시물의 1,000개 샘플 데이터에 대한 배포 플랫폼 출력을 보여줍니다. 이 샘플은 평균이 0.0이고 표준 편차가 1.0인 무작위 정규 분포에서 추출됩니다. 또한 이전 게시물에서 이상값으로 시각적으로 식별된 X1=4 지점을 포함합니다.
Figure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distribution그림 3: 정규 분포의 1,000점 샘플에 대한 분포 플랫폼 출력
더 큰 샘플 크기를 사용하면 이제 일부 포인트가 이상치로 나타납니다(적어도 수염 끝으로 정의됨). 이 특별한 경우에는 데이터가 1,000개의 포인트가 있는 정규 분포 모집단에서 나온 것임을 알고 있으므로 값이 4인 포인트가 하나 이상 표시되는 것은 드문 일이 아닙니다. 실제 사례에서 수염 너머의 지점은 추가 조사가 필요할 수 있습니다.
Graph Builder에서 상자 및 수염 플롯 만들기
Graph Builder에서 상자 및 수염 그림을 생성할 수도 있습니다. 전체 Graph Builder 설정은 그림 4에 나와 있습니다.
Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)그림 4: Box & Whisker 플롯을 위한 Graph Builder 설정(정규 분포의 1,000포인트 샘플)
Box & Whisker 플롯 유형을 활성화하는 그래프 위의 그래프 유형 아이콘(빨간색 원)에 유의하십시오.
분포 플랫폼과 마찬가지로 수염 길이는 1.5*사분위수 범위이며 25에서 아래로 확장됩니다. 일 백분위 수 이상 75 일 백분위수
이상값 탐색
다른 수염 한계를 선택하려면 어떻게 해야 합니까?
위에서 언급한 바와 같이 1.5*IQR의 위스커 길이는 이상값을 식별하기 위한 일반적인 관행입니다. 나는 이것이 아마도 큰 샘플 정규 분포를 보는 것에서 비롯된 것이라고 생각합니다. 사분위수 범위를 넘는 1.5*IQR은 정규 분포의 99.30%를 포함하는 것으로 표시될 수 있습니다(각 꼬리에 데이터의 0.3488%가 남음). 정규 분포가 있는 경우 상대적으로 드문 이벤트를 식별할 수 있습니다.
하지만 정규분포가 없다면? 분포가 다음과 같으면 어떻게 됩니까?
Figure 5: Skewed distributionFigure 5: Skewed distributionFigure 5: Skewed distributionFigure 5: Skewed distribution그림 5: 편향된 분포
그림 5는 1.5*IQR 방법에 따라 위쪽 위스커 너머에 5개의 이상값이 있는 N=100포인트의 왜곡된 분포를 보여줍니다. 그러나 X1=3의 지점이 정말 이상치입니까? 또는 이상한 조사를 보증하는 수염에 의해 숨겨진 다른 점이 있을 수 있습니다. 이 1.5*IQR 규칙을 어떻게 조정합니까?
JMP를 사용하면 이상치 분석/스크리닝/탐색에서 이 작업을 수행한 다음 분위수 범위 이상치 옵션을 선택할 수 있습니다. 이 옵션을 불러오면 그림 5에 요약된 100포인트 샘플에 대한 입력 화면이 아래에 표시됩니다.
Figure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample output그림 6: Quantile Range Outliers 사용자 인터페이스 및 샘플 출력
Quantile Range Outliers 패널에는 두 가지 기본 입력이 있습니다.
- 꼬리 분위수(TQ). 이 분수는 수염 계산에 사용될 분포의 가장 작은 컷 포인트를 설명합니다. (1-Tail Quantile)은 분포의 상위 컷 포인트를 설명합니다. 이러한 컷 포인트의 차이는 후속 계산에 사용되는 범위를 설명합니다.
- 앞에서 설명한 IQR 계산의 경우 꼬리 분위수는 0.25이며 수염이 25에서 시작함을 나타냅니다. 일 그리고 75 일 백분위수이며 범위는 사분위수 범위(또는 75 일 -25 일 백분위수).
- 분위수 범위 이상값의 꼬리 분위수에 대한 기본값은 0.1이며 수염이 10에서 시작함을 나타냅니다. 일 그리고 90 일 백분위수이며 길이는 (90 일 -10 일 백분위수) 범위.
- 큐. 이것은 수염의 길이를 결정하는 데 사용되는 승수입니다.
- 이전 IQR 계산에서 이것은 1.5였으므로 사분위수 범위에 1.5를 곱하여 수염 길이를 구했습니다.
- Quantile Range Outliers에서 Q의 기본값은 3이며, 수염 길이가 (90 일 -10 일 백분위수) 범위에 3을 곱합니다.
Quantile Range Outliers의 출력은 그림 6의 패널 하단에 표시됩니다. 여기에서 열 X1에 10이 있음을 알 수 있습니다. 일 백분위수 -1.283 및 90 일 백분위수는 1.65556입니다. 위스커의 끝(출력에서 낮은 임계값과 높은 임계값[각각 LT 및 HT]으로 표시됨)은 다음 계산을 기반으로 합니다.
LT = 10 일 분위수 – (90 일 분위수 – 10 일 분위수) * Q
= -1.283 – (1.65556 – -1.283) * 3
= -10.099
HT = 90 일 분위수 + (90 일 분위수 – 10 일 분위수) * Q
= 1.65556 + (1.65556 – -1.283) * 3
= 10.4713
이 경우 그림 6에 표시된 보고서의 맨 아래에 표시되는 값 12.0에서 상한 임계값을 초과하는 값이 열에 하나만 있습니다.
꼬리 분위수 및 Q에 대한 민감도
특이치 감지 민감도는 꼬리 분위수 및 Q 값에 의해 명확하게 제어됩니다. 전통적인 1.5*IQR 및 3*(90 일 -10 일 quantile) 방법은 둘 다 허용되며 전자는 이상값을 탐지하는 데 훨씬 더 민감합니다. Quantile Range Outliers 플랫폼을 사용하여 특정 사례에 필요에 따라 이러한 값을 조정할 수 있습니다.
tail quantile 및 Q 선택의 효율성은 특정 분포에 따라 다르지만 정규 분포를 보면 동작에 대한 통찰력을 얻을 수 있습니다. 아래 표는 꼬리 분위수와 Q의 여러 조합을 정규 분포의 꼬리에서 수염을 벗어나는 값의 백분율과 함께 보여줍니다.
Table 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and Q표 1: 꼬리 분위수 및 Q의 다양한 값에 대한 대규모 표본 정규 분포에서 탐지된 이상치의 백분율
이 아이디어를 확장하여 표 1의 수량에 대한 보다 완전한 그림을 보여주는 등고선 지도를 만들 수 있습니다.
Figure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and Q그림 7: Tail Quantile 및 Q의 다양한 값에 대한 대규모 표본 정규 분포에서 탐지된 이상치의 백분율
그림 7은 꼬리 분위수 값이 높고 Q 값이 낮으면 이상치에 대한 계산이 더 민감해지는 반면, TQ 값이 낮고 Q 값이 높으면 덜 민감하다는 것을 분명히 보여줍니다.
다음 에피소드
다음 시간에 우리는 논의 할 것입니다 마할라노비스 거리 , 여러 차원에서 이상값을 감지하는 데 사용됩니다.
에서 이 시리즈의 모든 게시물 보기 이상값 이해 .
안녕 @매드울프 , 게시물 주셔서 감사합니다.
분포 플랫폼은 1.5*IRQ 방법을 사용하고 Analyze/Screening/Explore Outliers는 기본적으로 3*(90th-10th quantile) 방법을 사용합니다.둘 다 이상값을 식별하는 데 도움이 되는 합법적인 방법입니다.
이와 같은 도구는 "잠재적" 이상값을 식별하기 위한 것임을 기억하십시오.따라서 그들은 단지 조수일 뿐입니다.두 가지 방법을 모두 시도하고 결과가 다른지 확인할 수 있습니다.이상값이 식별되는 경우(두 방법 중 하나에서), 단순히 즉시 폐기하는 것이 아니라 계속 조사해야 한다는 점에 주의해야 합니다.데이터는 당신에게 중요한 것을 말하려고 할 수 있습니다!따라서 이상치를 버릴 때는 신중해야 합니다.
제 생각에는 이러한 방법 중 하나가 "정말 나쁜" 이상값을 포착할 것입니다.당신이 읽는다면 내 세 번째 블로그 게시물 Mahalanobis 거리 및 jackknife 거리에 대한 나의 (다가오는) 4번째 게시물에서 이 게시물에서 검토한 것보다 까다로운 상황에서 이상값을 식별하는 데 도움이 되는 더 많은 방법을 찾을 수 있습니다.
행운을 빌어요!
