간단한 퀴즈: 이상값이란 무엇입니까?
- 모델링 결과에 영향을 줄 수 있고 해결해야 하는 이상한 데이터 포인트.
- 추가 조사가 필요한 이상한 데이터 포인트는 프로세스에 대한 새로운 통찰력을 제공할 수 있습니다.
- Malcolm Gladwell의 정말 좋은 책입니다. (이상치, 2008)
대답은 물론 "위의 모든 것"입니다.
데이터를 살펴보는 업무를 수행하는 경우 데이터의 정상적인 패턴에 속하지 않는 숫자 판독값인 "이상치"를 수시로 발견하게 됩니다. 결과적으로 데이터의 최소 제곱 적합(예:)이 왜곡될 수 있습니다. 따라서 신속하게 파악하여 적절하게 대처해야 합니다.
이것은 이상값을 살펴보는 블로그 시리즈의 첫 번째입니다. 오늘은 이상값을 시각적으로 식별하는 방법을 살펴보겠습니다. 다음 에피소드에서는 이상값이 일반적으로 좋은지 나쁜지 살펴보겠습니다. 마지막 에피소드에서는 이상값을 감지하는 데 사용되는 다양한 수단과 알고리즘을 검토합니다.
이상값의 예 - 시각적 식별
이상값을 식별하는 가장 쉬운 방법 중 하나는 시각적입니다. 추세 등을 찾기 위해 이미 데이터를 플로팅하고 있기를 바랍니다. 데이터를 플로팅하는 방법에 따라 이상값이 분명한 경우가 많습니다. 아래 예는 몇 가지 간단한 플롯을 사용하여 이상값을 설명하는 데 도움이 됩니다.
예 1: 1차원 데이터
그림 1은 정규 분포 모집단(평균=0, 표준편차=1)에서 추출한 1,000개 샘플의 도트 플롯을 보여줍니다.
Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.그림 1: 1차원 데이터의 예.
X1=4 지점이 빨간색으로 강조 표시됩니다. 이 경우 평균에서 4 표준 편차입니다. 위에 표시된 것과 같은 정규 분포의 경우 이는 거의 발생하지 않습니다. 실제로 평균이 0이고 표준편차가 1인 정규분포에서 0.01%의 확률로 "4"가 나올 것으로 예상합니다. 이것은 확실히 특이한 관찰입니다.
예 2: 2차원 데이터, 독립 및 정규 분포 변수
아래 표시된 예에는 X1과 X2라는 두 개의 입력 변수가 있습니다.
Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.그림 2: 독립적이고 정규 분포된 변수가 있는 2D 예.
그림 2에는 두 개의 정규 분포 및 독립 변수인 X1과 X2가 있습니다. 각각 옆에 있는 히스토그램을 사용하여 정규성을 추측할 수 있습니다. (4,4)에서 빨간색으로 표시된 점에 유의하십시오. 다시 말하지만, X1 또는 X2의 수단에서 멀리 떨어져 있기 때문에 시각적으로 분명한 이상값이 있습니다.
예 3: 2차원 데이터, 정규 및 독립 변수, 다른 평균 및 표준 편차
변수가 두 개인 예제로 조금 더 살펴보겠습니다. 이번에는 평균과 표준 편차가 다릅니다.
Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.그림 3: 평균과 표준편차가 다른 2D 예.
대략 (1,27) 지점은 이상값으로 간주될 수 있습니다. X1 분포 내부에 있지만 분명히 X3 분포 외부에 있습니다.
그러나 (4,5)의 빨간색 점은 어떻습니까? 이상치인가? 우리의 눈은 그럴 수도 있다고 말하지만 어떻게 알 수 있습니까? 알고리즘적으로 어떻게 평가합니까? (이에 대한 답변은 다음 블로그 게시물을 기다려야 합니다!)
예 4: 변수 간의 상관관계가 있는 2차원 데이터
다음은 또 다른 2차원 예이며 이번에는 두 변수 사이의 상관 관계가 있습니다.
Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.그림 4: 두 변수 간의 상관 관계가 있는 2D 예.
시각적으로 그림 4의 (-3,6)에 있는 빨간색 점은 눈에 매우 분명합니다. 그러나 두 변수를 독립적으로 보면 이 점이 X1 차원과 X4 차원 모두에서 잘 작동한다는 것을 나타냅니다. (이것은 데이터를 플롯하는 것이 왜 중요한지에 대한 훌륭한 예입니다!)
예제 5: 까다로운 2차원 이상값
2차원의 또 다른 이상치는 아래 그림에 나와 있습니다.
Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.그림 5: 까다로운 2차원 아웃라이어.
다시 말하지만, 눈에는 분명하지만 알고리즘적으로 감지하기는 더 어렵습니다. 그래도 방법이 있습니다! (향후 블로그 게시물을 참조하십시오.)
예 6: 세 개 이상의 차원
차원이 2차원 이상인 경우에는 어떻게 됩니까? 시각화하기가 더 어려워집니다. 3차원의 경우 3D 산점도를 시도하고 회전하여 이상값을 식별할 수 있습니다. 차원이 3개 이상인 경우 모든 변수 쌍을 포함하는 일련의 산점도를 만들 수 있지만(예: 분석/다변량 플랫폼에서) 이상값을 발견하기 어려울 수 있음을 기억하십시오.
차원이 증가함에 따라 향후 게시물에서 다룰 이상값을 식별하는 데 도움이 되도록 특별히 개발된 알고리즘으로 전환하기 시작합니다.
향후 블로그 에피소드
다음 게시물에서는 다음에서 사용할 수 있는 다양한 이상치 알고리즘에 대해 논의할 것입니다. JMP , 위의 예(및 기타)에서 작동하는 방법 및 사용 시기를 포함합니다. 이러한 알고리즘에는 다음이 포함됩니다.
에서 이 시리즈의 모든 게시물 보기 이상값 이해 .
매우 흥미로운 주제입니다. 공유해 주셔서 감사합니다!
이전 의견에 추가하기 위해 우리가 항상 시도하는 것은 "PGA"를 적용하는 것입니다.
- 피 ractical: 데이터의 출처, 수집 방법, 기간 등
- G raphical: 항상 데이터를 먼저 플로팅하고 관계, "이상값" 등이 표시되면 데이터가 의미가 있는지 확인하십시오.
- ㅏ nalytical: 그런 다음에야 수치/통계 분석을 시작합니다 ...
앞으로 올라올 블로그도 기대해주세요!
훌륭한 블로그 시리즈 Jerry!
내 경험상 '이상값'의 가장 빈번한 원인은 데이터 입력 오류였습니다. 누군가 소수점을 입력하거나 두 개의 숫자를 뒤집거나 열의 다음 데이터 항목 항목에 대해 'return' 키를 누르는 것을 놓쳤거나 데이터를 직접 입력하는 동안 키보드의 키를 누르는 것을 그냥 놓쳤습니다. 의심스러운 데이터가 그래픽으로 나타나면 항상 소스 데이터를 먼저 확인하십시오!
이 블로그 시리즈는 수치 분석 작업 전에 항상 JMP에서 생각할 수 있는 모든 방식으로 데이터를 플로팅하는 모범 사례를 강화합니다.
