훌륭한 블로그 시리즈 Jerry!
내 경험상 '이상치'의 가장 흔한 원인은 데이터 입력 오류였습니다. 누군가가 소수점을 미끄러지거나 두 개의 숫자를 뒤집거나 열의 다음 데이터 포인트 항목에 대해 'return'을 누르지 않았거나 데이터를 직접 입력하는 동안 키보드의 키를 누르는 것을 놓쳤습니다. 의심스러운 데이터가 그래픽으로 나타나면 항상 소스 데이터를 먼저 확인하십시오!
이 블로그 시리즈는 수치 분석 작업 전에 JMP에서 생각할 수있는 모든 방식으로 항상 데이터를 플로팅하는 모범 사례를 강화합니다.
매우 흥미로운 주제, 공유해 주셔서 감사합니다!
이전 의견에 추가하기 위해 우리가 항상 시도하는 것은 "PGA"를 적용하는 것입니다.
- 피 실용적 : 데이터 출처, 수집 방법, 기간 등
- 지 raphical : 항상 데이터를 먼저 플로팅하고 관계, "이상 값"등이 표시되는지 확인하십시오.
- ㅏ nalytical : 그런 다음 수치 / 통계 분석을 시작하십시오 ...
다가오는 블로그를 기대합니다!
간단한 퀴즈 : 이상 값이란 무엇입니까?
- 모델링 결과에 영향을 줄 수 있고 해결해야하는 이상한 데이터 포인트.
- 추가 조사가 필요한 이상한 데이터 포인트로 프로세스에 대한 새로운 통찰력을 제공 할 수 있습니다.
- Malcolm Gladwell의 정말 좋은 책입니다. (이상치, 2008)
물론 대답은“위의 모든 것”입니다.
데이터를 보는 비즈니스에 종사하는 경우, 데이터의 정상적인 패턴에 속하지 않는 수치 판독 값 인 "이상 값"을 수시로 살펴 보았습니다. 결과적으로 데이터의 최소 제곱 적합도 (예 
가 왜곡 될 수 있습니다. 따라서 우리는 그들을 신속하게 식별하고 적절하게 처리해야합니다.
이것은 특이 치를 살펴 보는 블로그 시리즈의 첫 번째입니다. 오늘은 시각적으로 식별되는 이상 값을 살펴 보겠습니다. 다음 에피소드에서는 이상 치가 일반적으로 좋은지 나쁜지 조사 할 것입니다. 마지막 에피소드에서는 이상 값을 감지하는 데 사용되는 다양한 수단과 알고리즘을 조사합니다.
특이 치의 예-시각적 식별
이상 치를 식별하는 가장 쉬운 방법 중 하나는 시각적으로입니다. 바라건대, 추세 등을 찾기 위해 이미 데이터를 플로팅하고 있습니다. 데이터를 플로팅하는 방법에 따라 이상 값이 종종 분명해질 것입니다. 아래의 예는 몇 가지 간단한 플롯을 사용하여 특이 치를 설명하는 데 도움이됩니다.
예 1 : 1 차원 데이터
그림 1은 정규 분포 모집단 (평균 = 0, 표준 편차 = 1)에서 추출한 1,000 개 샘플의 점 플롯을 보여줍니다.
그림 1 : 1 차원 데이터가있는 예.
X1 = 4 지점은 빨간색으로 강조 표시됩니다. 이 경우 평균에서 4 표준 편차입니다. (위에 표시된 것과 같은) 정규 분포의 경우 이는 거의 발생하지 않습니다. 사실, 우리는 평균이 0이고 표준 편차가 1 인 정규 분포에서“4”를 그 시간의 0.01 %에 불과할 것으로 예상합니다. 이것은 확실히 특이한 관찰입니다.
예제 2 : 2 차원 데이터, 독립 및 정규 분포 변수
아래 표시된 예에는 X1과 X2의 두 가지 입력 변수가 있습니다.
그림 2 : 독립 및 정규 분포 변수가있는 2D 예제.
그림 2에는 두 개의 정규 분포 및 독립 변수 인 X1과 X2가 있습니다. 각각 옆에있는 히스토그램을 사용하여 정규성을 추정 할 수 있습니다. (4,4)에서 빨간색으로 표시된 점에 유의하십시오. 다시 말하지만, X1 또는 X2의 수단에서 멀리 떨어져 있기 때문에 시각적으로 분명한 이상 값이 있습니다.
예 3 : 2 차원 데이터, 정규 및 독립 변수, 다른 평균 및 표준 편차
변수가 두 개인 예를 좀 더 살펴 보겠습니다. 이번에는 평균과 표준 편차가 다릅니다.
그림 3 : 평균과 표준 편차가 다른 2D 예.
약 (1,27) 지점은 이상치로 간주 될 수 있습니다. X1 배포 내부에 있지만 분명히 X3 배포 외부에 있습니다.
그러나 (4,5)의 빨간색 점은 어떻습니까? 이상치입니까? 우리 눈은 그럴 수도 있다고 말하지만 어떻게 알 수 있습니까? 알고리즘 적으로 어떻게 평가합니까? (이에 대한 답변을 보려면 후속 블로그 게시물을 기다려야합니다!)
예 4 : 변수간에 상관 관계가있는 2 차원 데이터
아래는 또 다른 2 차원 예입니다. 이번에는 두 변수 간의 상관 관계가 있습니다.
그림 4 : 두 변수 간의 상관 관계가있는 2D 예제.
시각적으로 그림 4의 (-3,6)에있는 빨간색 점은 눈에 아주 분명합니다. 그러나 두 변수를 독립적으로 살펴보면이 점이 X1 차원과 X4 차원에서 모두 잘 작동 함을 나타냅니다. (이것은 데이터를 그리는 것이 중요한 이유에 대한 훌륭한 예입니다!)
예 5 : 까다로운 2 차원 이상 값
2 차원의 또 다른 이상한 이상 값이 아래 그림에 나와 있습니다.
그림 5 : 까다로운 2 차원 이상 값.
다시 말하지만 눈에는 분명하지만 알고리즘 적으로 감지하기가 더 어렵습니다. 그래도 방법이 있습니다! (향후 블로그 게시물 참조)
예 6 : 두 개 이상의 차원
차원이 두 개 이상이면 어떻게됩니까? 시각화하기가 더 어려워집니다. 3 차원의 경우 3D 산점도를 시도하고 회전하여 이상 값을 식별 할 수 있습니다. 3 차원이 넘는 경우 모든 변수 쌍을 포함하는 일련의 산점도를 만들 수 있지만 (예 : 분석 / 다변량 플랫폼) 이상 값을 찾기 어려울 수 있습니다.
차원이 증가함에 따라 특이 치를 식별하는 데 도움이되도록 특별히 개발 된 알고리즘을 사용하기 시작합니다. 이는 향후 게시물에서 다룰 것입니다.
향후 블로그 에피소드
다음 게시물에서는 다음에서 사용할 수있는 다양한 이상치 알고리즘에 대해 논의 할 것입니다. JMP , 위의 예 (및 기타)에서 작동하는 방법과 사용시기를 포함합니다. 이러한 알고리즘에는 다음이 포함됩니다.
이 시리즈의 모든 게시물보기 이상치 이해 .
