에서 이전 블로그 게시물 우리는 카테고리에서 더러운 데이터 정리를 살펴 보았습니다. 이번에는 연속 열의 이상 값 형태로 더티 데이터를 정리합니다.
업계에서는 대부분 범위가 좁은 범위 (예 : .1에서 .7 사이)와 그 범위를 벗어난 값 (예 : 누락 된 값 코드 인 99)이있는 경우가 드뭅니다. 특이점의 가장 일반적인 예는 다음과 같습니다.
누락 값 코드, 종종 9의 문자열.
• 분명히 잘못 입력 된 수동으로 입력 한 값, 특히 소수점을 잘못 배치 한 경우.
• 계측기 오류 : 데이터가 있어야하는 위치에 계측기 오류 코드가 삽입됩니다.
• 전류 서지 또는 전압 강하를 일으키는 전기 단락과 같은 비정상적인 이벤트.
• 큰 값은 드물지만 실제로는 실패 할 수있는 시간별 배포와 같은 긴 꼬리 분포.
• 오염 된 특이점 (outliers) - 깨끗한 것으로 여겨지는 물건들의 집합에 몇 개의 항목이 들어갔다.
탐험하고 청소해야 할 칼럼이 몇 개 밖에 없으면 손으로 직접하는 것이 합리적입니다. 그러나 수십 또는 수천 개의 열이 있으면 도움이 필요합니다. Cols-> Modeling Utilities의 "Explore Outliers"기능은 새로운 도구입니다.
가장 직접적인 접근법은 꼬리 퀀 타이들 (tail quantile)을 얻은 다음 꼬리 퀀 타이들 (tail quantiles)을 넘어서는 인터 콰 셜 범위의 일부 규모를 측정하는 것입니다. 그만큼 ANSUR Anthopometry 데이터 좋은 예를 보여줍니다. 총 3,982 명의 131 명의 신체 측정 값을 측정합니다. 이 데이터를 분석하기 전에 우선 이상 치를 확인하고 이상 치를 인식해야합니다.
선택된 각 변수에 대해 Outliers는 먼저 10 % 및 90 % quantile을 계산하여 대부분의 데이터 범위에 대한 좋은 추정치를 판별합니다. 엄청난 수의 동점이있는 경우, 즉 10 %와 90 % quantile이 같으면 유틸리티는 값을 얻기 위해 꼬리쪽으로 더 도달합니다. 그런 다음 정수가되는 범위를 3 (기본값 'Q'배율 인수)으로 곱하고 정수 범위의 3 배보다 10 % 및 90 % 범위에서 더 먼 값을 찾습니다. 이것은 매우 극단적 인 기본 이상치 선택 기준이지만 적어도 가장 먼저 가장 이상한 이상치에 가장 관심이 있습니다. 나중에 quantile과 multiplier를보다 민감하게 조정할 수 있습니다.
ANSUR 데이터의 기본 스캔은 10 % 및 90 % 테일을 지나서 3 개 이상의 인터 수식 범위 인 -999의 값을 갖는 두 개의 열을 나타냅니다. 이 경우 실제 데이터가 아니라 값 코드가 누락 된 것이 분명합니다.
다른 129 개의 변수는 특이 치를 나타내지 않으므로 "특이 치를 가진 열만 표시"를 선택하여보다 쉽게 열에 집중할 수 있습니다. 디스플레이에서이 열을 선택하면 데이터 표의 열이 선택됩니다.
다음으로, 우리는 이러한 특이 치를 처리하기 위해 취할 조치를 결정해야합니다. 여섯 개의 동작 버튼이 있습니다. 행을 선택하고 행 명령 "다음 선택"을 사용하여 데이터 테이블보기를 선택한 각 행으로 전진시킬 수 있습니다. 행의 색상을 지정하여 행에 이상치가 있음을 강조 할 수 있습니다. 아래에 표시된 것처럼 데이터 테이블을 탐색 할 때 셀의 색을 지정하여 눈에 띄게 만들 수 있습니다. 행을 분석에서 제외하기 위해 제외 할 수도 있습니다.
이 경우 아웃 라이어가 실제로 누락 된 데이터를 나타내므로 나머지 두 가지 조치가 확실한 선택입니다. "누락 값 코드에 추가"를 클릭하면 해당 열에 "누락 값 코드"열 속성을 설치하거나 "변경 to missing "으로 변경하여 하드웨어 (NAN) 누락 값으로 변경합니다. JMP 항상 누락 된 것으로 인식합니다. 뚜렷한 의미가있는 누락 된 값 코드가 여러 개있는 경우 이전 버튼을 사용할 수 있습니다.
또한 높은 값은 누락 값 코드로 자주 사용되기 때문에 높은 값을 검사하지만 모든 높은 값은 데이터의 위쪽 꼬리 값에서 멀리 떨어져 있지 않으므로 누락 값을 나타낼 가능성이 없습니다.
때로는 특이 치는 다 변수 의미에서 벗어나므로 각 열의 quantile 범위에서 멋지게 나타날 수 있지만 데이터는 클러스터에 있고 일부 지점은 다른 지점에서 멀리 떨어져 있습니다. 피셔의 아이리스 (Iris) 데이터를 예로 들면 세 종을 대표하는 세 개의 클러스터가 있음을 알 수 있습니다. 종들이 광범위하게 분리되어 있기 때문에 단 변량 이상치가 아니더라도 특이점이 다른 모든 점들과 멀리 떨어져있을 수있는 많은 빈 공간이 있습니다. 우리는 이러한 이상치를 찾기 위해 k- 가장 가까운 이웃 시설을 가지고있다. 각 점에 대해 가장 가까운 점, 두 번째로 가까운 점, 세 번째로 가까운 점 등과 같은 점의 거리를 찾습니다. 여기서는 가장 가까운 점에서 멀리 떨어진 점을 식별합니다.
Scatterplot Matrix에서이 점을 살펴보면 어떤 단일 좌표에서도 특이한 것은 아니지만 다른 점과는 거리가 멀다는 것을 알 수 있습니다. 그것은 꽃잎 길이와 꽃잎 너비와 관련하여 그 위치를 고려할 때 Sepal 너비에서 멀리 떨어져 있습니다. 우리는이 클러스터들의 정체성을 알게되고, 특이한 특징은 그것의 종에서 다른 것들에 비해 매우 낮은 Sepal 너비를 갖는다는 것입니다.
계속하기 위해, 우리는 가장 가까운 이웃과 멀리 떨어져 있지는 않지만 여전히 데이터로부터 멀리 떨어져있는 점들과 같은 다수의 특이점을 가질 수 있습니다. 다음은 각 점의 세 번째 가까운 이웃과의 거리입니다.
두 개의 파란색 k = 3 이상치의 산란계 행렬을 보면 서로 가깝지만 Sepal 길이 산점도에 의한 Sepal 너비에 초점을두고 다른 점과 구분됩니다.
따라서 다 변수 외계인을 탐색하고 어떤 일이 일어나고 있는지 파악할 수 있습니다. 예를 들어 피셔 아이리스 (Fisher Iris) 데이터에서 완전히 별개의 종의 홍채가 섞여 있고 잘못 식별 된 경우와 같이 k- 가장 가까운 감각의 이상 치는 오염 상황에서 발생할 수 있습니다.
특이점에 대한 조치는 상황에 따라 다르지만 일부 조치는 분명합니다. 값 코드가 누락 된 경우 분석 플랫폼에서 누락 된 값 코드 속성을 추가하여 누락 된 값 코드로 처리해야합니다. 잘못 배치 된 소수점이있는 경우 명확한 경우이를 수정하거나 명확하지 않은 경우 누락 된 값으로 변경해야합니다.
때때로 이상 치를 찾는 것이 중요한 발견으로 이어질 수 있습니다. 그들은 자동으로 적합하지 않은 흙처럼 취급해서는 안됩니다.
이 주제는 이전 블로그 게시물 .
노트 : 이것은 큰 통계 John Sall의 블로그 게시물 시리즈. 그의 모든 것을 읽으십시오. 큰 통계 게시물 .
