올해 초 매니저가 저에게 매우 흥미로운 게시물 발표된 연구를 조사하는 3명의 행동 과학자가 작성한 블로그 게시물인 Data Colada에서 발췌했습니다. Data Colada의 저자는 익명의 연구원 팀과 협력하여 2012년 논문에서 사용된 자동차 주행 거리 데이터 세트에서 몇 가지 이상한 이상 현상을 발견했습니다. 테스트를 담당하고 있습니다 패턴 탐색 플랫폼 JMP , 데이터에서 비정상적이거나 예상치 못한 패턴을 식별하는 데 사용할 수 있습니다. 이 게시물에서는 JMP의 다른 유용한 도구와 함께 탐색 패턴을 사용하여 자동차 주행 거리 데이터에서 예기치 않거나 비정상적인 패턴을 검색합니다.
배경
자동차 마일리지 데이터 세트의 처음 몇 행과 열은 아래와 같습니다. 이 데이터는 특정 자동차 보험 기관의 13,488명의 고객에게 현재 주행 거리계 판독값을 보고하도록 요청받은 연구에서 수집되었습니다. 고객이 보고한 판독값은 각 고객이 최대 4대의 자동차에 대한 정보를 보고하므로 데이터에 update_car1 ~ update_car4 열로 포함됩니다. 데이터에는 보험 증권이 처음 발행되었을 때 각 차량의 주행 거리계 판독값도 포함됩니다. 이러한 열의 이름은 baseline_car1에서 baseline_car4로 지정됩니다. 모든 정책이 동시에 발표되지 않았기 때문에 기준선에서 업데이트까지 경과된 시간은 이 연구의 관찰에 따라 다릅니다.
Data Colada 게시물에서 연구원들은 이 데이터 세트에서 발견된 4가지 변칙을 제시했습니다. JMP를 사용하여 이러한 각 결과를 자세히 살펴보겠습니다.
변칙 #1: 주행 마일의 분포가 균일합니다.
Data Colada의 저자는 주행 마일의 분포가 0에서 50,000마일 범위의 균일한 분포와 일치한다는 것을 발견했습니다.
데이터에는 각 자동차의 주행 거리계 판독값에 대한 기준선 및 업데이트 열이 포함되어 있으므로 업데이트된 값에서 기준선 값을 빼서 주행한 마일을 저장하는 공식 열을 만듭니다. 그런 다음 JMP에서 Distribution 플랫폼을 사용하여 기준선에 대한 분포를 확인하고 값을 업데이트하고 각 자동차에 대해 주행한 총 마일을 확인합니다. 각 고객에 대한 첫 번째 자동차의 분포 보고서를 고려하십시오.
기준 마일리지 분포의 모양은 업데이트된 마일리지의 분포와 유사하며, 업데이트 시점에 중간 주행 거리계가 약 26,000마일 더 높게 표시됩니다. 이 발견은 그 자체로 놀라운 것은 아닙니다. 기준선 및 업데이트 판독값에서 가장 흥미로운 점은 두 명의 참가자가 거의 100만 마일을 주행한 차량을 소유하고 있다는 것입니다! 그들은 아주 좋은 역학을 가지고 있어야 합니다.
보고서에서 가장 놀라운 부분은 위의 세 번째 분포로 처음 두 분포의 차이를 보여줍니다. 기준선과 업데이트 시간 사이의 주행 마일 분포는 0에서 50,000마일 사이에서 균일하게 분포된 것으로 보입니다. 50,000마일을 초과하는 값은 없으며 히스토그램의 각 빈에는 거의 동일한 수의 참가자가 포함됩니다. 육안 검사는 이 경우 데이터가 균일하게 분포되어 있다는 확실한 증거를 제공합니다. 그러나 명확하지 않은 데이터의 경우 Distribution 플랫폼에서 Fit Beta 옵션을 사용하여 적합도 테스트를 수행할 수 있습니다. .
아래 스크린샷은 참가자의 각 차량에 대한 주행 마일 분포(업데이트 – 기준선)를 보여줍니다. 두 번째, 세 번째, 네 번째 차량에서도 각 분포가 0에서 50,000 사이에 균일하게 분포되어 있음을 알 수 있습니다. 이 분포 패턴을 기반으로 기본 마일리지 값에 균일하게 분포된 임의 값을 추가하여 업데이트된 마일리지 값을 생성할 수 있다는 결론을 내릴 수 있습니다.
예외 #2: 기준 마일리지는 반올림을 사용하고 업데이트된 마일리지는 사용하지 않았습니다.
Data Colada의 작성자는 기준 마일리지에 가장 가까운 천 단위로 반올림된 값이 많았지만 업데이트된 마일리지에는 이 반올림이 포함되지 않았음을 발견했습니다.
Data Colada의 연구원들은 마일리지의 마지막 세 자리 숫자를 보고 반올림을 조사했습니다. JSL을 사용하여 유사한 접근 방식을 취할 수 있지만 대신 패턴 탐색을 사용하겠습니다! 이전에 패턴 탐색을 사용한 적이 없다면 분석 > 선별을 선택하여 찾을 수 있습니다.
각 기준선을 탐색하고 열을 업데이트하기 위해 패턴 탐색을 시작한 후 다음 스크린샷과 같은 출력을 얻습니다. 일변량 패턴 보고서에서 패턴을 비교할 첫 번째 자동차의 기준선 및 업데이트 값을 선택합니다.
기본적으로 패턴 탐색에는 각 열에서 가장 많이 중복된 값, 각 열에서 가장 긴 실행 및 각 열에서 가장 긴 중복 시퀀스에 대한 보고서가 포함됩니다. 참가자가 소유한 첫 번째 자동차의 경우 Longest Runs 또는 Longest Duplicate Sequences 보고서에서 얻을 수 있는 것이 많지 않습니다. 그러나 가장 많이 중복된 값 보고서는 흥미로운 대조를 보여줍니다. 첫 번째 소유 차량의 기준 마일리지에는 가장 가까운 10,000으로 반올림된 것처럼 보이는 값이 많이 있습니다. 이것은 반드시 예상치 못한 패턴을 찾는 것은 아닙니다. 제 차의 주행거리를 물어보면 항상 빙글빙글 돌아서 대답합니다.
업데이트된 마일리지에 대한 가장 중복된 값 보고서는 상당히 다릅니다. 이 보고서에는 중복 항목이 훨씬 적고 표시되는 중복 항목은 기준 값처럼 반올림되지 않습니다. 이는 기준 값에 균일하게 분포된 임의 값을 추가하여 업데이트 열이 생성된 경우 발생합니다. 따라서 이 결과는 Anomaly #1과 일치합니다.
이상 #3 – 데이터가 두 개의 글꼴로 입력되었으며 각 관찰에는 다른 글꼴의 '쌍둥이'가 있습니다.
연구원들은 원본 데이터 파일에서 관찰이 두 가지 다른 글꼴을 사용하여 기록되었음을 알아냈습니다. 연구원들은 영리한 정렬을 통해 한 글꼴의 각 기준선 관찰이 다른 글꼴의 매우 유사한 행에 해당한다는 것을 발견했습니다.
다양한 글꼴을 발견하고 이러한 접근 방식을 취한 연구원들에게 박수를 보냅니다. 그러나 데이터가 모두 같은 글꼴로 되어 있고 이 빨간색 플래그가 발생하지 않았다고 가정해 보겠습니다. JMP를 사용하여 행과 열 사이의 이상한 관계를 식별할 수 있습니까? 물론 우리는 할 수 있습니다. 이것은 결국 JMP 블로그입니다.
연속 행의 열 사이에 선형 관계가 있는지 조사하기 위해 패턴 탐색을 사용할 수 있습니다. 다음의 간단한 예를 고려하십시오. 처음 4개 행에서 열은 Y=2*X인 정확한 선형 관계를 갖습니다. 다음 세 행에서 두 열은 Y=0.5*X인 정확한 선형 관계를 다시 갖습니다.
패턴 탐색을 사용하여 기준 열 간의 선형 관계를 검색할 수 있습니다. Anomaly #1을 아직 눈치채지 못했다면 업데이트된 열에서도 선형 관계를 찾는 것이 합리적일 것입니다.
정확한 선형 관계가 많거나 선형 관계가 많이 실행되는 경우 한 열의 값이 다른 열의 배수를 사용하여 생성되었다는 신호일 수 있습니다. 여기에 기준 열이 정확한 선형 관계를 갖는 행이 몇 개 없습니다. Colorize 옵션을 사용하여 이러한 셀을 보고 불규칙성을 검사할 수 있지만 반올림된 값이 많은 이 크기의 데이터 세트에 대해 몇 가지 선형 관계를 찾는 것은 놀라운 일이 아닙니다.
패턴 탐색을 사용하여 기준 값에 대한 두 열의 행 간에 의심스러운 선형 관계가 있는지 조사했습니다. 그러나 결과는 그다지 유용하지 않았습니다. 이제 기준 값에 대해 다시 두 행 사이의 열 사이의 선형 관계도 찾아보겠습니다. 이렇게 하려면 데이터 전치에 대해 탐색 패턴을 사용해야 합니다.
JMP의 Transpose 옵션을 사용하여 최소 3대의 차량에 대한 마일리지를 보고한 참가자에 대해 기준 열별로 데이터를 전치했습니다. 참가자가 두 대 이하의 자동차를 소유한 행은 선형 관계를 식별하는 데 도움이 되지 않기 때문에 제외했습니다.
이 전치된 데이터에 대한 탐색 패턴 보고서에는 기울기가 대략 1인 정확한 선형 관계가 많이 있습니다. 따라서 원본 데이터 테이블에는 자동차 전체에 걸쳐 기준 값이 거의 쌍으로 된 행이 많이 있습니다. (힌트: 기울기 열을 마우스 오른쪽 버튼으로 클릭하고 위치 선택 기능을 사용하여 기울기가 1에 가까운 모든 행을 강조 표시할 수 있습니다. 기울기가 0.99와 1.01 사이인 69쌍이 있습니다.
선형 관계 테이블 위의 색상화를 선택하여 정확한 선형 관계의 모든 값에 색상을 지정하거나 Y 열을 마우스 오른쪽 버튼으로 클릭하여 특정 값에 색상을 지정할 수 있습니다. 아래 표에는 선형 관계 보고서의 처음 세 행에 대한 색상 값이 포함되어 있습니다.
탐색 패턴은 기준 마일리지 값이 모든 자동차에서 매우 유사하고 정확한 선형 관계를 갖는 여러 쌍의 '드라이빙 트윈'을 식별했습니다. 정확한 선형 관계는 없지만 여전히 매우 밀접하게 관련된 더 많은 쌍을 찾을 수 있습니다. 데이터 콜라다 포스트에서 설명한 것처럼 네 번째 차량의 기준 값으로 정렬하면 많은 쌍둥이를 쉽게 식별할 수 있습니다.
예외 #4 - 한 글꼴에는 많은 반올림된 기준 값이 있고 다른 글꼴에는 그렇지 않습니다.
연구원들은 Calibri 글꼴의 기준 값이 반올림되고 Cambria 글꼴의 값이 반올림되지 않음을 발견했습니다.
이제 일부 행은 한 글꼴로 작성되고 다른 행은 두 번째 글꼴로 작성되었으며 데이터에 각 행에 대한 글꼴이 있는 열이 있다고 가정합니다. 글꼴 이름을 기준 열로 사용하여 패턴 탐색을 사용할 수 있습니다.
탐색 패턴 보고서에서 볼 수 있듯이 Calibri 글꼴의 행에 대한 기준 마일리지 값은 반올림된 값이 많은 반면 Cambria 행의 기준 값은 반올림되지 않습니다. 고객이 보고한 마일리지는 반올림될 것으로 예상되므로 원래 보고된 값은 Calibri 글꼴이 있는 행이었고 "드라이빙 트윈" 데이터가 생성된 다음 Cambria 글꼴로 입력되었음을 나타냅니다.
결론
새로운 데이터 세트를 얻을 때마다 탐색적 분석 및 데이터 정리를 수행할 가능성이 높습니다. 아마도 너는 이상값 검색 , 데이터에서 누락된 값 확인 , 또는 각 변수의 분포를 봅니다. 이 게시물을 통해 탐색 패턴을 사용하여 데이터의 비정상적인 패턴을 확인하는 것이 좋습니다. 패턴 탐색을 사용하여 찾은 모든 패턴이 문제가 있거나 문제가 있다는 증거는 아니지만 유틸리티는 추가 조사가 필요한 패턴을 찾는 도구를 제공합니다.
