일반적으로 측정에 대한 가장 정확한 측정이 필요합니다. 이론적으로는 그게 좋지만 데이터 분석의 목적으로 더 많은 정밀도가 항상 좋은 것은 아닙니다.
일반적으로 연속 변수를 검사하고 기록 된 값에 대한 합리적인 정밀도를 결정하는 것이 가장 좋습니다. 예를 들어 변수 X가 있다고 가정하고 X는 아래 표에 표시된 값을가집니다.
데이터는 소수점 이하 10 자리까지 기록됩니다. 그러나이 데이터를 분석하는 경우 십진수 오른쪽에 많은 자릿수가 필요합니까? 이를 검사하는 한 가지 방법은 사용 된 반올림 수준의 함수로서이 데이터의 평균 및 표준 편차 추정값의 플롯을 보는 것입니다. 좋은 질문은 "요약 통계가 얼마나 정밀도에 민감합니까?"입니다.
경험 법칙
표와 도표는 우리가 소수점 한자리까지 끝나더라도 평균의 추정에서 많은 정보를 잃지 않는다는 것을 보여줍니다. 변수에 대해 필요한 정밀도에 대한 좋은 규칙은 반올림되지 않은 데이터의 표준 편차를 3으로 나눠서 소수점 앞자리의 소수 자릿수를 반올림 수준으로 사용하는 것입니다. 여기에 표시된 예에서 반올림되지 않은 데이터의 표준 편차는 0.3612이므로 1/3은 0.12로 소수 하나만 있으면 충분합니다.
모델을 만들 때이 점이 중요합니까?
최근에 의사 결정 트리 모델에 맞추는 데 걸리는 시간이 원하는 것보다 길었던 예측 모델링 문제가 발생했습니다 (많은 시간의 계산 시간). 사용 된 데이터 세트는 상당히 컸습니다 (수백만 행). 문제를 조사한 결과, 많은 예측 변수 (X 또는 요인)가 많은 소수점에 기록되었음을 발견했습니다. 엄지 손가락 올림 규칙을 사용하여 의사 결정 트리 모델에 적합한 계산 시간이 몇 분으로 줄어 들었습니다. 왜 이런 일이 일어 났습니까? 그만큼 재귀 적 분할 알고리즘 의사 결정 트리를 구축하는 전문가는 각 연속 예측 변수의 고유 한 수준을 사용하고 최적의 분할을 찾기 위해 각 고유 수준을 기반으로하는 이진 분할을 작성합니다. 모델의 요소가 지나치게 정확하면 모델 오버 헤드가 추가되어 모델 정확성이 향상되는 경우가 거의 없습니다. 요인을 반올림하면 고유 한 레벨 수가 줄어들고 모델 피팅 알고리즘이 훨씬 빠르게 수행됩니다.
데이터 Binning
실제로, 연속 변수의 수준에 대한 덜 정확한 지표가 유용 할 수 있고 더 나은 모델로 이어질 수 있다는 것도 알려져 있습니다. 예측 변수의 정밀도를 줄이기위한 한 가지 방법은 비닝 . Binning은 각 연속 변수를 범주 수준에 할당하기 만합니다. 반올림은 비닝의 한 예입니다. 비닝의 다른 예는 데이터의 히스토그램을 작성하고 히스토그램의 빈을 예측 자로 사용하는 것입니다. 에이 이전 블로그 게시물은 대화 형 비닝 도구에 대해 설명했습니다. 이 종류의 비닝을 수동으로 수행하는 데 사용할 수 있습니다. 에이 비닝의 세 번째 예제는 감독 방식을 사용하는 것입니다. 여기서 예측 변수의 bin은 binned 변수의 예측 능력을 최대화하는 방식으로 선택됩니다.
오랜 계산 시간으로 이어지는 지나치게 정밀한 데이터로 직면 한 데이터 분석 문제의 경우 특정 수준의 비닝을 적용해야하는 100 개의 예측 변수가있었습니다. 인터랙티브 비닝 접근법은 너무 오래 걸렸을 것이고, 감독 비닝 접근법은 그 자체로 계산적으로 강렬하므로 상당히 시간이 걸렸습니다. 한 번에 하나의 변수 만 예측 변수에서 그룹화 또는 클러스터를 찾는 감독되지 않은 빈 방식을 사용하기로 결정했습니다.
정규 분포를 사용하여 데이터를 Binning
아래 히스토그램에 표시된 약간 "울퉁불퉁 한"변수를 고려하십시오. 3 정규 분포를 사용하는 정규 분포가 데이터에 적합합니다 (핫스팟> 연속 적합> 일반 혼합> 일반 3 혼합). 혼합 분포로부터의 매개 변수 추정치가 기록되고, 그 행이 가장 높은 연관된 확률을 갖는 혼합물의 분포에 기초하여 행을 그룹에 할당하는 비닝 공식이 생성된다.
binned 변수는 데이터의 순서를 유지하는 정수이므로 연속, 서수 또는 명목 변수로 사용할 수 있습니다.
애니메이션 버전을 보려면 이미지를 클릭하십시오.
관리되지 않는 binning을 위해 일반적인 혼합 분포를 사용하는 프로세스를 자동화하기 위해 JMP 추가 기능을 만들었습니다 ( 다운로드 가능 JMP 파일 교환 - 무료 SAS 프로파일 필요).
모델링을위한 데이터 준비의 일환으로 예측 변수의 데이터 정밀도를 고려하여 분석 할 때 정밀도가 도움이되는지 확인하십시오. 이 게시물에서 공유 한 아이디어가 더 나은 모델을 만드는 데 도움이되기를 바랍니다.
Arati Mejdal 쓴 :
고마워, 샘! 게시물의 링크를 업데이트합니다.
샘 가드너 쓴 :
스크립트 링크가 더 이상 활성화되지 않습니다. binning 스크립트에 대한 새 링크는 다음 위치에 있습니다. https://community.jmp.com/docs/DOC-7584
샘 가드너 쓴 :
비닝의 유용성을 언급 한 참고 문헌은 Berry & Linhoff, Data Mining Techniques, 2nd Ed, p 237 및 p351입니다. 특히 그들은 "예기치 않게 binning 값이 데이터 마이닝 알고리즘의 성능을 향상시킬 수 있습니다."라고 말합니다.
크리스 다저 쓴 :
샘,
재미있는 경험 법칙과 기억하기 쉽습니다. 소스에 대한 참조가 있습니까? 왜 작동합니까?
