수동으로 입력 한 데이터는 일반적으로 깨끗하고 일관성이 없습니다. 텍스트 입력 필드가 아닌 복수 선택 필드로 데이터를 입력하는 경우에도 원본에서 동일한 범주를 사용하지 않을 수있는 데이터와 결합 할 때 추가 작업이 필요할 수 있습니다. 때로는 동일한 카테고리의 철자가 다르게 표시되거나, 약어가 다르게 표시되거나, 대문자로 다르게 표시되거나 잘못 입력 될 수 있으므로 모델에 사용되는 경우 더 많은 카테고리와 잘못된 분석이 발생합니다.
예를 들어 고객 필드를 "실린더 밴드"데이터 UCI 기계 학습 실험실 (원래 Bob Evans, RR Donnelly & Sons 출신)에서 다운로드 할 수 있습니다.
이 데이터를 가져올 때 83 개의 고유 한 "고객"값이 있음을 알 수 있습니다. 실제 고객 수가 훨씬 적습니다. 동일한 고객의 여러 코딩이 있다는 것입니다. 예를 들어, 고객 Abbey Press는 "ABBEY", "ABBEYPRESS"및 "ABBYPRESS"의 세 가지 방식으로 코딩됩니다.
초기 버전의 JMP에서는 트릭을 사용하여 값을 다시 코딩했습니다. 예를 들어, "ABBEYPRESS"를 클립 보드에 복사 한 다음 히스토그램을 사용하여 "ABBEY"에 해당하는 행을 선택하고 "Customer"열을 선택한 다음 붙여 넣습니다. 그러면 각 "ABBEY"가 "ABBEYPRESS"로 변경됩니다.
Recode 명령을 사용할 수있게되면 "ABBEYPRESS"를 복사하여 Recode 대화 상자의 "ABBEY"및 "ABBYPRESS"에 대한 다른 코드 값에 붙여 넣을 수 있습니다.
이 모든 것은 카테고리가 너무 많지 않으면 작동하지만 카테고리가 수백 개라면 무엇이 있을까요? 모든 복사본과 붙여 넣기를 수행하는 것은 매우 힘들 수 있습니다.
JMP 12의 새로운 Recode 시설에서 레코딩이 훨씬 더 좋은 두 가지 중요한 방법이 있습니다.
먼저 모든 코드 값을 선택하고 마우스 오른쪽 버튼으로 클릭하여 선택한 범주를 선택하면 전체 그룹을 수행 할 수 있습니다. 이제는 원래 값이 분리 되더라도 그룹으로 표시됩니다. 더 이상 복사 및 붙여 넣기; 단순히 결과를 가시적 인 그룹으로 선택하고 선택하는 것입니다.
그러나 새로운 Recode의 놀라운 기능은 비슷한 값의 그룹을 자동으로 찾을 수있는 기능입니다.
이 예에서이 피쳐는 자동으로 16 개의 그룹으로 구성됩니다. 그런 다음 결과 그룹에 원하는 모든 범주가 있는지 확인하지만 너무 많지는 않은지 확인할 수 있습니다.
결합 할 값은 어떻게 결정됩니까? 카테고리 라벨의 각 쌍을보고 두 문자열 사이의 편집 거리를 결정합니다. Levenshtein 거리라고도하며, 한 문자열에서 다른 문자열로 변환하는 최소 편집 작업 수입니다. "그룹 유사 값"명령을 실행하면이 거리를 계산할 때 고려해야 할 변경 사항과 일치라고 부르는 데 사용할 기준을 선택하는 대화 상자가 나타납니다. 이 대화 상자의 기본 선택은 대개 잘 작동합니다.
그룹 중 일부는 "ECKERD"와 같이 완벽하게 수행되었습니다.
"ABBEY"는 "ABBEYPRESS"와 매우 다르므로이를 결합하는 기준을 충족시키지 않으므로 "Group"을 선택하여 마우스 오른쪽 버튼으로 클릭해야합니다.
마찬가지로이 두 범주에서 "CASUAL"에 대한 "CAS"의 약어를 포착하지 않았습니다.
그리고 그것은 "HANOVERHOUSES"여섯 명 중 다섯 명만 받았습니다.
결과를 확인해야하지만 자동화 된 기능으로 대부분의 결과를 얻을 수 있습니다.
레코딩 후 카테고리 수를 83에서 56으로 줄였습니다.
좀 더 자세히 조사해 보면 다른 기록이 필요하다는 것을 알 수 있습니다. 사실 503 행 이후의 항목은 대문자에서 소문자로 전환 된 것으로 보입니다. 컨트롤을 클릭하여 "소문자로 변환"메뉴 항목을 클릭하면 모두 수정할 수 있습니다.
정리가 필요한 더 큰 데이터 테이블로 이동할 때 "그룹 유사 값"과 같은 자동화 된 기능과 여러 붙여 넣기를 복사하고 수행하는 대신 선택 및 그룹화와 같은 향상된 사용자 인터페이스 흐름을 갖는 것이 매우 유용 할 수 있습니다.
(새로운 Recode 기능, 이전 블로그 게시물에 소개 된 James Preiss가 구현했습니다.)
노트 : 이것은 큰 통계 John Sall의 블로그 게시물 시리즈. 그의 모든 것을 읽으십시오. 큰 통계 게시물 .
에밀 프리드먼 쓴 :
이것은 인생을 훨씬 쉽게 만들 것입니다. 감사.
열 이름이 거의 동일한 여러 파일 (테이블 -> 연결)을 연결할 때도 비슷한 문제가 발생합니다. 나는 동일한 메트릭의 다른 버전을 찾고 누락되지 않은 것을 반환하는 열 수식을 작성한다. 복사 / 붙여 넣기보다 훨씬 안전하며 문서 추적이 가능합니다. 그런 종류의 것이 미래 버전으로 만들어 질 수 있을지 궁금합니다.
