텍스트 데이터 정리는 통계 및 분석에서 화려하지 않지만 중요한 단계입니다. 수동으로 입력 한 데이터에는 맞춤법 오류, 인쇄상의 오류 및 불일치가 많이 있습니다. 두 데이터 소스가 형식화에 동의하지 않으면 기계에서 생성 된 데이터로도 문제가 발생할 수 있습니다. 가장 작은 차이로 인해 두 개의 텍스트가 컴퓨터와 다르게 나타나기 때문에 데이터를 분석하기 전에 오류를 수정해야합니다. 2014 뉴욕 타임스 조 데이터 과학자들이 시간을 청소하는 데 50-80 %를 소비한다고 추정했다.
데이터 정리는 중요한 단계이므로 JMP 12에 몇 가지 새로운 기능을 추가하여 쉽게 사용할 수 있습니다. 정밀 검사 된 Recode 명령 JMP 그들 중 하나입니다. 자동 데이터 클리닝 알고리즘과 수동 클리닝 작업을위한 개선 된 사용자 인터페이스로 Recode를 확장했습니다.
Recode의 새로운 "Group Similar Values"명령은 작은 데이터 입력 오류를 자동으로 수정합니다. 오타와 일치하지 않는 철자는 그렇지 않은 텍스트에서 누락 된 문자, 추가 또는 잘못된 문자로 나타납니다. 예를 들어 철자가 틀린 "리듬"은 'i'문자를 제거하여 '리듬'으로 수정할 수 있습니다. 그룹 유사 값은 데이터 테이블에서 이러한 오류를 식별하고 그룹화하여 그룹에 대한 올바른 철자로 최상의 추측을 출력합니다. 차이 임계 값은 물론 공백, 구두점 및 대소 문자를 수동으로 제어 할 수 있습니다.
자동 도구는 많은 노력을 덜어 주지만 항상 올바른 대답을 얻을 수는 없습니다. 이러한 경우 수동 편집을 위해 사용자 인터페이스를 재 설계하여 대규모 데이터 세트로 작업하고 재 코딩 된 값이 올바른지 확인하는 것이 더 쉽습니다.
일부 그룹이 축소 된 그룹 유사 값의 결과를 보여주는 Recode 스크린 샷
Recode의 새로운 "그룹화 된 디스플레이"는 두 개의 서로 다른 문자열이 동일한 문자열에 다시 코딩 될 때 명확하게 나타냅니다. 검색 쿼리를 통해 그룹을 축소하거나 필터링 할 수 있으므로 대용량 데이터 집합 내의 관심 분야에 쉽게 집중할 수 있습니다. 오른쪽 클릭 메뉴는 그룹 생성 및 분할에 대한 수동 제어 기능을 제공합니다. 모든 작업을 지금 취소 할 수 있습니다.
마지막으로 반복적 인 데이터 정리 작업을 위해 Recode 스크립트를 저장,로드, 수정 및 병합하는 여러 가지 새로운 방법을 추가했습니다. 이제 스크립트를 데이터 테이블 외에도 독립 실행 형 파일에 저장할 수 있습니다. Recode 대화 상자에 스크립트를로드하면 현재 테이블 데이터에 스크립트의 효과가 표시되고 추가 편집이 가능합니다. 로드 또는 저장시 스크립트를 지능적으로 병합 할 수 있습니다.
편집자 주 : 이 게시물은 JMP 12의 미리보기 시리즈 소프트웨어를 개발 한 사람들이 쓴 것입니다.
멜빈 알렉산더 쓴 :
필자는 최근 데이터 테이블을 포함하는 프리젠 테이션과 슬라이드 덱을 사용하여 데이터를 정리하고 변형하는 방법을 설명했습니다 (예 : 중지 단어 제거, 코드 값 변경을위한 코드 재사용, 로그 변환을 사용하여 단일 값 분해를위한 데이터 준비 SVD () 함수 등).
프레젠테이션은 다음 위치에 있습니다.
https://community.jmp.com/docs/DOC-7473
희망이 도움이
제임스 프레리스 쓴 :
안녕 마이클, 귀하의 의견에 감사드립니다. 현재 데이터베이스 나 Excel에서 가져온 데이터를 정리하는 사례는 없습니다. 주제는 다음 릴리스에 대한 제안 목록입니다. 그 동안에 JMP 12 이후에 오는 Recode에 대한 심층적 인 게시물이있을 것입니다. 귀하 (또는 독자)가 공유하려는 샘플 데이터 또는 텍스트 정리 문제가있는 경우 JMP 사용자 커뮤니티 그래서 우리는 고객의 데이터 청소 요구에 대해 더 많이 배울 수 있습니다.
마이클 클레이튼 쓴 :
지저분한 데이터를 더 쉽게 분석하기위한 노력에 감사드립니다.
또한 HELP 도구가 업데이트되고 DB 또는 Excel (일반적으로)에서 지저분한 데이터를 이동하고 필요에 따라 재구성하는 방법과 관련된 모든 것에 대해 새로운 자습서, 사례 연구 등을 업데이트 할 수 있기를 바랍니다.
