무료 온라인 과정에서 자세히 알아보십시오.
산업 문제 해결을 위한 통계적 사고
이 비디오에서는 Pet Owner.jmp 파일을 사용하여 구조화되지 않은 텍스트 데이터를 처리하는 방법을 배웁니다. 이 예는 JMP 샘플 데이터 라이브러리에 있는 Pet Survey.jmp 파일을 기반으로 합니다.
이 시나리오에서 150명의 개와 고양이 주인에게 "당신의 고양이나 개를 생각해 보십시오. 하면 가장 먼저 떠오르는 생각은 무엇입니까?"
응답은 설문 응답 열에 있습니다. 이러한 데이터는 비정형 텍스트이므로 모델링 유형 비정형 텍스트가 적용되었습니다.
이러한 데이터를 분석하기 위해 JMP의 분석 메뉴에서 텍스트 탐색기를 선택합니다.
설문 응답을 텍스트 열로 선택합니다.
기본 언어는 영어이지만 다른 언어도 사용할 수 있습니다.
토큰화, 용어 지정 및 표현을 위한 몇 가지 옵션이 있습니다.
구문 옵션을 사용하여 구문당 최대 단어 수와 표시할 최대 구문 수를 지정할 수 있습니다.
단어 옵션을 사용하여 단어당 최소 단어 크기와 최대 문자 수를 지정할 수 있습니다.
형태소 분석 옵션을 사용하여 동일한 형태의 용어를 자동으로 결합할 수 있습니다.
토큰화에는 정규식과 기본 단어의 두 가지 옵션이 있습니다. 기본값은 Regex 또는 정규식입니다. Regex를 사용하는 경우 일반적인 구두점, 공백 및 탭을 포함하여 기본 제공 표현식 및 기호를 사용하여 문서를 구문 분석합니다. Regex 사용자 정의 옵션을 사용하여 고유한 사용자 정의 표현식을 추가할 수 있습니다.
기본 옵션을 사용하고 확인을 클릭합니다.
이면에서 JMP는 데이터를 토큰화했습니다. 구두점, 공백 및 기호는 "a", "an" 및 "the"와 같은 기본 단어와 함께 제거되었습니다.
상단의 요약은 고유 용어 수, 문서(또는 케이스) 수, 총 토큰 수 및 케이스당 평균 토큰 수를 보고합니다.
용어 목록 및 구문 목록도 제공됩니다.
몇 가지 흥미로운 문구가 있습니다. 예를 들어, "duck 사냥"이라는 문구는 "duck"과 "hunting"이라는 개별 단어보다 더 많은 의미를 갖습니다.
용어 목록에 상위 구를 추가하기 위해 구를 선택하고 마우스 오른쪽 버튼을 클릭한 다음 구문 추가를 선택합니다.
용어 목록을 자세히 살펴보겠습니다. 용어 목록에서 "용어"라는 단어를 클릭하여 알파벳순으로 정렬하겠습니다.
목록을 스크롤하면서 일부 인쇄상의 오류를 볼 수 있습니다. 예를 들어 "doggs"라는 용어는 "dogs"로 표기해야 합니다.
오타를 수정하거나 동일한 의미를 가진 용어를 하나의 용어로 결합하려는 경우 용어를 선택하고 마우스 오른쪽 버튼을 클릭한 다음 코드 재지정을 선택할 수 있습니다. 예를 들어 이 두 용어를 "개"라는 하나의 용어로 그룹화한다고 가정합니다. 두 값을 선택하고 그룹을 클릭하고 그룹 이름을 "dogs"로 변경한 다음 코드 변경을 클릭합니다.
"개"와 "개", 또는 "오리"와 "오리"라는 용어는 어떻습니까?이 단어는 기본 또는 어간이 동일합니다. 동일한 어간으로 용어를 결합하려는 경우 형태소 분석을 사용할 수 있습니다.
이렇게 하려면 상단 빨간색 삼각형을 클릭한 다음 용어 옵션, 형태소 분석, 결합할 줄기를 선택합니다.
용어 끝에 있는 점은 파생어가 결합되었음을 나타냅니다. 이러한 형태소 용어에 커서를 놓으면 결합된 용어 목록이 표시됩니다.
Count 열을 두 번 클릭하여 내림차순으로 정렬하겠습니다. 상위 용어는 "고양이"와 "개"입니다. 이 데이터가 고양이와 개에 대한 설문조사에서 나온 것임을 알고 있기 때문에 이러한 용어는 특히 유용하지 않습니다.
이러한 용어를 제거하기 위해 중지 단어를 추가할 수 있습니다. 이를 위해 용어를 선택합니다.
마우스 오른쪽 버튼을 클릭하고 중지 단어 추가를 선택합니다.
이제 상위 용어가 짖기, 걷기, 점프 및 비디오와 관련되어 있음을 알 수 있습니다.
나중에 동일한 분석을 반복할 수 있도록 이 분석에 대한 스크립트를 데이터 테이블에 저장합니다.
