텍스트 탐색기 분석에서 중요하지 않은 용어 제거 전략텍스트 탐색기 분석에서 중요하지 않은 용어를 제거하는 방법을 결정하는 데 사람들이 어떤 전략을 사용하고 있는지 궁금합니다.
나는 고객과 함께 일하고 있으며, 용어의 수를 관리하기 쉬운 것으로 줄이고, 잠정적 인 Sematic 분석 (Cum Percent는 단일 값으로보고 됨)이있을 때 퍼센트 변화의 더 많은 것을 설명하는 것을 원합니다.
그들은 Intervalively LSA를 한 다음 Singular Value Cum Percent의 상위 x % (그들은 70 %에 달하기를 원함)에 대한 RotatedTopic Analysis를 수행 한 다음 용어를 제거합니다.
용어를 현명하게 제거하는 방법은 무엇입니까?
각 주제에 대해 각 용어의 절대 값을 사용하고 최저 점수를 선택하도록 제안했습니다 (단어가 어떤 주제에 기여하지 않았기 때문에).
그들은 또한 Gen Reg을 사용하여 결과 변수에 대해 주제를 모델링하여 그 결과에 중요하지 않은 주제를 찾아 제로 화제에서 상위 용어를 제거했습니다 (LASSO 사용). 나는이 접근법에 대해 확신이 덜하다.
밖에있는 다른 생각이나 아이디어는 없나요? 이 내용을 공개 커뮤니티에 게시해야합니까?
제목 : Re : 텍스트 탐색기 분석에서 중요하지 않은 용어 제거 전략문서보다 더 많이 발생하는 모든 용어에서 정지 단어를 만드십시오. 프로젝트 구텐베드 서적을 위해이 작업을 수행했을 때, 영어의 상용구가 없어져 언어가 더 잘 분리되었습니다. 적어도 그것이 결과를 해석하는 방법입니다.
제목 : Re : 텍스트 탐색기 분석에서 중요하지 않은 용어 제거 전략많은 지침 원칙과 규칙이 있지만 많은 예외가 있습니다. 규칙은 지금까지만 당신을 얻습니다. 의미있는 분석을 위해서는 도메인 전문가가 용어 목록을 검토하고 나중에 구문 목록을 검토하는 데 상당한 시간을 할애하여 의미없는 용어를 발견하고 중지해야합니다 (알라 크레이지). 예, 한 번에 한 용어를 나열하는 것을 의미합니다.
따라서이 분석은 완전히 자동화 된 프로세스가 아닙니다. 토큰 화, 용어 지정 및 구문 매개 변수는 도움이되지만 메스가 아닌 썰매입니다. JMP 과정을 작성하는 동안 내가 말했던 모든 전문가들은 분석가가 이번에이 목록을 작성해야한다고 말했습니다. 그들은 SAS Text Miner (JMP보다 훨씬 강력한 분석 시스템)를 사용하고 있었지만 여전히이 작업을 피할 수 없었습니다.
텍스트 탐색기는 분석가에게 훌륭한 도구를 제공합니다. 도구가 아니라 솔루션.
나는 분석에 의해 대답 될 질문을 정의하는 것이 정말로 도움이된다고 덧붙여 야합니다. 이 질문은 당신이 "이 용어를 지켜야할까요?"라고 물으면 잘 대답 할 것입니다. 또는 "이 용어는 어떻게 사용합니까?"
제목 : Re : 텍스트 탐색기 분석에서 중요하지 않은 용어 제거 전략에 대한 지원 추가 @markbailey . 일반적인 연결 단어 등을 제외하고 같이 @Craige_Hales 이것은 매우 수동적 인 과정입니다. Mark가 언급하는 광범위한 스트로크를 얻으려는 훌륭한 책은 Miner 's Practical Text Mining입니다. 그러나 슬라이스 방식으로 시행 착오를 많이 겪습니다.
엠제목 : Re : 텍스트 탐색기 분석에서 중요하지 않은 용어 제거 전략좋은 제안! 나는 모든 용어와 문구를 다룬 후에 특정한 것을 찾고 있는데, 이것은 "나는이 단어가 중요 할 것 같다"이상의 분석 기술이다. 나는 Craige의 제안을 좋아한다!
우리는 최고의 용어를 찾는 것에 대한 분석 기술을 가지고 있습니다. 그래서 최하위 용어는 무엇입니까?
제목 : Re : 텍스트 탐색기 분석에서 중요하지 않은 용어 제거 전략안녕, 로라,
내가 기억하고있는 것들 중 하나는 SVD 산란 행렬을 생성하고 그 음모를 용어 및 약식 목록에서 단어를 찾는 데 도움이되는 도구로 사용하라는 제안이었습니다. 일부 구문을 선택하고 용어를 강조 표시합니다. 그런 다음 "텍스트 표시"를 클릭하여 용어 / 구문을 유지할지 또는 중지 단어로 추가할지 여부를 확인할 수 있습니다.
베스트,
계산서
제목 : Re : 텍스트 탐색기 분석에서 중요하지 않은 용어 제거 전략목적이 결과 변수와 관련된 수입 용어를 제외시키는 것이 목적이라면, GenReg를 DTM 컬럼으로 직접 변수 선택을 위해 실행할 수 있습니다. 큰 회귀이기 때문에 끝내려면 시간이 걸릴 것입니다. 토론토 카지노 데이터의 예제에서 1,787 개의 이진 DTM 열이있는 올가미를 실행했습니다. 완료하는 데 약 20 분이 걸렸습니다. 나는 그 중 483 가지 (0이 아닌) 용어가 통계적으로 유의하다는 것을 발견했다 (p 값 <0.05).
보다 시각적 인 방법은 Word Cloud에서 Coloring / By Column Value 옵션을 사용하는 것입니다. 결과 변수로 단어의 색상을 지정하면 결과와 관련된 단어를 볼 수 있습니다. 혼합 된 색상을 가진 것들은 그 결과와 관련이 없거나 더 적습니다.
