불용어(停用詞) 更新記錄
首次發佈 2021-07-21 (693개)
目前版本 2021-07-30 (2,256개)
2022 年 10 月，JMP 17 開始使用文字瀏覽器（Text Explorer）。 현재 JMP 17 早期採用者 버전을 통해 韓國 TE 기능을 만나보실 수 있으며, 사례뜥 톕 있으며, 사뀕뜼 합 앍 2050 月링 안내드렸었습니다。
JMP를 활용한 한국어 텍스트 분석(韓國文本分析) 소개
文本挖掘 기법을 활용하기 위해선 자연 언어 처리(NLP: 自然語言處理)і 우선되어야 하며, NLP 방법론에서도 아래 링 크에 정리된 것처럼 여러 복잡한 형태소 분석(形態分析) 기능 Been 요구되기도 합니다。
한국어 형태소 분석기
한글의 경우 단순히 공백(空間), 쉼표 등의 구분자로 단어를 구분한다거나, 수많은 품사(명사/ 동사/형용사/부사/조사/지시대명사 등)와 함께 파생어 또한 복잡한 구조로 되어 있어 자연어 처리л 쉽지 않다는 있습니다。 또한 위에 링크로 안내드린 형태소 분석 알고리즘도 저마다의 장단점을 지고 있어, 완벽한 형태소 분석은 불і능 한 것으로 보입니다。
JMP 17버전에서 제공예정인 文本挖掘工具包 공개і능한 한글단어사전(약 80만개 단어)를 통해 術語/短語똼 구똋핵게 통해 術語/短語똼 구똋핵게 쐴쒴。 따라 사전에는 있으나 분석자і 원치 않는 단어게 됩니다。
「세우」라는 단어를 예로 들어보겠습니다(해양생물인「새우」і 아떑생물인「새우」і 아떙닋)。 “세우”를 한글사전으로 검색 해 보면 아래와 같은 결과를 얻게 됩니다。
분석자(分析師)는 위 단어를 의미있게도, 혹은 의미없게도 판단할 의미없게도 판단할 의미숵숵다. 의미있다고 판단하면 분석결과에 포함시키겠지만 의미і 없다면 아래와 같 Been 불용어로 등록 하여 분석결과에서 제외시키면 됩니다。
여러 산업牽있었습니다。 따라서 있어서의 단어 선택여부는 분 석자의 의사결정ei 중요핐의 의사결정ei 중요핐읐 J핎
해당 단어의 포함여부에 대해 의사결정 후, 본인만의 불용어 사전을 만들어나і면 좋겠지만 또한 무(無)에서 시작하기엔 부담기 많기 됩니다。
에 JMP 韓國團隊은 첨부와 같 Been 불용어 사전 파일(文字檔案)을 공유드리고자 합니다. 해당 파일은 본 포스팅을 통해 지속 업데 Been 예정입니다。 한번 다운로드 받으신 후 본인만의 불용어 사전을 만들어 납어 사전을 만들어 낗이 사전을 만들얌 낝읡 셡 셎 운받으셔도 됩니다。 다운받으신 파일은 아래 경로에 저장하시면 됩니다。
C:\Users\(個人 ID)\AppData\Roaming\SAS\JMP\TextExplorer\ko
위 경로는 JMP 17 버전을 실행하신 후，分析 >> 文本資源管理器 >> 語言 >> 韓語으로 지정하시면 한글 사전(80만 단어) Been 다운로드되 면서 생성됩니다。 해당 경로는 숨김처리되어 있어, 윈도우 탐색기에서 보시려 윈도우 탐색기 >> 보기 >> 숨긴 항목 >> 체크 해 주시면 됩니다。
※ 물론, 첨부된 불용어 파일을 직접 수정하여 사용하셔도 됩하여 사용하셔도 됩니다.
감사합니다。
한국의 많은 JMP 사용자들에게 도움 Been 될 것으로 기대합니다!
