불용어(停用詞)更新歷史
首次發布 2021-07-21(693개)
當前版本 2021-07-21(693개)
2022년 10월 이후 출시 예정인 JMP 17 버전에서는 Text Explorer 기능에 한글이 포함되었습니니니니니년 현재JMP 17早期採用버전을통해韓語TE기능을만나보실수있으며,사례를통한韓語TE활용방법을아래링크와같이안내드렸었습니다。
JMP를 활용한 한국어 텍스트 분석(韓文分析) 소개
文本挖掘기법을활용하기위해선자연언어처리(NLP:自然語言處理)가우선되어야하며,NLP방법론에서도아래링크에정리된것처럼여러복잡한형태소분석(詞素分析)기능이요구되기도합니다。
한국어 형태소 분석기
한글의경우단순히공백(空間),쉼표등의구분자로단어를구분한다거나,수많은품사(명사/동사/형용사/부사/조사/지시대명사등)와함께파생어또한복잡한구조로되어있어자연어처리가쉽지않다는 단점이 있습니다。 또한위에링크로안내드린형태소분석알고리즘도저마다의장단점을가지고있어,완벽한형태소분석은불가능한것으로보입니다。
JMP 17버전에서 제공예정인 文本挖掘 기능에서는 공개사능한 한글단어사전(약 80만개 단어)를 통해 術語/短語를 구분하게 되싵 있전(약 80만개 단어) 이에 따라 전에는 있으나 분석자이
"세우"라는 단어를 예로 들어보겠습니다(해양생물인 "새우"사 아닙니다)。 "세우"를 네이버 한글사전으로 검색 해 보면 아래와 같은 결과를 얻게 됩니다。

분석자(分析師)는 위 단어를 의미있게도, 혹은 의미없게도 판단할 수 있습니니니의미있게도 의미있다고판단하면분석결과에포함시키겠지만의미가없다면아래와같이불용어로등록하여분석결과에서제외시키면됩니다。

여러 산업군에서 JMP사 사용되는 관계로 지나치게 단순화된 따라서이러한경우가많이발생할수있게됨에따라분석결과에있어서의단어선택여부는분석자의의사결정이중요하게됩니다。
해당단어의포함여부에대해의사결정후,본인만의불용어사전을만들어나가면좋겠지만이또한무(無)에서시작하기엔부담이많이가게됩니다。
이에 JMP 韓國隊은 첨부와 같이 불용어 사전 파일(文本文件)을 공유드리고자 합니다. 해당 파일은 본 포스팅을 통해 지속 업데이트 예정입니다。 한번다운로드받으신후본인만의불용어사전을만들어나가셔도좋고,가끔본포스팅에서업데이트된파일을다운받으셔도됩니다。 다운받으신 파일은 아래 경로에 저장하시면 됩니다。
C:\Users\(個人 ID)\AppData\Roaming\SAS\JMP\TextExplorer\ko
위 경로는 JMP 17 버전을 실행하신 후, 分析 >> 文本瀏覽器 >> 語言 >> 韓語으로 지정하시면 한글 하시면 한글 사전됄됄됄됄됄됄됄됔전마맜전이 해당 경로는 숨김처리되어 있어, 윈도우 탐색기에서 보시려면 윈도우 탐색기 >> 보기 >> 숨긴 항목 >> 체크 해주시면됩니다。
※ 물론, 첨부된 불용어 파일을 직접 수정하여 사용하셔도 됩니다。
감사합니다。