韓国の多くのJMPユーザーに役立つことを期待します!
불용어(Stopwords)更新履歴
最初のリリース2021-07-21(693개)
現在のリリース2021-07-30(2,256개)
2022년10월이후출시예정인JMP17버전에서는TextExplorer기능에한글이포함되었습니다。 현재JMP 17早期導入버전을통해韓国TE기능을만나보실수있으며、사례를통한韓国TE활용방법을아래링크와같이안내드렸었습니다。
JMP를활용한한국어텍스트분석(韓国語テキスト分析)소개
テキストマイニング기법을활용하기위해선자연언어처리(NLP:自然言語処理)가우선되어야하며、NLP방법론에서도아래링크에정리된것처럼여러복잡한형태소분석(形態素解析)기능이요구되기도합니다。
한국어형태소분석기
한글의경우단순히공백(空間)、쉼표등의구분자로단어를구분한다거나、수많은품사(명사/동사/형용사/부사/조사/지시대명사등)와함께파생어또한복잡한구조로되어있어자연어처리가쉽지않다는 단점이있습니다。 또한위에링크로안내드린형태소분석알고리즘도저마다의장단점을가지고있어、완벽한형태소분석은불가능한것으로보입니다。
JMP17向上 공개げ 이에따라사전에는있으나분석자가원치않는단어
"세우"라는단어를예継ぎ들어보겠습니다(해양생물인 "새우"가아닙니다)。 「세우」를 네이버한글사전으MgSO검색 해보면아래와같은결과를얻게됩니다。

분석자(アナリスト)는위단어를의미있게도、혹은의미없게도판단할수있습니다。 의미있다고판단하면분석결과에포함시키겠지만의미가없다면아래와같이불용어로등록하여분석결과에서제외시키면됩니다。

여러산업군에sql 따라서이러한경우가많이발생할수있게됨에따라분석결과에있어서의단어선택여부는분석자의의사결정이중요하게됩니다。
해당단어의포함여부에대해의사결정후、본인만의불용어사전을만들어나가면좋겠지만이또한무(無)에서시작하기엔부담이많이가게됩니다。
이에JMP韓国チーム은첨부와같이불용어사전파일(テキストファイル)을공유드리고자합니다。 해당파일은본포스팅을통해지속업데이트예정입니다。 한번다운로드받으신후본인만의불용어사전을만들어나가셔도좋고、가끔본포스팅에서업데이트된파일을다운받으셔도됩니다。 다운받으신파일은아래경ق에저장하시면됩니다。
C:\ Users \(個人ID)\ AppData \ Roaming \ SAS \ JMP \ TextExplorer \ ko
위경5000는JMP17버전을실행하신후、分析>>テキストエクスプローラー>>言語>>韓国語 해י 윈도우탐색기>>보기>>숨긴항목>>체크 해주시면됩니다。
※물론、첨부된불용어파일을직접수정하여사용하셔도됩니다。
감사합니다。