불용어(Stopwords) Cronologia degli aggiornamenti
Prima versione 21-07-2021 (693개)
Versione attuale 2021-07-30 (2,256개)
2022년 10월 이후 출시 예정인 JMP 17 버전에서는 Text Explorer 기능에 한글이 포함되었습니다. 현재 JMP 17 Early Adopter 버전 을 통해 Korean Te 기능 을 보실 수 수, 사례 를 통한 Korean TE 활용 방법 을 아래 링크와 같이 안내 드렸었습니다.
JMP를 활용한 한국어 텍스트 분석 (analisi del testo coreano) 소개
Mining di testo 기법 을 활용 하기 위해선 자연 언어 처리 (NLP: elaborazione del linguaggio naturale) 가 우선 되어야 하며, NLP 방법론 에서 도 아래 링크 에 정리 된 것 처럼 복잡한 형태소 분석 (analisi morfologica) 기능 이 이 요구 되기도.
한국어 형태소 분석기
한글 의 경우 단순히 공백 (spazio), 쉼표 등 의 구분자 로 를 를 구분, 수많은 품사 (명사/동사/형용사/부사/조사/지시 대 대) 와 함께 파생어 또한 또한 복잡한 구조 로 되어 있어 자연어 처리 가 쉽지 쉽지 쉽지 단점이 있습니다. 또한 위 에 링크로 안내 드린 형태소 분석 알고리즘 도 저마다 의 장단점 을 가지고 있어, 완벽 한 형태소 분석 은 불가능 한 것 으로 보입니다.
JMP 17버전에서 제공예정인 Text Mining 기능에서는 위와 같은 형태소 분석기능을 지원하지 않습니다. 공개가능한 한글단어사전(약 80만개 단어)를 통해 Termine/frase를 구분하게 되어 있습니다. 이에 따라 사전에는 있으나 분석자가 원치 않는 단어가 분석결과에 포함되는 경우가 잤주 발.ꃌ 발.
"세우"라는 단어를 예로 들어보겠습니다(해양생물인 "새우"가 아닙니다). "세우" 를 네이버 한글사전으로 검색 해 보면 아래와 같은 결과를 얻게 됩니다.
분석자(Analista) 는 위 단어를 의미있게도, 혹은 의미없게도 판단할 수 있습니다. 의미있다 고 판단 하면 분석 결과 에 포함 시키겠지만 의미 가 없다면 아래 와 같이 불용어 로 등록 하여 분석 결과 결과 에서 제외 시키면.
여러 산업군에서 JMP가 사용되는 관계로 지나치게 단순화된 한글사전을 채택하늵 데는 무리었. 따라서 이러한 경우 가 많이 발생 할 수 있게 됨 에 따라 분석 결과 에 있어서 의 단어 선택 여부 는 분석자 의 의사 결정 이 중요 중요 하게.
해당 단어 의 포함 여부 에 대해 의사 결정 후, 본인 만 의 불용어 사전 을 만들어 나가면 좋겠지만 이 또한 무 (無) 에서 시작 하기 엔 부담 이 많이 가게.
이에 JMP Korea Team은 첨부와 같이 불용어 사전 파일(File di testo)을 공유드리고자 합니다. 해당 파일은 본 포스팅을 통해 지속 업데이트 예정입니다. 한번 다운로드 받으신 후 본인 만 의 불용어 사전 을 만들어 나가셔도, 가끔 본 포스팅 에서 업데이트 된 파일 파일 을 다운 받으셔도 됩니다. 다운받으신 파일은 아래 경로에 저장하시면 됩니다.
C:\Utenti\(ID personale)\AppData\Roaming\SAS\JMP\TextExplorer\ko
위 경로는 JMP 17 버전을 실행하신 후, Analizza >> Esplora testo >> Lingua >> Korean 해당 경로는 숨김처리되어 있어, 윈도우 탐색기에서 보시려면 윈도우 탐색기 >> 보기 >> 숨긴 항목 >> 체크 해 주시면 됩니다.
※ 물론, 첨부된 불용어 파일을 직접 수정하여 사용하셔도 됩니다.
감사합니다.
한국의 많은 JMP 사용자들에게 도움이 될 것으로 기대합니다!
