불용어 (Palabras vacías) Historial de actualización
Primera versión 21-07-2021 (693 개)
Versión actual 2021-07-21 (693 개)
2022 년 10 월 이후 출시 예정인 JMP 17 버전 에서는 Text Explorer 기능 에 한글 이 포함 되었습니다. 현재 JMP 17 Early Adopter 버전 을 통해 Korean TE 기능 을 만나 보실 수 있으며, 사례 를 통한 Korean TE 활용 방법 을 아래 링크 와 같이 안내 드 렸었 습니다.
JMP 를 활용 한 한국어 텍스트 분석 (Análisis de texto coreano) 소개
Minería de texto 기법 을 활용 하기 위해선 자연 언어 처리 (PNL: procesamiento del lenguaje natural) 가 우선 되어야 하며, PNL 방법론 에서도 아래 링크 에 정리 된 것처럼 여러 복잡한 형태소 분석 (análisis morfológico) 기능 이 요구 되기도 합니다.
한국어 형태소 분석기
한글 의 경우 단순히 공백 (espacio), 쉼표 등 의 구분자 로 단어 를 구분 한다거나, 수많은 품사 (명사 / 동사 / 형용사 / 부사 / 조사 / 지시 대명사 등) 와 함께 파생어 또한 복잡한 구조 로 되어 있어 자연어 처리 가 쉽지 않다는 단점 이 있습니다. 또한 위에 링크 로 안내 드린 형태소 분석 알고리즘 도 저마다 의 장단점 을 가지고 있어, 완벽한 형태소 분석 은 불가능 한 것으로 보입니다.
JMP 17 버전 에서 제공 예정인 Minería de texto 기능 에서는 위와 같은 형태소 분석 기능 을 지원 하지 않습니다. 공개 가능한 한글 단어 사전 (약 80 만개 단어) 를 통해 Término / Frase 를 구분 하게 되어 있습니다. 이에 따라 사전 에는 있으나 분석 자가 원치 않는 단어 가 분석 결과 에 포함 되는 경우 가 자주 발생 하게 됩니다.
"세우" 라는 단어 를 예로 들어 보겠습니다 (해양 생물 인 "새우" 가 아닙니다). "세우" 를 네이버 한글 사전 으로 검색 해 보면 아래와 같은 결과 를 얻게 됩니다.
분석자 (Analista) 는 위 단어 를 의미 있게 도, 혹은 의미 없게도 판단 할 수 있습니다. 의미 있다고 판단 하면 분석 결과 에 포함 시키 겠지만 의미 가 없다면 아래와 같이 불용어 로 등록 하여 분석 결과 에서 제외 시키면 됩니다.
여러 산업군 에서 JMP 가 사용 되는 관계 로 지나치게 단순화 된 한글 사전 을 채택 하는 데는 무리 가 있었습니다. 따라서 이러한 경우 가 많이 발생할 수 있게 됨에 따라 분석 결과 에 있어서 의 단어 선택 여부 는 분석자 의 의사 결정 이 중요 하게 됩니다.
해당 단어 의 포함 여부 에 대해 의사 결정 후, 본인 만 의 불용어 사전 을 만들어 나가면 좋겠지 만 이 또한 무 (無) 에서 시작 하기엔 부담 이 많이 가게 됩니다.
이에 JMP Korea Team 은 첨부 와 같이 불용어 사전 파일 (archivo de texto) 을 공유 드리고자 합니다. 해당 파일 은 본 포스팅 을 통해 지속 업데이트 예정 입니다. 한번 다운로드 받으신 후 본인 만 의 불용어 사전 을 만들어 나가셔 도 좋고, 가끔 본 포스팅 에서 업데이트 된 파일 을 다운 받으 셔도 됩니다. 다운 받으신 파일 은 아래 경로 에 저장 하시면 됩니다.
C: \ Usuarios \ (ID personal) \ AppData \ Roaming \ SAS \ JMP \ TextExplorer \ ko
위 경로 는 JMP 17 버전 을 실행 하신 후, Analizar >> Explorador de texto >> Idioma >> Coreano 으로 지정 하시면 한글 사전 (80 만 단어) 이 다운로드 되면서 생성 됩니다. 해당 경로 는 숨김 처리 되어 있어, 윈도우 탐색기 에서 보시려면 윈도우 탐색기 >> 보기 >> 숨긴 항목 >> 체크 해 주시면 됩니다.
※ 물론, 첨부 된 불용어 파일 을 직접 수정 하여 사용 하셔도 됩니다.
감사 합니다.
¡Espero que sea útil para muchos usuarios de JMP en Corea!
