| 스피커 |
성적 증명서 |
| 로스 메투살렘 |
안녕하세요 여러분, JMP Pro 16에서 JMP가 텍스트 마이닝 툴킷을 어떻게 확장하는지 알아보는 데 시간을 내주셔서 감사합니다. |
| |
감정 분석 및 용어 선정. |
| |
안녕하세요, 저는 미국 남동부 지역에서 JMP 시스템 엔지니어로 근무하는 로스 메투살렘입니다. 오늘 두 가지 새로운 분석 기능을 미리 살펴보고, 작동 방식에 대해 간략히 설명드린 후, 활용을 위한 몇 가지 모범 사례를 알려드리겠습니다. |
| |
이 두 가지 분석 기법 모두 Text Explorer에 포함될 예정입니다. Text Explorer는 JMP의 소프트웨어입니다. |
| |
자유 텍스트 또는 비정형 텍스트, 즉 자연어 텍스트를 분석하는 도구입니다. |
| |
그리고 이것은 우리가 텍스트 마이닝 도구라고 부르는 것인데, 자유 텍스트에서 정량적 정보를 추출하는 도구입니다. |
| |
자유 형식 텍스트에서 통찰력을 얻기 위해 다른 유형의 통계 또는 분석 도구를 사용하거나, 해당 텍스트를 다른 분석의 입력값으로 사용할 수도 있습니다. |
| |
자, 그럼 JMP Pro 16의 Text Explorer에 새롭게 추가되는 두 가지 텍스트 마이닝 기법을 살펴보겠습니다. 먼저 감정 분석부터 시작해 보겠습니다. |
| |
감정 분석은 본질적으로 텍스트가 얼마나 감정적으로 긍정적인지 또는 부정적인지를 밝히는 것입니다. |
| |
그리고 우리는 미국 연방준비은행에서 정기적으로 발표하는 보고서인 베이지북에 대한 감성 분석을 진행할 것입니다. |
| |
JMP Discovery Europe에서 미국 사례를 드는 점 양해 부탁드립니다만, 베이지북은 감성 분석이 무엇인지 잘 보여주는 좋은 예시입니다. |
| |
이 간행물은 월간지로, 국가 수준 보고서와 12개 지역별 경제 상황을 요약한 보고서를 포함하고 있으며, 이 모든 보고서는 인터뷰 및 설문 조사와 같은 질적 정보를 기반으로 합니다. |
| |
미국 정책 입안자들은 베이지북의 질적 정보와 전통적인 경제 지표에 담긴 양적 정보를 함께 활용하여 경제 정책을 수립할 수 있습니다. |
| |
그래서 여러분은 이렇게 생각할지도 모릅니다. "지금 우리는 감정이나 정서에 대해 이야기하고 있는데, 경제 보고서에 감정이 많이 담겨 있을 거라고는 생각하지 않지만, 베이지북 보고서를 비롯한 많은 언어에는 감정을 전달하거나 표현할 수 있는 단어들이 실제로 존재합니다." |
| |
그럼 보고서의 일부를 살펴보겠습니다. 다음은 새로운 감정 분석 플랫폼에서 바로 가져온 스크린샷입니다. |
| |
강조 표시된 단어들을 보실 수 있을 텐데, 이것들을 감정 용어라고 부릅니다. 즉, |
| |
우리는 이러한 표현들에 어느 정도 감정적인 내용이 담겨 있다고 주장할 수 있습니다. 예를 들어 맨 위에 있는 "반면 컴퓨터 판매량은 심각하게 감소했습니다." |
| |
여기서 "심각하게 우울한"이라는 표현이 보라색으로 강조된 것은 우리가 그 표현을 부정적인 감정으로 간주한다는 것을 나타냅니다. 누군가가 컴퓨터 판매량을 "심각하게 우울한"이라고 묘사한다면, 그것은 분명히 나쁜 일로 받아들여지기를 바라는 것처럼 들릴 것입니다. |
| |
아래를 보시면 주황색으로 강조된 "개선하다" 또는 "호의적"과 같은 긍정적인 감정을 나타내는 단어들이 있습니다. 따라서 우리는 긍정적 또는 부정적인 감정을 불러일으킨다고 생각되는 단어들을 찾아볼 수 있습니다. |
| |
부정적인 내용은 보라색, 긍정적인 내용은 주황색으로 표시되며, 일부 감정 분석에서는 이러한 수준을 유지하여 긍정적인 텍스트와 부정적인 텍스트, 이분법적으로 구분합니다. |
| |
감정 분석을 수행하는 추가적인 방법들이 있으며, 특히 다음과 같은 방법들이 있습니다. |
| |
긍정성 또는 부정성의 정도를 정량화하려는 다양한 방법들이 있는데, 단순히 어떤 것이 긍정적인지 부정적인지 여부만을 판단하는 것이 아닙니다. 다른 예를 들어보겠습니다. 맨 아래쪽을 보시면 "판매 부진" 보고서가 나와 있습니다. |
| |
그리고 저는 이것을 "컴퓨터 판매량이 심각하게 부진하다"고 말했던 것과 비교해 보겠습니다. |
| |
둘 다 부정적인 표현이지만, "심각한 우울증"이라는 표현이 "가난하다"라는 표현보다 훨씬 더 부정적으로 들린다는 점에는 모두 동의할 것입니다. |
| |
그래서 우리는 표현된 감정이 긍정적인지 부정적인지뿐만 아니라 얼마나 긍정적이거나 부정적인지까지 파악하고자 하는데, 이것이 바로 감정 분석이 하는 일입니다. |
| |
텍스트 익스플로러는 가능합니다. 그렇다면 어떻게 가능할까요? 바로 몇 가지 감정 용어와 그에 따른 점수를 기반으로 하는 어휘 감정 분석이라는 기술을 사용합니다. |
| |
지금 보시는 것은 감정 사전이라고 부르는 것의 일부 발췌본으로, 여기에는 용어와 해당 점수가 포함되어 있습니다. |
| |
예를 들어, "환상적"이라는 단어는 긍정적인 점수 90점을 받았고, 맨 아래에 있는 "암울한"이라는 단어는 -75점을 받았습니다. |
| |
그래서 우리는 감정적인 내용을 담고 있다고 생각하는 용어들을 구체적으로 명시하고, 그 용어들이 긍정적인지 부정적인지를 임의적인 척도(여기서는 -100에서 100까지)로 평가합니다. |
| |
그런 다음 이러한 용어들을 모든 문서에서 찾아 문서의 전반적인 긍정적 또는 부정적 정도를 점수로 매길 수 있습니다. |
| |
앞서 예시로 든 "심각하게 우울한"이라는 표현을 떠올려보면, "심각하게"라는 단어는 "우울한"이라는 단어의 의미를 더욱 강조합니다. |
| |
감정 강화제는 표현된 감정을 증폭시키거나 높이는 역할을 하므로, 감정 용어에 담긴 감정에 어떤 영향을 미치는지 설명하는 강화제 사전도 있습니다. |
| |
예를 들어, "엄청나게"라는 말은 감정을 1.4배로 증폭시키는 반면, "조금"이라는 말은 감정을 0.3배로 증폭시키므로, 실제로 표현된 감정을 약간 약화시키는 효과가 있습니다. |
| |
자, 마지막으로 고려해야 할 또 다른 유형의 단어가 있는데, 바로 부정어, 즉 "아니요"와 "아니다" 같은 것들입니다. 이러한 단어들은 기본적으로 극성 반전으로 취급합니다. |
| |
"별로 좋지 않다"는 것은 "환상적이다"라는 점수에 -1을 곱한 것과 같습니다. |
| |
그래서 이것이 감정 분석을 하는 일반적인 방법인데, 다시 말해 어휘 감정 분석이라고 합니다. 우리가 하는 일은 발견한 감정 용어에 해당되는 강조어를 곱하는 것입니다. |
| |
또는 부정어를 사용한 다음, 각 문서에 대해 나타나는 개별 용어에 대한 모든 감정 점수를 얻으면 모든 점수를 평균하여 해당 문서의 감정 점수를 얻습니다. |
| |
JMP는 이러한 점수를 여러 유용한 방식으로 우리에게 보여줍니다. 이것은 감정 분석 도구의 스크린샷인데, 잠시 후에 이 도구를 사용해 볼 예정입니다. |
| |
하지만 보시다시피, 이 도구는 모든 문서에 걸쳐 감정 점수의 분포를 보여줍니다. 또한 모든 감정 용어 목록과 각 용어가 나타나는 빈도를 제공합니다. |
| |
그리고 앞으로 살펴보겠지만, 감정 점수를 내보내 그래프나 분석에 활용할 수도 있습니다. |
| |
그래서 제가 여기 몇 가지 그래프를 만들어 봤는데, 초기 단계에서 베이지북 보고서에 담긴 심리가 우리가 예상하는 방식으로 경제 상황과 실제로 일치하는지, 즉 이 보고서에 타당성이 있는지 살펴보려는 것입니다. |
| |
심리가 일종의 경제 지표라고 볼 수 있을까요? 아마도 그럴 가능성이 높다고 생각합니다. |
| |
여기 제가 그래프 빌더로 만든 그래프가 있습니다. 시간에 따른 감정 변화를 보여주는 그래프인데, 작은 회색 점들은 각각 개별 보고서를 나타냅니다. |
| |
그리고 파란색 그래프는 시간에 따른 감정 변화 추세를 부드럽게 보여주고, 검은색 선(0)은 적어도 저희 평가 기준에 따르면 중립적인 감정을 나타냅니다. |
| |
붉은색 영역은 다음과 같습니다. |
| |
연방준비제도가 공식적으로 발표한 경제 불황 시기. |
| |
경기 침체기에는 투자 심리가 바닥을 치거나 침체기를 거치는 것을 볼 수 있지만, 그 외에도 주목할 만한 점이 있습니다. |
| |
실제로 경기 침체가 발생하기 몇 달 전, 또는 경우에 따라서는 몇 년 전부터 투자 심리가 하락하는 조짐을 보입니다. 그런데 이번에는 이러한 급격한 하락세는 나타나지 않습니다. |
| |
경기 침체가 뒤따르지 않는 상황에서는 그렇습니다. 따라서 베이지북 심리지표가 경기 침체의 선행지표로서 어느 정도 타당성이 있을 수도 있습니다. |
| |
지리적인 관점에서 보면, 역시 타당한 점들을 발견할 수 있습니다. 이는 분석 결과의 한 예시에 불과합니다. 우리는 12개 지역의 여론을 살펴보고 있습니다. |
| |
1999년부터 2000년, 그리고 2001년까지 연방준비제도 지역별 변화 추이입니다. 이 시기는 흔히 닷컴 버블 붕괴라고 불리는 시기입니다. |
| |
한때 기술 기업과 온라인 사업체들이 거품처럼 생겨났지만, 결국 많은 기업들이 도산했고, 그로 인해 심각한 경제적 여파가 발생했습니다. |
| |
1999년부터 2000년까지의 여론이 상승하고 있으며, 실제로 상당히 강하게 상승하고 있는 것으로 보입니다. |
| |
샌프란시스코 연방준비은행 관할 구역은 이러한 기업들의 본사가 많이 위치한 곳입니다. 그리고 2001년 금융 위기 이후, 우리가 여기서 빨간색으로 표시한 것처럼 부정적인 심리까지 가장 크게 하락한 곳도 바로 그 샌프란시스코 관할 구역이었습니다. |
| |
간단히 그래프로 살펴본 결과, 베이지북 심리 지표는 일부 경제적 사건을 추적하거나 예측하는 데 어느 정도 타당성이 있는 것으로 보입니다. 물론 후자의 경우는 더 자세히 검토해야 합니다. |
| |
하지만 이는 감정 분석의 잠재적 활용 사례 중 하나일 뿐이며, 훨씬 더 많은 사례가 있습니다. |
| |
현재 가장 활발하게 사용되고 있는 분야 중 하나는 소비자 조사입니다. 예를 들어, 사람들이 소비자의 의견을 분석하는 데 활용할 수 있습니다. |
| |
소비자 설문조사 응답 중 일부를 분석하여 긍정적 또는 부정적인 의견이나 반응을 유발하는 요인을 파악합니다. |
| |
하지만 감성 분석은 제품 개선에도 활용될 수 있습니다. 예를 들어 제품 리뷰나 보증 청구를 분석하면 고객에게 강한 감정적 반응을 불러일으키는 제품 기능이나 문제를 파악하는 데 도움이 될 수 있습니다. |
| |
예를 들어 고객 지원을 살펴보면 콜센터나 채팅, 채팅 기록 등을 분석할 수 있습니다. |
| |
고객 만족도에 영향을 미치는 지원 방식을 찾아봅니다. 나아가 공공 정책에 대해서도 공개적인 의견을 분석하여 제안되거나 기존 정책에 대한 대중의 반응을 가늠합니다. |
| |
이것들은 감정 분석을 적용할 수 있는 몇 가지 영역일 뿐입니다. 감정 분석은 감정을 전달하는 텍스트가 있고, 그 감정이 유용한 정보를 제공할 수 있는 모든 곳에 적용할 수 있습니다. |
| |
제가 먼저 말씀드리고 싶은 건 여기까지입니다. 이제 JMP에서 어떻게 작동하는지 간단히 설명해 드리겠습니다. JMP로 넘어가시죠. |
| |
여기 베이지북 데이터가 있습니다. 아래쪽을 보시면 5,000건이 넘는 보고서가 있고, 각 보고서의 작성 날짜가 나와 있습니다. |
| |
1972년 5월부터 2020년 10월까지, 12개 지역 중 어느 지역에서 나온 보고서인지, 그리고 보고서 전문이 나와 있습니다. 이 보고서들을 보면, |
| |
단순히 경제가 잘 되고 있는지 못 되고 있는지 같은 간단한 진술에 그치는 것이 아니라, 어느 정도 자세한 내용까지 다룰 수 있습니다. |
| |
자, 이 데이터들을 자세히 살펴보기 전에, 베이지북을 분석하자는 아이디어를 내주시고 실제로 데이터를 수집해서 JMP에 넣어주신 분께 감사의 말씀을 드리고 싶습니다. |
| |
분석 준비가 완료된 형식입니다. 이 모든 것은 Xan Gregg 덕분입니다. 모르시는 분들을 위해 말씀드리자면, Xan은 JMP 개발팀의 이사이자 Graph Builder의 창시자입니다. Xan, 도움 주셔서 감사합니다. |
| |
좋습니다. 그럼 이제 이 모든 보고서에서 긍정적 및 부정적 감정의 정도를 정량화해 보겠습니다. 분석 메뉴에서 텍스트 탐색기를 사용하겠습니다. |
| |
여기 시작 창이 있습니다. 텍스트 데이터를 가져와서 텍스트 열 역할에 넣겠습니다. 시작하기 전에 몇 가지 사항을 강조하겠습니다. |
| |
Text Explorer는 여러 언어를 지원하지만, 현재 감정 분석은 영어로만 제공되며, 또 하나 주목하고 싶은 점은 어간 추출 기능입니다. |
| |
텍스트 분석을 하시는 분들은 어간 추출(stemming)이 무엇인지 잘 아실 테지만, 모르시는 분들을 위해 설명드리자면, 어간 추출은 여러 개의 단어를 하나로 합치는 과정입니다. |
| |
음, 전문적인 용어를 쓰지 않고 설명하자면... 같은 단어의 여러 변형을 함께 쓰는 거예요. 예를 들어 "strong", "stronger", "strongest"처럼요. 이렇게 세 가지가 있죠. |
| |
"strong"이라는 단어의 다양한 변형이 있을 수 있는데, 일부 텍스트 마이닝 기법에서는 이러한 변형들을 모두 하나의 용어로 통합하여 "모두 'strong'을 의미한다"라고 말하기도 합니다. 왜냐하면 개념적으로 같은 의미이기 때문입니다. |
| |
사실 저는 여기서 어간 형성에 대한 이야기는 생략하겠습니다. 왜냐하면... 예를 들어 "가장 강한"이라는 단어는 무언가가 도달할 수 있는 가장 강한 상태를 나타내기 때문입니다. |
| |
"더 강해졌다"는 말은 이미 강하다는 것을 알지만, 더 강해질 여지가 있다는 것을 의미합니다. |
| |
그러니까 "strongest"는 "stronger"보다 더 높은 감정 점수를 받아야 할 것 같고, 어간 추출을 하면 두 단어의 구별이 사라지게 되죠. 저는 그 구별을 유지하고 싶기 때문에 서로 다른 감정 점수를 주고 싶습니다. 그래서 어간 추출을 계속 진행하겠습니다. |
| |
그럼 확인을 누르겠습니다. |
| |
이제 JMP는 텍스트를 토큰화합니다. 즉, 텍스트를 모든 개별 단어로 분해한 다음 각 단어가 몇 번 나타나는지 계산합니다. |
| |
여기에는 모든 용어와 그 빈도수가 나와 있는 목록이 있습니다. "판매"는 46,000번 이상 등장하며, 여기에도 구문 목록이 있습니다. 구문은 다음과 같습니다. |
| |
자주 나타나는 두 개 이상의 단어의 연속체, 그리고 때로는 실제로 그러한 단어들을 용어로 포함시키고 싶을 때도 있습니다. |
| |
분석이요. 감정 분석을 하려면, 예를 들어 문구 목록을 살펴보고 "부동산"이라는 단어를 추가해 볼 수 있겠죠. 두 단어지만, 말 그대로 재산을 의미하니까요. |
| |
그리고 제가 덧붙일 수 있는 게 있는데요. 일반적으로 텍스트 분석에서는 불용어라고 하는 단어들도 함께 추가합니다. |
| |
분석 맥락에서 실질적인 의미를 전달하지 않는 단어들이므로 제외하고 싶습니다. 예를 들어 "district"를 생각해 보세요. 이런 일이 발생하기도 하고... 베이지북에서는 이렇게 사용하기도 합니다. |
| |
"지구"라는 단어를 자주 사용하지만, 예를 들어 "리치먼드 지구 보고서"와 같이 말하는 것은 사실 별 의미가 없습니다. |
| |
하지만 저는 여기서 불용어에 대해 굳이 언급하지 않을 겁니다. 왜냐하면, 기억하시겠지만, |
| |
슬라이드에서 말씀드렸듯이, 저희의 모든 감정 점수는 사전을 기반으로 하며, 사전에서는 감정 관련 단어와 각 단어에 부여할 점수를 선택합니다. |
| |
그리고 만약 "district"라는 단어를 빼버리면, 그 단어는 본질적으로 0점을 받게 되어 감정 점수에 영향을 미치지 않으므로, 굳이 불용어로 지정할 필요가 없습니다. |
| |
준비가 되면 여기 빨간색 삼각형 아래에 있는 텍스트 분석, 아니, 감정 분석을 실행하겠습니다. |
| |
현재 JMP는 감정 용어 등을 따로 지정하지 않았기 때문에 내장된 감정 사전을 사용하여 모든 문서의 점수를 계산하고 있습니다. 여기서 점수를 확인할 수 있습니다. |
| |
이러한 결과를 살펴보기 전에, 먼저 감정 관련 단어와 그 점수를 포함하는 감정 사전을 맞춤 설정하는 것이 좋습니다. 왜냐하면 각기 다른 영역에서 감정 분석은 다르게 이루어지기 때문입니다. |
| |
어쩌면 글을 작성하는 사람이 다르면 특정 단어가 서로 다른 수준의 감정을 나타내거나, 어떤 경우에는 감정을 나타내고 어떤 경우에는 나타내지 않을 수도 있습니다. 그래서 우리는 다음을 원합니다. |
| |
우리는 현재 분석 중인 언어에 담긴 감정을 정확하게 포착했다고 생각하는 감정 사전을 매우 신중하고 철저하게 만들었습니다. |
| |
JMP는 말씀드렸다시피 내장 사전을 사용하는데, 그 사전은 상당히 빈약합니다. 보시다시피 여기에도 이모티콘 몇 개만 포함되어 있죠. |
| |
이런 작은 웃는 얼굴 이모티콘 같은 것도 있지만, -90점에는 "끔찍한"처럼 감정을 분명하게 드러내는 표현도 있습니다. |
| |
"끔찍한"이라는 단어를 부정적인 의미로 사용하지 않는 사람은 거의 없을 테니, 그 점에 대해서는 꽤 만족합니다. 하지만 목록이 그리 길지 않아서 몇 가지 용어를 더 추가하고 싶을 수도 있습니다. |
| |
그럼 어떻게 하는지 살펴볼까요? 제가 추천드리는 한 가지는 데이터를 직접 살펴보는 것입니다. 가지고 있는 문서들을 읽어보고 감정을 나타낼 만한 단어들을 찾아보세요. |
| |
여기 문서들을 살펴보고 감정 용어를 직접 추가할 수 있는 도구가 있습니다. 여기 문서 목록이 있는데, 문서 1이 강조 표시되어 있고 아래에 문서 1이 표시됩니다. 다른 문서를 선택해서 볼 수도 있습니다. |
| |
자, 문서 1을 살펴보면, 바로 "비관주의"와 "낙관주의"와 같은 몇 가지 잠재적인 감정 용어를 발견할 수 있을 것입니다. |
| |
보시다시피 이 부분들은 강조 표시되지 않았습니다. 실제로 이 부분들은 표준 감정 사전에 포함되어 있지 않습니다. |
| |
그리고 실제로 많은 명사들이 그렇지 않은 경우가 많은데, 그 이유는 "비관주의"나 "낙관주의" 같은 명사들은 기본적으로 그 존재 여부를 나타내는 다양한 방식으로 표현될 수 있기 때문입니다. 예를 들어, "비관주의가 감소하고 있다"라고 말할 수 있죠. |
| |
"비관론이 뚜렷하게 부족하다", "비관론은 더 이상 보도되지 않는다." |
| |
그리고 그런 경우라면 "비관주의"를 부정적인 것으로 단정짓지는 않겠죠. 그러니까 감정 사전에 단어를 추가하기 전에 문맥 속에서 그 단어가 어떻게 쓰이는지 신중하게 생각해 봐야 합니다. |
| |
예를 들어, 여기 있는 용어 목록으로 다시 돌아갈 수 있습니다. 필터만 보여드리겠습니다. |
| |
"비관주의"라는 단어를 찾아서 본문을 보여주고 어떻게 사용되었는지 살펴보세요. 첫 번째 예시에서는 "우리 이사들의 기분은 비관주의에서 낙관주의까지 다양하다"라고 쓰여 있는 것을 볼 수 있습니다. |
| |
그리고 다음은 |
| |
"사적인 대화에서 느껴지는 깊은 비관주의적 분위기." 실제로 읽어보면 이것이 일반적인 용례입니다. 따라서 베이지북에서는 제가 우려했던 방식대로 '비관주의'라는 단어를 사용하지 않는 것 같습니다. |
| |
"낙관론이 증가하고 있다." |
| |
그래서 저는 "비관주의"를 여기에 추가하는 것이 괜찮다고 생각하므로, 감정 사전에 추가하도록 하겠습니다. |
| |
그래서 제가 그 위에 마우스 커서를 올려놓으면, |
| |
보시다시피, 우리는 이 결과를 어떻게 처리할지에 대한 몇 가지 옵션을 제시합니다. 예를 들어, 여기서 -60점을 줄 수 있다고 가정해 보겠습니다. |
| |
이제 해당 단어가 점수와 함께 사전에 추가되고, JMP에서 감정 점수 업데이트가 실행됩니다. 즉, JMP는 이제 "비관주의"라는 단어를 찾아 해당 단어가 포함된 모든 문서의 점수를 조정합니다. |
| |
그럼 이제 다시 위로 올라가서 감정 관련 용어들을 좀 더 자세히 살펴보겠습니다. 아래로 스크롤해 내려가시면 "비관주의"라는 용어를 찾으실 수 있습니다. |
| |
제가 방금 준 점수 -60점을 여기에 적어 놓았습니다. 그런데, 자세히 보면 "비관적"이라는 단어는 기본적으로 -50점이 부여되어 있으니, 일관성을 유지하기 위해 여기에 -50을 입력하는 것도 괜찮을 것 같습니다. |
| |
물론 그렇게 할 수도 있지만, 또 다른 업데이트가 발생하는 것을 막기 위해 그렇게 하지 않겠습니다. |
| |
여기서 감정 관련 용어 목록을 확인하실 수 있습니다. JMP에서 감정적 의미를 내포할 가능성이 있는 용어로 식별한 것들이니, 한번 살펴보시고 사전에 추가하는 것을 고려해 보세요. |
| |
예를 들어, 여기 있는 "강한"이라는 단어를 보면, 오른쪽에 있는 문서 텍스트들을 살펴보면, 분명히 긍정적인 의미라는 것을 알 수 있을 겁니다. 그리고 이러한 예시들을 많이 살펴보면, 정말 분명하게 드러나는 것은... |
| |
경제학자들은 현재 경제 상황의 좋거나 나쁜 점을 이야기할 때 "강하다"와 "약하다"라는 단어를 아주 많이 사용합니다. |
| |
그러니까 제가 저 위에 있는 버튼에서 '긍정적' 60을 클릭해서 '강함'을 추가할 수도 있겠죠. 하지만 지금은 감정 분석을 빨리 끝내기 위해 그렇게 하지는 않겠습니다. |
| |
그래서 아래 텍스트에서처럼, 여기 있는 감정 표현 용어 목록을 살펴보고 적절한 후보들을 고를 수 있습니다. |
| |
빨간색 삼각형 아래에서는 감정 용어를 더욱 직접적으로 관리할 수도 있습니다. 즉, 전체 내용을 그대로 보여주는 것입니다. |
| |
텍스트 탐색기 사용자가 익숙할 만한 용어 관리 목록, 예를 들어 구문 관리 및 불용어 관리 등이 있습니다. |
| |
보시다시피, 기존의 모든 기본 용어 외에도 이번 분석에 특화된 새로운 용어 하나를 추가했습니다. 물론, 예외를 설정하여 일부 용어를 제외할 수도 있습니다. |
| |
그리고 중요한 점은 감정 사전도 가져오고 내보낼 수 있다는 것입니다. 감정 용어를 정의하는 또 다른 방법은 해당 분야 전문가와 상의하는 것입니다. 아시다시피, |
| |
경제학자들은 의미를 명확하게 전달하는 데 필요한 단어의 유형에 대해 할 말이 많을 것입니다. |
| |
이 보고서에는 긍정적이든 부정적이든 다양한 감정이 담겨 있습니다. 만약 그들과 직접 이야기를 나눌 수 있다면, 그들이 어떻게 생각하는지 알고 싶을 것이고, 심지어 그들의 의견을 탭으로 구분된 파일에 정리한 다음 여기에 가져와 활용할 수도 있을 것입니다. |
| |
그리고 물론, 만족스러운 사전을 만들었다면 나중에 쉽게 다시 사용할 수 있도록 내보내고 저장해야 합니다. |
| |
지금까지 감정 사전을 구성하는 방법에 대해 간략하게 살펴보았습니다. 또한 다음 사항들도 중요합니다. |
| |
강조어와 부정어를 잘 선별하세요. 그리고 다시 말씀드리지만, 여기에는 점수가 표시되지 않습니다. 왜냐하면 이것들은 단순히 극성 반전이기 때문입니다. |
| |
실제로 어떤 모습인지 좀 더 자세히 보여드리기 위해, 감정 분석을 한번 살펴보겠습니다. 그러면 어떤 경우들을 볼 수 있을까요? |
| |
JMP는 이러한 감정 표현 중 일부 앞에 "아님"이라는 단어가 있는 것을 발견하고 그에 맞는 점수를 적용했습니다. 따라서 맨 위에 있는 "허용할 수 없음"은 -25점을 받습니다. |
| |
제가 이걸 보여드리는 이유는, JMP에서 이러한 부정어와 강조어가 자동으로 적용된다는 사실에 여러분의 주의를 환기시키기 위해서입니다. |
| |
자, 그럼 분석 설정 방법에 대한 이야기는 이쯤 하고, 이제 실제 결과 살펴보기로 넘어가 보겠습니다. 제가 먼저 보여드릴 내용은 다음과 같습니다. |
| |
이미 분석이 완료된 버전입니다. 즉, 감정 사전을 이미 만들어 놓았고, 이제 결과를 해석하기 시작할 수 있습니다. |
| |
여기 위쪽에 요약된 내용을 보면 긍정적인 문서가 부정적인 문서보다 더 많습니다. 앞서 논의했듯이, 각 유형의 문서가 몇 개씩 있는지 확인할 수 있습니다. 실제로 왼쪽 표 맨 아래를 보면 감정적인 내용이 전혀 표현되지 않은 문서가 하나 있습니다. |
| |
"강함"은 약 14,000회, "약함"은 약 4,500회 나타났습니다. |
| |
그리고 이러한 것들을 개수나 점수로 살펴보면서 가장 부정적인 것과 가장 긍정적인 것을 살펴보겠습니다. |
| |
맥락 속에서 살펴보는 것만으로도 그 자체로 꽤 유익할 수 있습니다. 특히 소비자 조사와 같은 분야에서 사람들이 언제 긍정적인 감정을 느끼거나 긍정적인 감정을 표현하는지 알고 싶을 때 말이죠. |
| |
우리 브랜드나 제품에 대해 사람들이 어떤 표현을 사용하는지 파악하는 것은 마케팅 활동에 도움이 될 수 있습니다. 이러한 감정 분석 용어 목록은 그런 점에서 매우 유용할 수 있습니다. |
| |
조작, |
| |
관광, 투자 등 다양한 분야가 있습니다. 그리고 때로는 이러한 하위 영역 중 특정 부분, 즉 우리가 '특징'이라고 부르는 것에 집중하고 싶을 때가 있습니다. |
| |
감정 분석의 기능 탭으로 이동한 다음 검색을 클릭하면 JMP가 감정 용어와 함께 자주 나타나는 단어들을 찾아 해당 기능과 관련된 감정을 더 자세히 분석해 볼지 묻습니다. |
| |
예를 들어 "매출"을 생각해 보세요. "매출이 부진한 것으로 보고되었다", "매출 약화", "매출이 순조롭게 유지되고 있는 것으로 보고되었다" 등과 같은 표현을 볼 수 있습니다. |
| |
그래서 제가 선택한 이 기능에 점수를 매기면, JMP는 더 큰 보고서 내에서 "판매"라는 단어가 언급된 부분에 대해서만 감정 점수를 제공합니다. 이는 분석을 더욱 구체화하거나 특정 하위 영역에 집중하는 데 도움이 될 것입니다. |
| |
그리고 그것은 특히 중요합니다. |
| |
우리가 분석하는 언어의 도메인이 그렇게 엄격하게 제한되어 있지 않을 수도 있습니다. 예를 들어, |
| |
제품 리뷰. 당신은 사람들이 제품에 대해 어떻게 생각하는지, 긍정적인지 부정적인지에 관심이 있지만, 배송과 같은 부분에 대한 이야기도 있을 수 있습니다. 하지만 배송은 당신이 통제할 수 없는 부분이기 때문에, 누군가가 배송에 대해 불만족스러워하더라도 크게 신경 쓰지 않을 수도 있습니다. |
| |
배송에 대한 언급이 포함된 리뷰들을 단순히 나열하는 것은 바람직하지 않습니다. 따라서 분석 범위를 고려하고 적절하게 제한하는 것이 중요하며, 여기에서 제공하는 기능 찾기 도구가 바로 그 방법 중 하나입니다. |
| |
보시다시피 "판매"를 기준으로 점수를 매겼더니 긍정적인 문서와 부정적인 문서의 분포가 매우 달라졌습니다. 감정 점수가 없는 문서가 더 많은데, 그 이유는 다음과 같습니다. |
| |
단순히 매출에 대해 이야기하지 않거나 감정적인 표현을 사용하지 않는 것이 좋습니다. 저희는 특히 매출과 관련된 감정을 표현하는 데 사용할 수 있는 새로운 용어 목록을 마련했습니다. |
| |
이것을 삭제하겠습니다. |
| |
제가 깜빡하고 말씀드리지 못한 게 하나 있는데요, 이전에 잠깐 언급했던 것처럼 문서 전체 점수가 어떻게 계산되는지에 대한 내용입니다. 모든 감정 용어의 평균값이라고 말씀드렸었죠... |
| |
특정 문서에서 발생한 일입니다. 그럼 문서 1을 살펴보겠습니다. 제가 보여드리고 싶은 것은 바로 이것입니다. |
| |
-20점과 같은 점수가 어디서 나온 것인지 궁금하다면, 마우스 커서를 해당 점수 위로 가져가 보세요. 그러면 나타난 모든 감정 표현 단어 목록이 표시됩니다. |
| |
보시다시피, 여기에는 맨 아래쪽에 있는 "정말 뛰어난 부분"을 포함하여 총 16개가 있습니다. 이 부분은 +78이었고, 이제 이 모든 점수를 더한 다음 78로 나누면 됩니다. |
| |
아니면 16으로 나누면, 죄송합니다만, 평균 감정 점수는 -20이 됩니다. 이것은 전체 점수를 제공하는 두 가지 방법 중 하나입니다. 다른 하나는 최소값과 최대값의 차이를 이용한 점수 계산 방식입니다. |
| |
본문에 표현된 감정들. |
| |
이 보고서만 봐도 감정 점수나 가장 많이 사용된 용어 같은 많은 정보를 얻을 수 있습니다. |
| |
하지만 우리는 종종 그러한 감정을 가져와 다른 방식으로 활용하고 싶어합니다. 예를 들어, |
| |
슬라이드에서 보여드렸던 것처럼 그래프로 살펴보세요. 분석 단계에서 해당 부분을 진행할 때는 여기 빨간색 삼각형 부분을 참고하시면 됩니다. |
| |
그리고 문서 점수를 저장합니다. 이렇게 하면 해당 점수가 데이터 테이블에 저장되어 추가 분석에 입력하거나 그래프로 나타내는 등 원하는 작업을 수행할 수 있습니다. |
| |
JMP Pro 16의 텍스트 탐색기에 추가될 감정 분석 기능에 대한 미리보기였습니다. 핵심은 감정 분석이 감정 사전을 사용한다는 것입니다. |
| |
각 문서의 긍정적 및 부정적 감정적 내용에 해당하는 점수를 부여하도록 설정한 다음, 그 정보를 원하는 방식으로 활용할 수 있습니다. |
| |
자, 이제 감정 분석은 잠시 접어두고, 곧 텍스트 탐색기에 추가될 또 다른 기술에 대해 이야기하기 위해 슬라이드로 돌아가겠습니다. |
| |
그리고 그것이 바로 용어 선택인데, 용어 선택은 다른 질문에 대한 답을 제시합니다. 즉, 내가 중요하게 생각하는 변수나 관련 있는 용어는 무엇인가 하는 질문입니다. |
| |
우리는 베이지북을 고수할 겁니다. |
| |
우리는 어떤 단어들이 통계적으로 경기 침체와 연관되어 있는지 알아볼 것입니다. 여기 그래프는 시간에 따른 백분율 변화를 보여줍니다. |
| |
분기별 국내총생산(GDP) 그래프에서 파란색은 경제 성장을, 빨간색은 경제 위축을 나타냅니다. 그렇다면 우리는 무엇을 의미하는지 궁금해할 수 있습니다. |
| |
베이지북에 나오는 용어들 중 일부가 경기 침체기와 통계적으로 연관되어 있을 가능성이 있지 않을까요? 예를 들어, 여기에 몇 가지 예시가 있습니다. |
| |
아시다시피, 왜 우리는 베이지북에 나오는 특정 용어들을 경기 침체기와 연관시키려 할까요? |
| |
음, 용어 목록을 얻는 것 자체만으로도 유익할 수 있겠네요. 어쩌면 미묘한 차이점을 발견할 수도 있을 것 같아요. |
| |
제가 인지하지 못하거나 정량적 데이터로 쉽게 포착하지 못하는 경기 침체의 원인이나 영향이 있을 수 있습니다. |
| |
추가 분석을 위한 단어들을 몇 개 찾을 수도 있겠네요. 어쩌면… 어쩌면 찾을 수도 있을 거예요. |
| |
잠재적인 감정 용어들, 특히 경제 상황이 좋지 않을 때 사용되는 용어들 중 제가 처음 감정 분석을 할 때 놓쳤던 것들입니다. |
| |
아니면 경기 침체와 강하게 연관된 단어들을 찾아서, 그것들을 활용해 미래에 경기 침체가 언제 발생할지 예측하는 모델을 만들어볼 수도 있지 않을까요? |
| |
우리가 경기 침체와 가장 밀접하게 연관된 단어가 무엇인지 알고 싶어하는 데에는 몇 가지 이유가 있습니다. |
| |
그렇다면 JMP에서는 이게 어떻게 작동할까요? 기본적으로 우리는 회귀 모델을 구축하는데, 여기서 결과 변수는 우리가 관심 있는 변수인 경기 침체이고, 입력 변수는 다양한 단어들입니다. |
| |
모델에 입력된 데이터는 문서-용어 행렬 형태를 띠며, 각 행은 다음과 같습니다. |
| |
하나의 문서 또는 베이지북 보고서를 기준으로, 각 열에는 해당 보고서에 나타나는 단어들이 기록됩니다. 여기서는 "약함" 열이 강조 표시되어 있고 "이진"이라고 되어 있는데, 이는 다음을 의미합니다. |
| |
이 점수는 1과 0으로 구성됩니다. 1은 해당 보고서에 "약함"이라는 단어가 포함되어 있음을 나타내고, 0은 해당 보고서에 "약함"이라는 단어가 포함되어 있지 않음을 나타냅니다. 이것은 문서를 평가하는 여러 방법 중 하나이지만, 지금은 이 이진법을 사용하겠습니다. |
| |
그래서 우리는 이 정보를 회귀 모델에 입력합니다. 그러면 출시 결과는 다음과 같을 것입니다. |
| |
우리는 경기 침체를 Y 변수로 사용하는데, 이는 단순히 예/아니오로 답하는 변수입니다. 그리고 이러한 모든 이진 변수 예측 변수들을 모델 효과로 입력했습니다. |
| |
그다음에는 JMP Pro의 일반화 회귀 분석 도구를 사용하겠습니다. |
| |
모델을 구축하기 위해서인데, 그 이유는 일반화 회귀(GenReg)라고 부르는 이 기법에 자동 변수 선택 기술이 포함되어 있기 때문입니다. 따라서 만약 여러분이 이에 익숙하다면, |
| |
정규화 회귀라고 하면 라쏘(Lasso)나 엘라스틱 넷(Elastic Net) 같은 걸 말하는 겁니다. 만약 그게 무슨 뜻인지 모르시더라도 전혀 문제없습니다. 핵심은 자동으로 정규화한다는 겁니다. |
| |
결과 변수인 "경기 침체"와 가장 강하게 연관된 용어를 찾은 다음, 연관이 없다고 판단되는 용어는 0으로 설정합니다. |
| |
이를 통해 우리는 "경기 침체"와 그와 연관된 수백, 수천 개의 단어들 사이의 관계를 살펴볼 수 있습니다. |
| |
그렇다면 분석을 실행하면 어떤 결과가 나올까요? |
| |
우리는 모델을 도출해냅니다. 여기 있는 것은 그 모델에 대한 방정식입니다. 너무 신경 쓰지 마세요. 핵심은 우리가 말하는 것입니다. |
| |
경기 침체 확률의 로그값, 즉 경기 침체 가능성의 함수이며, 베이지북 발간 시기는 이러한 요소들의 함수입니다. |
| |
베이지북 보고서에 나올 수 있는 모든 다양한 단어들. |
| |
보시다시피, "팬데믹"이라는 단어의 출현이 1.94의 계수를 갖는 효과를 보여줍니다. |
| |
이는 베이지북 보고서에 "팬데믹"이라는 단어가 언급될 경우 "경기 침체"의 로그 오즈가 1.94배 증가한다는 것을 의미합니다. 반대로 "성장"의 로그 오즈는 -1.02배입니다. 즉, 베이지북 보고서에 "성장"이라는 단어가 언급되면 경기 침체 확률은... |
| |
또는 경기 침체 확률의 로그값이 1.02만큼 감소합니다. |
| |
그래서 우리는 "팬데믹", "연기", "취소", "압류"와 같이 경기 침체 가능성 증가와 밀접하게 연관된 용어 목록을 얻게 됩니다. |
| |
또한 경기 침체 가능성이 낮아지는 것과 관련된 용어 목록도 얻을 수 있습니다. 예를 들어 "이득", "강화", "경쟁" 등이 있습니다. |
| |
"제조업"이라는 단어도 거기에 있지만, 그 계수는 상대적으로 작은 -0.2 정도입니다. |
| |
그리고 여기서 실제로 알아차리실 수 있듯이, 이 분석에서 선택된 모든 용어를 그래프로 표현해 보면 "제조업"과 같은 특정 분야는 그다지 많지 않습니다. |
| |
"관광", "투자" 등등. 왜냐하면 그런 것들은 경기 침체 여부와 상관없이 항상 언급되는 주제들이기 때문입니다. 따라서 우리가 실제로 찾고 있는 것은 사용되는 단어들입니다. |
| |
아시다시피, 경기 침체는 생각보다 훨씬 자주 발생합니다. 예를 들어, 다음과 같은 것들이 있죠. |
| |
"팬데믹"이라는 단어가 가장 예측력이 높네요. 일리가 있어요. 우리는 최근까지 팬데믹이라는 용어를 전혀 사용하지 않았고, 최근에 경기 침체도 겪었으니, 그 영향을 아주 분명하게 느낄 수 있었죠. |
| |
그다음으로는 두 번째 단계에 해당하는 몇 가지 단어가 더 있습니다. 바로 "연기됨", "취소됨", "압류됨", "악화됨", "비관적"입니다. |
| |
그리고 "연기"와 "취소"라는 단어가 경기 침체와 연관되는 것이 꽤 흥미롭습니다. 경기 침체기에 경제 활동을 연기하는 것에 대해 이야기하고 싶어지는 것은 당연한 일입니다. |
| |
경기 침체가 일어날 때, 또는 적어도 그것은 아마도 확실한 추세일 것입니다. 그것은… 그 자체로 하나의 통찰력입니다. 사실, 저는 |
| |
연방준비제도가 경제 활동의 연기나 취소를 어떻게 추적하는지는 정확히 모르겠지만, 이 분석에서 그러한 용어들이 언급되는 것을 보면 추적할 가치가 있는 사항일 가능성이 높습니다. |
| |
자, 이게 바로 용어 선택입니다. 이렇게 하면 경기 침체와 관련된 용어 목록을 얻을 수 있고, 각 용어 간의 상대적인 연관성도 확인할 수 있습니다. 이제 JMP에서 이 작업을 어떻게 하는지 간단히 살펴보겠습니다. |
| |
자, 이제 JMP로 돌아가서 약간 다른 데이터 테이블을 불러오겠습니다. 여전히 베이지북 데이터이긴 하지만, 이제는 국가별 보고서만 볼 수 있습니다. |
| |
그리고 당시 미국이 경기 침체에 빠졌는지 여부라는 변수도 함께 고려했습니다. 물론 이러한 데이터에는 자기상관성이 존재합니다. 즉, 지난달에 경기 침체에 빠졌다면 이번 달에도 경기 침체에 빠질 가능성이 그렇지 않은 경우보다 더 높다는 뜻입니다. |
| |
아시다시피 이는 일반적으로 회귀 분석 기반 분석에서 문제가 될 수 있지만, 이번 분석은 순전히 탐색적인 목적이므로 크게 걱정하지 않습니다. |
| |
자, 그럼 테이블 스크립트에서 텍스트 탐색기를 불러오겠습니다. 전에 어떻게 실행하는지 이미 봤으니까요. |
| |
참고로, 이전처럼 몇 가지 표현을 이미 다듬었습니다. 또한, 여기서는 보이지 않지만, 이 분석에서 제외하고 싶은 단어들을 불용어(stop words)로 추가했습니다. |
| |
그리고 어간 추출 기능을 켰는데, 용어 목록에 있는 작은 점들이 바로 그 기능을 의미합니다. 예를 들어, "increase"의 경우 이제 "increases", "increasing", "increasingly"와 같은 여러 어간이 하나로 합쳐집니다. |
| |
그 이유는 제가 이제 그 모든 개념들을 비슷하게 생각하게 되었고, 그 개념이 경기 침체와 관련이 있는지 알고 싶기 때문입니다. |
| |
용어 선택을 실행하려면 빨간색 삼각형을 클릭하면 됩니다. 제가 여기서 선택하겠습니다. |
| |
먼저 제어 창이 나타나는데, 정확히 말하면 섹션이라고 해야겠죠. 여기서 관심 있는 변수를 선택합니다. 저는 경기 침체를 선택했죠. 목표 수준을 선택하는데, 저는 경기 침체가 발생하지 않을 확률이 아니라 경기 침체가 발생할 확률로 설정하고 싶습니다. |
| |
모델 설정을 몇 가지 지정할 수 있습니다. GenReg에 익숙하시다면 조기 종료 여부를 선택할 수 있고, 두 가지 다른 옵션 중 하나를 선택할 수 있다는 것을 아실 겁니다. |
| |
변수 선택을 위한 페널티, 검증에 사용할 통계량 등을 설정할 수 있습니다. 만약 이런 내용이 처음이라면 너무 걱정하지 마세요. 처음에는 기본 설정으로 시작하는 것이 좋습니다. |
| |
기억하시겠지만, 저희는 가중치를 사용하고 있습니다. "약함" 열에는 해당 단어가 문서에 나타났는지 여부를 나타내는 1과 0이 있었는데, 원하는 대로 선택할 수 있습니다. |
| |
예를 들어, 빈도는 "약함"이 발생했는지 여부가 아니라, 얼마나 자주 발생했는지를 나타냅니다. 그리고 이러한 점이 결과 해석 방식에 영향을 미칩니다. 지금은 이진법적 접근 방식을 유지하겠습니다. |
| |
하지만 저는 기본값인 400개가 아니라 가장 자주 사용되는 1,000개의 용어를 확인하고 싶습니다. 보시다시피 400개는 436개보다 훨씬 많고, 일반적으로 1,000개의 X가 있는 모델로는 적합하게 만들 수 없지만 436개로는 가능합니다. |
| |
관찰 결과이지만, 덕분에 |
| |
일반화 회귀 분석에서 자동 변수 선택은 문제가 되지 않습니다. 다시 말해, 이 수천 개의 항 중에서 가장 강하게 연관된 항을 선택하는 것이므로, 용어 선택이라는 이름이 붙었습니다. |
| |
자, 이제 실행해 보겠습니다. 보시다시피 JMP가 일반화 회귀 플랫폼에 호출하여 이러한 결과를 반환했습니다. 여기 위쪽에는 모델이 적합되는 과정에 대한 정보가 나와 있습니다. 예를 들어, 37개의 항이 반환되었습니다. |
| |
저걸 좀 옆으로 옮겨 놓겠습니다. 오른쪽에 정말 유용한 정보가 있거든요. 경기 침체와 가장 밀접하게 관련된 용어 목록입니다. |
| |
이제 경기 침체 확률과 가장 강하게 연관된 항목들을 찾기 위해 계수를 기준으로 정렬해 보겠습니다. 다시 한번 말씀드리지만, "팬데믹", "연기", "취소"입니다. 예상하시겠지만, 이 시점에서 이 중 하나를 클릭하면 미리보기가 업데이트됩니다. |
| |
또는 아래의 텍스트 조각들을 통해 이 단어가 문맥 속에서 어떻게 사용되는지 실제로 확인해 보겠습니다. |
| |
이 용어 목록 자체만으로도 매우 유용할 수 있습니다. 여러분은 이전에 몰랐던 중요한 특정 용어나 개념에 대해 배울 수 있을 것입니다. 또한 이러한 용어를 예측 모델에 활용할 수도 있습니다. |
| |
이제 몇 가지 더 알아두어야 할 사항이 있습니다. |
| |
여기 아래에서 보시다시피, 각 문서별로 표가 다시 한번 나와 있는데, 감정 점수 대신 모델에서 나온 점수가 표시되어 있습니다. 각 문서마다 다음과 같은 점수가 있습니다. |
| |
그만큼... |
| |
우리가 긍정적 기여라고 부르는 것은 경기 침체 확률을 예측하는 양의 계수들의 기여입니다. 여기에는 음의 계수들이 있습니다. |
| |
그리고 모델에서 예측한 경기 침체 확률은 71.8%였는데, 실제로 우리가 관찰한 결과는 달랐습니다. |
| |
그리고 우리가 여기서 꼭 예측 모델을 만들려는 건 아닙니다. 다시 말해, 이 모델을 이용해서 경기 침체를 예측하려는 건 아니라는 거죠. 저는 다양한 경제 지표 변수들을 활용할 수 있습니다. |
| |
물론이죠, 하지만 이건 기본적으로 모델의 타당성을 검증하는 좋은 방법입니다. 모델이 예측 중 일부를 제대로 맞추고 있는 것처럼 보이나요? |
| |
그렇지 않다면 반환되는 조건을 신뢰하지 못할 수도 있기 때문입니다. 또한 판단을 내리는 데 도움이 될 만한 다른 정보도 많이 있습니다. 예를 들어, 여기 곡선 아래 면적과 같은 적합도 통계 자료가 있죠. |
| |
또는 일반화 회귀 분석 플랫폼을 사용하여 모델을 더욱 자세히 평가할 수도 있습니다. |
| |
자세한 내용은 생략하겠지만, 여러분이 모델을 평가하고, 원하는 대로 수정하고, 만족스러운 용어 목록을 만들 수 있도록 모든 정보가 제공됩니다. |
| |
보시다시피, 요약 아래에 모델 목록이 있는데, 여러 모델을 실행해야 할 수도 있기 때문입니다. 다시 모델로 돌아가 보면… 아, 죄송합니다… 다시 돌아가 보면… |
| |
여기 설정을 좀 다르게 하면 약간 다른 모델을 실행할 수도 있어요. 예를 들어, BIC가 AICc보다 조금 더 보수적이라는 걸 알고 있고, 더 적은 항을 반환하고 싶을 수도 있죠. 아니면 900개의 항이 반환된 분석을 했는데 너무 많아서 부담스러웠을 수도 있고요. |
| |
그럼 실행 버튼을 눌러서 그걸 기반으로 다른 모델을 만들어 볼게요. |
| |
이제 해당 모델이 목록에 추가되었으므로, 각 모델의 결과를 확인하기 위해 모델 간 전환을 할 수 있습니다. 이 경우 37개가 아닌 14개의 항목만 반환되었으며, 아래에서 자세히 살펴보겠습니다. |
| |
이 과정을 통해 얻을 수 있는 두 가지 주요 결과물은 바로 용어 목록입니다. 만약 이 목록을 저장하고 싶다면, 즉 여러분에게 중요하고 추적하고 싶은 용어들만 모아두고 싶다면, 마우스 오른쪽 버튼을 클릭하고 데이터 테이블로 만들면 됩니다. 이제 JMP 테이블이 생성되었습니다. |
| |
항, 계수 및 기타 정보와 함께. |
| |
그리고 |
| |
만약 실제로 원하는 것이 이 정보를 원래 데이터 테이블에 다시 기록하여 다른 분석이나 예측 모델에서 활용하는 것이라면, |
| |
용어 선택으로 이동하여 용어 점수를 문서 용어 행렬로 저장하겠다고 선택하면 됩니다. 데이터 테이블을 다시 가져오면 이제 해당 문서에 기록된 것을 확인할 수 있습니다. |
| |
선택된 각 항에 대한 열이 표시됩니다. 이 경우 계수 값으로 채워져 있으며, 이제 이를 사용할 수 있습니다. |
| |
양적 정보는 내가 원하는 방식으로 얻을 수 있다. |
| |
지금까지 용어 선택에 대해 간략하게 설명했습니다. 다시 말하지만, 핵심은 제가 관심 있는 변수와 관련된 용어 목록을 찾았고, 계수를 통해 그 관계가 얼마나 강한지까지 파악할 수 있다는 것입니다. |
| |
그럼 이제 마무리해 볼까요? 두 가지 기법을 다뤘습니다. 중요한 단어를 찾는 용어 선택 기법을 살펴봤고, 그 전에는 감정 분석에 대해 복습했습니다. |
| |
텍스트에서 긍정적 또는 부정적 감정의 정도를 정량화하는 두 가지 새로운 텍스트 마이닝 기법이 JMP Pro 16의 텍스트 탐색기에 추가됩니다. 여러분께서 이 기능들을 직접 사용해 보시고 피드백을 주시기를 기대합니다. |