| 스피커 |
성적 증명서 |
| 로스 메투살렘 |
안녕하세요 여러분. JMP Pro 16에서 텍스트 마이닝 툴킷을 확장한 방법에 대한 프레젠테이션에 오신 것을 환영합니다. JMP Pro 16은 이번 봄에 출시되었습니다. |
| |
저는 로스 메투살렘입니다. JMP의 학술 홍보대사로서, 여러분께 두 가지 새로운 텍스트 마이닝 기능을 소개하려고 합니다. |
| |
감성 분석과 용어 선택에 대해 알아보겠습니다. 이 두 가지가 무엇이고, JMP를 어떻게 사용하는지, 그리고 실제 공개 데이터를 사용하여 이러한 분석을 수행하는 두 가지 예를 살펴보겠습니다. |
| |
따라서 감정 분석과 용어 선택은 JMP의 텍스트 탐색기에 새로 추가된 두 가지 기능으로, 범용 텍스트 마이닝 도구입니다. |
| |
따라서 이것을 사용하면 일반적으로 자유 텍스트 또는 비정형 텍스트 데이터라고 하는 것에서 양적 정보를 도출할 수 있습니다. 즉, 단어 빈도를 도출하여 단어 클라우드를 만들 수 있습니다. |
| |
잠재 의미 분석을 수행하여 의미적으로 유사한 문서를 클러스터링할 수 있습니다. 오늘 살펴볼 두 가지 기능은 텍스트 탐색기 도구의 기능입니다. |
| |
JMP Pro 16에서 소개하게 되어 기쁩니다. 인기 있고 많은 요청을 받은 기능인 감성 분석부터 시작해 보겠습니다. |
| |
잘 모르는 분들을 위해 설명드리자면, 감정 분석은 구조화되지 않은 텍스트 데이터에서 긍정적 감정에서 부정적 감정까지 정량화하는 것입니다. |
| |
이제 우리가 살펴볼 예는 연방준비제도이사회가 발행하는 서술형 보고서인 베이지북입니다. |
| |
그리고 지도에서 볼 수 있듯이 연방준비제도는 12개의 다른 지구로 나뉘며 각 지구는 일년에 약 8번씩 서술형 베이지북 보고서를 발행합니다. |
| |
해당 지역의 현재 및 잠재적 미래 경제 상황을 요약한 보고서입니다. 이러한 보고서는 주로 정성적 데이터 출처를 기반으로 하므로, |
| |
기업 리더들과의 대화, 그런 것들을 조사하는 일이죠. 그래서 베이지북이 감정 분석의 좋은 예시를 제공한다고 생각합니다. |
| |
공개적으로 사용 가능한 데이터이고 여러분과 공유할 수 있지만, 예를 들어 투자자나 여러분이라면 매우 흥미로울 수 있기 때문입니다. |
| |
아시다시피, 금융 기관을 관리해서 연방준비제도이사회 이사들이 미국 각 지역의 경제 상황에 대해 얼마나 긍정적 또는 부정적으로 생각하는지 파악하는 거죠. 실제로 그걸 이용해서 |
| |
아마도 의사결정을 안내하거나, 심지어 정량화할 수 있다면 통계 분석이나 심지어 예측 모델에 사용할 수도 있을 겁니다. |
| |
그러면 베이지북의 일부 텍스트 예를 살펴보겠습니다. |
| |
여기 보고서 중 하나의 발췌문이 있는데, 맨 위에서부터 보면 이 보고서는 반면에 컴퓨터 판매가 심각하게 감소했다고 말하고 있습니다. |
| |
반면, 맨 아래로 내려가 보면, 한 개인이 바람에 유리한 짚이 여러 개 있다고 보고했기 때문에, 우리는 여기서 "심각하게 침체됨"과 "유리함" 그리고 "개선됨"을 강조했습니다. |
| |
이런 것들은 우리가 감정 표현이라고 부르는 것들이거든요. 긍정적이거나 부정적인 감정적 내용을 나타내는 하나 이상의 단어입니다. |
| |
따라서 맨 위에는 매우 부정적인, 즉 매우 침체된 상태가 있고, 그 아래에는 일반적으로 긍정적인, 즉 유리한 상태가 있으며, 우리는 주황색과 파란색 또는 보라색(보는 방식에 따라 다름)을 색상 코드로 사용합니다. |
| |
각각 긍정적, 부정적인 감정을 나타냅니다. |
| |
그리고 많은 감정 분석 방식이 바로 이런 방식을 사용합니다. 텍스트에서 긍정적인 문구와 부정적인 문구를 찾아냅니다. |
| |
JMP가 사용하는 형태, 그리고 다른 곳에서도 접할 수 있는 형태는 실제로 긍정적, 부정적 감정을 연속적인 척도로 정량화합니다. |
| |
예를 들어, 두 번째 텍스트 조각의 맨 아래를 살펴보면, 누군가가 이 지역의 대형 백화점들이 매출이 저조하다고 보고했다고 말하는 것을 볼 수 있습니다. |
| |
위쪽에는 매출이 심각하게 부진한 모습이 있고, 아래쪽에는 매출이 저조한 모습이 보입니다. 음, 심각한 부진이 더 나쁘게 들린다는 데는 모두 동의할 것 같습니다. |
| |
판매 측면에서는 가난한 사람들보다 낫습니다. 그래서 우리는 |
| |
두 가지 모두 부정적이지만, 심각한 우울증을 빈곤보다 더 부정적인 것으로 정량화합니다. 이것이 JMP의 감정 분석에서 우리가 하는 일입니다. 그리고 우리는 이야기할 것입니다. |
| |
특히 이러한 점수가 어떻게 계산되는지에 대해서는 여기서 아주 간략하게 설명하겠습니다. 하지만 먼저 실제로 살펴보는 것이 가치 있다고 생각합니다. |
| |
이와 같은 개별적인 용어와 구문을 살펴보면 감정을 정량화하는 것의 타당성을 잠재적으로 증명할 수 있습니다. |
| |
그리고 우리가 이야기하는 것은 본질적으로 문서에 나타나는 단어를 기반으로 문서에 점수를 매기는 것입니다. |
| |
우리가 감정을 나타낸다고 생각하는 것과 그 정도를 나타내는 것. 그건 일종의 내적이고 주관적인 문제지만, 이 접근법, 즉 감정 분석은 |
| |
실제로 어느 정도 예측 타당성을 입증할 수 있습니다. 예를 들어, 베이지북의 감정 지수가 시간 경과에 따라 어떻게 변하는지 살펴보면, 경기 침체와 함께 상당히 안정적으로 추이하는 것을 확인할 수 있습니다. 따라서 여기서는 |
| |
y축에서 보면 -75에서 75까지 확장되는 것을 볼 수 있는데, 이는 우리가 표시한 범위일 뿐입니다. 실제 스케일은 -100에서 |
| |
100까지, 0은 중립입니다. 그리고 보시다시피, 시간이 지남에 따라 더 부드러운 곡선이 모든 베이지북 보고서의 전반적인 감정 추세를 포착하고 있습니다. |
| |
경기 침체와 관련하여 흥미로운 패턴을 볼 수 있는데, 경기 침체는 빨간색으로 강조되어 있습니다. 특히, 경기 침체 직전에는 심리가 꾸준히 하락하는 모습을 볼 수 있습니다. |
| |
따라서 이는 미국 연방준비제도 이사회 이사들의 감정 상태를 측정한 비교적 주관적인 척도이기는 하지만, 예상대로 경기 침체와 일치합니다. |
| |
흥미롭게도 지리적으로도 추적됩니다. 예를 들어 2000년에서 2001년경 닷컴 버블 붕괴 당시 샌프란시스코 만 지역의 여러 인터넷 스타트업이 |
| |
가라앉았습니다. 샌프란시스코에 대한 호버 라벨이 강조 표시되어 있으니 해당 지역의 점수를 확인할 수 있습니다. 앞서 보셨듯이 주황색은 긍정적 감정, 파란색은 부정적 감정입니다. |
| |
우리는 2000년까지의 감정이 쌓이는 것을 볼 수 있습니다. |
| |
베이 지역에서는 38.65로 꽤 높았지만 2001년에는 평균 60포인트 이상 폭락했습니다. |
| |
약 -24.7%입니다. 전국 다른 지역보다 훨씬 큰 폭의 변동폭입니다. 아마도 그 지역이 가장 큰 영향을 받았기 때문일 겁니다. |
| |
대공황 때도 비슷한 현상이 나타났습니다. 2008년 주택 시장 붕괴는 심리 위축과 함께 나타났고, 그 양상이 일정하지는 않았습니다. |
| |
가장 큰 하락은 서부 해안에서 나타난 것으로 보입니다. 즉, 다시 샌프란시스코 지역, 뉴욕 지역, 그리고 애틀랜타 지역입니다. |
| |
제가 사는 플로리다는 미국에서 특히 큰 타격을 입은 지역이었습니다. 사실, 맨 아래 줄을 보시면 플로리다가... |
| |
그 지역의 심리는 2012년경까지 회복되지 않는 것으로 보이는데, 다른 지역보다 뒤처져 있습니다. 이는 당연한 현상으로 보입니다. 플로리다의 주택 시장은 전국적으로 가장 늦게 회복된 지역 중 하나였습니다. |
| |
따라서 우리는 주관적인 감정 측정 방식을 가지고 있지만, 이 경우 예상했던 대로 외부적 사건, 즉 경제적 사건과 일치합니다. |
| |
그리고 아시다시피, 우리가 베이지북을 보는 이유는 공개적으로 이용 가능한 특히 좋은 사례이기 때문입니다. |
| |
소비자 시장 조사와 같이 감정 분석을 적용하는 보다 일반적인 도메인에 대해 이야기하고 있습니다. |
| |
고객의 목소리를 텍스트 데이터 형태로 전달합니다. 제품 리뷰, 설문 조사 응답 등과 같은 것들입니다. |
| |
고객 행동을 더 잘 이해하고, 심지어 예측하기 위해 감정 분석을 활용할 수도 있습니다. 마치 경제 침체를 더 잘 이해하거나 예측하기 위해 감정을 활용할 수 있는 것과 비슷합니다. |
| |
그러니까, 지난 몇 분 동안 우리가 감정 점수를 살펴보았고, 그 점수가 어디서 나오는지에 대한 의문이 제기되었습니다. |
| |
JMP는 어휘 감정 분석이라는 감정 분석 방식을 사용합니다. 즉, 감정 사전이나 |
| |
감정 사전 |
| |
감정을 담고 있다고 생각되는 모든 개별 단어에 점수를 매기는 것입니다. 예를 들어, 'fantastic'과 같은 단어는 매우 긍정적인 점수인 90점을 받을 수 있습니다. 이는 거의 긍정적인 최고점인 100점에 가까운 반면, 'feared'와 같은 단어는 마이너스 60점을 받습니다. |
| |
이제 우리는 이러한 용어에 점수를 할당하고 기본적으로 이를 계산하거나 개별 문서에서 평균을 구할 수 있습니다. |
| |
하지만 몇 가지 다른 점도 고려하고 싶습니다. 베이지북 예시에서 처음 본 감정 표현이 '심각하게 우울함'이었다는 것을 기억하시나요? |
| |
다른 말로 하면, 우리가 강화자라고 부르는 것의 한 예로, 이는 기본적으로 감정 증폭자입니다. 보시다시피, 여기서 우리는 'intensifier'를 감정 점수 1.4의 증폭자로 선언할 수 있습니다. 실제로는 'little'이 |
| |
0.3만큼 크기를 조정하여 감정의 크기를 약간 줄입니다. |
| |
따라서 감정 항목에 강조 부호가 나타나면 해당 곱셈을 수행하고, 부정 부호가 나타나면 해당 곱셈을 수행합니다. 따라서 다음과 같이 말합니다. |
| |
아시다시피, 무언가가 '아니오'이거나 '아니오'이거나 '해서는 안 되거나' '아니었던' 경우, 우리는 음수 1을 곱합니다. 즉, 부호를 뒤집는 것과 같습니다. 양수는 음수가 되고, 음수는 양수가 됩니다. |
| |
따라서 모든 감정 문구에 대해 우리는 이 간단한 곱셈을 수행한 다음 문서 전체에 걸쳐 |
| |
우리는 평균 점수 또는 최소 및 최대 감정 점수의 차이를 취할 수 있습니다. |
| |
해당 문서에 대한 감정 값을 계산합니다. 그리고 그게 바로 우리가 그래프에서 보고 있던 내용, 즉 지도에서 시간에 따른 감정 그래프를 살펴보는 것이었습니다. |
| |
이것이 어휘 감정 분석입니다. 매우 일반적인 방식이며 JMP에 구현된 감정 분석 유형입니다. JMP를 사용하면 |
| |
모든 감정 점수를 계산하면 많은 유용한 정보를 얻을 수 있습니다. 감정 분석 보고서가 어떤 모습인지 보여주는 예시를 보여드리겠습니다. |
| |
결과의 한 요소만 미리 보려면 여기 맨 위에 모든 문서에 대한 감정을 간단히 요약해 놓았습니다. |
| |
따라서 전반적인 감정의 분포가 긍정적인 쪽으로 기울어져 있고, 매우 강한 부정적 감정 꼬리가 있다는 것을 보여주는 색상으로 구분된 히스토그램이 있습니다. |
| |
모든 문서에서 평균 감정 점수는 4.1로, 중립보다 약간 높은 수준입니다. |
| |
전체적으로 긍정적인 문서는 3,900개이며, 평균 점수는 22.9인 반면, 부정적인 문서는 약 1,400개입니다. |
| |
평균 점수는 -15.4이므로 부정적인 문서는 긍정적인 문서가 강하게 긍정적인 만큼 강하게 부정적이지 않습니다. |
| |
이제 물론, 아시다시피, 베이지북과 관련하여, 1970년부터 현재까지 평균 감정 점수만 보면, 개별 문서의 점수를 보는 것만큼 중요하지 않다고 말할 수 있습니다. |
| |
특정 감정 용어의 분포를 살펴보는 게 어떨까요? 하지만 다시 말씀드리자면, 데이터를 다루는 경우에는 |
| |
예를 들어 소비자 시장 조사, 이와 유사한 것, 고객의 목소리가 담긴 텍스트 데이터, 심지어 이와 같이 고객이 얼마나 긍정적이거나 부정적인지 알 수 있는 간단한 요약과 같은 것 말입니다. |
| |
간단한 보고서라도 정말 가치 있을 수 있습니다. 하지만 JMP로 전환하면 감정 분석 보고서에 데이터를 탐색하여 통찰력을 얻을 수 있는 다양한 추가 기능이 제공된다는 것을 알게 될 것입니다. |
| |
그러면 JMP로 가서 어떻게 되는지 살펴보겠습니다. |
| |
지금은 JMP Pro 16.1을 사용하고 있습니다. Beige Book 데이터를 자세히 살펴보기 전에 Xan Gregg에게 감사의 말씀을 전하고 싶습니다. |
| |
Xan을 모르시는 분들을 위해 설명드리자면, Xan은 저희 개발팀의 디렉터입니다. 그는 Graph Builder를 만든 개발자입니다. |
| |
그리고 베이지북 데이터를 살펴보자는 아이디어를 처음 내놓은 분도 바로 그 분이고, 베이지북 아카이브에서 HTML 페이지를 스크래핑해서 멋진 JMP 데이터 테이블을 만들어 주실 정도로 친절하셨습니다. 정말 감사합니다, 잔. |
| |
이제 감정 분석을 살펴보겠습니다. 실제로 결과를 살펴보는 대신, |
| |
아시다시피, 분석을 설정하는 방법을 간략하게 보여드리고 싶은데, 알아야 할 중요한 고려 사항이 몇 가지 있기 때문입니다. |
| |
JMP가 어떻게 구현되는지에 대한 내용뿐만 아니라, 일반적으로 감정 분석이나 어휘 감정 분석을 수행하는 방법에 대한 내용도 있습니다. |
| |
그리고 그 설정을 보여주기 위해, 나는 실제로 2010년부터 현재까지의 데이터 하위 집합만을 살펴볼 것입니다. 이 경우, 우리는 질문을 할 것이기 때문에, 사물을 간결하게 유지하기 위해서입니다. |
| |
텍스트 탐색기에서 분석 결과를 여러 번 자동으로 업데이트하도록 하고, 가능한 한 즉각적으로 업데이트되도록 하려고 합니다. |
| |
여기, 제가 가지고 있는 데이터 하위 집합이 있습니다. 2010년 1월부터 지난달의 가장 최근 보고서까지 모든 12개 구역에 대한 베이지북 보고서가 있습니다. |
| |
좋습니다. 감정 분석을 시작하기 위해 분석으로 가서 텍스트 탐색기를 선택하겠습니다. 텍스트를 텍스트 열 역할에 넣으세요. 몇 가지 주의할 점이 있습니다. |
| |
하나는 텍스트 탐색기가 일반적으로 여러 언어를 지원하지만 |
| |
감정 분석은 현재 영어로만 제공됩니다. |
| |
그리고 또 다른 점은... 적어도 텍스트 탐색기를 사용해 본 경험이 있는 사용자라면 어간 추출 기능을 켜두는 데 익숙할 것이고, 지금은 끄겠다는 것을 알 수 있을 것입니다. |
| |
어간 추출에 대해 잘 모르시는 분들을 위해 설명드리자면, 어간 추출은 같은 단어의 여러 형태, 혹은 언어적으로는 같은 'lemme'를 하나로 합치는 방식입니다. 예를 들어 strong, stronger, strongest를 생각해 보세요. |
| |
우리는 그것들을 모두 망가뜨려 놓고, 그저 "글쎄, 그것들은 모두 우리의 목적에 적합해"라고 말할 것입니다. |
| |
그리고 당연히 우리는 여기서 그런 일을 하고 싶지 않습니다. 가장 강한 것이 더 강한 것보다 더 긍정적이고, 더 강한 것은 강한 것보다 더 긍정적이기 때문입니다. |
| |
그래서 우리는 어간 추출을 끄고, 실제로 감성 분석을 불러올 때 어간 추출을 켜더라도 어간 추출은 무시됩니다. 왜냐하면 다시 말하지만, 어간 추출은 사용해서는 안 되기 때문입니다. |
| |
"확인"을 클릭합니다. "아니요"라고 적었는데, 그렇게 하는 동안 약간의 기술적인 문제가 발생한 것 같습니다. 최근 제 컴퓨터에 이상한 현상이 발생해서 죄송합니다. 하지만 괜찮습니다. 화면 공유를 다시 시작하면 제 영상이 다시 재생됩니다. 안녕하세요 여러분. |
| |
그리고 그걸 공유할게요. 좋아요, 그럼 계속 진행해야겠네요. 녹화가 계속 진행되는 것 같네요. JMP가 여기 올바른 모니터에 할당되었는지 확인해 보겠습니다. 할당된 것 같네요. 자, 여러분, 죄송합니다. 어쨌든 다시 본론으로 돌아가죠. |
| |
텍스트 탐색기 창이 여기에 있습니다. 이제 다시 익숙한 방법으로 |
| |
텍스트 분석을 할 때, 일반적으로 불용어를 선언하는 것으로 시작한다는 것을 알 수 있을 것입니다. 예를 들어, 사람들이 제 업계 관계자에 대해 이야기하고 있는데, 그들은 저에게 이렇게 말했습니다... 그리고 저는 분석에서 '연락처'라는 단어를 사용하고 싶지 않을 것입니다. 그래서 보통은 |
| |
그것을 중지어로 추가한 다음 잠재적으로 몇 시간 동안 계속합니다. |
| |
실제로 분석을 하기 전에 불용어를 선언했는데, 감성 분석에서는 그럴 필요가 없습니다. |
| |
모두 감정 사전을 기반으로 하기 때문에, 연락처 같은 단어는 사전에 없습니다. 어차피 기능적으로 제외되어 있으니 시간을 절약할 수 있는 좋은 방법입니다. |
| |
하지만 아마도 여러분은 문구를 선언하고 싶을 것입니다. 예를 들어 부동산이나 우리가 살펴볼 대출 수요와 같은 문구는 여기에 있습니다. |
| |
그래서 '대출 수요'를 클릭하고 문구로 추가했습니다. 그러면 조건 목록에 추가되니, 바로 확인해 보겠습니다. |
| |
1,139개의 인스턴스가 있습니다. 이는 이 분석이나 이 |
| |
이 데이터 세트에서 말이죠. 전체적인 감정이 아닌, 대출 수요에 대한 감정만 계산하고 싶다고 가정해 보겠습니다. |
| |
그렇게 하려면 먼저 구문으로 선언해야 하므로, 관심이 있을 만한 정말 중요한 도메인에 대해 적어도 몇 가지 구문을 선언하는 것이 합리적입니다. |
| |
좋습니다. 이제 마무리하고 실제로 감정 분석을 시작해 보겠습니다. |
| |
그리고 제가 그렇게 하면, 완전한 보고서를 낼 것이고, 제 결과를 탐색할 때가 된 것처럼 보일 수도 있습니다. 왜냐하면 이것은 완료된 분석처럼 보이기 때문입니다. 하지만 이것을 사용하는 모든 사람들에게 브레이크를 밟고 감정 사전을 고려해 보라고 권장하고 싶습니다. |
| |
다양한 사람들로 구성된 그룹이 서로 다른 맥락에서 서로 다른 사물에 대해 서로 다른 언어를 사용하여 텍스트를 생성합니다. |
| |
언어를 다양한 방식으로 사용할 수 있습니다. 그리고 감정 표현과 강조 부정어 목록을 맞춤화하는 것이 중요합니다. |
| |
그걸 반영하기 위해서입니다. 그러니까... '절대'라는 단어를 쓰는 건 망설여지지만, 저는... 절대 안 된다고 말하고 싶습니다. 그냥 기본 감정 사전을 사용하세요. 직접 큐레이션하면 항상 더 유효한 결과를 얻을 수 있습니다. |
| |
따라서 여기서 감정 용어를 살펴보면 점수가 내장된 사전을 기반으로 한다는 것을 알 수 있는데, 이는 상대적으로 희소합니다. |
| |
하지만 실제로 텍스트 일부를 읽어보고 사전에 포함되어야 할 단어를 더 찾을 수 있을지 알아보고 싶습니다. |
| |
내장된 목록에서 일부를 제외해야 하지만, 해당 목록은 비교적 희소하므로 이상적으로는 너무 많은 항목을 제외하거나 아예 제외하지 않아도 됩니다. |
| |
보고서 하단에는 결과 탐색뿐 아니라 사전을 큐레이션하는 데 필요한 도구가 있습니다. 이 문서 표에서 문서를 선택하면 텍스트를 불러올 수 있습니다. |
| |
바로 아래에 있습니다. 화면 하단에서 잠깐 벗어나겠습니다. 해당 텍스트에서 강조 표시된 것을 볼 수 있는데, '약간 더 나은'과 같은 감정 용어와 문구가 이미 발견되었습니다. |
| |
하지만 살펴보면, 여기서 우리는 약하다는 단어를 가지고 있고, 현재 상황은 여전히 약하고, 내가 아는 한 이것은 매우 흔한 것으로 밝혀졌습니다. |
| |
베이지북 보고서에 나오는 용어로, 무언가가 본질적으로 나쁘다는 것을 나타냅니다. 저는 경제학자가 아니기 때문에 잘 모르겠지만, 경제학에서는 |
| |
아시다시피, 약함은 나쁜 것의 동의어이고, 강함은 좋은 것의 동의어입니다. 이건 제가 이 데이터를 꽤 많이 살펴본 결과 내린 생각입니다. |
| |
이제 강조 표시되지 않은 것을 보실 수 있습니다. 즉, weak는 현재 제 사전에 없지만, 아주 쉽게 추가할 수 있습니다. 마우스를 그 위에 올려놓으면 됩니다. |
| |
텍스트에 바로 용어를 추가하고 부정어로도 추가할 수 있습니다. 강조 값이나 감정 값을 부여해서 적당히 부정적으로 만들 수도 있으니, '음수 60'을 클릭합니다. |
| |
그러면 이제 내 사전에 추가되고 모든 감정 점수가 실시간으로 다시 계산됩니다. |
| |
이제 제 감정 용어 목록에서 weak를 선택하면 해당 단어의 모든 인스턴스를 볼 수 있습니다. 해당 테이블의 count 열로 돌아가 보면, 베이지북 데이터의 이 하위 집합에서 weak가 1,012번 나타나는 것 같습니다. |
| |
그러니 문서의 무작위 하위 집합이나 계층화된 무작위 하위 집합을 살펴보고 읽고 사전에 포함시킬 만한 감정 용어를 찾아보세요. |
| |
이제, 당신은 또한 이 가능한 감정 목록이라는 편리한 기능에 의지할 수 있습니다. |
| |
실제로 여러분이 고려할 수 있는 잠재적인 감정 용어를 제공합니다. 예를 들어, 'strong'이 여기에 있고 'weak'를 넣었다고 가정해 보겠습니다. 저는 분명히 'strong'을 원하므로 이것을 'weak'로 선언할 것입니다. |
| |
강한. |
| |
그리고 저는 단축키를 사용해 왔는데, 양수 60, 음수 60 같은 거죠. 음수 100에서 100 사이의 점수를 원하는 대로 입력할 수 있어요. 그래서 저는 강함에 50점만 주고 싶은 것 같아요. 그렇게 할게요. 지금 아래를 보시면 모든 게 자동으로 업데이트되는 걸 보실 수 있어요. |
| |
그러니 감정 용어 목록을 신중하게 작성하세요. 또한 부정 강화 용어를 사용하는 방법에 대해서는 자세히 설명하지 않겠지만, 같은 원리가 적용됩니다. |
| |
도메인을 실제로 반영하도록 올바르게 입력했는지 확인한 다음, 빨간색 삼각형 아래에서 전체 용어 관리 도구로 이동하여 수동으로 용어를 입력하는 것이 좋습니다. 예를 들어, 제가 가장 강력한 용어를 원하고 90점을 주고 싶을 수도 있습니다. |
| |
그래서 여기에 일종의 일괄 형식을 추가할 수 있습니다. |
| |
매번 자동 업데이트 없이도 감정 용어 목록을 가져오고 내보낼 수 있습니다. |
| |
다른 사람들과 공유하고, 휴대하기 편리하며, 작업을 추적하고 복제하는 데 도움이 되는 좋은 기능입니다. |
| |
결과가 감정 용어 목록과 강화어, 부정어에 따라 크게 달라지므로, 설정 목록이 있을 때는 이를 내보내어 완벽하게 문서화하고 새로운 분석으로 가져와서 복제할 수 있도록 하는 것이 좋습니다. |
| |
분석 설정은 이제 충분합니다. 감정 분석을 실행하면 보고서가 생성되지만, 바로 그 보고서로 뛰어들지 마세요. 먼저 사전을 정리하세요. |
| |
그래서, 이제 나는 |
| |
그 요점을 무자비하게 공략했으니, 실제로 그 보고서를 살펴보도록 하겠습니다. |
| |
그리고 지금 제가 할 일은 이 경우 5,300개 이상을 모두 사용하여 완전히 구운 보고서를 가져오는 것입니다. |
| |
베이지북 보고서입니다. 앞서 말씀드렸듯이 결과 섹션에는 전반적인 요약이 있습니다. 다시 살펴보지는 않겠습니다. |
| |
모든 개별 문서를 볼 수 있으므로 어떤 문서든 점수가 어떻게 매겨졌는지, 어떤 내용이 나오는지 확인할 수 있습니다. 맥락에서 감정 용어와 구문이 어떻게 사용되는지 살펴보세요. |
| |
이 표에서는 문서의 총 양수 점수와 같은 여러 가지 편리한 측정 항목을 볼 수도 있습니다. |
| |
문서에서 긍정적 감정 문구의 평균 점수입니다. 부정적 감정 문구에도 동일하게 적용되며, 전체 점수도 마찬가지입니다. 제가 말씀드린 것처럼 |
| |
이 값 위에 마우스를 올리면 실제로 계산 방식을 볼 수 있습니다. 음수 점수 평균을 보면 총 7개의 용어가 있고, 각 용어의 점수와 평균을 확인할 수 있습니다. |
| |
또한 이 경우의 평균인 -1은 모든 감정 용어(긍정적, 부정적)에 대한 평균 점수일 뿐이라는 것을 알 수 있습니다. |
| |
이 보고서의 요소에 마우스를 올리면 유용한 정보를 확인할 수 있는 여러 가지 편리한 방법이 있습니다. 꼭 한번 시도해 보세요. 마우스를 여러 곳에 올려보세요. 아마 유용한 정보를 찾으실 수 있을 거예요. |
| |
일반적으로 이런 텍스트 마이닝을 할 때는 개별 문서를 너무 세심하게 살펴보지 않습니다. 모든 문서를 읽을 수 있다면 말이죠. |
| |
그러면 우리는 그렇게 할 겁니다. 제 말은, 우리는 컴퓨터보다 언어를 더 잘 이해한다는 겁니다. 그러니까, 5,300개의 문서 전체를 검토할 뿐만 아니라, 점수별로 정렬해서 가장 부정적인 부분만 살펴볼 수도 있겠죠. |
| |
보고서를 읽고 실제로 아이디어를 얻으려면 다음을 읽어보세요. |
| |
사람들이 특히 부정적인 태도를 보일 때, 무엇에 대해 부정적인 걸까요? 그 부정적인 태도의 원인이 무엇인지 알 수 있을까요? 특히 소비자 조사 같은 경우, 제품 리뷰나 설문조사 같은 것을 살펴보는 것이 정말 유용할 수 있습니다. |
| |
또한 우리는 모든 다양한 감정 용어가 나타나는 방식, 나타나는 빈도 및 해당 용어를 볼 수 있는 감정 용어 목록이 있다는 것을 확인했습니다. |
| |
관련된 점수가 있습니다. 그리고 그중 하나를 선택하면 해당 용어를 맥락에서 볼 수도 있습니다. 따라서 특정 감정 용어가 사용되는 경우 |
| |
데이터에서 흔히 볼 수 있는 현상이지만, 사람들이 왜 해당 키워드를 사용하는지, 또는 무엇이 그 키워드를 사용하게 만드는지 파악하기 위해 맥락을 더 잘 이해하고 싶을 수 있습니다. 원하는 용어를 선택하고 아래 텍스트를 탐색하기만 하면 쉽게 이해할 수 있습니다. |
| |
마지막으로, 감성 분석에서 가장 유용하다고 생각되는 기능은 이 기능 탭에 있습니다. |
| |
그래서 검색을 클릭하면 감정 용어와 함께 자주 발생하는 비감정 용어를 찾아 해당 용어와 관련해서만 감정을 평가하는 드릴다운 분석을 수행할 수 있습니다. |
| |
선택된 용어, 즉 기능이라고 부를 수도 있고, 하위 도메인이라고 부를 수도 있습니다. 따라서 판매에 대한 감정만 보면 판매가 부진하고, 판매가 약화되고 있다는 것을 알 수 있습니다. |
| |
아니면 제가 잠재적으로 어떤 표현을 하고 싶다고 말했던 걸로 돌아가서, 이 목록에서 대출 수요를 찾아보죠. |
| |
그리고 대출 수요에 대한 감정에 관해서만 모든 문서에 점수를 매겨 보겠습니다. 물론 이것은 몇 가지를 사용하는 것입니다. |
| |
대출 수요에 적용되는 감정 문구와 적용되지 않는 감정 문구를 판별하기 위해 자연어 처리를 시도하고 있으며 어떤 NLP 방법을 사용하더라도 100% 정확하지는 않지만 특히 잘 구성된 텍스트에서 정확도는 더욱 높습니다. |
| |
베이지북 보고서처럼, 꽤 잘 작동하는 것 같습니다. 그래서 이제, 예를 들어 그들이 대출 수요에 대해 어떻게 생각하는지 알 수 있게 되었습니다. |
| |
이 모든 보고서를 종합해 보면요? 전반적으로 긍정적인 것 같지만, 특히 부정적인 보고서도 몇 가지 있습니다. |
| |
여기서 마지막으로 말씀드리고자 하는 것은, 원래의 내용으로 다시 돌아가기 위해서인데, 제가 이렇게 했을 때 스파이크가 두 개 보이는데, 그게... 양의 60과 음의 60인 것 같습니다. |
| |
이는 분석을 수행할 때 감정 사전을 큐레이팅하는 것이 얼마나 중요한지, 결과를 해석할 때 감정 사전을 어떻게 구축했는지 설명하는 것이 얼마나 중요한지를 다시 한번 강조하는 것입니다. |
| |
따라서 여기서 양의 60으로 급증한 것은 처음에 사전에 많은 감정 용어를 입력했을 때 이러한 단축키 버튼을 사용했기 때문일 수 있습니다. |
| |
그래서 저는 30, 60, 90개의 단축키 버튼을 가지고 있고 점수가 급증하는 것을 보려고 거의 스스로를 키우고 있습니다. |
| |
양수 60과 음수 60입니다. 그리고 제가 점수를 좀 더 세밀하게 조정했다면, 아마도 이런 흥미로운 분포를 보지 못했을 것입니다. |
| |
그래서 저는 당신의 감정 사전을 얻는 것이 얼마나 중요한지 다시 한번 강조하기 위해 그것을 언급합니다. |
| |
미리 함께 모아서, 그렇게 한 후에 이 기능을 사용하여 글로벌 감정, 문서별 감정, 개별 용어별 감정 또는 하위 도메인별 감정에 대한 모든 유용한 정보를 얻을 수 있습니다. |
| |
여기 섹션이 있습니다. 그리고 물론, JMP에서 익숙하시겠지만, 작업한 내용을 저장해서 다른 곳에서 사용할 수 있도록 할 때 빨간색 삼각형 아래에 해당 옵션이 있습니다. 문서 점수를 저장할 수도 있겠네요. |
| |
여기 있는 제 데이터 테이블로 돌아가면, 실제로 대출 수요 하위 도메인에 대한 점수를 제 데이터 테이블에 저장해 놓았음을 볼 수 있습니다. 이를 통해 추가 분석이나 그래프 작성에 사용할 수 있습니다. 슬라이드에 사용된 그래프 중 일부와 같습니다. |
| |
JMP Pro 16의 새로운 기능인 감정 분석은 텍스트에서 긍정적, 부정적 감정을 정량화하는 기능입니다. |
| |
이제 제가 이야기하고 싶은 또 다른 새로운 텍스트 마이닝 기법인 용어 선택에 대해 이야기해 보겠습니다. 용어 선택은 말 그대로 특정 결과, 즉 다른 측정값과 관련된 단어를 식별하는 것입니다. 예를 들어, 다음과 같은 것들이 있습니다. |
| |
베이지북 보고서 텍스트도 포함시킬 수 있습니다. |
| |
예를 들어 GDP와 같은 경제 변수를 살펴보고 베이지북 보고서의 특정 용어가 GDP와 어떻게 연관되는지, 혹은 경제가 불황에 빠졌는지 여부와 같은 이진 변수와 어떻게 연관되는지 살펴보세요. |
| |
이것은...여기의 용어 선택은 다른 변수와 연관된 단어를 찾기 위한 일반적인 용도의 도구이며 유용할 수 있습니다. |
| |
해석적 맥락에서 다른 변수의 원인을 찾거나 예측 모델링 연습에서 무언가를 예측하는 용어를 식별하여 나중에 해당 용어를 사용하여 예측할 수 있습니다. |
| |
따라서 용어 선택이 어떻게 작동하는지 살펴보겠습니다. 실제로 여기에서 소비자 금융 보호국의 소비자 불만 사항에서 다른 예를 살펴보겠습니다. |
| |
데이터베이스. 따라서 소비자는 금융 상품이나 서비스에 대한 불만이 있는 경우 CFPB에 불만을 제기할 수 있으며 CFPB는 해당 소비자와 |
| |
금융 상품 또는 서비스 제공업체. 이러한 데이터에서 확인할 수 있는 내용의 예는 다음과 같습니다. 예를 들어, 누군가 자신의 신용 보고서를 확인했는데 3,900달러의 추심 통지서가 접수되었는데, 자신은 이에 대해 아무것도 모른다고 주장하는 경우를 생각해 보겠습니다. |
| |
그리고 데이터 테이블에서 볼 수 있듯이 바로 옆에 소비자가 이의를 제기했다고 적힌 열이 있습니다. 여기서 소비자는 이의를 제기했고 이는 소비자가 해당 기관으로부터 응답을 받았다는 것을 의미합니다. |
| |
금융 서비스 제공업체는 해당 답변에 만족하지 않아 이의를 제기했습니다. |
| |
데이터 테이블의 헤더 그래프 사양을 보면, 그렇게 흔한 경우는 아닙니다. 우리가 보고 있는 이 데이터 세트에서는 기본적으로 5분의 1 정도입니다. |
| |
소비자 분쟁으로 이어질 수 있지만, 만약 당신이 이 고객을 상대하는 금융 회사라면, 어떤 답변을 내놓고도 고객이 계속해서 이의를 제기하는 상황을 원치 않을 것입니다. 어떤 유형의 불만이 제기될 수 있는지 알아보는 것이 좋습니다. |
| |
실제로 소비자 분쟁으로 이어지는 문제가 발생하므로 분쟁으로 이어질 가능성이 있는 문제를 미리 식별할 수 있습니다. |
| |
또는 분쟁 발생 건수를 줄이기 위해 분쟁 해결 관행을 더 잘 이해해야 할 수도 있습니다. 이 점을 염두에 두어야 할 이유는 많습니다. |
| |
소비자 불만 사례 데이터를 통해 이러한 분쟁의 근본 원인을 파악하고, 용어 선택은 해당 결과와 관련된 텍스트에서 개별 용어를 찾아 분쟁 변수를 파악합니다. |
| |
여기, 용어 선택 분석 결과를 그래프로 만들어 봤습니다. Y축에는 용어들이 모여 있고, X축에는 로그워스(logworth)가 있는데, |
| |
연관성에 대한 통계적 증거의 강도를 측정하는 것입니다. 따라서 이것은 실제로 로그워스 값에 따라 정렬되므로 맨 위에는 |
| |
위반이라는 단어가 있는데, 저기 작은 점이 보이시죠? 사실 여기서 어간 분석이 있었다는 걸 보여주는 거예요. 그러니까 위반이라는 단어는 위반, 위반된, 위반 등으로 해석될 수 있다는 뜻이에요. |
| |
따라서 우리는 해당 용어 위반이 소비자 분쟁과 관련되어 있으며 실제로 색상 코딩으로 표시된다는 강력한 통계적 증거를 가지고 있습니다. |
| |
저는 승산비 측면에서 그 효과의 강도를 알고 있습니다. 그래서 사람들이... 누군가 그 단어를 언급할 때, |
| |
분쟁 발생 확률은 약 1.5배 증가합니다. 그래서 만약 내가 |
| |
금융 서비스 제공업체라면 그 용어를 주의 깊게 살펴보는 게 좋을 것 같습니다. 사람들이 특정 위반 사항을 언제, 어떻게 신고하는지 조사해 보는 게 좋을 것 같습니다. 앞으로 살펴보겠지만, 실제로는 연방법 위반입니다. |
| |
그들이 불만을 제기할 때, 우리가 그 문제를 어떻게 처리하고 있는지 의문입니다. 우리가 그 문제를 만족스럽게 처리하지 못하는 것 같으니까요. |
| |
예측 모델의 일부에서 해당 용어의 존재 여부를 활용하여 잠재적으로 문제가 될 수 있는 불만 사항을 미리 표시하고, 이를 통해 해결책을 확대할 수 있습니다. |
| |
그렇다면 이 모든 것이 어떻게 작동할까요? 우리는 텍스트를 표현하는 문서 용어 행렬로 시작하는 모델을 구축하고 있습니다. |
| |
행은 하나의 문서이고 각 열은 나타날 수 있는 하나의 용어입니다. 그리고 |
| |
이 경우에는 이진 가중치라고 하는 방식을 사용합니다. 즉, 용어가 문서에 나타나면 1을 입력하고, 용어가 문서에 없으면 0을 입력합니다. 더 많은 가중치가 있지만, 이 예시에서는 이진 가중치를 사용하겠습니다. |
| |
우리가 모델의 예측 변수로 이진 열을 입력할 때 특히 다음을 사용합니다. |
| |
JMP의 일반화 회귀 분석에 대해 알아보겠습니다. 잠시 후에 그 이유를 알아보겠습니다. 먼저, 우리가 여기서 하는 일이 회귀 분석이라는 점을 명확히 하고 싶습니다. 사실, |
| |
어떤 사람들은 용어 선택을 텍스트 회귀라고 부를 것입니다. |
| |
모델의 형태에 대해 너무 걱정하지 마세요. 단지 우리가 하는 일이 결과 변수를 고려하고 있다는 점을 강조하고 싶을 뿐입니다. |
| |
이진 변수가 있기 때문에 로지스틱 회귀에 대한 로그 오즈이고, 그것이 절편에 더하기와 같다고 말하고 있습니다. |
| |
아시죠, 계수와 어떤 변수를 곱한 값입니다. 이 경우에는 이진수 1 또는 0입니다. 위반이 발생했는지 여부입니다. |
| |
그리고 또 다른 계수 값은 이 경우 음수 .2에 또 다른 이진 변수를 곱한 값입니다. 누군가가 '전화 끊었다'는 용어를 언급했는지 여부 등이 여기에 해당합니다. |
| |
그래서 우리는 이 모델에 여러 항을 입력하고 일반화 회귀를 사용하여 어떤 항이 모델에 속하고 어떤 항이 속하지 않는지 선택합니다. 그리고 |
| |
여기서 우리가 보는 것은 JMP가 해당 솔루션을 계산하는 예이며, 어떤 용어가 우리에게 적합하고 어떤 용어가 적합하지 않은지 보여줍니다. |
| |
여기 솔루션 경로에서 파란색은 모델에 들어온 모든 용어를 나타내고, 검은색은 모델에 실제로 포함되지 않은 모든 용어를 나타냅니다. 이러한 용어는 예측 가치에 아무런 도움이 되지 않기 때문입니다. |
| |
그래서 결국 우리가 얻는 것은 용어 목록입니다. 우리는 각 용어의 모델 계수 값을 가지고 있습니다. 예를 들어, 위반하는 경우, .4 값을 얻었습니다. 왜냐하면 그것이 실제로 |
| |
모델을 적합할 때 계수 값을 구합니다. 또한 앞서 언급했듯이 통계적 증거 또는 증거 강도의 척도를 얻습니다. |
| |
이 로그워스 값은 16.58입니다. 경험칙으로 2보다 큰 값은 모두 강력한 통계적 증거로 간주될 수 있지만, 실제로 로그워스는 p 값의 10진법 음의 로그이므로 값 2는 단지 p 값 0.01에 해당합니다. |
| |
그러니까 이 경우 계수를 보면, 이 계수가 분쟁 발생 확률을 얼마나 증가시키거나 감소시키는지 알 수 있고, 로그를 보면 이 증거가 얼마나 신뢰할 만한지 알 수 있습니다. |
| |
그리고 그 정보를 이용해서 우리는 많은 것을 할 수 있고, JMP로 넘어가서 실제로 이 분석을 수행하면서 어떻게 될지 살펴보겠습니다. |
| |
자, 이제 다른 데스크톱으로 돌아왔습니다. 소비자 불만 데이터를 불러오겠습니다. |
| |
그리고 |
| |
텍스트 탐색기를 처음부터 시작하는 대신, 여기에 테이블 스크립트를 사용하여 바로 실행하려고 합니다. |
| |
그리고 보시다시피, 이게 뜨면... 죄송합니다, 잘못된 화면에 떴네요. 자, 됐네요. |
| |
아시다시피, 저희는 항상 분석에 실제로 입력될 용어 목록으로 시작합니다. 그리고 용어 목록에 포함되어야 할 특정 구문을 선언할 수 있는 구문 목록이 있습니다. |
| |
저는 '공정 신용 보고법'과 같은 문구를 많이 포함시켰습니다. 해당 문구나 개념이 소비자 분쟁과 연관되어 언급된다면, 그것을 찾고 싶기 때문입니다. |
| |
그리고 제가...여기서 불용어 관리로 가보면, 제가 많은 불용어를 선언했다는 것을 알 수 있을 겁니다. 그래서 이것들은 모두 |
| |
분석에 포함하고 싶지 않은 이유는 다른 단어가 묻힐 수도 있기 때문입니다. |
| |
그 단어들은 정말 빈번하게 등장할 수도 있고, 제가 단지 가장 빈번하게 등장하는 500개의 단어만 분석하라고 한다면, 그걸 망치고 싶지 않습니다. |
| |
특히, able이라는 단어가 분쟁과 관련된 용어로 반환되더라도, 저는 그것을 어떻게 받아들여야 할지, able과 같은 일반적인 단어를 어떻게 해석해야 할지 정확히 알 수 없습니다. |
| |
따라서 불용어와 구문을 정리하는 데 시간을 들이고, 준비가 되면 빨간색 삼각형 아래에서 용어 선택을 호출하세요. |
| |
그래서 우리가 그렇게 할 때, 우리는 먼저 다음을 선택할 것입니다. |
| |
결과 변수는 소비자 분쟁입니다. 분쟁 발생 확률 측면에서 논의해 보겠습니다. |
| |
여기서는 연속형과 범주형 결과 변수를 설정할 수 있습니다. 둘 다 작동합니다. 그리고, 우리가 지금 이야기하고 있는 것은 분쟁이라는 점을 언급하고 싶습니다. |
| |
아시다시피, 감정을 대변하는 어떤 종류의 표현일 수 있다고 생각할 수도 있을 겁니다. 즉, 누군가가 무언가에 이의를 제기한다면, 그것은 아마도 그들이 행복하지 않기 때문일 것입니다. |
| |
하지만 일부 사람들이 감정을 보다 직접적으로 측정하는 외부 변인, 예를 들어 제품에 대한 별점과 같은 만족도를 나타내는 데이터를 가지고 있는 경우가 흔할 수 있습니다. |
| |
따라서 텍스트 데이터와 함께 감정을 잘 측정할 수 있는 경우 이와 같은 도구를 사용하여 다음과 같은 작업을 수행할 수 있습니다. |
| |
데이터에서 파생된 감정 분석은 이 도구를 사용하여 감정 측정을 예측하는 용어를 마이닝하고, 이를 통해 본질적으로 감정 용어를 선택하고 자동으로 |
| |
점수가 어떻게 나와야 하는지 찾는 거죠. 꽤 편리할 수 있어요. 다만, 여기서는 그런 식으로 하는 게 아니에요. 좀 더 일반적인 방식으로 사용하고 있는 거예요. |
| |
좋아요, 그럼 해당 문서 용어 행렬에 대해 이진 가중치를 적용해 보겠습니다. 간결하게 설명하기 위해 가장 자주 등장하는 용어 200개만 살펴보겠습니다. |
| |
그 외에는 201항부터는 분석에 포함하지 않을 겁니다. 실제로는 더 많이 포함할 것 같은데, 데모에 딱 맞고 간결하게 전달하고 싶어서요. |
| |
그리고 GenReg 사용자라면 다음 사항을 확인할 수 있습니다. |
| |
추정 및 검증 방법을 미리 지정할 수 있는 몇 가지 옵션이 있습니다. 기본값으로 두고 '실행'을 클릭하겠습니다. |
| |
JMP가 GenReg를 호출하는 방식입니다. 로지스틱 회귀 모델을 구축하고 탄력적 네트워크 방식을 사용하여 변수 선택을 수행합니다. |
| |
방금 두 번째 기술적인 오류가 발생한 것 같습니다. 정말 죄송합니다. 이 모델이 적합하므로 해결하도록 하겠습니다. 그럼 확인해 보겠습니다. 화면 공유 기능을 다시 사용할 수 있도록 하겠습니다. |
| |
다시 데려오겠습니다. 아직 녹음 중인 것 같으니 바로 이어서 하겠습니다. 결과는 다음과 같습니다. |
| |
보고서를 자세히 살펴보기 전에, 먼저 요약 표에서 이 행 하나만 살펴보겠습니다. 이 행은 지금까지 제가 만든 단일 모델을 요약한 것입니다. |
| |
예를 들어, 145개의 항목이 반환된 것을 볼 수 있습니다. AICc를 검증 도구로 사용했는데, AICc 값이 나와 있습니다. 다른 적합도 통계도 볼 수 있습니다. |
| |
그리고 다른 모델과 마찬가지로, 우리는 데이터에 가장 적합한 모델을 구축하기 위해 여러 번 모델을 실행해보고 싶을 수도 있습니다. |
| |
따라서 여기 일반화된 회귀 노드로 이동하면, GenReg가 실제로 텍스트 탐색기에 내장되어 있는 것을 볼 수 있습니다. |
| |
우리가 맞춰 놓은 모델을 더 자세히 살펴볼 수도 있고, 제 경우에는 더 나은 결과를 얻을 수 있는지 확인하기 위해 모델을 하나 더 맞춰 볼 겁니다. 적응형 탄성 네트워크를 만들어 봅시다. |
| |
대신 그 모델에 맞춰보고 우리가 이미 장착한 일반적인 탄성망보다 더 나은지 확인해 보겠습니다. |
| |
알겠습니다. 그 모델에도 맞는군요. |
| |
요약으로 가면 이 항목이 98개 항목을 반환했고 실제로 AICc가 낮아 더 적합할 수 있습니다. |
| |
그래서 해당 모델을 선택하겠습니다. 이제 원본 모델을 사용하려면 해당 모델을 클릭하면 됩니다. 보시다시피, 아래 보고서는 이 표에서 선택한 모델에 따라 업데이트됩니다. |
| |
여기 용어 목록을 적어 두었습니다. 이 문제에 대해서는 이미 이야기했으니 계수 측면에서 살펴볼 수 있을 것 같습니다. 소비자 분쟁 발생 가능성을 높이는 가장 큰 영향을 미치는 용어는 다음과 같습니다. |
| |
소비자 분쟁 발생 가능성을 줄이는 데 가장 큰 효과가 있는 방법들을 소개합니다. 예를 들어, 어떤 방법이든 'hung up'을 보면, 물론 누군가에게 전화를 끊거나 누군가에게 전화를 끊는 것에 대한 이야기라는 것을 알 수 있습니다. 어쩌면 우리에게는 이것이 말이 될 수도 있습니다. |
| |
이는 분쟁 가능성이 감소할 것이라는 예측입니다. 왜냐하면 이 문제는 실제로 의사소통 문제인 듯하고, 이를 해결하는 것이 조금 더 쉬울 수 있기 때문입니다. |
| |
다시 한번, 여기서 우리의 로그워스 값인 2.883에 주의를 기울여야 합니다. 이는 제가 이전에 언급한 경험칙 2보다 약간 높습니다. 따라서 이것이 실제 연관성이라는 상당히 강력한 통계적 증거가 있다고 말할 수 있습니다. |
| |
요점을 강조하자면, 여기 아래로 내려가면 '경찰'이라는 단어가 보입니다. 제 첫인상은, 사람들이 '경찰 보고서를 작성했거나 경찰에 신고했다'고 말하는 것 같다는 겁니다. |
| |
우리가 어떤 대응을 한다고 해서 그들이 그냥 사라질 가능성은 낮을 겁니다. 확률 논쟁은 누군가가 이미 경찰에 신고할 수준까지 왔다면 더 심해질 겁니다. |
| |
하지만 우리가 살펴보면 |
| |
로그워스, 우리는 이에 대한 통계적 증거가 그렇게 강력하지 않다는 것을 잘 알 수 있습니다. 따라서 이것이 내 직관에 어긋나기는 하지만, 아마도 전적으로 사실이 아닐 수도 있습니다. |
| |
물론 이 문제를 경영진에게까지 이야기해서 "사람들이 경찰에 신고했다고 하면 사실 좋은 일이죠"라고 말하고 싶을 정도는 아닙니다. 물론 그런 말은 아닙니다. 단지 이 모델에 포함되도록 선택된 것뿐입니다. 결국, |
| |
더 적합한 모델이 도출되지만, 결과를 해석하는 데 우리 자신의 지식과 상식을 적용하는 것은 여전히 우리에게 달려 있습니다. |
| |
따라서 이 표는 당신이 실제로 하려는 것이 용어를 식별하고 어떤 면에서 그 효과를 정량화하는 것이라면, |
| |
이게 당신 분석의 목표일 수도 있겠네요. 그래서 마우스 오른쪽 버튼을 클릭하고 데이터 테이블로 만들기를 선택해 볼게요. |
| |
그리고 이러한 용어와 계수, 로그값에 대한 데이터 테이블을 얻은 다음, 이를 사용하여 이전 대응과 개선 노력에 대한 분석을 안내하거나, 이러한 용어를 향후 일종의 예측 모델에 포함되어야 할 용어로 표시할 수도 있습니다. |
| |
하지만 우리는 여기서 회귀 모델이라는 모델을 구축했기 때문에 개별 문서 수준에서 다음과 같은 정보를 얻을 수 있습니다. |
| |
분쟁 발생 확률 증가를 예측하는 계수의 총합, 감소를 예측하는 총합, 전체 모델 값, 확률 |
| |
모델이 할당한 것과 우리가 실제로 관찰한 것 사이에는 논쟁이 있습니다. 따라서 개별 문서 수준에서 실제로 평가할 때 기대할 수 있는 모든 것, 즉 이 모델의 성능이 얼마나 좋은지 등을 고려해야 합니다. |
| |
맨 위에는 이 경우 개별 문서와 그에 대한... 우리가 기여라고 부르는 것에 대한 일반적인 요약도 있습니다. |
| |
계수 값의 합 또는 평균입니다. 예를 들어, 30,412개의 문서가 합을 가지고 있는 것으로 보입니다. 즉, 계수 값의 합과 평균 계수 값의 합이 양의 값을 가지며, 평균 기여도는 약 0.57입니다. |
| |
그래서 다시 한번 말씀드리지만, 여기서는 회귀 계수에 대해 이야기하고 있고 이러한 기여 값, 계수 표, 이 모든 것은 여러분이 구성할 때와 같은 방식으로 해석되어야 합니다. |
| |
그렇지 않으면 선형 회귀 모델이므로 우리의 경우 로지스틱 회귀에서는 이를 해석해야 합니다. |
| |
적절하게도, 즉, 우리가 그것들을 거듭제곱한다면, 우리는 로그를 다루는 거나... 실례합니다... 그러면 우리는 승산비를 다루는 셈입니다. 즉, 이 단어가 텍스트에 등장할 경우 승산비가 증가하거나 감소하는 요인입니다. |
| |
회귀 분석에 큰 관심이 없더라도, 이러한 값들은 더 일반적인 관점에서 여전히 유용할 수 있습니다. 어떤 항이 가장 강력한 영향을 미치는지, 그렇지 않은지 확인할 수 있기 때문입니다. 로그워스도 마찬가지입니다. 어떤 항이 가장 강력한 증거를 가지고 있는지, 그렇지 않은지 알 수 있습니다. |
| |
이제 마지막으로, 상상할 수 있듯이 우리는 이미 용어 테이블을 저장하는 방법을 보았지만 목표가 용어 테이블이 아니라 실제로 모델인 경우 |
| |
여러분이 만든 모델을 저장할 수도 있습니다. 제가 사용할 모델인 적응형 탄성망을 선택했고, 빨간색 삼각형 아래에서 예측 공식을 저장할 수 있습니다. |
| |
제 컴퓨터가 아마 여기서 잠깐 쉴 새 없이 돌아다닐 것 같아요. 문서 용어 행렬을 저장하고 있는데, 우리가 지정한 상위 200개 용어에 대한 내용이었고, 그 다음에는 수식도 저장하고 있습니다. |
| |
실제로 모델을 계산하기 위해 해당 열이나 문서 용어 행렬을 사용합니다. 여기에 문서 용어 행렬이 있습니다. |
| |
그리고 여기 끝에 있는 수식 열은 이제 실제로 사용할 수 있습니다. |
| |
내가 원한다면 이 모델을 직접 사용할 수 있습니다. |
| |
이것이 용어 선택입니다. 다시 말해, 우리는 관심 있는 결과 변수와 가장 강력하게 연관된 용어를 찾아내는 것입니다. 이는 해당 결과의 원인을 더 잘 해석하거나, 심지어 해당 결과를 예측하기 위한 모델링 기법에 정보를 제공하기 위한 것입니다. |
| |
이것으로 JMP Pro 16의 두 가지 새로운 텍스트 마이닝 기능인 용어 선택과 감성 분석에 대한 내용을 마무리하겠습니다. 이 기능도 지난 봄에 다시 소개되었습니다. |
| |
나는 지금 잠시 머물러서 누구든지 궁금한 점이 있으면 질문하겠습니다. |
| |
이 두 가지 새로운 기능 아시죠? 그리고 나중에 이 프레젠테이션에 대한 사용자 커뮤니티 페이지에 댓글이나 질문을 남겨주시면 제가 항상 지켜보겠습니다. |
| |
어떤 질문이든 기꺼이 답변해 드리겠습니다. 시간 내주셔서 감사합니다, 여러분. 건강 조심하세요. |