스피커
|
성적 증명서
|
| 로스 메투살렘 |
여러분, 안녕하세요. 지난 봄에 출시된 JMP Pro 16에서 JMP가 텍스트 마이닝 툴킷을 어떻게 확장했는지에 대한 프레젠테이션에 오신 것을 환영합니다. |
| |
저는 로스 메투살렘입니다. 저는 JMP의 학술 홍보대사이며 이 두 가지 새로운 텍스트 마이닝 기능을 여러분과 공유할 것입니다. |
| |
감정 분석 및 용어 선택. 우리는 그것들이 무엇이고 그것들과 JMP를 사용하는 방법에 대해 이야기할 것이고, 그런 다음 실제 공개적으로 사용 가능한 데이터에 대해 이러한 분석을 수행하는 두 가지 예를 볼 것입니다. |
| |
따라서 감정 분석과 용어 선택은 범용 텍스트 마이닝 도구인 JMP의 텍스트 탐색기에 새로 추가된 두 가지 기능입니다. |
| |
따라서 이것을 사용하여 우리가 일반적으로 무료 또는 구조화되지 않은 텍스트 데이터라고 부르는 것에서 정량적 정보를 도출할 수 있습니다. 단어 빈도를 도출하는 것에서 무엇이든 될 수 있으므로 단어 구름을 만들 수 있습니다. |
| |
의미론적으로 유사한 문서를 클러스터링할 수 있도록 잠재적인 의미론적 분석을 수행하는 것입니다. 따라서 오늘 보게 될 두 가지 기능은 텍스트 탐색기 도구 내의 기능입니다. |
| |
JMP Pro 16에 도입하게 되어 기쁘고 인기 있고 자주 요청되는 기능인 감정 분석부터 시작하겠습니다. |
| |
익숙하지 않은 사람들에게 감정 분석은 구조화되지 않은 텍스트 데이터에서 긍정적인 감정과 부정적인 감정을 정량화하는 것입니다. |
| |
이제 우리가 살펴볼 예는 베이지북에서 나온 것입니다. 베이지북은 연준이 발행한 내러티브 보고서입니다. |
| |
그리고 지도에서 볼 수 있듯이 연방 준비 은행은 12개의 서로 다른 지역으로 나뉘고 1년에 약 8번 각 지역에서 서술적인 베이지북 보고서를 발행합니다. |
| |
해당 지역 자체의 현재 및 잠재적인 미래 경제 상황을 요약합니다. 그리고 이러한 보고서는 주로 질적 데이터 소스를 기반으로 합니다. |
| |
비즈니스 리더와의 대화, 설문 조사 등이 있습니다. 그래서 저는 Beige Book이 감정 분석에 대한 좋은 예를 제공한다고 생각합니다. |
| |
공개적으로 사용할 수 있는 데이터이고 여러분 모두와 공유할 수 있지만 또한 여러분이 투자자나 여러분이라면 매우 흥미로울 것이기 때문에 |
| |
아시다시피, 금융 기관을 관리하여 연방 준비 이사회 이사들이 국가의 다른 지역의 경제 상황에 대해 얼마나 긍정적 또는 부정적으로 느끼는지 알고 있습니다. 당신은 실제로 그것을 사용할 수 있습니다 |
| |
의사 결정을 안내하거나 정량화할 수 있더라도 일부 통계 분석, 어쩌면 일부 예측 모델에 사용할 수 있습니다. |
| |
Beige Book에 있는 일부 텍스트의 예를 살펴보겠습니다. |
| |
여기 보고서 중 하나의 스니펫이 있습니다. 맨 위부터 시작하여 이 보고서가 반면에 컴퓨터 판매가 심각하게 침체되었다는 것을 알 수 있습니다. |
| |
반면, 바닥으로 내려가면 한 개인이 바람에 호조가 많다고 보고했기 때문에 "심각하게 우울함"과 "호의" 및 "개선"도 강조 표시했습니다. |
| |
이것이 우리가 감정 문구라고 부르는 것이기 때문입니다. 따라서 일종의 긍정적이거나 부정적인 감정적 내용을 나타내는 하나 이상의 단어입니다. |
| |
따라서 상단에는 심하게 우울하고 매우 부정적이며 그 다음에는 일반적으로 긍정적인 호의가 있습니다. 이 색상 코딩을 사용하여 주황색 대 이 파란색 또는 보라색(방법에 따라 다름) 당신은 그것을 참조하십시오) |
| |
긍정적인 감정과 부정적인 감정을 각각 나타냅니다. |
| |
그리고 많은 형태의 정서 분석이 바로 이 작업을 수행합니다. 그들은 텍스트에서 긍정적인 문구와 부정적인 문구를 찾습니다. |
| |
JMP에서 사용하고 다른 곳에서 접할 수 있는 형식은 실제로 긍정적인 감정과 부정적인 감정을 지속적으로 정량화합니다. |
| |
예를 들어 이 두 번째 텍스트 스니펫의 맨 아래를 보면 지역의 대형 백화점에서 매출이 저조하다고 보고하는 사람이 있는 것을 볼 수 있습니다. |
| |
따라서 상단에는 판매가 심각하게 침체되어 있고 아래로 내려가면 판매가 저조한 것을 알 수 있습니다. 음, 우리 모두는 심각하게 우울한 소리가 더 나쁘게 들린다는 데 동의한다고 생각합니다. |
| |
가난한 것보다 판매와 관련하여. 그래서 우리는 원할 수도 있습니다. |
| |
둘 다 부정적이지만 심각하게 우울한 것을 가난한 것보다 부정적인 것으로 정량화합니다. 그래서 JMP에서 정서 분석을 수행합니다. 그리고 우리는 이야기 할 것입니다 |
| |
특히 이러한 점수가 계산되는 방법에 대해 매우 간략히 설명하겠습니다. 하지만 먼저 실제로 살펴보는 것이 좋습니다. |
| |
이와 같은 용어와 문구를 개별적으로 살펴봄으로써 감정을 정량화하는 것이 타당하다는 것을 잠재적으로 입증할 수 있습니다. |
| |
그리고 우리가 말하는 것은 본질적으로 문서에 나오는 단어를 기반으로 문서에 점수를 매기는 것입니다. |
| |
우리가 생각하는 감정과 정도를 나타냅니다. 그리고 그것은 일종의 내부적이고 주관적인 것이지만 이 접근법, 감정 분석, |
| |
실제로 일부 예측 타당성을 입증할 수 있습니다. 예를 들어 Beige Book 감정이 시간이 지남에 따라 추적되는 방식을 보면 경기 침체와 함께 실제로 상당히 안정적으로 추적되는 것을 볼 수 있습니다. 그래서 여기에 우리는 감정이 있습니다 |
| |
y 축에. -75에서 75까지 확장되는 것을 볼 수 있습니다. 이것이 바로 우리가 그린 범위입니다. 실제 척도는 -100부터 시작합니다. |
| |
여기서 0은 중립입니다. 시간이 지남에 따라 모든 Beige Book 보고서에서 감정의 일반적인 추세를 캡처하는 것을 볼 수 있습니다. |
| |
빨간색으로 강조 표시된 경기 침체와 관련하여 흥미로운 패턴을 볼 수 있습니다. 특히 각 경기 침체 이전에 심리가 안정적으로 떨어지는 것을 볼 수 있습니다. |
| |
따라서 이것이 미국 연방준비제도이사회 이사들의 감정 상태라고 믿는 것에 대한 비교적 주관적인 척도이지만 제 말은 예상할 수 있는 경기 침체를 추적하고 있다는 것입니다. |
| |
또한 실제로 지리적으로 충분히 흥미롭게 추적합니다. 예를 들어 2000-2001년경에 샌프란시스코 베이 지역에서 많은 인터넷 스타트업이 |
| |
아래로 갔다. 볼 수 있고 샌프란시스코에 대한 호버 레이블이 여기에 강조 표시되어 해당 지역의 점수를 볼 수 있습니다. 우리는 이전에 본 것처럼 주황색에 긍정적인 감정을 가지고 있고 파란색에 부정적인 감정을 가지고 있습니다. |
| |
2000까지 쌓이는 것을 볼 수 있습니다. |
| |
베이 지역에서는 38.65로 상당히 높았으며 2001년에는 평균 60포인트 이상 급락하여 |
| |
약 마이너스 24.7. 그리고 그것은 우리가 미국의 다른 지역에서 본 것보다 훨씬 더 큰 변동입니다. 왜냐하면 그 지역이기 때문입니다...아마도 그 지역이 가장 큰 영향을 받은 지역이기 때문입니다. |
| |
그리고 우리는 대공황과 비슷한 것을 봅니다. 따라서 우리는 2008년 주택 시장의 폭락이 균일하지 않고 정서 하락과 일치하는 것을 봅니다. |
| |
서부 해안에서 가장 큰 폭의 하락이 입증된 것 같습니다. 다시 샌프란시스코 지역, 뉴욕 지역, 애틀랜타 지역이 여기에 속합니다. |
| |
제가 살고 있는 플로리다는 미국에서 특히 큰 타격을 입은 지역이었습니다. 사실 맨 아래 줄을 보면 플로리다가... |
| |
다른 지역에 비해 2012년까지는 일반 지역에서 정서가 회복되지 않는 것 같으며 이는 이치에 맞는 것 같습니다. 플로리다의 주택 시장은 전국적으로 회복된 마지막 시장 중 하나였습니다. |
| |
그래서 우리는 감정에 대한 주관적인 척도를 가지고 있지만, 이 경우에는 우리가 예상할 수 있는 방식으로 외부 사건과 같은 경제적 사건을 추적합니다. |
| |
다시 말씀드리지만 Beige Book은 특히 공개적으로 사용할 수 있는 좋은 예이기 때문에 살펴보고 있습니다. 만약 너라면 |
| |
소비자 시장 조사와 같이 정서 분석을 적용할 수 있는 더 일반적인 영역에 대해 이야기하고 있습니다. |
| |
고객의 소리를 텍스트 데이터 형태로 하여 상품평, 설문조사 응답, |
| |
고객 행동을 더 잘 이해하고 예측하기 위해 감정 분석을 사용할 수 있습니다. 여기서 감정을 사용하여 경기 침체를 더 잘 이해하거나 예측할 수 있는 것처럼 말입니다. |
| |
그래서 저는 우리가 여기에서 지난 몇 분 동안 감정 점수를 살펴봤다는 것을 깨달았고, 그것이 어디에서 왔는지에 대해 정말로 질문을 던집니다. |
| |
따라서 JMP는 어휘 감정 분석이라는 감정 분석 형식을 사용합니다. 따라서 감정 사전을 사용하거나 |
| |
감정 사전 |
| |
우리가 어떤 감정을 가지고 있다고 믿는 모든 개별 단어에 점수를 할당합니다. 따라서 환상적인 것과 같은 단어는 90점을 받을 수 있으며 이는 매우 긍정적입니다. 그것은 거의 최대 양수인 100에 있는 반면, 한 쌍의 다운, 두려움은 -60의 점수를 얻습니다. |
| |
이제 우리는 이러한 용어에 점수를 할당하고 기본적으로 개별 문서에서 이를 세거나 평균을 낼 수 있습니다. |
| |
그러나 우리는 몇 가지 다른 사항을 설명하고 싶습니다. Beige Book 예에서 본 첫 번째 감정 문구를 기억한다면 심각하게 우울했습니다. |
| |
심각하게 다른 단어는 기본적으로 감정 승수인 강조자라고 부르는 것의 예입니다. 여기에서 볼 수 있듯이 감정 점수가 1.4인 승수라고 믿을 수 없을 정도로 선언할 수 있습니다. |
| |
0.3 단위로 조정하므로 감정의 크기가 약간 감소합니다. |
| |
따라서 정서 용어와 함께 강화자가 나타나면 해당 곱셈을 수행한 다음 부정자가 발생하는 경우에도 수행합니다. 그래서 우리는 말합니다. |
| |
아시다시피, 무언가가 아니오, 아니오 또는 하지 않아야 하거나 하지 않았습니다. 우리는 음수 1을 곱합니다. 그래서 우리는 기본적으로 부호를 뒤집습니다. 양수는 음수가 되고 그 반대도 마찬가지입니다. |
| |
따라서 모든 감정 문구에 대해 이 간단한 곱셈을 수행한 다음 문서 전체에서 |
| |
평균 점수 또는 최소 감정 점수와 최대 감정 점수의 차이를 통해 |
| |
해당 문서에 대한 감정 값을 계산합니다. 그리고 그것이 우리가 그 그래프들에서 보고 있던 것입니다. 그래서 그 지도들에서 시간에 따른 감정의 그래프입니다. |
| |
이것은 어휘 감정 분석입니다. 이는 매우 일반적인 관행이며 JMP에서 구현되는 감정 분석 유형입니다. 앞으로 살펴보겠지만 JMP가 있으면 |
| |
모든 감정 점수를 계산하면 유용한 정보를 많이 얻을 수 있습니다. 다음은 감정 분석 보고서가 어떻게 생겼는지에 대한 예입니다. |
| |
결과의 한 요소를 미리 보기 위해 여기 맨 위에 모든 문서에 대한 간단한 감정 요약이 있습니다. |
| |
그래서 우리는 전체 감정의 분포가 긍정적으로 기울어져 있음을 보여주는 쉽게 색상으로 구분된 히스토그램을 가지고 있습니다. 우리는 꽤 강한 부정적인 감정 꼬리를 가지고 있습니다. |
| |
모든 문서에서 평균 감정 점수가 4.1로 중립보다 약간 높은 것을 볼 수 있습니다. |
| |
전반적으로 긍정적인 모든 문서(3,900개)의 평균 점수는 22.9인 반면, 약 1,400개의 부정적인 문서 중 |
| |
평균 점수는 -15.4이므로 부정적인 문서는 긍정적인 문서가 매우 긍정적인 만큼 강력하게 부정적이지 않습니다. |
| |
자, 물론 여기 Beige Book과 함께 1970년의 이 경우부터 현재까지 평균 감정 점수를 보면 알 수 있습니다. 개별 문서의 점수를 보는 것만큼 신경 쓰지 않거나 |
| |
특정 감정 용어의 분포를 살펴볼 수 있습니다. 하지만 다시 말하지만, 데이터를 다루는 경우 |
| |
예를 들어 소비자 시장 조사와 같은 것, 고객의 목소리가 있는 모든 텍스트 데이터, 고객이 얼마나 긍정적 또는 부정적인 감정을 느끼는지 잘 알 수 있는 이와 같은 높은 수준의 요약도 있습니다. 우리는 |
| |
단순한 보고서만으로도 정말 가치가 있을 수 있습니다. 그러나 우리는 곧 JMP로 전환할 예정이며 정서 분석 보고서에는 통찰력을 얻기 위해 데이터를 탐색하는 다양한 추가 방법이 함께 제공됩니다. |
| |
이제 JMP로 이동하여 어떻게 수행되는지 살펴보겠습니다. |
| |
이제 저는 JMP Pro 16.1을 사용하고 있습니다. 이 Beige Book 데이터를 살펴보기 전에 Xan Gregg에게 감사 인사를 전하고 싶습니다. |
| |
Xan을 모르시는 분들을 위해 말씀드리자면 Xan은 저희 개발팀의 이사입니다. 그는 Graph Builder의 창시자입니다. |
| |
그리고 그는 원래 Beige Book 데이터를 살펴보는 아이디어를 생각해낸 사람이기도 하며 친절하게도 Beige Book 아카이브에서 html 페이지를 스크랩하고 멋진 JMP 데이터 테이블을 제공하기도 했습니다. 대단히 감사합니다, 잰. |
| |
자, 이제 감정 분석을 살펴보겠습니다. 결과를 살펴보는 대신 |
| |
알고 있어야 할 몇 가지 중요한 고려 사항이 있기 때문에 분석을 설정하는 방법을 간략하게 보여드리고 싶습니다. |
| |
JMP가 이를 구현하는 방법뿐만 아니라 일반적으로 감정 분석 또는 어휘 감정 분석을 수행하는 방법과 관련하여. |
| |
그 설정을 보여주기 위해 저는 실제로 2010년부터 현재까지 데이터의 일부만 살펴볼 것입니다. 이 경우에는 상황을 빠르게 유지하기 위해 |
| |
텍스트 탐색기를 사용하여 분석을 여러 번 자동 업데이트하고 가능한 한 거의 즉각적으로 업데이트하기를 원합니다. |
| |
여기 데이터의 하위 집합이 있으므로 2010년 1월부터 지난달 가장 최근 보고서까지 12개 학군 전체에 대한 Beige Book 보고서가 있습니다. |
| |
좋습니다. 감정 분석을 시작하기 위해 분석으로 이동하여 텍스트 탐색기를 선택하겠습니다. 텍스트를 가져와서 텍스트 열 역할에 넣습니다. 몇 가지 참고 사항. |
| |
하나는 텍스트 탐색기가 일반적으로 여러 언어를 지원하지만 |
| |
감정 분석은 현재 영어로만 제공됩니다. |
| |
그리고 다른 하나는 만약... 적어도 당신이 숙련된 텍스트 탐색기 사용자라면 형태소 분석을 켜는 데 익숙할 수 있으며 지금은 이 기능을 해제할 것임을 알 수 있을 것입니다. |
| |
형태소 분석을 모르는 사람들에게는 동일한 단어 또는 언어학적으로 말하면 동일한 lemme의 여러 형태에 걸쳐 붕괴하는 방법입니다. 그러니 강하고 강하고 강하십시오. |
| |
우리는 그들 모두에 걸쳐 무너질 것이고, 그들은 우리의 목적을 위해 모두 강하다고 말할 것입니다. |
| |
그리고 분명히 우리는 여기서 그렇게 하고 싶지 않습니다. 왜냐면 가장 강한 것이 강한 것보다 더 긍정적이기 때문입니다. 이것은 강한 것보다 더 긍정적입니다. |
| |
그래서 우리는 형태소 분석을 해제한 상태로 둡니다. 사실 감정 분석을 호출한 후에 기능을 켜더라도 형태소 분석은 무시할 것입니다. |
| |
확인을 클릭하겠습니다. 아니요, 제가 그렇게 했을 때 기술적인 문제가 약간 있었던 것 같습니다. 최근에 제 컴퓨터에 이상한 일이 있어서 죄송합니다. 하지만 괜찮습니다. 화면 공유를 다시 시작하고 내 비디오를 다시 가져올 수 있습니다. 안녕하세요 여러분. |
| |
그리고 우리는 그것을 공유할 것입니다. 알겠습니다. 계속 진행해야 합니다. 녹음이 계속 진행 중인 것 같습니다. 여기서 JMP가 올바른 모니터에 할당되었는지 확인하겠습니다. 그런 것 같습니다. 모두 죄송합니다. 어쨌든 다시 돌아가 봅시다. |
| |
여기 텍스트 탐색기 창이 있습니다. 이제 다시 익숙해지면 |
| |
텍스트 분석에서는 일반적으로 불용어를 선언하는 것으로 시작한다는 것을 알고 있을 것입니다. 예를 들어, 사람들은 업계에서 내 연락처에 대해 이야기하고 있습니다. 그리고 제가 분석에 연락처라는 단어를 사용하고 싶지 않다는 것을 알고 계실 것입니다. |
| |
중지 단어로 추가한 다음 잠재적으로 몇 시간 동안 진행합니다. |
| |
실제로 분석을 하기 전에 불용어를 선언합니다. 감정 분석에서는 그렇게 할 필요가 없습니다. |
| |
그것은 모두 감정 사전에 기반을 두고 있기 때문에 연락처와 같은 단어는 사전에 없습니다. 어쨌든 기능적으로 제외되어 있으므로 시간을 절약할 수 있는 좋은 방법입니다. |
| |
그러나 예를 들어 부동산이나 여기 앉아 있는 대출 수요와 같은 문구를 선언하고 싶을 것입니다. |
| |
그래서 대출요구를 클릭하고 문구로 추가합니다. 용어 목록에 표시되므로 정말 빠르게 찾아보겠습니다. |
| |
1,139개의 인스턴스가 있습니다. 그리고 이것은 이러한 분석이나 이 |
| |
이 데이터 세트에서. 전체가 아니라 대출 수요에 대한 정서만 계산하고 싶다고 상상해 보십시오. |
| |
그렇게 하려면 먼저 구문으로 선언해야 하므로 최소한 관심을 가질 수 있는 정말 눈에 띄는 도메인에 대해 몇 가지 구문을 살펴보고 선언하는 것이 합리적입니다. |
| |
자, 이제 이를 종료하고 실제로 감정 분석을 시작하겠습니다. |
| |
그리고 제가 그렇게 할 때 보시게 될 것입니다. 완전한 보고서를 받게 될 것입니다. 그래서 제 결과를 탐색할 때가 된 것처럼 보일 수 있습니다. 왜냐하면 이것은 완료된 분석처럼 보이기 때문입니다. 이것을 사용하는 모든 사람에게 브레이크를 밟고 감정 사전을 고려하도록 권장하십시오. |
| |
서로 다른 언어로 서로 다른 상황에 대해 서로 다른 텍스트를 생성하는 사람들의 그룹입니다. |
| |
다양한 방식으로 언어를 사용할 수 있습니다. 감정과 강화 부정 용어 목록을 맞춤화하는 것이 중요합니다. |
| |
그것을 반영하기 위해. 그래서 그것은...절대라는 단어를 사용하는 것을 주저하지만...나는 절대 기본 감정 사전을 사용하지 말라고 말할 것입니다. 직접 선별하면 항상 더 유효한 결과를 얻을 수 있습니다. |
| |
그래서 여기에서 감정 용어로 이동하면 점수가 상대적으로 희박한 이 내장 사전을 기반으로 한다는 것을 알 수 있습니다. |
| |
하지만 실제로 일부 텍스트를 읽고 사전에 포함되어야 하는 단어를 더 식별할 수 있는지 확인하고 싶습니다. 나는 당신이 통과하고 싶을 수도 있다고 언급해야합니다 |
| |
기본 제공 목록을 사용하고 일부를 제외합니다. 하지만 해당 목록은 상대적으로 희소하므로 이상적으로는 너무 많이 또는 전혀 제외할 필요가 없습니다. |
| |
따라서 우리 보고서에는 결과를 탐색하는 것뿐만 아니라 실제로 사전을 큐레이팅하기 위한 몇 가지 도구가 있습니다. 이 문서 테이블에서 문서를 선택하고 텍스트를 불러올 수 있습니다. |
| |
바로 아래. 그럼 화면 하단에서 잠시 물러나도록 하겠습니다. 해당 텍스트에서 강조 표시된 것을 볼 수 있습니다. 감정 용어와 문구는 이미 약간 더 나은 것처럼 발견되었습니다. |
| |
그러나 예를 들어 여기에 약하다는 단어가 있고 현재 상태는 여전히 약하며 내가 알 수 있는 한 이것은 매우 일반적인 현상입니다. |
| |
Beige Book 보고서의 용어는 본질적으로 나쁜 것이 있음을 나타냅니다. 글쎄요, 저는 경제학자가 아니지만 아마도 경제학에서, |
| |
알다시피 약함은 나쁨의 동의어이고 강함은 좋음의 동의어입니다. 이 데이터를 꽤 많이 본 제 생각입니다. |
| |
이제 강조 표시되지 않은 것을 볼 수 있습니다. 즉, 약함은 현재 내 사전에 없지만 정말 쉽게 추가할 수 있습니다. 난 그냥 그 위에 마우스를 올려 |
| |
용어를 텍스트에서 바로 부정자로 추가할 수 있습니다. 강화 값이나 감정 값을 줄 수 있으므로 적당히 음수이므로 음수 60을 클릭합니다. |
| |
이제 내 사전에 추가되고 모든 감정 점수가 여기에서 실시간으로 다시 계산됩니다. |
| |
이제 내 감정 용어 목록에서 약한 항목을 선택하고 해당 항목을 모두 볼 수 있습니다. 카운트 열의 해당 테이블로 돌아가면 Beige Book 데이터의 이 하위 집합에서 1,012번 발생하는 것처럼 보입니다. |
| |
따라서 문서의 임의 하위 집합 또는 층화된 임의 하위 집합을 검토하고 읽고 사전에 속하는 일부 감정 용어를 식별하려고 노력하십시오. |
| |
이제 편리한 기능인 이 가능한 감정 목록에 의존할 수도 있습니다. |
| |
이는 실제로 귀하가 고려할 잠재적 감정 용어를 제공합니다. 예를 들어 강한 것이 여기에 있고 나는 약한 것을 넣을 수 있습니다. 나는 확실히 강하기를 원하므로 그것이 |
| |
강한. |
| |
그리고 저는 바로가기 버튼을 사용해 왔습니다. 아시다시피 양수 60, 음수 60이지만 음수 100과 100 사이에서 원하는 점수를 입력할 수 있습니다. 그래서 저는 그렇게 하고, 지금 바로 아래를 보시면 모든 것이 다시 자동 업데이트되는 것을 보실 수 있습니다. |
| |
따라서 감정 용어 목록에 주의하십시오. 또한 나는 당신의 부정 강화 용어를 수행하는 메커니즘을 거치지 않을 것이지만 동일한 아이디어가 적용됩니다. |
| |
귀하의 도메인을 실제로 반영할 권리가 있는지 확인한 다음 빨간색 삼각형 아래에서 항상 전체 기간 관리 도구로 이동하여 일부 용어를 수동으로 입력할 수 있도록 권장합니다. 90점을 주고 싶다. |
| |
그래서 여기에 일종의 배치 형식을 추가할 수 있습니다. |
| |
매번 자동 업데이트하지 않고 감정 용어 목록을 가져오고 내보낼 수도 있습니다. |
| |
다른 사람들과 공유하고 휴대할 수 있으며 작업을 추적하고 복제할 수 있도록 도와줍니다. |
| |
결과가 감정 용어 목록과 강화 및 부정에 얼마나 의존하기 때문에 설정 목록이 있을 때 완전히 문서화하고 또한 목록으로 가져올 수 있도록 내보낼 것을 권장합니다. 새로운 분석 및 복제. |
| |
분석을 설정하는 데는 이것으로 충분합니다. 감정 분석을 호출하면 보고서를 받게 되지만 해당 보고서에 바로 뛰어들지는 않는다는 점을 강조하고 싶습니다. 먼저 사전을 선별하십시오. |
| |
이제 내가 |
| |
집으로 무자비하게 그 지점을 이겼습니다. 실제로 그 보고서를 살펴보겠습니다. |
| |
이제 제가 할 일은 완전히 구운 보고서를 가져오는 것입니다. 이 경우에는 5,300개 이상의 |
| |
베이지북은 여기에서 보고합니다. 이전에 언급했듯이 결과 섹션에는 이러한 전반적인 요약이 있습니다. 우리는 그것을 다시는 실행하지 않을 것입니다. 우리는 당신이 또한 |
| |
모든 개별 문서를 볼 수 있으므로 모든 문서를 보고 점수가 매겨진 방식과 내용을 확인할 수 있습니다. 문맥에서 감정 용어 및 구의 사용을 탐색합니다. |
| |
이 표에서 예를 들어 문서의 총 긍정적 점수, |
| |
문서에 있는 긍정적인 감정 문구의 평균 점수입니다. 음수와 전체 점수에 대해서도 마찬가지입니다. |
| |
이 값 위로 마우스를 가져가면 실제로 어떻게 계산되는지 보여줍니다. 음수 점수 평균을 보면 총 7개의 용어가 있고 점수가 얼마인지 알 수 있고 평균이 무엇인지 알 수 있습니다. |
| |
또한 이 경우 음수 1의 평균은 모든 감정 용어(긍정적 및 부정적)의 평균 점수임을 알 수 있습니다. |
| |
이 보고서의 요소 위로 마우스를 가져가면 유용한 정보가 표시되는 편리한 방법이 많이 있습니다. 나는 적극 권장합니다. 그냥 사용해보십시오. 다른 위치에서 마우스를 가져갑니다. 당신은 아마도 뭔가 유용한 것을 발견할 것입니다. |
| |
이제 일반적으로 우리는 이와 같이 텍스트 마이닝을 수행할 때 개별 문서를 너무 세게 보지 않습니다. 내 말은, 우리가 그것들을 모두 읽을 수 있다면 |
| |
그러면 우리는 할 것입니다. 제 말은, 우리는 컴퓨터보다 언어를 더 잘 이해한다는 것입니다. 따라서 5,300개 문서의 전체 컬렉션을 살펴보는 것이 아니라 점수별로 정렬하고 가장 부정적인 문서만 살펴볼 수 있습니다. |
| |
보고서를 실제로 읽고 아이디어를 얻기 위해 |
| |
사람들이 특히 부정적일 때 그들은 무엇에 대해 부정적인가? 그 부정성을 유발하는 요소에 대해 무엇을 배울 수 있으며, 특히 소비자 조사에서 제품 리뷰를 살펴보고 이와 같은 설문 조사는 정말 가치가 있을 수 있습니다. |
| |
또한 표시되는 다양한 감정 용어, 표시 빈도 및 |
| |
그들과 관련된 점수. 그리고 그것들 중 하나를 잡으면 문맥에서도 해당 용어를 볼 수 있습니다. 따라서 사용되는 특정 감정 용어가 있는 경우 |
| |
일반적으로 데이터에서 사람들이 데이터를 사용하는 이유 또는 데이터를 사용하게 만드는 요소를 확인하기 위해 컨텍스트에서 데이터를 더 잘 이해하고 싶을 수 있습니다. 그리고 용어를 선택한 다음 아래 텍스트를 탐색하는 것만으로 매우 쉽게 수행할 수 있습니다. |
| |
이제 마지막으로 감정 분석에서 가장 유용한 기능 중 하나라고 생각하는 기능이 이 기능 탭에 있습니다. |
| |
검색을 클릭하면 감정 용어와 함께 자주 발생하는 비감정 용어를 찾고 드릴다운 분석을 수행할 수 있습니다. |
| |
선택된 용어, 또는 우리가 기능이라고 부르는 것, 또는 하위 도메인이라고 부를 수도 있습니다. 따라서 판매에 대한 정서만 보고 판매가 약한 것으로 보고되어 판매가 약화되는 것을 볼 수 있습니다. |
| |
또는 잠재적으로 일부 문구를 사용하고 싶다고 말한 이전으로 돌아가십시오. 이 목록에서 대출 수요를 찾아봅시다. |
| |
그리고 대출 요구에 관한 정서에 대해서만 모든 문서에 점수를 매기자. 그리고 물론 이것은 일부를 사용하고 있습니다. |
| |
어떤 감정 문구가 대출 요구에 적용되고 적용되지 않는지 결정하기 위해 자연어 처리를 시도하고 NLP 방법을 사용하면 100% 정확하지는 않지만 특히 형식이 잘 갖춰진 텍스트에서 정확합니다. |
| |
Beige Book 보고서와 같은 방식으로 꽤 잘 작동하는 것 같습니다. 이제 저는 예를 들어 그들이 대출 수요에 대해 어떻게 느끼는지 알 수 있습니다. |
| |
이 모든 보고서에서? 일반적으로 긍정적인 것처럼 보이지만 특히 부정적인 보고서도 있습니다. |
| |
여기서 마지막으로 외쳐야 할 것은 우리를 완전한 원으로 되돌리기 위해 아마도 제가 이것을 할 때 스파이크가 있어야 한다는 것을 알아차렸을 것입니다. |
| |
그리고 이것은 이 분석을 수행할 때 감정 사전을 큐레이팅하고 결과를 해석할 때 어떻게 구축했는지 설명하는 것이 얼마나 중요한지 다시 한 번 강조합니다. |
| |
그래서 여기에서, 60에서 이 급상승은 내가 처음에 사전에 많은 감정 용어를 입력했을 때 이 단축키를 사용했기 때문일 수 있습니다. |
| |
30, 60, 90개의 바로가기 버튼이 있고 점수가 급증하는 것을 보기 위해 거의 몸을 만들고 있습니다. |
| |
양수 60 및 음수 60. 점수를 좀 더 세밀하게 만들기 위해 조금 더 주의를 기울였다면 아마도 저는 이것을 보지 못했을 것입니다. 흥미롭게도 우리는 그것을 분배라고 부를 것입니다. |
| |
그래서 나는 당신의 감정 사전을 얻는 것이 얼마나 중요한지 다시 한 번 강조하기 위해 그것을 호출합니다. |
| |
먼저 함께 한 다음 이 기능을 사용하여 글로벌 정서, 문서별 정서, 개별 용어 또는 하위 도메인별 정서에 대한 모든 유용한 정보를 얻을 수 있습니다. |
| |
여기 섹션. 그리고 물론 JMP에서 익숙하겠지만 작업을 수행하고 저장하여 빨간색 삼각형 아래의 다른 곳에서 사용할 수 있도록 해당 옵션을 찾을 수 있습니다. 내 문서 점수를 저장할 수 있습니다. |
| |
여기 있는 내 데이터 테이블로 돌아가면 실제로 저장한 것을 볼 수 있습니다. 이 경우에는 해당 대출 수요 하위 도메인에 대한 점수를 내 데이터 테이블로 다시 가져와 사용할 수 있습니다. , 슬라이드용으로 만든 일부 그래프와 같은 추가 분석 또는 그래프에서. |
| |
이것이 JMP Pro 16의 새로운 기능으로 텍스트에서 긍정적 감정과 부정적 감정을 정량화하는 감정 분석입니다. 그리고 |
| |
이제 제가 이야기하고 싶은 또 다른 새로운 텍스트 마이닝 기술인 용어 선택으로 넘어갑시다. 말했듯이 용어 선택은 일부 결과, 즉 일부 다른 측정과 관련된 단어를 식별하는 것입니다. 예를 들어 여기, 알다시피, 우리는, |
| |
Beige Book 보고서 텍스트를 포함할 수도 있지만 |
| |
경제 변수(예: GDP)를 보고 Beige Book 보고서의 특정 용어가 GDP와 함께 어떻게 추적되는지 확인하거나 경제가 경기 침체에 있는지 여부와 같은 이진 변수로 추적할 수 있습니다. |
| |
이것은...여기서 용어 선택은 유용할 수 있는 다른 변수와 연관된 단어를 찾기 위한 범용 도구입니다. |
| |
해석적 맥락에서 다른 변수의 동인을 찾거나 예측 모델링 연습에서 무언가를 예측하는 용어를 식별하여 미래에 이러한 용어를 사용하여 예측할 수 있습니다. |
| |
그럼 용어 선택이 어떻게 이루어지는지 살펴보겠습니다. 그리고 실제로 소비자 금융 보호국의 소비자 불만과 다른 예를 살펴보겠습니다. |
| |
데이터 베이스. 따라서 소비자는 금융 상품이나 서비스에 대한 불만 사항이 있는 경우 CFPB에 해당 불만 사항을 입력할 수 있으며 CFPB는 해당 소비자와 |
| |
금융 상품 또는 서비스 제공자. 다음은 이러한 데이터에서 찾을 수 있는 예입니다. 그래서 여기 어떤 사람이 자신의 신용 보고서를 모니터링하고 있고 3,900달러에 대한 징수 통지가 제출되었는데 그들은 그것에 대해 아무것도 모른다고 주장합니다. |
| |
또한 데이터 표에서 볼 수 있듯이 소비자가 이의를 제기했고 여기에서 소비자가 이의를 제기했다는 열이 바로 옆에 있습니다. |
| |
금융 서비스 제공 업체와 그들은 그 응답에 만족하지 않았기 때문에 이의를 제기했습니다. |
| |
데이터 테이블의 헤더 그래프 사양에서 볼 수 있듯이 그다지 일반적이지 않습니다. 기본적으로 우리가 보고 있는 이 데이터 세트의 약 5분의 1입니다. |
| |
소비자 분쟁으로 이어지지만 이 고객을 상대하는 금융 회사라면 일부 답변을 발표한 다음 해당 답변에 대해 계속해서 이의를 제기하는 것을 원하지 않을 것입니다. 어떤 유형의 불만이 있는지 이해하고 싶을 수 있습니다. |
| |
실제로 소비자 분쟁으로 이어질 가능성이 있는 항목을 사전에 식별할 수 있도록 |
| |
또는 귀하의 분쟁 해결 관행을 더 잘 이해하여 분쟁의 수를 줄이십시오. 당신이 그것을 염두에두고 싶은 많은 이유가 있습니다. |
| |
소비자 불만 내러티브 데이터는 애초에 무엇이 이러한 분쟁을 유발하는지 확인하고 용어 선택이 수행하는 작업은 텍스트에서 해당 결과, 해당 분쟁 변수와 관련된 개별 용어를 찾는 것입니다. |
| |
그래서 여기에 용어 선택 분석을 수행한 결과로 만든 그래프가 있습니다. 여기에서 Y축을 따라 용어 모음이 있습니다. X에는 logworth가 있습니다. |
| |
협회의 통계적 증거의 강도를 측정합니다. 따라서 이것은 실제로 로그워스 값에 따라 정렬되므로 맨 위에는 다음이 있습니다. |
| |
위반하면 거기에 작은 점이 보입니다. 이것은 실제로 우리가 여기에서 형태소 분석을 수행했음을 보여줍니다. 따라서 위반은 위반, 위반, 위반 등이 될 수 있음을 의미합니다. |
| |
그래서 우리는 위반이라는 용어가 소비자 분쟁과 관련이 있다는 강력한 통계적 증거를 가지고 있습니다. |
| |
여기에서 승산비 측면에서 효과의 강도가 있습니다. 그래서 사람들이...누군가 그 단어를 언급할 때, 위반, |
| |
분쟁의 가능성은 약 1.5 배 증가합니다. 그래서 만약 내가 |
| |
금융 서비스 제공자라면 그 용어를 주의 깊게 살펴보고 싶을 것입니다. 저는 사람들이 특정 위반 사항을 언제 어떻게 주장하는지 조사하고 싶을 것입니다. 앞으로 살펴보겠지만 실제로는 연방법 위반입니다. |
| |
그들이 불만 사항에서 주장할 때 우리가 그것들을 만족스럽게 처리하지 못하는 것처럼 보이기 때문에 우리가 그것들을 어떻게 처리하고 있습니까? |
| |
예측 모델의 일부에서 해당 용어의 존재 여부를 사용하여 잠재적으로 문제가 있는 불만 사항을 미리 표시하여 해결 방법을 에스컬레이션할 수 있습니다. |
| |
이 모든 것이 어떻게 작동합니까? 우리는 텍스트를 표현한 문서 용어 행렬로 시작하는 모델을 구축하고 있습니다. |
| |
행은 하나의 문서이고 각 열은 나타날 수 있는 하나의 용어입니다. 그런 다음 |
| |
이 경우 이진 가중치라고 부르는 것이 있으므로 용어가 나타나면 입력합니다. 용어가 해당 문서에 나타나지 않으면 0을 입력하십시오. 더 많은 가중치가 있지만 예를 들어 바이너리를 고수할 것입니다. |
| |
모델의 예측 변수로 이러한 이진 열을 입력할 때 특히 우리는 다음을 사용합니다. |
| |
JMP의 일반화된 회귀와 잠시 후에 그 이유를 살펴보겠습니다. 먼저 여기서 우리가 하고 있는 것이 회귀라는 것을 지정하고 싶습니다. |
| |
어떤 사람들은 용어 선택을 텍스트 회귀라고 부르게 될 것입니다. |
| |
모델의 형태에 대해 너무 걱정하지 마십시오. 나는 단지 우리가 하고 있는 것이 우리가 어떤 결과 변수를 취하고 있다는 것을 강조하려고 합니다. |
| |
이진 변수가 있기 때문에 로지스틱 회귀에 대한 로그 배당률이고, 우리는 이것이 어떤 절편을 더한 것과 같다고 말하는 것입니다. |
| |
아시다시피 계수는 어떤 변수를 곱한 것입니다. 이 경우 이진수 1 또는 0입니다. 위반했는지 여부. |
| |
다른 계수 값(이 경우에는 음수 .2 x 다른 이진 변수)을 더합니다. 여기에서 누군가 전화를 끊었다는 용어를 언급했는지 여부 등이 있습니다. |
| |
그래서 이 모델에 많은 항을 입력하고 일반화된 회귀를 사용하여 모델에 속하는 항과 그렇지 않은 항을 선택합니다. 그리고 |
| |
여기에서 볼 수 있는 것은 해당 솔루션을 컴퓨팅하는 JMP의 예입니다. |
| |
여기 솔루션 경로에서 모델에 입력된 모든 항을 파란색으로 볼 수 있고 실제로 모델에 포함되지 않은 모든 항은 예측 값에 추가되지 않기 때문에 검은색으로 표시됩니다. |
| |
그래서 우리가 끝내는 것은 용어 목록입니다. 우리는 그들의 모델 계수 값을 가지고 있습니다. 예를 들어 위반하면 .4 값을 얻었습니다. |
| |
모델을 적합할 때 계수 값. 또한 앞에서 언급했듯이 통계적 증거의 척도 또는 증거의 강도를 얻습니다. |
| |
여기서 이 로그값은 16.58입니다. 경험 법칙을 원한다면 2보다 큰 값은 강력한 통계적 증거로 간주될 수 있지만 실제로는 로그값이 p 값의 음수 로그 밑수 10이므로 값은 다음과 같습니다. 2는 P 값 .01에 해당합니다. |
| |
그래서 우리는 둘 다 가지고 있습니다. 이 경우에는 계수가 있습니다. 이것이 분쟁의 가능성을 얼마나 강하게 증가시키거나 감소시키는가? 그리고 나서 우리에게 말해줄 가치가 있는 기록은 이것에 대한 우리의 증거가 얼마나 믿을만한가 하는 것입니다. |
| |
그리고 그 정보로 우리는 많은 일을 할 수 있으며 JMP로 이동하여 실제로 이 분석을 수행하는 방법을 보게 될 것입니다. |
| |
그래서 저는 여기 다른 데스크탑으로 돌아왔습니다. 소비자 불만 데이터를 가져오겠습니다. |
| |
그리고 |
| |
처음부터 텍스트 탐색기로 이동하는 대신 여기에서 테이블 스크립트를 사용하여 시작하겠습니다. |
| |
그리고 우리가 볼 수 있듯이 일단 이것이 나타나면...죄송합니다. 잘못된 화면에 나타납니다. 우리는 거기에 갈. |
| |
우리는 항상 분석에 실제로 입력될 용어 목록으로 시작합니다. 그런 다음 용어 목록에 속하는 특정 구를 선언할 수 있는 구 목록도 포함되어야 합니다. |
| |
공정신용보고법 같은 문구를 많이 넣었는데, 그 문구나 개념이 소비자분쟁과 연관이 있다면 찾아보고 싶기 때문입니다. |
| |
그리고 내가 우리의...여기서 불용어를 관리하러 가보자. 내가 많은 불용어를 선언했음을 알 수 있을 것이다. 그래서 이것들은 모두 |
| |
주로 다른 단어를 집어삼킬 수 있기 때문에 분석에 포함하고 싶지 않습니다. |
| |
정말 자주 나오는 단어일 수도 있고, 가장 자주 나오는 단어 500개만 분석하라고 했다면 그걸 더럽히고 싶지 않습니다. |
| |
특히, 분쟁과 관련된 용어로 어빌리티가 반환되더라도 내가 정확히 무엇을 할지...그것으로 무엇을 할지 또는 어빌리티와 같은 일반적인 단어를 어떻게 해석할지조차 모르기 때문입니다. |
| |
따라서 시간을 들여 불용어와 구를 만들고 준비가 되면 빨간색 삼각형 아래에서 용어 선택을 불러옵니다. |
| |
그래서 우리가 할 때 우리는 먼저 우리를 선택합니다 |
| |
결과 변수이며 이 소비자가 이의를 제기했습니다. 그리고 우리는 분쟁이 발생할 확률 측면에서 이야기하고 싶습니다. |
| |
여기서 연속 및 범주형 결과 변수를 설정할 수 있습니다. 둘 다 작동합니다. 또한 우리는 분쟁에 대해 이야기하고 있다는 점을 언급해야 합니다. |
| |
아시다시피, 실제로 감정에 대한 일종의 대용물이라고 생각할 수 있습니다. 즉, 누군가가 무언가에 대해 이의를 제기한다면 아마도 그들이 행복하지 않기 때문일 것입니다. |
| |
그러나 일부 사람들은 감성을 더 직접적으로 측정하는 외부 변수가 있는 데이터를 가지고 있는 것이 일반적일 수 있습니다. 예를 들어 제품에 대한 별점은 실제로 만족을 나타냅니다. |
| |
따라서 텍스트 데이터와 함께 감정을 잘 측정할 수 있는 경우 이와 같은 도구를 사용하여 우리가 부르는 작업을 수행할 수 있습니다. |
| |
데이터 파생 감정 분석 - 이 도구를 사용하여 감정 측정을 예측하는 용어를 마이닝하여 기본적으로 감정 용어를 선택하고 자동으로 |
| |
그들의 점수가 무엇인지 찾는 것. 따라서 꽤 편리할 수 있습니다. 그것은 우리가 여기서 하는 일이 아닙니다. 보다 일반적인 방법으로 사용하고 있습니다. |
| |
좋습니다. 문서 용어 행렬에 대해 이진 가중치를 고수하겠습니다. 간결함을 유지하기 위해 가장 자주 사용되는 용어 200개만 살펴보겠습니다. |
| |
그 외에도 201항부터는 분석에 포함하지 않겠습니다. 실제로는 아마 더 많이 포함할 것입니다. 아시다시피 데모를 위해 이것이 멋지고 간결하기를 원합니다. |
| |
GenReg 사용자인 경우 |
| |
추정 및 검증 방법을 미리 지정하기 위한 wome 옵션. 기본값으로 두고 실행을 클릭하겠습니다. |
| |
JMP가 GenReg를 호출하고 있는 것입니다. 로지스틱 회귀 모델을 구축하고 탄성망 방법을 사용하여 변수 선택을 수행합니다. |
| |
두 번째 기술적 결함이 발생한 것 같습니다. 정말 죄송합니다. 이 모델이 적합한 대로 해결하도록 하겠습니다. 그럼 보자. 내 화면 공유를 다시 가져올 것입니다. |
| |
우리는 나를 다시 데려 올 것이다. 아직 녹음 중인 것 같으니 바로 진행하도록 하겠습니다. 결과는 다음과 같습니다. |
| |
보고서에 대해 자세히 알아보기 전에 먼저 요약 테이블에서 이 한 행만 살펴보겠습니다. 지금까지 구축한 단일 모델을 요약한 것입니다. |
| |
예를 들어 145개의 용어가 반환된 것을 볼 수 있습니다. AICc를 유효성 검사로 사용했고 AICc 값이 있습니다. 다른 적합 통계를 볼 수 있습니다. |
| |
그리고 모든 모델과 마찬가지로 데이터에 가장 적합한 모델을 구축하기 위해 모델에서 여러 번 실행을 시도할 수 있습니다. |
| |
여기 있는 이 일반화된 회귀 노드로 이동하면 GenReg가 실제로 텍스트 탐색기에 내장되어 있음을 알 수 있습니다. |
| |
우리가 맞춘 모델을 더 자세히 탐색할 수도 있고, 제 경우에는 더 잘할 수 있는지 확인하기 위해 실제로 모델을 하나 더 맞출 것입니다. 적응형 탄성망을 만들어 봅시다. |
| |
그리고 그 모델을 대신 피팅하고 우리가 이미 피팅한 일반 탄성망보다 더 나은지 확인합니다. |
| |
좋아, 그래서 그것은 그 모델에도 잘 맞았다. |
| |
요약으로 이동하면 이 항목이 이제 98개의 용어를 반환하고 실제로 AICc가 더 낮으므로 더 적합할 수 있음을 알 수 있습니다. |
| |
그래서 저는 그 모델로 갈 것입니다. 이제 원본을 사용하고 싶다면 클릭하면 됩니다. 보시다시피 아래 보고서는 이 표에서 내가 선택한 모델로 업데이트됩니다. |
| |
여기 아래에 용어 목록이 있습니다. 우리는 이미 이것에 대해 이야기 했으므로 계수의 관점에서 볼 수 있습니다. 그래서 여기에 가장...가장 큰 영향을 미치고 소비자 분쟁의 확률을 높이는 조건이 있습니다. |
| |
다음은 소비자 분쟁 가능성을 줄이는 데 가장 큰 영향을 미치는 것들입니다. 예를 들어, 그들 중 하나에서 전화를 끊었다는 것을 볼 수 있습니다. 물론 그들이 누군가에게 전화를 끊거나 누군가 전화를 끊었다는 것을 알 수 있습니다. |
| |
이것이 실제로 의사 소통 문제인 것처럼 들리고 해결하기가 조금 더 쉬울 수 있기 때문에 분쟁 가능성이 감소할 것으로 예측할 수 있습니다. |
| |
다시 말하지만 여기서 로그워스 값인 2.883에 주의를 기울이고 싶습니다. 이전에 언급한 경험 법칙인 2보다 약간 높으므로 괜찮다고 말할 수 있습니다. 제 생각에는 이것이 진짜라는 합리적으로 강력한 통계적 증거가 있다고 생각합니다. 협회. |
| |
그 지점을 집으로 운전하기 위해 여기로 내려가면 경찰이라는 단어가 보입니다. 그리고 제 첫인상은 사람들이 말하는 것입니다. 경찰 보고서를 작성했거나 경찰에 신고했습니다. |
| |
그들은 아마도 우리가 응답, 확률 논쟁을 발표하면 그냥 사라지지 않을 것입니다. 누군가가 이미 경찰을 부를 수 있는 수준에 이르렀다면 그것은 올라가야 합니다. |
| |
하지만 우리가 보면 |
| |
logworth, 우리는 이것에 대한 통계적 증거가 실제로 그렇게 강력하지 않다는 것을 잘 알 수 있습니다. 그래서 그것이 제 직관을 위반하지만, 아마도, 아마도, 아마도 완전히 사실이 아닐 수도 있습니다. |
| |
내가 이 일을 관리층까지 연결하고 사람들이 우리에게 경찰을 불렀다고 말하면 실제로 좋은 일이라고 말하고 싶은 시점은 아닙니다. 우리는 확실히 그렇게 말하지 않습니다. 여기 모델에 포함하기로 선택한 이유는 궁극적으로 |
| |
더 나은 피팅 모델을 만들 수 있지만 결과를 해석하는 데 우리 자신의 지식과 상식을 적용하는 것은 여전히 우리에게 달려 있습니다. |
| |
그래서 이 표는, 여러분이 정말로 하려는 것이 단지 용어를 식별하고 그 효과를 어느 정도 정량화하는 것이라면, |
| |
이것이 분석의 목표일 수 있습니다. 마우스 오른쪽 버튼을 클릭하고 데이터 테이블로 이동합니다. |
| |
이러한 용어와 해당 계수 및 로그 값의 데이터 테이블을 얻은 다음 이를 사용하여 이전 응답, 개선 노력에 대한 일부 분석을 안내하거나 향후 일종의 예측 모델에 포함되어야 하는 용어로 표시할 수도 있습니다. |
| |
하지만 여기에서 모델, 즉 회귀 모델을 구축했기 때문에 개별 문서 수준에서 다음에 대한 정보가 있습니다. |
| |
분쟁 확률 증가를 예측하는 계수의 총계, 감소를 예측하는 총계, 전체 모델 값, |
| |
모델이 할당한 것과 우리가 실제로 관찰한 것에 대한 논쟁. 따라서 개별 문서 수준에서 실제로 평가할 때 기대할 수 있는 모든 사항은 이 모델이 얼마나 잘 수행되는지입니다. |
| |
맨 위에는 개별 문서에 대한 일반적인 요약도 있습니다. 이 경우에는 개별 문서와... |
| |
해당 계수 값의 합 또는 평균. 예를 들어, 30,412개의 문서가 계수 값과 평균 계수 값의 합...양의 합계를 갖고 있는 것처럼 보입니다. 평균 기여도는 약 .57입니다. |
| |
다시 말하지만, 우리는 여기서 회귀 계수에 대해 이야기하고 있습니다. 따라서 이러한 기여 값, 계수 테이블, 이 모든 것은 구성할 때와 마찬가지로 해석되어야 합니다. |
| |
그렇지 않으면 선형 회귀 모델이므로 여기서는 로지스틱 회귀를 해석해야 합니다. |
| |
적절하게, 즉, 우리가 그것들을 지수화하면 로그를 처리하거나...실례합니다...오즈비를 처리하게 됩니다. 그래서 이것이 오즈가 증가하거나 감소하는 요소입니다 이 단어가 텍스트에 나타나면. |
| |
비록 당신이 회귀에 대해 별로 관심이 없는 경우에도 이러한 값은 어떤 용어가 가장 강력한 영향을 미치는지 또는 그렇지 않은지 확인할 수 있다는 점에서 보다 일반적인 의미에서 여전히 유용할 수 있습니다. 그리고 가장 강력한 증거가 있거나 없는 logworth도 마찬가지입니다. |
| |
이제 마지막으로 상상할 수 있듯이 용어 테이블을 저장하는 방법을 이미 알고 있지만 목표가 해당 용어 테이블이 아니라 실제로 모델인 경우 |
| |
당신이 만든 것을 저장하는 옵션도 있습니다. 그래서 저는 제가 사용하고자 하는 모델인 적응형 탄력망을 선택했고 빨간 삼각형 아래에 예측 공식을 저장할 수 있습니다. |
| |
그리고 내 컴퓨터가 여기에서 잠시 동안 휘저을 것이라고 생각합니다. 따라서 문서 용어 행렬을 저장하고 있으므로 우리가 지정한 상위 200개 용어에 대한 것이었고 공식도 다음과 같습니다. |
| |
해당 열 또는 해당 문서 용어 행렬에서 작동하여 모델을 실제로 계산합니다. 여기 문서 용어 행렬이 있습니다. |
| |
그런 다음 여기 마지막에 수식 열이 있으므로 이제 실제로 사용할 수 있습니다. |
| |
내가 원하는 경우 이 모델을 직접. |
| |
이것이 용어 선택입니다. 다시 높은 수준에서, 우리는 어떤 용어가 우리가 관심을 갖는 결과 변수와 가장 밀접하게 연관되어 있는지 찾고 있습니다. 그 결과를 주도하는 요인을 더 잘 해석하거나 해당 결과를 예측하기 위해 모델링 작업에 정보를 제공할 수도 있습니다. |
| |
이것으로 지난 봄에 다시 소개된 JMP Pro 16의 두 가지 새로운 텍스트 마이닝 기능인 용어 선택 및 감정 분석을 마무리합니다. |
| |
나는 지금 잠시 시간을 보내며 누군가가 가지고 있는 질문에 답할 것입니다. |
| |
이 두 가지 새로운 기능이 있습니다. 또한 나중에 언제든지 이 프레젠테이션의 사용자 커뮤니티 페이지에 추가 의견이나 질문을 게시할 수 있으며 저는 항상 주시할 것입니다. |
| |
들어오는 모든 질문에 대답하기 위해 열려 있습니다. 시간을 내주셔서 감사합니다, 여러분. 몸조리 잘해요. |