스피커
|
성적 증명서
|
| 로스 메투 살렘 |
안녕하세요, JMP가 JMP Pro 16에서 텍스트 마이닝 툴킷을 확장하는 방법을 알아 보는 데 시간을 내 주셔서 감사합니다. |
| |
감정 분석 및 용어 선택. |
| |
저는 미국 남동부 지역의 JMP 시스템 엔지니어 인 Ross Metusalem입니다.이 두 가지 새로운 분석에 대한 간략한 미리보기를 제공하고 작동 방식에 대해 약간 설명하고이를 사용하기위한 몇 가지 모범 사례를 제공합니다. |
| |
따라서이 두 가지 분석 기술은 모두 텍스트 탐색기에서 제공됩니다. 익숙하지 않은 사용자에게는 JMP의 |
| |
우리가 자유 또는 구조화되지 않은 텍스트라고 부르는 것을 분석하는 도구입니다. 이것이 자연어 텍스트입니다. |
| |
이것은 우리가 텍스트 마이닝 도구라고 부르는 것입니다. 자유 텍스트에서 정량적 정보를 추출하여 |
| |
다른 유형의 통계 또는 분석 도구를 사용하여 자유 텍스트에서 통찰력을 얻거나 해당 텍스트를 다른 분석에 대한 입력으로 사용할 수도 있습니다. |
| |
이제 JMP Pro 16의 텍스트 탐색기에 제공되는 두 가지 새로운 텍스트 마이닝 기술을 살펴보고 감정 분석부터 시작하겠습니다. |
| |
핵심적인 감정 분석은 텍스트가 감정적으로 긍정적인지 부정적인 지에 대한 질문에 답합니다. |
| |
그리고 우리는 미국 연방 준비 은행의 반복 보고서 인 베이지 북에 대한 감정 분석을 수행 할 것입니다. |
| |
이제 JMP Discovery Europe에서 미국 사례를 사용하는 것에 대해 사과하지만 Beige Book은 정서 분석이 무엇인지에 대한 멋진 데모를 제공합니다. |
| |
이것은 월간 간행물입니다. 국가 수준의 보고서와 해당 지역의 경제 상황을 요약 한 12 개의 지역 수준 보고서가 포함되어 있습니다.이 모든 것은 인터뷰 및 설문 조사와 같은 질적 정보를 기반으로합니다. |
| |
그리고 미국 정책 입안자들은 경제 정책을 추진하기 위해 전통적인 경제 지표의 정량적 정보와 함께 베이지 북의 질적 정보를 사용할 수 있습니다. |
| |
그래서 우리는 지금 감정이나 감정에 대해 이야기하고 있다고 생각할 것입니다. 경제 보고서에 많은 감정이 담길 거라는 건 모르겠지만 Beige Book 보고서와 많은 언어에는 실제로 감정을 전달하거나 전달할 수있는 단어가 포함되어 있습니다. |
| |
한 보고서에서 발췌 한 내용을 살펴 보겠습니다. 다음은 새로운 감정 분석 플랫폼의 스크린 샷입니다. |
| |
강조 표시된 일부 단어를 볼 수 있습니다. 이러한 단어를 감정 용어라고 부를 것입니다. |
| |
우리가 주장하는 용어는 그들에게 감정적 인 내용을 가지고 있습니다. 예를 들어 상단에는 "반면에 컴퓨터 판매는 심하게 침체되었습니다." |
| |
"심하게 우울함"이 자주색으로 강조 표시되어 부정적인 감정을 전달하는 것으로 간주하고 있음을 나타냅니다. 누군가 컴퓨터 판매를 "심각하게 우울함"으로 설명하는 것은 분명히 나쁜 것으로 해석하는 것 같습니다. . |
| |
아래를 내려다 보면 주황색으로 "개선"또는 "호의적"과 같은 긍정적 인 감정 용어가 강조 표시됩니다. 그래서 우리는 긍정적이거나 부정적인 감정을 가진 단어를 찾을 수 있습니다. |
| |
보라색은 부정적, 오렌지색은 긍정적이고 일부 감정 분석은 사물을 그 수준으로 유지하므로 이진 구분, 긍정적 인 텍스트 또는 부정적인 텍스트입니다. |
| |
감정 분석을 수행하는 추가 방법이 있으며 특히 |
| |
어떤 것이 긍정적인지 부정적인지뿐만 아니라 긍정 성 또는 부정성의 정도를 정량화하려는 여러 가지 방법이 있습니다. 따라서이 다른 예를 고려하여 "부족한 판매"보고서를 볼 수있는 여기 하단에 우리의주의를 집중 시키겠습니다. |
| |
우리가 "컴퓨터 판매가 심하게 부진했다"고 말한 것과 비교할 것입니다. |
| |
따라서이 두 가지 모두 부정적인 말이지 만, "심하게 우울함"이 단지 "가난함"보다 훨씬 더 부정적으로 들린다는 데 우리 모두 동의 할 것이라고 생각합니다. |
| |
그래서 우리는 정서가 긍정적인지 부정적 일뿐만 아니라 그것이 얼마나 긍정적인지 부정적인지 알아 내고 싶습니다. |
| |
텍스트 탐색기는 그렇습니다. 그럼 어떻게할까요? 음, 감정 용어 및 관련 점수를 기반으로하는 어휘 감정 분석이라는 기술을 사용합니다. |
| |
지금 우리가보고있는 것은 용어와 그 점수를 포함하는 감정 사전이라고 부르는 것에서 발췌 한 것입니다. |
| |
예를 들어 "판타스틱"이라는 용어의 점수는 양수 90이고 맨 아래에있는 "암흑"이라는 용어의 점수는 -75입니다. |
| |
그래서 우리가하는 일은 감정적 인 내용을 담고 있다고 믿는 용어와 그것들이 임의의 척도에서 긍정적이거나 부정적인 정도를 지정하는 것입니다. 여기서는 -100에서 100입니다. |
| |
그런 다음 모든 문서에서 이러한 용어를 찾아서 해당 문서가 전반적으로 얼마나 긍정적인지 부정적인지 점수를 매길 수 있습니다. |
| |
"심각하게 우울함"이라는 예를 다시 생각해 보면 "심각하게"라는 단어는 "우울함"이라는 단어를 취하고 우리가 부르는 것을 강화합니다. |
| |
그것은 표현 된 정서의 강화 기 또는 승수이므로 강화 기 사전과 그들이 정서 용어로 표현 된 정서에 무엇을하는지에 대한 사전도 있습니다. |
| |
예를 들어, "놀랍게도"는 감정에 1.4 배를 곱하고 "작은"은 감정에 .3 배를 곱하므로 실제로는 약간 표현 된 감정을 약화시킵니다. |
| |
이제 마지막으로 우리가 고려하고 싶은 또 다른 유형의 단어가 있습니다. 그것은 부정 자입니다. "아니오"와 "아니오"와 같은 것입니다. 우리는 이것을 기본적으로 극성 반전으로 취급합니다. 그래서 |
| |
"not fantastic"은 "fantastic"점수에 -1을 곱하는 것입니다. |
| |
따라서 이것은 어휘 감정 분석이라고도하는 감정 분석을 수행하는 일반적인 방법입니다. 그래서 우리가하는 일은 우리가 찾은 정서 용어를 가져와 관련된 강화제를 곱하는 것입니다. |
| |
그런 다음 각 문서에 대해 나타나는 개별 용어에 대한 모든 감정 점수가있을 때 해당 문서에 대한 감정 점수를 얻기 위해 모든 항목에 대해 평균을냅니다. |
| |
그리고 JMP는 이러한 점수를 여러 가지 유용한 방법으로 우리에게 반환합니다. 이건 정서 분석 도구의 스크린 샷입니다. 우리는 잠시 후에 이것을 사용할 것입니다. |
| |
하지만 무엇보다도 모든 문서에 대한 감정 점수 분포를 확인할 수 있습니다. 모든 감정 용어 목록과 발생 빈도를 제공합니다. |
| |
그리고 앞으로 보 겠지만 감정 점수를 내보내 그래프 나 분석에 사용할 수있는 기능도 있습니다. |
| |
그래서 저는 여기에 몇 개의 그래프를 만들어 초기 첫 번째 통과로 보려고했습니다. Beige Book 보고서의 정서는 실제로 우리가 생각하는 방식으로 경제 사건과 일치합니까? 알다시피, 우리는 이것에 대해 정말로 타당성이 있습니까? |
| |
어떤 종류의 경제 지표로서의 감정? 그리고 대답은 아마도 예, 아마도. |
| |
여기에 Graph Builder에서 만든 플롯이 있습니다. 시간이 지남에 따라 정서이므로 작은 회색 점이 모두 개별 보고서입니다. |
| |
그리고 파란색은 시간이 지남에 따라 정서의 경향을 보여줍니다. 적어도 우리의 점수 체계에 따르면, 0에있는 검정색 선은 중립적 인 정서를 보여줍니다. |
| |
빨간색 영역은 |
| |
연방 준비 은행이 공식적으로 나열한 경제 불황의시기. |
| |
따라서 정서가 바닥으로 보이거나 경기 침체 주변에 저점이 있음을 알 수 있지만 또 다른 점은 |
| |
실제로 각 경기 침체를 앞두고 몇 달 또는 경우에 따라 몇 년 전에 정서가 하락하는 것을 볼 수 있습니다. 그리고 우리는 감정이 크게 떨어지는 것을 보지 못합니다. |
| |
뒤따라야 할 불황이없는 상황에서. 따라서 경기 침체의 선행 지표로서 베이지 북 감정에 타당성이있을 수 있습니다. |
| |
지리적으로 보면 이해가되는 것도 볼 수 있습니다. 이것은 분석의 한 예일뿐입니다. 우리는 12의 감정을보고 있습니다 |
| |
1999 년부터 2000 년부터 2001 년까지의 연방 준비 은행 지구. 이것은 일반적으로 Dotcom Bust라고 불리는시기였습니다. |
| |
튀어 나온 기술 회사와 온라인 비즈니스의 큰 거품이 있었고, 결국 그들 중 많은 사람들이 실패했고 꽤 심각한 경제적 결과가있었습니다. |
| |
99 년에서 2000 년 사이의 정서가 커지고 있습니다. 사실 정서가 꽤 강하게 성장하고 있습니다. |
| |
샌프란시스코 연방 준비 은행 지구에서 이러한 회사의 대부분이 본사를두고 있습니다. 그리고 2001 년 파산 이후 가장 큰 하락은 여기에 빨간색으로 표시된 부정적인 감정으로 이어졌습니다. 샌프란시스코 지역에서 다시 발생했습니다. |
| |
따라서 이러한 베이지 북 감정 점수에 대한 빠른 그래픽 확인은 일부 경제 이벤트를 추적하거나 예측할 수있는 능력 측면에서 실제 타당성이 있음을 시사합니다. 물론 후자는 더 조사해야합니다. 조심스럽게. |
| |
그러나 이것은 정서 분석의 잠재적 인 사용 사례 중 하나 일 뿐이며 더 많은 것이 있습니다. |
| |
현재 사용되고있는 가장 큰 응용 분야 중 하나는 소비자 조사에서 사람들이 분석 할 수 있습니다. |
| |
긍정적 또는 부정적인 의견이나 반응을 유도하는 요소를 식별하기위한 일부 소비자 설문 조사 응답. |
| |
그러나 감정 분석은 제품 리뷰 또는 보증 청구를 분석하여 고객에게 강한 감정적 반응을 이끌어내는 제품 기능이나 문제를 찾는 데 도움이 될 수있는 제품 개선에도 사용될 수 있습니다. |
| |
예를 들어 고객 지원을 보면 콜 센터 또는 채팅을 분석 할 수 있습니다. |
| |
고객을 행복하거나 불행하게 만드는 몇 가지 지원 사례를 찾습니다. 공공 정책 일 수도 있고, 공개 논평을 분석하여 제안 된 정책이나 기존 정책에 대한 대중의 반응을 측정합니다. |
| |
이들은 감정 분석을 적용 할 수있는 몇 가지 영역에 불과합니다. 어떤 감정을 전달하고 그 감정이 유익 할 수있는 텍스트가있는 모든 곳에서 실제로 적용 할 수 있습니다. |
| |
그게 제가 말씀 드리고 싶은 전부입니다. 이제 JMP에서 작동하는 방식을 설명하는 데 약간의 시간을 할애하고 싶으므로 JMP로 넘어가 보겠습니다. |
| |
여기 Beige Book 데이터가 있습니다. 아래쪽에는 5,000 개가 약간 넘는 보고서가 있고 각 보고서의 날짜는 |
| |
1972 년 5 월 2020 년 10 월, 12 개 지구 중 어느 지역에서 왔는지, 그리고 보고서의 텍스트. 이 보고서는 |
| |
그들은 단지 당신이 알고있는 빠른 진술이 아닙니다. 경제가 잘되고 있거나 나쁘고, 그들은 어느 정도의 세부 사항에 들어갈 수 있습니다. |
| |
이제이 데이터에 뛰어 들기 전에 Beige Book을 분석하고 실제로 데이터를 가져 와서 JMP로 가져 오는 아이디어에 대해 누군가에게 감사를 표하고 싶습니다. |
| |
분석 할 준비가되었습니다. 잘 모르겠다면 Xan은 JMP 개발 팀의 이사이자 Graph Builder의 제작자 인 Xan Gregg에게 감사드립니다. 도움을 주신 Xan에게 감사드립니다. |
| |
좋아, 그럼이 모든 보고서에서 긍정적 인 감정과 부정적인 감정의 정도를 정량화 해 봅시다. 분석 메뉴에서 텍스트 탐색기를 사용합니다. |
| |
여기에 시작 창이 있습니다. 텍스트 데이터를 가져 와서 텍스트 열 역할에 넣겠습니다. 시작하기 전에 강조해야 할 몇 가지 사항입니다. |
| |
텍스트 탐색기는 다국어를 지원하지만 지금은 감정 분석이 영어로만 제공되며 제가 주목하고 싶은 또 하나는 바로 여기서 형태소 분석입니다. |
| |
따라서 텍스트 분석을 수행하는 사람들에게는 형태소 분석이 무엇인지 잘 알고있을 것입니다.하지만 익숙하지 않은 사람들에게는 형태소 분석이 우리가 여러 부분을 축소하는 과정입니다. |
| |
글쎄, 비 기술적으로 유지하려면 같은 단어의 여러 버전을 함께 사용하십시오. "강함", "강함"및 "가장 강함"을 선택하십시오. 그래서 이것들은 세 |
| |
같은 단어 "strong"의 버전과 일부 텍스트 마이닝 기술에서는 실제로 모든 것을 하나의 용어로 결합하고 "오, 모두"strong "을 의미하는 것이 개념적으로 동일하기 때문입니다. |
| |
사실 여기서는 어간을 남겨 두겠습니다. 왜냐하면 ... "가장 강하게"가져 가라. |
| |
강하다는 것을 알고 있지만 더 강해질 여지가 여전히 존재한다고 말하는 "강함"과 비교합니다. |
| |
따라서 "strongest"는 "stronger"보다 더 높은 정서 점수를 받아야하며, 줄기를 줄이면 그 단어 간의 구별을 잃게됩니다. 나는 그 차이를 잃고 싶지 않기 때문에 그들에게 다른 감정 점수를주고 싶다. 나는 여기서 계속 말을 끊을 것입니다. |
| |
확인을 클릭합니다. |
| |
그리고 JMP는 이제 텍스트를 토큰화할 것입니다. 즉, 모든 개별 단어로 나누고 각 단어가 얼마나 자주 발생하는지 세는 것입니다. |
| |
그리고 여기에 모든 용어 목록과 그 빈도가 있습니다. 따라서 "sales"는 46,000 회 이상 발생하고 여기에 구문 목록도 있습니다. 그래서 문구는 |
| |
자주 발생하는 두 개 이상의 단어의 시퀀스입니다. 때로는 실제로이 단어를 |
| |
분석. 감정 분석을 위해 어구 목록을 살펴보고 두 단어 인 "부동산"을 추가 할 수 있습니다.하지만 실제로는 재산을 의미합니다. |
| |
그리고 그것을 추가 할 수 있습니다. 이제 일반적으로 텍스트 분석에서 불용어를 추가합니다. |
| |
그것은 우리 분석의 맥락에서 실제로 의미를 갖지 않는 단어이며 제외하고 싶습니다. "지구"를 선택하십시오. 이런 일이 발생하거나 베이지 북은 |
| |
"지구"라는 단어는 자주 "리치몬드 지구에서 온이 보고서"라는 말을 자주 사용하는데 그다지 의미가 없습니다. |
| |
하지만 저는 실제로 여기에서 불용어에 대해 신경 쓰지 않을 것입니다. 왜냐하면 여러분이 기억한다면, |
| |
슬라이드에서 돌아와서 우리는 모든 감정 점수가 사전을 기반으로하며, 여기서 감정 단어를 선택하고 어떤 점수를 받아야한다고 말했습니다. |
| |
그리고 "district"만 남겨두면 본질적으로 0 점을 받고 감정 점수에 영향을주지 않으므로 실제로 중지 단어로 선언 할 필요가 없습니다. |
| |
준비가되면 여기 빨간색 삼각형 아래에 텍스트를 호출하거나 실례합니다. 감정 분석을합니다. |
| |
그래서 JMP가 지금하고있는 일은 우리가 감정 용어를 선언하지 않았기 때문에 내장 된 감정 사전을 사용하여 모든 문서에 점수를 매기고 있습니다. 여기서 우리는 점수를 얻습니다. |
| |
이제 이러한 결과를 탐색하기 전에 감정 사전을 사용자 정의하여 단어와 점수를 포함하는 감정을 만들어야합니다. 그 이유는 다른 도메인에서 |
| |
텍스트를 생성하는 다른 사람들과 함께 특정 단어는 다른 수준의 감정을 나타내거나 다른 경우가 아닌 경우에 감정을 품을 것입니다. 그래서 우리는 |
| |
우리가 지금 분석하고있는 언어로 전달되는 정서를 정확하게 포착했다고 느끼는 정서 사전을 정말 신중하고 철저하게 만듭니다. |
| |
그래서 제가 말했듯이 JMP는 내장 된 사전을 사용하며 꽤 드뭅니다. 여기 보시면 이모티콘이 있고 |
| |
이 작은 스마일리와 다른 것들처럼,하지만 우리는 -90의 "abysmal"과 같은 꽤 명확한 감정 표현 언어를 가지고 있습니다. |
| |
이제 누군가가 "abysmal"이라는 단어를 사용하고 부정적인 의미로 의미하지 않는 경우가 아닐 것입니다. 그래서 우리는 그것에 대해 꽤 기분이 좋습니다. 그러나 아시다시피, 목록이 너무 길지는 않으며 몇 가지 용어를 추가 할 수 있습니다. |
| |
그럼 우리가 어떻게하는지 보도록하겠습니다. 제가 추천 할 수있는 한 가지는 데이터를 보는 것입니다. 아시다시피, 가지고있는 문서를 읽고 감정을 나타낼 수있는 단어를 찾으십시오. |
| |
우리는 실제로 문서를 정독하고 감정 용어를 직접 추가 할 수있는 도구가 있습니다. 여기에 문서 목록이 있습니다. 문서 1이 강조 표시되고 문서 1이 아래에 표시되는 것을 볼 수 있습니다. 다른 문서를 선택하여 볼 수 있습니다. |
| |
이제 문서 1을 즉시 살펴보면 "비관주의"및 "낙관주의"와 같은 몇 가지 잠재적 인 감정 용어를 발견 할 수 있습니다. |
| |
이제 강조 표시되지 않은 것을 볼 수 있습니다. 이들은 실제로 표준 감정 사전에 포함되어 있지 않습니다. |
| |
그리고 여러분이 실제로 찾을 수있는 많은 명사는 그렇지 않습니다. 그것은 "비관주의"나 "낙관주의"와 같은 명사는 기본적으로 그들의 존재 또는 부재를 암시하는 방식으로 설명 될 수 있기 때문입니다. 그래서 저는 "비관론이 감소하고 있습니다"라고 말할 수 있습니다. |
| |
"비관주의의 뚜렷한 부족이있다" "비관주의는 더 이상보고되지 않는다." |
| |
그리고 그러한 경우에 우리는 "비관주의"가 부정적인 것이라고 말하지 않을 것입니다. 그것은 ... 그래서 당신은 조심스럽고 단어들을 정서 사전에 추가하기 전에 문맥에서 단어가 실제로 어떻게 사용되는지에 대해 생각하고 싶습니다. |
| |
예를 들어 여기에서 용어 목록으로 돌아갈 수 있습니다. 필터를 보여 드리겠습니다. |
| |
"비관주의"를 찾은 다음 텍스트를 표시하여 어떻게 사용되는지 살펴보세요. 그래서 우리는 첫 번째 예에서 "우리 감독들의 분위기는 비관론에서 낙관론까지 다양하다"는 것을 알 수 있습니다. |
| |
그리고 다음 |
| |
"비관주의의 깊은 분위기를 사적인 대화." 실제로 읽어 보셨다면, 이것이 전형적인 사용입니다. 사실 베이지 북에서는 제가 두려워 할 수있는 방식으로 비관주의라는 단어를 사용하지 않는 것 같습니다. |
| |
"낙천주의가 증가하고 있습니다." |
| |
그래서 저는 실제로 여기에 "비관론"을 추가하는 것에 대해 괜찮다고 느낍니다. 그래서 그것을 우리의 감정 사전에 추가합시다. |
| |
그래서 제가 그 위에 마우스를 올려 놓으면 |
| |
당신은 우리가 그것으로 무엇을할지에 대한 몇 가지 옵션을 제시하는 것을 볼 수 있습니다. 여기에서 -60 점을 줄 수 있습니다. |
| |
이제 해당 점수와 함께 사전에 추가되고 JMP에서 업데이트 된 감정 점수가 트리거됩니다. 즉, 이제 "비관론"이라는 단어를 찾고 그것을 찾은 모든 문서 점수를 조정합니다. |
| |
이제 다시 돌아가 감정 용어를 더 자세히 살펴 보겠습니다. 아래로 스크롤하면 "비관주의"를 찾을 수 있습니다 |
| |
바로 여기에 -60 점을주었습니다. 이제 저는 실제로 ... "비관적"은 기본적으로 -50 점을 가지고 있으므로 여기에 -50을 입력하여 일관성을 유지합니다. |
| |
그리고 할 수는 있지만 그렇게하지 않을 것입니다. 다른 업데이트를 트리거하지 않도록하기 위해서입니다. |
| |
여기에서 가능한 감정 용어 목록도 확인할 수 있습니다. 따라서 이것은 JMP가 감정을 품고있는 것으로 식별 한 용어이며,이를 살펴보고 사전에 포함 할 수 있는지 고려할 수 있습니다. |
| |
예를 들어 여기에서 "strong"이라는 단어는 오른쪽에있는 문서 텍스트 중 일부를 보면 "좋아요. 이것은 분명히 긍정적 인 것입니다."라고 말할 수 있습니다. 이러한 예를 많이 살펴보면 |
| |
"강하다"라는 단어와 이에 상응하는 "약한"이라는 단어는이 경제학자들이 현재 경제에 대해 좋거나 나쁘게 이야기 할 때 많이 사용하는 단어입니다. |
| |
그래서 저는 그것들을 추가하거나 여기에 "strong"을 추가 할 수 있습니다. 예를 들어 거기에있는 버튼의 양수 60을 클릭합니다. 다시 말하지만, 감정 분석을 신속하게 처리하기 위해 지금 당장은하지 않겠습니다. |
| |
그래서 우리는 아래에있는 텍스트와 같이 여기에있는 감정 용어 목록을 살펴보고 좋은 후보자를 선택할 수 있습니다. |
| |
빨간색 삼각형 아래에서 감정 용어를보다 직접적으로 관리 할 수도 있습니다. |
| |
문구 관리 및 불용어 관리와 같이 텍스트 탐색기 사용자에게 익숙한 용어 관리 목록입니다. |
| |
모든 기본 제공 용어 외에도이 특정 분석에 로컬로 하나의 새 용어가 추가되었음을 알 수 있습니다. 물론 예외를 실제로 포함하지 않으려면 예외도 선언 할 수 있습니다. |
| |
그리고 중요한 것은 감정 사전을 가져오고 내보낼 수도 있다는 것입니다. 감정 용어를 선언하는 또 다른 방법은 주제별 전문가와상의하는 것입니다. 알다시피 |
| |
경제학자들은 아마도 그들이보기를 기대하는 단어의 유형에 대해 많은 것을 말할 것입니다. |
| |
이 보고서에서 긍정적이거나 부정적인 감정. 그리고 우리가 그들과 이야기를 나눌 수 있다면, 우리는 그들이 그것에 대해 무엇을 말해야하는지 알고 싶을 것입니다. 그리고 우리는 그들과 함께 탭으로 분리 된 파일에서 사전을 도출 한 다음 여기로 가져올 수도 있습니다. |
| |
그리고 당연히 우리가 기분이 좋은 사전을 만든 후에는 나중에 다시 적용하기 쉽도록 내보내고 저장해야합니다. |
| |
그래서 실제로 감정 사전을 큐레이팅하는 방법에 대해 약간 설명했습니다. 또한 중요합니다 |
| |
강화 용어와 부정 용어를 큐레이팅하고 여기에서는 점수를 볼 수 없습니다. 왜냐하면 이것은 극성 반전 일 뿐이 기 때문입니다. |
| |
실제로 어떻게 생겼는지 조금 더 보여 드리기 위해 ... 여기에서 감정을 살펴보면 다음과 같은 경우를 볼 수 있습니다. |
| |
JMP는 이러한 감정 용어 중 일부 앞에 "not"이라는 단어를 발견하고 실제로 적절한 점수를 적용했습니다. 따라서 상단에서 "허용되지 않음"은 -25 점을 얻습니다. |
| |
그래서 저는 여러분에게 이러한 부정기와 강화제가 JMP에 의해 자동으로 적용된다는 사실에 여러분의주의를 환기시킵니다. |
| |
그러나 어쨌든 분석을 설정하는 방법에 대해 이야기하는 것에서 실제로 결과를 보는 것으로 넘어 갑시다. 그래서 저는 |
| |
이미 완료된 분석의 한 버전입니다. 즉, 저는 이미 감정 사전을 큐레이팅했으며 우리가 얻은 결과를 실제로 해석 할 수 있습니다. |
| |
여기에 높은 수준의 요약이 있으므로 부정적인 문서보다 더 긍정적 인 문서가 있습니다. 우리가보기 전에 논의했듯이, 아시다시피 각각 몇 개입니다. 사실, 왼쪽 표의 맨 아래에는 감정이 전혀 표현되지 않은 문서가 하나 있습니다. |
| |
"강함"발생 14,000 회, "약함"발생 약 4,500 회 |
| |
이들의 수나 점수로보고, 가장 부정적이고 긍정적 인 것을보고, |
| |
맥락에서 보는 것조차도 그 자체로 꽤 유익 할 수 있습니다. 특히 소비자 조사와 같은 영역에서 사람들이 언제 긍정적으로 느끼거나 긍정을 표현하는지 알고 싶다면 |
| |
우리 브랜드 나 우리가 가지고있는 일부 제품에 대해, 어떤 유형의 언어를 사용하고 있는지, 마케팅 노력에 영향을 미칠 수 있습니다. 이 감정 용어 목록은 이와 관련하여 매우 유익 할 수 있습니다. |
| |
조작, |
| |
관광, 투자. 그리고 때때로 우리는 특히 기능이라고 부르는 하위 도메인 중 하나에 집중하고 싶습니다. |
| |
감정 분석에서이 기능 탭으로 이동하면 검색을 클릭합니다. JMP는 감정 용어와 함께 일반적으로 발생하는 일부 단어를 찾아 해당 기능과 관련하여 감정에 빠져들고 싶은지 묻습니다. |
| |
예를 들어 "판매"를 생각해보십시오. 우리는 "매출이 약한 것으로보고되었다", "매출이 약 해졌다", "판매가 잘 유지되고있는 것으로보고되었다"등을 볼 수 있습니다. |
| |
그래서 제가이 선택된 기능에 점수를 매기면 JMP가 할 일은 더 큰 보고서 내에서 "판매"에 대한 언급과 관련해서 만 감정 점수를 제공하는 것입니다. 그러면 분석을 구체화하거나 분석에 집중하는 데 도움이 될 것입니다. 정의 된 하위 도메인. |
| |
그리고 그것은 특히 중요합니다. |
| |
우리가 분석하는 언어의 도메인이 너무 제한적이지 않은 경우 일 수 있습니다. 예를 들어, |
| |
제품 리뷰. 사람들이 제품에 대해 얼마나 긍정적이거나 부정적인 느낌을 받는지에 관심이 있지만, 배송에 대해 이야기 할 수도 있으며 배송에 대해 너무 만족스럽지 않은지 신경 쓰지 않아도됩니다. 주로 통제 할 수 없기 때문입니다. . |
| |
해당 배송에 대해 언급하는 여러 리뷰 만 포함하고 싶지는 않을 것입니다. 따라서 분석 영역을 고려하고 적절하게 제한하는 것이 중요하며 여기에있는 기능 찾기가이를 수행하는 한 가지 방법입니다. |
| |
이제 "판매"에서 점수를 얻었으므로 긍정적 인 문서와 부정적인 문서의 분포가 매우 다릅니다. 감정 점수가없는 문서가 더 많이 있습니다. |
| |
단순히 판매에 대해 이야기하거나 감정적 인 언어를 사용하여 논의하지 마십시오. 우리는 현재 특히 판매를 포착하는 다른 감정 용어 목록을 가지고 있습니다. |
| |
제거하겠습니다. |
| |
내가 언급하는 것을 잊었다는 것을 깨달았습니다. 간단히 언급했습니다. 우리가 살펴본 전체 문서 점수가 어떻게 계산되는지, 그리고 그것들이 모든 감정 용어의 평균이라고 말했습니다. |
| |
특정 문서에서 발생했습니다. 이제 문서 1을 살펴 보겠습니다. 나는 당신에게 그것을 보여주고 싶습니다 |
| |
이 점수의 출처가 궁금하다면 -20이라고 가정 해 보겠습니다. 마우스를 바로 위에 올려 놓으면 나타나는 모든 감정 용어 목록이 표시됩니다. |
| |
보시다시피, 여기 아래에있는 모든 것을 포함하여 16 개가 있습니다. "진짜 밝은 점"은 +78입니다. 그리고 나누면 ... 모든 점수를 더합니다. 78로 나누기 ... |
| |
또는 16으로 나누면 실례합니다. 그러면 평균 감정이 -20이됩니다. 그리고 이것은 전체 점수를 제공하는 두 가지 방법 중 하나입니다. 다른 하나는 최소 최대 점수이므로 최소와 최대의 차이 |
| |
텍스트에 표현 된 감정. |
| |
이제 우리는이 보고서를보고 많은 정보를 얻을 수 있습니다. 분명히 가장 일반적인 용어 인 감정 점수를 알 수 있습니다. |
| |
하지만 종종 우리는 감정을 받아들이고 다른 방식으로 사용하기를 원합니다. |
| |
슬라이드에서했던 것처럼 그래픽으로보십시오. 따라서 분석의 해당 부분이 올 때 여기 빨간색 삼각형으로 이동하십시오. |
| |
문서 점수를 저장합니다. 그리고이 점수를 데이터 테이블에 다시 저장하여 추가 분석에 입력하거나 원하는 작업을 그래프로 표시 할 수 있습니다. |
| |
JMP Pro 16의 텍스트 탐색기에 제공되는 감정 분석에 대한 미리보기입니다. 테이크 홈 아이디어는 감성 분석이 감성 사전을 사용한다는 것입니다. |
| |
각 문서의 긍정적이고 부정적인 감정적 내용에 해당하는 점수를 제공하도록 설정 한 다음 거기에서 정보를 유용한 방식으로 사용할 수 있습니다. |
| |
이제 감정 분석을 뒤로하고 곧 텍스트 탐색기에 제공 될 다른 기술에 대해 이야기하기 위해 슬라이드로 돌아가겠습니다. |
| |
그리고 그것은 용어 선택입니다. 여기서 용어 선택은 다른 질문에 답합니다. 즉, 어떤 용어가 제가 관심을 갖는 중요한 변수 나 변수와 가장 밀접하게 연관되어 있습니까? |
| |
우리는 베이지 북을 고수 할 것입니다. |
| |
우리는 어떤 단어가 경기 침체와 통계적으로 관련이 있는지 물어볼 것입니다. 여기 그래프에서 시간이 지남에 따라 백분율 변화가 |
| |
분기 별 GDP (국내 총생산)는 파란색이 경제 성장을 나타내고 빨간색은 경제 수축을 나타냅니다. 그리고 우리는 궁금 할 것입니다. |
| |
Beige Book에 나오는 용어는 이러한 경제 침체 기간과 통계적으로 연관 될 수 있습니까? 예를 들어 바로 여기에 몇 가지가 있습니다. |
| |
왜 베이지 북의 특정 용어를 경기 침체기와 연관시키고 싶을까요? |
| |
글쎄, 용어 목록을 얻는 것은 잠재적으로 그 자체로 유익 할 수 있습니다. 알다시피, 잠재적으로 일부를 찾을 수 있습니다. |
| |
내가 알지 못하거나 정량적 데이터에서 쉽게 포착 할 수있는 경기 침체의 원인 또는 영향. |
| |
추가 분석을 위해 몇 가지 단어를 찾을 수도 있습니다. 내가 ... 좀 찾을 수 있을지도 몰라 |
| |
잠재 감정 용어, 경제가 특히 저조 할 때 사용되는 용어로, 감정 분석을 할 때 처음 놓친 용어입니다. |
| |
또는 경기 침체와 매우 밀접한 관련이있는 단어를 찾을 수있을 것이므로 예측 모델에서이 단어를 사용하여 향후 경기 침체가 언제 일어날 지 알아낼 수있을 것입니다. |
| |
따라서 경기 침체와 가장 밀접한 관련이있는 단어를 알고 싶어하는 몇 가지 이유가 있습니다. |
| |
그렇다면 이것이 JMP에서 어떻게 작동합니까? 글쎄, 우리는 기본적으로 결과 변수가 우리가 관심을 갖는 변수, 경기 침체이고 입력이 모두 다른 단어 인 회귀 모델을 구축합니다. |
| |
모델에 입력 된 데이터는 문서 용어 행렬의 형식을 취합니다. 여기서 각 행은 |
| |
하나의 문서 또는 하나의 Beige Book 보고서, 열은 해당 보고서에 나오는 단어를 캡처합니다. 여기에 "weak"열이 강조 표시되고 "binary"라고 표시되어 있습니다. |
| |
그것은 1과 0을 포함 할 것입니다; 1은 보고서에 "weak"이라는 단어가 포함되어 있음을 나타내고 0은 해당 보고서에 "weak"이라는 단어가 포함되지 않았 음을 나타냅니다. 그리고 이것은 우리가 문서에 점수를 매길 수있는 몇 가지 방법 중 하나입니다.하지만 지금은이 바이너리를 고수 할 것입니다. |
| |
그래서 우리는이 정보를 가지고 회귀 모델에 입력합니다. 출시가 어떻게 될지 여기에 있습니다. |
| |
우리는 경기 침체를 Y 변수로 사용하고 그것은 일종의 예 또는 아니오 변수입니다. 그리고 우리는이 모든 이항 항 예측 변수를 모델 효과로 입력했습니다. |
| |
그런 다음 JMP Pro의 일반화 회귀 도구를 사용할 것입니다. |
| |
모델을 구축하기 위해 일반화 회귀 또는 GenReg라고 부르는 자동 변수 선택 기술이 포함되어 있기 때문입니다. 그래서 당신이 익숙하다면 |
| |
정규화 회귀, 우리는 Lasso 또는 Elastic Net처럼 이야기하고 있습니다. 그리고 그것이 무엇을 의미하는지 모른다면, 그것은 완전히 괜찮습니다. 아이디어는 자동으로 |
| |
결과 변수 "불황"과 가장 밀접한 관련이있는 용어를 찾은 다음 그와 관련이 없다고 생각하는 용어를 찾아 제로화합니다. |
| |
그리고 이것은 우리가 "불황"과 연관 될 수있는 수백, 수천 개의 단어 사이의 관계를 볼 수있게합니다. |
| |
그러면 분석을 실행하면 무엇을 얻을 수 있습니까? |
| |
우리는 모델을 꺼냅니다. 그래서 여기에있는 것은 그 모델에 대한 방정식입니다. 너무 걱정하지 마십시오. 아이디어는 우리가 말하는 것입니다 |
| |
불황의 로그 확률입니다. 그래서 그것은 우리가 불황에 빠졌을 확률의 함수이고 Beige Book이 발행 될 때의 함수입니다. |
| |
Beige Book 보고서에 나올 수있는 모든 다른 단어. |
| |
그리고 우리는 1.94의 계수를 가진 "pandemic"이라는 단어의 발생 효과를 볼 수 있습니다. |
| |
이것은 Beige Book 보고서에 "전염병"이라는 단어가 언급되면 "불황"의 로그 확률이 1.94만큼 올라간다는 것을 의미합니다. 그런 다음 마이너스 1.02 배 "게인"을 봅니다. 글쎄, 그것은 Beige Book 보고서에서 "gain"이라는 단어를 언급한다면 불황의 가능성이 ... |
| |
또는 경기 침체의 로그 배당률이 1.02만큼 떨어집니다. |
| |
그래서 우리는 "전염병", "연기", "취소", "차압"과 같이 경기 침체 가능성의 증가와 밀접한 관련이있는 용어 목록에서 빠져 나옵니다. |
| |
또한 "이득", "강화", "경쟁"과 같이 경기 침체 가능성 감소와 관련된 용어 목록도 제공됩니다. |
| |
우리는 또한 바로 거기에서 "제조"를 볼 수 있지만 상대적으로 작은 계수를 가지고 있습니다. 약 -.2입니다. |
| |
여기에서 실제로 눈치 채 셨을 것입니다.이 분석에서 선택된 모든 용어의 그래픽 표현을 살펴보면 "제조"와 같은 특정 도메인이 너무 많지는 않습니다. |
| |
"관광", "투자"등등. 왜냐하면 우리가 경기 침체에 있든 아니든 항상 그런 것들에 대해 이야기하기 때문입니다. 그래서 우리가 실제로 사용되는 단어를 찾고있는 것은 |
| |
우리가 우연히 예상했던 것보다 더 자주 불황에 빠질 때. 예를 들어, |
| |
"전염병"이 가장 예측 가능합니다. 많은 의미가 있습니다. 우리는 아주 최근까지 전염병에 대해 전혀 이야기하지 않고 있고 최근에 경기 침체를 경험했기 때문에 그 사실을 아주 분명하게 파악했습니다. |
| |
그런 다음 우리는 이런 종류의 두 번째 계층에 몇 가지 다른 것이 있습니다. "연기" "취소", "미 폐쇄", "악화", "비관적"입니다. |
| |
그리고 그것은 일종의 흥미 롭습니다.이 "연기"와 "취소"는 경기 침체와 관련이 있습니다. 경제 활동을 연기하는 것에 대해 정말로 이야기하고 싶습니다. |
| |
경기 침체가 일어나거나 적어도 그것은 아마도 믿을만한 추세 일 것입니다. 그것은 ... 그래서 그것은 그 자체로 통찰력입니다. 사실, 나는 |
| |
즉, 연방 준비 은행이 경제 활동의 연기 또는 취소를 추적하는 방법을 말할 수는 없지만이 분석에서 이러한 용어가 표시된다는 사실은 추적할만한 가치가 있음을 시사합니다. |
| |
자, 이것이 용어 선택입니다. 우리는 실제로 경기 침체와 관련된이 멋진 용어 목록을 얻고 연관성의 상대적 강도를 볼 수 있습니다. 이제 여기서 간단히 JMP에서 어떻게 수행되는지 살펴 보겠습니다. |
| |
그래서 저는 JMP로 다시 돌아가서 약간 다른 데이터 테이블을 가져 오는 것입니다. 그래도 여전히 베이지 북 데이터이지만 이제는 전국 보고서 만 있습니다. |
| |
그리고 우리는 미국이 그 당시 불황에 있었는지 여부에 관계없이이 변수를 가지고 있습니다. 물론 이러한 데이터에는 몇 가지 자동 상관 관계가 있습니다. 내 말은, 우리가 지난달 불황에 빠졌다면 그렇지 않을 때보 다 이번 달에 불황에 빠질 가능성이 더 큽니다. |
| |
일반적으로 회귀 기반 분석에서 문제가 될 수 있다는 것을 알고 있지만 이것은 순전히 탐색 적입니다. 우리는 그것에 너무 관심이 없습니다. |
| |
그래서 저는 테이블 스크립트에서 Text Explorer를 끌어 올 것입니다. 우리는 이전에 어떻게 시작되었는지 보았습니다. |
| |
이전에했던 것처럼 이미 몇 가지 구문을 작성했습니다. 불용어도 추가했습니다. 여기서는 볼 수 없지만이 분석에서 반드시 반환되기를 원하지 않는 단어입니다. |
| |
그리고 저는 형태소 분석을 켰습니다. 이것은 용어 목록의 작은 점이 의미하는 것입니다. 예를 들어, "증가"에 대한 이것은 실제로 "증가", "증가", "증가"에 걸쳐 축소됩니다. |
| |
그 이유는 이제 저는 그것들을 모두 같은 개념으로 생각하고 그 개념이 경기 침체와 관련이 있는지 알고 싶기 때문입니다. |
| |
따라서 용어 선택을 호출하려면 빨간색 삼각형으로 이동하고 여기에서 선택하겠습니다. |
| |
먼저 제어 창이 뜹니다. 아니면 우리가 관심을 가지는 변수를 선택하는 섹션이 불황입니다. 목표 수준을 선택하여 경기 침체가 없을 가능성이 아니라 경기 침체 가능성의 관점에서이 값을 지정하고 싶습니다. |
| |
일부 모델 설정을 지정할 수 있습니다. GenReg에 익숙한 경우 두 가지 중 하나를 원하는지 여부에 관계없이 조기 중지를 원하는지 여부를 선택할 수 있습니다. |
| |
변수 선택을 수행하기위한 페널티, 유효성 검사를 수행 할 통계. 그리고 그것이 당신에게 새로운 것이라면 그것에 대해 너무 걱정하지 마십시오. 처음에는 기본 설정을 사용하는 것이 좋습니다. |
| |
우리는 우리의 가중치를 가지고 있습니다. 기억한다면 그 열에 "약함"에 대한 1과 0이 있었는데, 단지 문서에서 단어가 발생했는지 여부를 말하지만 원하는 것을 선택할 수 있습니다. 그래서 |
| |
예를 들어, 빈도가 아닌, "약한"발생 여부, 발생 횟수입니다. 그리고 이러한 종류는 결과를 해석하는 방식에 영향을 미칩니다. 지금은 바이너리를 사용하겠습니다. |
| |
하지만 기본적으로 400 개 대신 가장 자주 사용되는 용어 1,000 개를 확인하고 싶습니다. 보시다시피 436 개보다 훨씬 많은데, 일반적으로 1,000X가있는 모델에는 적합하지 않습니다. 하지만 436 |
| |
관찰하지만 덕분에 |
| |
일반화 회귀에서 자동 변수 선택, 이것은 문제가되지 않습니다. 따라서 다시 한 번이 천 개의 용어 중 가장 밀접한 관련이있는 용어를 선택하므로 이름 용어 선택입니다. |
| |
그래서 이것을 실행할 것입니다. 무슨 일이 일어 났는지 알 수 있습니다. JMP가 일반화 된 회귀 플랫폼에 호출하고 이러한 결과를 반환했습니다. 여기에서 모델에 적합한 정보를 볼 수 있습니다. 예를 들어 37 개의 용어가 반환되었습니다. |
| |
그냥 넘어가겠습니다. 여기 오른쪽이 정말 귀중한 정보를 찾을 수 있기 때문입니다. 불황과 가장 밀접한 관련이있는 용어 목록입니다. |
| |
이제 계수별로 정렬하여 경기 침체 가능성과 가장 밀접한 관련이있는 항목을 찾을 것입니다. 다시 한 번 "전염병" "연기" "취소"이고 예상 할 수 있듯이이 시점에서 이 미리보기를 업데이트합니다. |
| |
또는 아래에있는 이러한 텍스트 스 니펫을 통해 실제로이 단어를 문맥에서 볼 수 있습니다. |
| |
따라서이 용어 목록은 그 자체로 매우 가치가있을 수 있습니다. 이전에 알지 못했던 중요한 특정 용어 또는 개념에 대해 몇 가지를 배울 수 있습니다. 이러한 용어를 예측 모델에서도 사용할 수 있습니다. |
| |
이제 몇 가지 주목할 사항이 있습니다. |
| |
여기 아래에서 볼 수 있습니다. 각 문서별로 다시 한 번 테이블이 있지만 감정 점수 대신 기본적으로 모델의 점수가 있습니다. 우리는 각각에 대해 |
| |
그만큼... |
| |
우리가 긍정적 인 기여라고 부르는 것은 불황의 가능성을 예측하는 긍정적 인 계수의 기여입니다. 여기에 부정적인 쪽이 있습니다. |
| |
그리고 우리는 모델로부터 불황의 가능성을 가지고 있습니다. 여기 71.8 % 그리고 우리가 실제로 관찰 한 것입니다. |
| |
그리고 우리는 여기서 반드시 예측 모델을 구축하지 않습니다. 즉, 경기 침체를 예측하는 데이 모델을 사용하지 않을 것입니다. 제 말은 제가 사용할 모든 종류의 경제 지표 변수가 |
| |
하지만 이것은 기본적으로 모델의 온 전성을 확인하는 좋은 방법입니다. 예측 중 일부가 옳은 것처럼 보입니까? |
| |
그렇지 않은 경우 반환되는 용어를 신뢰하지 않을 수 있습니다. 또한 그 판단을 내리기 위해 시도 할 수있는 다른 정보도 많이 있습니다. 내 말은, 우리는 여기 위의 곡선 아래 영역과 같은 몇 가지 적합 통계를 가지고 있습니다. |
| |
또는 모델을 추가로 평가하기위한 모든 일반 옵션과 함께 일반화 된 회귀 플랫폼으로 이동할 수도 있습니다. |
| |
자세한 내용은 다루지 않겠지 만 모델을 평가하고 원하는 방식으로 모델을 조정하여 기분이 좋은 용어 목록이 있는지 확인할 수 있도록 모든 것을 사용할 수 있습니다. |
| |
이제 여기 보시다시피 요약 아래에이 모델 목록이 있습니다. 실제로 여러 모델을 실행하고 싶을 수도 있기 때문입니다. 그래서 제가 모델로 돌아 가면 ... 오, 실례합니다 ... |
| |
여기에 설정하면 약간 다른 모델을 실행할 수 있습니다. 예를 들어, BIC가 AICc보다 조금 더 보수적이라는 것을 알고 있고 더 적은 수의 용어를 반환하고 싶을 수도 있습니다. 900 개 용어를 반환하는 분석을 수행했는데 약간 압도적 일 수 있습니다. |
| |
따라서 run을 클릭하고 대신이를 사용하여 다른 모델을 빌드합니다. |
| |
이제 해당 모델이 여기 목록에 추가되었으며이 모델간에 전환하여 각 모델의 결과를 볼 수 있습니다. 이 경우 37 개 대신 14 개 용어 만 반환했으며 아래로 내려가 평가합니다. |
| |
물론 여기에서 얻을 수있는 두 가지 큰 결과는이 용어 목록입니다. 그것을 저장하고 싶다면, 이것들은 당신에게 중요한 용어 일 뿐이며 당신은 그것들을 추적하고 싶을 것입니다. 마우스 오른쪽 버튼을 클릭하고 이것을 데이터 테이블로 만드십시오. 이제 JMP 테이블이 있습니다. |
| |
용어, 계수 및 기타 정보와 함께. |
| |
과 |
| |
여러분이 원하는 것이 실제로 이것을 원래 데이터 테이블에 다시 쓰는 것이라면 아마도 다른 종류의 분석이나 예측 모델에서 정보를 사용할 수 있습니다. |
| |
용어 선택으로 가서 용어 점수를 문서 용어 행렬로 저장하고 싶다고 말하면 데이터 테이블을 여기로 가져 오면 이제 해당 용어에 기록한 것을 볼 수 있습니다. |
| |
선택된 각 용어에 대한 열. 이 경우 계수 값으로 채워졌고 이제 이것을 사용할 수 있습니다. |
| |
그러나 나는 양적 정보를 좋아한다. |
| |
그것은 용어 선택에 관한 것입니다. 다시 말하지만, 여기서 중요한 아이디어는 내가 관심을 갖는 변수와 관련된 용어 목록을 찾았고 그 계수를 통해 그 관계가 얼마나 강한 지에 대한 정보도 가지고 있다는 것입니다. |
| |
그럼 이제 마무리하겠습니다. 우리는 두 가지 기술을 다루었습니다. 우리는 용어 선택을 보았고 중요한 단어를 찾았습니다. 그 전에 감정 분석을 검토했습니다. |
| |
텍스트에서 긍정적이거나 부정적인 감정의 정도를 정량화합니다. JMP Pro 16의 텍스트 탐색기에 추가되는 두 가지 새로운 텍스트 마이닝 기술입니다. 우리는 당신이 그들에게 손을 대고 당신의 피드백을 기대하게되어 정말 기쁩니다. |
