개요
Discovery Europe 2021 프레젠테이션을 기반으로 한 감정 분석 및 용어 선택 데모입니다.
데이터는 1970년 5월부터 2020년 10월까지의 미국 연방준비은행 베이지북 보고서에서 가져온 것입니다. 각 베이지북 보고서는 질적 데이터(예: 비즈니스 리더와의 인터뷰)를 기반으로 경제 상황과 전망을 설명합니다. 이 보고서는 연방준비제도이사회(Federal Reserve)에서 매년 8회 전국 및 지역 차원에서 발행됩니다.
베이지북의 감정 분석은 연준의 경제에 대한 낙관적 또는 비관적 정도를 정량적으로 측정하는 방법을 제공하며 이는 유용한 경제 지표가 될 수 있습니다. 베이지북 정서에 대해 보고하는 경제학자의 실제 사례를 살펴보세요. 이 예에서 우리는 베이지북 정서가 경기 침체의 주요 지표이며 닷컴 파산이나 대불황과 같은 역사적 사건을 추적한다는 것을 보여줍니다.
경제 불황과 관련된 용어를 식별하기 위해 용어 선택을 베이지북에 적용할 수 있습니다. 이는 경기 침체의 동인이나 결과인 특정 개념을 밝힐 가능성이 있으며 잠재적인 감정 용어를 선별하는 데에도 사용될 수 있습니다. 이번 사례에서는 '연기', '삭감', '취소' 등의 정보용어가 드러나 있어 베이지북에서 계획된 경제활동 중단에 대한 언급이 경기침체의 중요한 지표가 될 수 있음을 시사한다.
데모에는 두 가지 데이터 세트가 있습니다. 하나는 감정 분석용이고 다른 하나는 용어 선택용입니다.
- 베이지북 – Sentiment.jmp에는 5,268개의 지역 수준 보고서가 포함되어 있습니다. 감정 분석과 두 가지 시각화를 위한 테이블 스크립트가 포함되어 있습니다. (1) 시간 경과에 따른 감정은 경기 침체 기간(빨간색으로 표시)에 따른 감정 추적을 보여주고, (2) 시간에 따른 12개 연방준비은행 지역의 감정을 보여주는 지리 지도( 예를 들어, 1999-2001년 Dotcom Bust 기간 동안 샌프란시스코 지역의 정서는 상승했다가 급격하게 하락했습니다. 지도에는 여기에 포함된 사용자 정의 지도 파일이 필요합니다.
- Beige Book – Term Selection.jmp 에는 436개의 국가 수준 보고서와 출판일에 미국 경제가 경기 침체에 빠졌는지 여부를 나타내는 이진 변수가 포함되어 있습니다. 단일 테이블 스크립트는 상위 1000개의 용어를 예측자로 사용하고 경기 침체를 결과 변수로 사용하여 용어 선택을 시작합니다("경기 침체"는 목표 수준입니다).
가능한 데모 흐름은 아래 링크된 Discovery 프레젠테이션을 참조하세요.
알아야 할 중요한 사항:
- 감정 분석 스크립트는 기본 감정 사전에 약 100개의 사용자 정의 감정 용어 및 문구를 추가합니다. 실제 환경에서는 점수를 보다 세밀하게 지정하고 부적절한 기본 감정 용어를 제거하는 등 추가 사용자 정의가 필요합니다. 데모 중에 사전에 포함되어야 하는(또는 포함되어서는 안 되는) 용어나 동의하지 않는 점수가 표시되는 경우 사전을 대화형으로 사용자 정의하는 것이 얼마나 쉬운지 보여줄 좋은 기회입니다.
- 감정 분석 스크립트는 처음 실행할 때 모든 보고서의 구문 분석을 트리거합니다. 보고서의 수와 길이로 인해 완료하는 데 몇 분 정도 걸릴 수 있습니다. 결과 구문 분석은 일정 기간 동안 컴퓨터에 캐시되지만 결국 운영 체제 설정에 따라 삭제될 수 있습니다. 나중에 고객 앞에서 분석을 시작할 때 구문 분석이 캐시되도록 하려면 데모하기 최소 15분 전에 항상 스크립트를 실행하십시오. 긴급 상황에서는 구문 분석을 취소하고 결과를 얻을 수 있지만 부정 및 강화의 정확성은 저하됩니다.
- 스크립트는 토큰화 중에 사용자 정의 정규식을 사용하여 각 보고서 전체에 있는 중괄호 안의 섹션 헤더를 제거합니다. 테이블 스크립트에서 Set Regex() 호출을 참조하세요.
세 번째 데이터 세트인 Beige Book Raw – Section Content.jmp가 포함되어 있습니다. 여기에는 원시 데이터에 있는 HTML 섹션 헤더로 분류된 지구 수준 및 국가 보고서가 모두 포함됩니다. 이러한 데이터는 특정 경제 영역(예: 제조, 소매, 노동)에 대한 분석을 시도하는 데 사용될 수 있습니다. 안타깝게도 보고서의 섹션 이름 지정(또는 섹션 포함)이 일관되지 않으므로 일부 섹션 제목을 다시 코딩해야 합니다. 그럼에도 불구하고, 영역별 정서와 공통 경제 지표와의 관계를 탐구할 수 있는 기회는 있습니다(예: "고용" 섹션 정서가 실업률과 일치하는지 여부 결정).
Beige Book을 분석하고 원시 HTML을 JMP 테이블로 스크랩 및 처리하는 아이디어를 주신 Xan Gregg에게 감사드립니다.
제품 및 스크립트 플랫폼
제품: JMP Pro 16
스크립트 플랫폼: 텍스트 탐색기(감정 분석, 용어 선택), 그래프 빌더
데이터 소스
파일
- 베이지북 – Sentiment.jmp : 감성 분석을 위한 구역 수준 보고서
- 베이지북 – Term Selection.jmp : 국가수준의 용어선택 보고서
- Beige Book Raw – 섹션 Content.jmp : 보고서 섹션별 국가 및 지역 수준 보고서; 원하는 경우 추가 탐색을 위해
- Fed District Map.zip : 연방 준비 구역에 대한 사용자 정의 지도 파일
예제 데모
