概要
この Discovery Europe 2021 プレゼンテーションに基づくセンチメント分析と用語選択のデモ。
データは、1970 年 5 月から 2020 年 10 月までの米国連邦準備制度のベージュ ブックレポートからのものです。各ベージュ ブック レポートは、定性的データ (ビジネス リーダーへのインタビューなど) に基づいて経済状況と見通しを説明しています。この報告書は、連邦準備制度により国レベルと地方レベルの両方で年に 8 回発行されます。
ベージュブックのセンチメント分析は、連邦準備制度理事会の経済に対する楽観的または悲観的な度合いを定量的に測定するものであり、有用な経済指標となる可能性があります。 ベージュブックのセンチメントについて報告している経済学者の実例をご覧ください。この例では、ベージュ ブックのセンチメントが景気後退の先行指標であり、ドットコム バストや大不況などの歴史的出来事を追跡していることを示します。
用語選択をベージュ ブックに適用して、景気後退に関連する用語を特定できます。これは、不況の推進要因またはその結果である特定の概念を明らかにする可能性があり、潜在的なセンチメント用語をスクリーニングするために使用することもできます。この例では、「延期」、「削減」、「キャンセル」などの有益な用語が明らかになり、計画された経済活動の混乱に関するベージュブックの言及が景気後退の重要な指標である可能性があることを示唆しています。
デモ用のデータ セットは 2 つあります。1 つは感情分析用、もう 1 つは用語選択用です。
- ベージュブック – Sentiment.jmp には、 5,268 件の地区レベルのレポートが含まれています。センチメント分析と 2 つのビジュアライゼーション用のテーブル スクリプトが含まれています。(1) 長期にわたるセンチメントは、景気後退期間に伴うセンチメントの追跡を示します (赤色で表示)、および (2) 連邦準備制度の 12 地区のセンチメントを経時的に示す地理地図 (たとえば、1999 年から 2001 年のドットコムバストの最中にサンフランシスコ地域の感情が上昇し、急速に低下しました)。マップにはカスタム マップ ファイルが必要です。これもここに含まれています。
- ベージュブック – 用語選択.jmp には、 436 件の国レベルのレポートと、発行日に米国経済が景気後退にあったかどうかを示すバイナリ変数が含まれています。唯一のテーブル スクリプトは、上位 1000 の用語を予測変数として、景気後退を結果変数として用語選択を起動します (「景気後退」は目標レベルです)。
考えられるデモ フローについては、以下にリンクされている Discovery プレゼンテーションを参照してください。
注意すべき重要な点:
- 感情分析スクリプトは、約 100 個のカスタム感情用語とフレーズをデフォルトの感情辞書に追加します。実際の実践では、よりきめ細かいスコアの指定や、不適切なデフォルトのセンチメント用語の削除など、さらなるカスタマイズが必要になります。デモ中に、辞書に含めるべき (または含めるべきではない) 用語や、同意できないスコアを見つけた場合は、辞書を対話的にカスタマイズすることがいかに簡単であるかを実証する良い機会となります。
- 感情分析スクリプトは、初回実行時にすべてのレポートの構文解析をトリガーします。レポートの数と長さにより、完了までに数分かかる場合があります。結果の解析は一定期間マシン上にキャッシュされますが、最終的にはオペレーティング システムの設定に従って削除される可能性があります。デモを行う少なくとも 15 分前に必ずスクリプトを実行して、その後顧客の前で分析を開始するときに解析が確実にキャッシュされるようにしてください。緊急時には、解析をキャンセルしても結果を得ることができますが、否定と強化の精度は低下します。
- スクリプトは、トークン化中にカスタム正規表現を使用して、各レポート全体に存在する中括弧内のセクション ヘッダーを削除します。テーブル スクリプトの Set Regex() 呼び出しを参照してください。
3 番目のデータ セットとして、 Beige Book Raw – セクション Content.jmpが含まれています。これには、生データに含まれる HTML セクション ヘッダーによって分割された地区レベルのレポートと全国レポートの両方が含まれます。これらのデータを使用して、特定の経済領域 (製造、小売、労働など) に関する分析を試みることができます。残念ながら、レポートではセクションの命名 (またはセクションの有無) が一貫していないため、セクション タイトルを再コーディングする必要があります。それでも、分野固有のセンチメントや共通の経済指標との関係を調査する機会はあります（たとえば、「雇用」セクションのセンチメントが失業率と連動するかどうかを判断するなど）。
ベージュブックを分析するというアイデアと、生の HTML をスクレイピングして JMP テーブルに処理した Xan Gregg に感謝します。
製品とスクリプト化されたプラットフォーム
製品: JMP プロ 16
スクリプト化されたプラットフォーム: テキスト エクスプローラー (センチメント分析、用語選択)、グラフ ビルダー
情報元
ファイル
- ベージュブック – Sentiment.jmp : 感情分析のための地区レベルのレポート
- ベージュブック – 用語選択.jmp : 用語選択に関する国家レベルのレポート
- ベージュ ブック Raw – セクション Content.jmp : レポート セクションごとの国レベルおよび地区レベルのレポート。必要に応じてさらに探索するため
- Fed District Map.zip : 連邦準備制度理事会のカスタム マップ ファイル
デモの例
