概要
に基づく感情分析と用語選択のデモこの Discovery Europe 2021 プレゼンテーション.
データは米国連邦準備制度ベージュブック1970 年 5 月から 2020 年 10 月までのレポート。 Beige Book の各レポートでは、ビジネス リーダーへのインタビューなど、定性的なデータに基づいた経済状況と見通しについて説明しています。 連邦準備制度によって、国レベルと地区レベルの両方で年に 8 回発行されます。
ベージュブックのセンチメント分析は、経済に関する連邦準備制度理事会の楽観主義または悲観主義の程度の定量的尺度を提供します。これは、有用な経済指標となる可能性があります。 見るエコノミストがベージュブックのセンチメントについて報告しているこの実例. この例では、Beige Book のセンチメントが景気後退の先行指標であり、ドットコム バストや大不況などの過去の出来事を追跡していることを示しています。
景気後退に関連する用語を識別するために用語選択をベージュ ブックに適用できます。 これにより、不況の原動力または結果である特定の概念が明らかになる可能性があり、潜在的なセンチメント用語をスクリーニングするためにも使用できます。 この例では、「延期」、「縮小」、「キャンセル」などの有益な用語が明らかになり、計画された経済活動の混乱に関するベージュブックの言及が景気後退の重要な指標である可能性があることを示唆しています.
デモ用の 2 つのデータ セットがあります。1 つは感情分析用で、もう 1 つは用語選択用です。
- ベージュブック – Sentiment.jmp 5,268 の地区レベルのレポートが含まれています。 感情分析と 2 つのビジュアライゼーション用のテーブル スクリプトが含まれています。たとえば、1999 年から 2001 年のドットコム バストの期間中、サンフランシスコ地域のセンチメントは上昇し、急速に下落しました)。 マップには、ここにも含まれているカスタム マップ ファイルが必要です。
- ベージュブック – Term Selection.jmp 436 の全国レベルのレポートと、発行日に米国経済が不況にあったかどうかを示すバイナリ変数が含まれています。 ローン テーブル スクリプトは、上位 1000 の用語を予測子として、不況を結果変数として使用して、用語選択を開始します (「不況」はターゲット レベルです)。
可能なデモ フローについては、以下にリンクされている Discovery プレゼンテーションを参照してください。
注意すべき重要事項:
- 感情分析スクリプトは、約 100 個のカスタム感情用語とフレーズをデフォルトの感情辞書に追加します。 実際の運用では、スコアをより細かく指定したり、不適切なデフォルトのセンチメント タームを削除したりするなど、さらにカスタマイズする必要があります。 デモ中に、辞書に含めるべき (または含めるべきではない) 用語、または同意しないスコアが表示された場合は、辞書をインタラクティブにカスタマイズすることがいかに簡単かを示す良い機会です。
- 感情分析スクリプトを初めて実行すると、すべてのレポートの構文解析がトリガーされます。 レポートの数と長さにより、完了までに数分かかる場合があります。 結果の解析は、一定期間マシンにキャッシュされますが、オペレーティング システムの設定ごとに最終的に削除される場合があります。 デモを行う少なくとも 15 分前にスクリプトを実行し、後で顧客の前で分析を開始したときに解析が確実にキャッシュされるようにします。 緊急時には、解析をキャンセルして結果を得ることができますが、否定と強調の精度は低下します。
- スクリプトは、トークン化中にカスタム正規表現を使用して、各レポート全体に存在する中括弧内のセクション ヘッダーを削除します。 テーブル スクリプトの Set Regex() 呼び出しを参照してください。
3 番目のデータ セットが含まれています。 Beige Book Raw – セクション Content.jmp . これには、生データに存在する HTML セクション ヘッダーによって分割された、地区レベルのレポートと全国のレポートの両方が含まれます。 これらのデータを使用して、特定の経済ドメイン (製造、小売、労働など) に関する分析を試みることができます。 残念ながら、レポートはセクションの命名 (またはセクションを持つこと) に一貫性がありません。つまり、セクション タイトルの再コーディングが必要になることを意味します。 それでも、ドメイン固有のセンチメントと一般的な経済指標との関係を調査する機会があります (たとえば、「雇用」セクションのセンチメントが失業率と連動しているかどうかを判断するなど)。
Beige Book を分析し、生の HTML をスクレイピングして JMP テーブルに処理するというアイデアを提供してくれた Xan Gregg に感謝します。
製品とスクリプト プラットフォーム
製品: JMP Pro 16
スクリプト化されたプラットフォーム: テキスト エクスプローラー (感情分析、用語選択)、グラフ ビルダー
情報元
ファイル
- ベージュブック – Sentiment.jmp : 感情分析のための地区レベルのレポート
- ベージュブック – Term Selection.jmp : 用語選択のための全国レベルのレポート
- Beige Book Raw – セクション Content.jmp : レポート セクションごとの国レベルおよび地区レベルのレポート。必要に応じてさらに探索する
- 連邦区 Map.zip : 連邦準備制度地区のカスタム マップ ファイル
サンプルデモ
