概述
基於情感分析和術語選擇的演示這個 Discovery Europe 2021 演示文稿.
數據來自美聯儲褐皮書從 1970 年 5 月到 2020 年 10 月的報告。 每份褐皮書報告都根據定性數據(例如,與商業領袖的訪談)描述經濟狀況和前景。 它由美聯儲每年在國家和地區層面發布八次。
褐皮書的情緒分析提供了美聯儲對經濟的樂觀或悲觀程度的量化衡量,這可能是一個有用的經濟指標。 看這個經濟學家報告褐皮書情緒的真實例子. 在這個例子中,我們表明褐皮書情緒是經濟衰退的領先指標,它追踪歷史事件,如互聯網泡沫破滅或大衰退。
術語選擇可應用於褐皮書以識別與經濟衰退相關的術語。 這有可能揭示作為衰退的驅動因素或後果的特定概念,並且它還可以用於篩選潛在的情緒術語。 在這個例子中,揭示了諸如“推遲”、“削減”和“取消”等信息性術語,表明褐皮書中提到的計劃經濟活動中斷可能是經濟衰退的重要指標。
有兩個數據集用於演示:一個用於情感分析,另一個用於術語選擇。
- 褐皮書 – Sentiment.jmp包含 5,268 個區級報告。 包含用於情緒分析和兩種可視化的表腳本:(1) 隨時間推移的情緒顯示隨經濟衰退時期的情緒跟踪(以紅色顯示),以及 (2) 顯示 12 個聯邦儲備區跨時間情緒的地理地圖(例如,舊金山地區的情緒在 1999-2001 年互聯網泡沫破滅期間上升和迅速下降)。 該地圖需要自定義地圖文件,也包含在此處。
- 褐皮書 - 術語選擇.jmp包含 436 份國家級報告以及一個二元變量,表明美國經濟在發布之日是否處於衰退之中。 孤表腳本啟動術語選擇,前 1000 個術語作為預測變量,衰退作為結果變量(“衰退”是目標水平)。
有關可能的演示流程,請參閱下面鏈接的 Discovery 演示文稿。
需要注意的重要事項:
- 情緒分析腳本將大約 100 個自定義情緒術語和短語添加到默認情緒詞典。 在現實世界的實踐中,進一步的定制,包括更細粒度的分數規範和刪除不適當的默認情緒術語,將是必要的。 如果在演示過程中您看到應該(或不應該)包含在字典中的術語,或者您不同意的分數,這是一個很好的機會來展示以交互方式自定義字典是多麼容易。
- 首次運行時,情緒分析腳本會觸發所有報告的語法分析。 由於報告的數量和長度,這可能需要幾分鐘才能完成。 生成的解析會在您的計算機上緩存一段時間,但最終可能會根據操作系統設置將其刪除。 始終在演示前至少運行腳本 15 分鐘,以確保在隨後在客戶面前啟動分析時緩存解析。 在緊急情況下,您可以取消解析並仍然得到結果,儘管否定和強化的準確性會受到影響。
- 這些腳本在標記化過程中使用自定義正則表達式來刪除每個報告中出現的大括號中的節標題。 請參閱表腳本中的 Set Regex() 調用。
包括第三個數據集: Beige Book Raw – 部分 Content.jmp . 這包括按原始數據中存在的 HTML 部分標題細分的地區級和國家級報告。 這些數據可用於嘗試針對特定經濟領域(例如,製造、零售、勞動力)進行分析。 不幸的是,報告在命名(甚至擁有)部分時不一致,這意味著需要重新編碼一些部分標題。 儘管如此,仍有機會探索特定領域的情緒以及與共同經濟指標的關係(例如,確定“就業”部分的情緒是否與失業率保持一致)。
感謝 Xan Gregg 提出分析褐皮書的想法,並將原始 HTML 抓取並處理成 JMP 表格。
產品和腳本平台
產品:JMP Pro 16
腳本化平台:文本資源管理器(情感分析、術語選擇)、圖形生成器
數據源
文件
- 褐皮書 – Sentiment.jmp : 區級情緒分析報告
- 褐皮書 - 術語選擇.jmp : 國家級術語選擇報告
- Beige Book Raw – Section Content.jmp :按報告部門分列的國家級和地區級報告;如果需要進一步探索
- 聯儲區地圖.zip : 聯邦儲備區的自定義地圖文件
示例演示