概述
基於情感分析和術語選擇的演示這次“探索歐洲2021”演講。
數據來自美國聯邦儲備局米色書1970年5月至2020年10月的報告。 每本《黃皮書》報告均基於定性數據(例如,與企業領導人的訪談)描述了經濟狀況和前景。 美聯儲每年在國家和地區層面上出版八次。
《褐皮書》的情緒分析為美聯儲對經濟的樂觀或悲觀程度提供了量化指標,這可能是有用的經濟指標。 看這個經濟學家關於米色書情緒的真實例子。 在此示例中,我們顯示了“褐皮書”情緒是經濟衰退的主要指標,並且它跟踪了諸如Dotcom蕭條或大蕭條之類的歷史事件。
術語選擇可以應用於“褐皮書”,以識別與經濟衰退相關的術語。 這有可能揭示導致衰退或經濟衰退後果的特定概念,也可以用來篩選潛在的情感術語。 在此示例中,揭示了諸如“推遲”,“削減”和“取消”之類的信息性術語,這表明褐皮書中提及計劃經濟活動中斷可能是衰退的重要指標。
有兩套用於演示的數據集:一套用於情感分析,另一套用於術語選擇。
- 米色的書– Sentiment.jmp包含5,268個區級報告。 包括用於情緒分析和兩個可視化的表格腳本:(1)隨時間推移的情緒顯示了經濟衰退時期的情緒跟踪(以紅色顯示),以及(2)地理地圖顯示了美聯儲十二個地區隨時間變化的情緒(例如,在Dotcom破產期間(1999-2001年),舊金山地區的情緒上升和下降。 該地圖需要自定義地圖文件,也包括在此處。
- 褐皮書– Term Selection.jmp包含436個國家級報告以及一個二進制變量,該變量指示在發布之日美國經濟是否處於衰退中。 單獨的表腳本將啟動“術語選擇”,將前1000個術語用作預測變量,並將“衰退”作為結果變量(“衰退”是目標級別)。
有關可能的演示流程,請參見下面鏈接的發現演示。
要注意的重要事項:
- 情緒分析腳本會將大約100個自定義情緒術語和短語添加到默認情緒詞典中。 在實際操作中,有必要進行進一步的自定義,包括對分數進行更細粒度的說明並刪除不適當的默認情感術語。 如果在演示過程中您看到應該(或不應該)包含在詞典中的術語或您不同意的分數,那麼這是一個很好的機會來展示以交互方式自定義詞典的簡便性。
- 情緒分析腳本在您首次運行時會觸發所有報告的語法分析。 由於報告的數量和長度,這可能需要幾分鐘才能完成。 結果解析在您的計算機上緩存了一段時間,但是最終可能會根據操作系統設置將其刪除。 演示之前,請始終至少運行15分鐘,以確保隨後在客戶面前啟動分析時緩存分析內容。 在緊急情況下,儘管取反和增強的準確性會受到影響,但您可以取消分析並仍然獲得結果。
- 這些腳本在標記化過程中使用自定義正則表達式來刪除每個報告中使用的大括號中的節標題。 請參閱表腳本中的Set Regex()調用。
包括第三個數據集:米色原書–章節Content.jmp 。 這包括通過原始數據中存在的HTML節標題分解的地區級和國家級報告。 這些數據可用於嘗試針對特定經濟領域(例如,製造業,零售業,勞動力)進行分析。 不幸的是,報告在命名(甚至具有)節時並不一致,這意味著某些節標題重新編碼將是必要的。 儘管如此,仍有機會探索特定領域的情緒以及與共同經濟指標的關係(例如,確定“就業”部分的情緒是否與失業率保持一致)。
感謝Xan Gregg提出了分析Beige Book和將原始HTML抓取並處理到JMP表中的想法。
產品和腳本平台
產品:JMP Pro 16
腳本平台:文本資源管理器(情感分析,術語選擇),圖形生成器
數據源
檔案文件
- 米色的書– Sentiment.jmp :用於情感分析的地區級報告
- 褐皮書– Term Selection.jmp :術語選擇的國家級報告
- 米色原書–章節Content.jmp :按報告部分列出的國家和地區級報告;如有需要,可作進一步探索
- 美聯儲區Map.zip :美聯儲地區的自定義地圖文件
示范范例