概述
基于Discovery Europe 2021 演示文稿的情绪分析和术语选择演示。
数据来自美联储 1970 年 5 月至 2020 年 10 月的褐皮书报告。每份褐皮书报告均基于定性数据(例如对商界领袖的采访)描述经济状况和前景。美联储每年在国家和地区层面发布八次该报告。
褐皮书情绪分析提供了美联储对经济的乐观或悲观程度的定量衡量,这可能是一个有用的经济指标。请参阅经济学家报告褐皮书情绪的真实示例。在此示例中,我们表明褐皮书情绪是经济衰退的领先指标,并且它跟踪互联网泡沫破灭或大衰退等历史事件。
术语选择可以应用于褐皮书来识别与经济衰退相关的术语。这有可能揭示经济衰退的驱动因素或后果的具体概念,并且还可以用于筛选潜在的情绪术语。在此示例中,显示了“推迟”、“削减”和“取消”等信息丰富的术语,表明褐皮书提及的计划经济活动中断可能是经济衰退的重要指标。
有两个用于演示的数据集:一个用于情感分析,另一个用于术语选择。
- 褐皮书 – Sentiment.jmp包含 5,268 份地区级报告。包含用于情绪分析和两种可视化的表格脚本:(1) 一段时间内的情绪显示经济衰退时期的情绪跟踪(以红色显示),以及 (2) 一张地理地图,显示不同时间段内 12 个美联储区的情绪(例如,1999-2001 年互联网泡沫破灭期间旧金山地区的情绪上升并迅速下降)。该地图需要自定义地图文件,也包含在此处。
- 褐皮书 – 术语选择.jmp包含 436 份国家级报告以及一个表明美国经济在发布之日是否陷入衰退的二元变量。单独的表脚本启动术语选择,其中前 1000 个术语作为预测变量,经济衰退作为结果变量(“经济衰退”是目标水平)。
有关可能的演示流程,请参阅下面链接的 Discovery 演示文稿。
需要注意的重要事项:
- 情感分析脚本将大约 100 个自定义情感术语和短语添加到默认情感词典中。在现实世界的实践中,进一步的定制,包括更细粒度的分数规范和删除不适当的默认情感术语,是必要的。如果在演示过程中您看到一个应该(或不应该)包含在词典中的术语,或者您不同意的分数,那么这是一个很好的机会来展示交互式自定义词典是多么容易。
- 当您第一次运行情绪分析脚本时,它会触发所有报告的语法分析。由于报告的数量和长度,这可能需要几分钟才能完成。解析结果会在您的计算机上缓存一段时间,但最终可能会根据操作系统设置将其删除。始终在演示前至少 15 分钟运行脚本,以确保随后在客户面前启动分析时缓存解析。在紧急情况下,您可以取消解析并仍然获得结果,但否定和强化的准确性会受到影响。
- 这些脚本在标记化期间使用自定义正则表达式来删除每个报告中出现的大括号中的部分标题。请参阅表脚本中的 Set Regex() 调用。
包括第三个数据集: Beige Book Raw – Section Content.jmp 。这包括按原始数据中的 HTML 部分标题细分的地区级和国家报告。这些数据可用于尝试对特定经济领域(例如制造、零售、劳动力)进行分析。不幸的是,报告在命名(甚至拥有)部分方面不一致,这意味着需要重新编码一些部分标题。尽管如此,仍有机会探索特定领域的情绪及其与常见经济指标的关系(例如,确定“就业”部分的情绪是否与失业率一致)。
感谢 Xan Gregg 提出了分析 Beige Book 的想法,以及将原始 HTML 抓取并处理成 JMP 表的方法。
产品和脚本平台
产品:JMP Pro 16
脚本化平台:文本浏览器(情感分析、术语选择)、图形生成器
数据源
文件
- 褐皮书 – Sentiment.jmp :地区级情绪分析报告
- 褐皮书 – 术语选择.jmp :国家级术语选择报告
- Beige Book Raw – 部分 Content.jmp :按报告部分列出的国家和地区级报告;如果需要进一步探索
- Fed District Map.zip :美联储区的自定义地图文件
示例演示