概述
基于情感分析和术语选择的演示这个 Discovery Europe 2021 演示文稿.
数据来自美联储褐皮书从 1970 年 5 月到 2020 年 10 月的报告。 每份褐皮书报告都根据定性数据(例如,与商业领袖的访谈)描述经济状况和前景。 它由美联储每年在国家和地区层面发布八次。
褐皮书的情绪分析提供了美联储对经济的乐观或悲观程度的量化衡量,这可能是一个有用的经济指标。 看这是一位经济学家报告褐皮书情绪的真实示例. 在这个例子中,我们表明褐皮书情绪是经济衰退的领先指标,它追踪历史事件,如互联网泡沫破灭或大衰退。
术语选择可应用于褐皮书以识别与经济衰退相关的术语。 这有可能揭示作为衰退的驱动因素或后果的特定概念,并且它还可以用于筛选潜在的情绪术语。 在这个例子中,揭示了诸如“推迟”、“削减”和“取消”等信息性术语,表明褐皮书中提到的计划经济活动中断可能是经济衰退的重要指标。
有两个数据集用于演示:一个用于情感分析,另一个用于术语选择。
- 褐皮书 – Sentiment.jmp包含 5,268 个区级报告。 包含用于情绪分析和两种可视化的表脚本:(1) 随时间推移的情绪显示随经济衰退时期的情绪跟踪(以红色显示),以及 (2) 显示 12 个联邦储备区跨时间情绪的地理地图(例如,旧金山地区的情绪在 1999-2001 年互联网泡沫破灭期间上升和迅速下降)。 该地图需要自定义地图文件,也包含在此处。
- 褐皮书 - 术语选择.jmp包含 436 份国家级报告以及一个二元变量,表明美国经济在发布之日是否处于衰退之中。 孤表脚本启动术语选择,前 1000 个术语作为预测变量,衰退作为结果变量(“衰退”是目标水平)。
有关可能的演示流程,请参阅下面链接的 Discovery 演示文稿。
需要注意的重要事项:
- 情绪分析脚本将大约 100 个自定义情绪术语和短语添加到默认情绪词典。 在现实世界的实践中,进一步的定制,包括更细粒度的分数规范和删除不适当的默认情绪术语,将是必要的。 如果在演示过程中您看到应该(或不应该)包含在字典中的术语,或者您不同意的分数,这是一个很好的机会来展示以交互方式自定义字典是多么容易。
- 首次运行时,情绪分析脚本会触发所有报告的语法分析。 由于报告的数量和长度,这可能需要几分钟才能完成。 生成的解析会在您的计算机上缓存一段时间,但最终可能会根据操作系统设置将其删除。 始终在演示前至少运行脚本 15 分钟,以确保在随后在客户面前启动分析时缓存解析。 在紧急情况下,您可以取消解析并仍然得到结果,尽管否定和强化的准确性会受到影响。
- 这些脚本在标记化过程中使用自定义正则表达式来删除每个报告中出现的大括号中的节标题。 请参阅表脚本中的 Set Regex() 调用。
包括第三个数据集: Beige Book Raw – 部分 Content.jmp . 这包括按原始数据中存在的 HTML 部分标题细分的地区级和国家级报告。 这些数据可用于尝试针对特定经济领域(例如,制造、零售、劳动力)进行分析。 不幸的是,报告在命名(甚至拥有)部分时并不一致,这意味着需要重新编码一些部分标题。 尽管如此,仍有机会探索特定领域的情绪以及与共同经济指标的关系(例如,确定“就业”部分的情绪是否与失业率保持一致)。
感谢 Xan Gregg 提出分析褐皮书的想法,并将原始 HTML 抓取并处理成 JMP 表格。
产品和脚本平台
产品:JMP Pro 16
脚本化平台:文本资源管理器(情感分析、术语选择)、图形生成器
数据源
文件
- 褐皮书 – Sentiment.jmp : 区级情绪分析报告
- 褐皮书 - 术语选择.jmp : 国家级术语选择报告
- Beige Book Raw – 部分 Content.jmp :按报告部门分列的国家级和地区级报告;如果需要进一步探索
- 联储区地图.zip : 联邦储备区的自定义地图文件
示例演示