概述
基于情感分析和术语选择的演示这次“探索欧洲2021”演讲。
数据来自美国联邦储备局米色书1970年5月至2020年10月的报告。 每本《黄皮书》报告均基于定性数据(例如,与企业领导人的访谈)描述了经济状况和前景。 美联储每年在国家和地区层面上出版八次。
《褐皮书》的情绪分析为美联储对经济的乐观或悲观程度提供了量化指标,这可能是有用的经济指标。 看这个经济学家关于米色书情绪的真实例子。 在此示例中,我们显示了“褐皮书”情绪是经济衰退的主要指标,并且它跟踪了诸如“ Dotcom萧条”或“大萧条”之类的历史事件。
术语选择可以应用于“褐皮书”,以识别与经济衰退相关的术语。 这有可能揭示导致衰退或经济衰退后果的特定概念,也可以用来筛选潜在的情感术语。 在此示例中,揭示了诸如“推迟”,“削减”和“取消”之类的信息性术语,这表明褐皮书中提及计划经济活动中断可能是衰退的重要指标。
有两套用于演示的数据集:一套用于情感分析,另一套用于术语选择。
- 米色的书– Sentiment.jmp包含5,268个区级报告。 包括用于情绪分析和两种可视化的表格脚本:(1)随时间推移的情绪显示了经济衰退时期的情绪跟踪(以红色显示),以及(2)地理地图显示了美联储十二个地区随时间的情绪(例如,在Dotcom破产期间(1999-2001年),旧金山地区的情绪上升和下降。 该地图需要自定义地图文件,也包括在此处。
- 褐皮书– Term Selection.jmp包含436个国家级报告以及一个二进制变量,该变量指示在发布之日美国经济是否处于衰退中。 单独的表脚本将启动“术语选择”,将前1000个术语用作预测变量,并将“衰退”作为结果变量(“衰退”是目标级别)。
有关可能的演示流程,请参见下面链接的发现演示。
要注意的重要事项:
- 情绪分析脚本会将大约100个自定义情绪术语和短语添加到默认情绪词典中。 在实际操作中,有必要进行进一步的自定义,包括对分数进行更细粒度的说明并删除不适当的默认情感术语。 如果在演示过程中您看到应该(或不应该)包含在词典中的术语或您不同意的分数,那么这是一个很好的机会来展示以交互方式自定义词典的简便性。
- 情绪分析脚本在您首次运行时会触发所有报告的语法分析。 由于报告的数量和长度,这可能需要几分钟才能完成。 结果解析在您的计算机上缓存了一段时间,但是最终可能会根据操作系统设置将其删除。 演示之前,请始终至少运行15分钟,以确保随后在客户面前启动分析时缓存分析内容。 在紧急情况下,尽管取反和增强的准确性会受到影响,但您可以取消分析并仍然获得结果。
- 这些脚本在标记化过程中使用自定义正则表达式来删除每个报告中使用的大括号中的节标题。 请参阅表脚本中的Set Regex()调用。
包括第三个数据集:米色原书–章节Content.jmp 。 这包括通过原始数据中存在的HTML节标题分解的地区级和国家级报告。 这些数据可用于尝试针对特定经济领域(例如,制造业,零售业,劳动力)进行分析。 不幸的是,报告在命名(甚至具有)节时不一致,这意味着某些节标题重新编码是必要的。 尽管如此,仍有机会探索特定领域的情绪以及与共同经济指标的关系(例如,确定“就业”部分的情绪是否与失业率保持一致)。
感谢Xan Gregg提出了分析Beige Book和将原始HTML抓取并处理到JMP表中的想法。
产品和脚本平台
产品:JMP Pro 16
脚本平台:文本资源管理器(情感分析,术语选择),图形生成器
数据源
档案文件
- 米色的书– Sentiment.jmp :用于情感分析的地区级报告
- 褐皮书– Term Selection.jmp :术语选择的国家级报告
- 米色原书–章节Content.jmp :按报告部分列出的国家和地区级报告;如有需要,可作进一步探索
- 美联储区Map.zip :美联储地区的自定义地图文件
示范范例