756625_zh-CN

liliconcom

在 JMP® Pro 16 中扩展我们的文本挖掘工具包，添加情感分析和术语选择功能 (2021-EU-45MP-790)

Ross Metusalem，SAS公司JMP系统工程师

文本挖掘技术能够从非结构化文本数据中提取定量信息。JMP Pro 16 通过文本浏览器新增的两项功能——情感分析和词项选择——扩展了其从文本中提取信息的能力。情感分析通过将文本中的词语映射到可自定义的情感词汇词典及其对应的分数（例如，“精彩”：+90；“糟糕”：-90），量化文本中表达的正面或负面情绪程度。由此产生的情感分数可用于大规模评估人们的主观感受，探索主观感受与客观概念之间的关系，并丰富后续分析。词项选择通过应用 JMP Pro 中广义回归平台的正则化回归功能（该平台由文本浏览器调用），自动查找对响应变量预测能力最强的词项。词项选择有助于轻松识别重要结果指标与相关非结构化文本中特定词项出现频率之间的关系。

本次演讲将概述情感分析和词项选择技术，演示它们在真实数据中的应用，并分享有效使用每种技术的最佳实践。

自动生成的成绩单……

扬声器	文字稿
罗斯·梅图萨勒姆	大家好，感谢大家抽出时间了解 JMP 如何在 JMP Pro 16 中扩展其文本挖掘工具包。
	情感分析和词项选择。
	我是 Ross Metusalem，美国东南部的一名 JMP 系统工程师，我将带您先睹为快这两个新分析功能，解释一下它们的工作原理，并提供一些使用它们的最佳实践。
	所以这两种分析技术都将在文本浏览器（Text Explorer）中推出，对于不熟悉的人来说，这是 JMP 的……
	用于分析我们称之为自由文本或非结构化文本（即自然语言文本）的工具。
	它是一款我们称之为文本挖掘工具的工具，用于从自由文本中提取定量信息，以便我们能够……
	使用其他类型的统计或分析工具从自由文本中得出见解，甚至可以将该文本用作其他分析的输入。
	那么，让我们来看看 JMP Pro 16 中的 Text Explorer 即将推出的这两种新的文本挖掘技术，我们首先来看情感分析。
	情感分析的核心在于回答文本的情感倾向是积极还是消极这个问题。
	我们将对美联储定期发布的褐皮书进行情感分析。
	现在很抱歉在 JMP Discovery Europe 上使用美国的例子，但褐皮书确实很好地展示了情感分析的全部内容。
	这是一份月刊，包含国家层面的报告以及 12 份地区层面的报告，总结了这些地区的经济状况，所有这些都基于定性信息，例如访谈和调查。
	美国决策者可以利用褐皮书中的定性信息，以及传统经济指标中的定量信息来制定经济政策。
	所以你可能会想，我们现在讨论的是情绪或情感。我并不认为经济报告会包含太多情感，但褐皮书报告以及很多措辞确实包含能够承载或传达情感的词语。
	我们来看一段报告摘录。这是直接从新的情感分析平台截取的屏幕截图。
	你会注意到一些词语被高亮显示，这些就是我们所说的情感词，也就是说，
	我们认为这些词语带有某种情感色彩。例如，最上面的那句话是：“另一方面，电脑销量却严重下滑”。
	其中“严重抑郁”以紫色突出显示，表明我们认为它传达了负面情绪，如果有人用“严重抑郁”来形容电脑销售，听起来他们似乎想让我们把它理解为一件坏事。
	向下看，我们会看到一些用橙色高亮显示的积极情绪词汇，例如“改善”或“有利”。因此，我们可以寻找那些我们认为带有积极或消极情绪的词语。
	紫色代表负面，橙色代表正面，一些情感分析也将其保持在这种水平，所以只是二元区分，正面文本或负面文本。
	还有其他一些进行情感分析的方法，特别是：
	许多方法试图量化积极或消极的程度，而不仅仅是判断某件事是积极的还是消极的。所以，请看另一个例子，我把大家的注意力引到最底部，那里有一份“销售不佳”的报告。
	我要将此与我们之前所说的“计算机销量严重低迷”进行比较。
	所以这两种说法都是负面的，但我认为我们都会同意，“严重抑郁”听起来比“贫穷”要负面得多。
	所以我们不仅要弄清楚表达的情感是积极的还是消极的，还要弄清楚这种积极或消极的程度，这就是情感分析的作用所在。
	Text Explorer 的确可以做到这一点。那么它是如何做到的呢？它使用了一种叫做词汇情感分析的技术，这种技术基于一些情感词汇及其相关的评分。
	所以我们现在看到的，是所谓的情感词典的摘录，其中包含了词语及其得分。
	例如，“fantastic”（极好的）一词得分为正 90 分，而最底部的“grim”（糟糕的）一词得分为负 75 分。
	因此，我们所做的就是指定我们认为哪些词语带有情感内容，以及它们在一个任意尺度（这里是 -100 到 100）上的正面或负面程度。
	然后，我们可以在所有文档中找到这些术语，并利用它们来评估这些文档的整体正面或负面程度。
	如果你回想一下我们之前提到的“严重抑郁”的例子，那么“严重”这个词加上了“抑郁”这个词，我们称之为加剧了它的程度。
	它是对所表达情感的强化或倍增，因此我们也有一个强化词词典，记录了它们对情感词所表达的情感的影响。
	例如，我们说“非常”会使情感乘以 1.4 倍，而“很少”会使情感乘以 0.3 倍，所以实际上，你知道，它稍微减弱了所表达的情感。
	最后，我们还要考虑另一种类型的词，那就是否定词，比如“不”和“没有”，我们基本上把它们视为极性反转词。
	“不太好”的评分就是“好”的评分乘以 -1。
	因此，这是一种常见的情感分析方法，也称为词汇情感分析。具体来说，我们将找到的情感词乘以任何相关的加强语气词。
	或者否定词，然后对于每个文档，当我们得到所有出现的词语的情感得分后，我们只需对所有得分取平均值，即可得到该文档的情感得分。
	JMP会以多种有用的方式将这些分数返回给我们。这是情感分析工具的屏幕截图，我们马上就会用到它。
	但你可以看到，它提供了所有文档的情感得分分布情况，以及所有情感词及其出现频率的列表。
	而且，正如我们将看到的，我们甚至可以导出情感评分，以便在图表或分析中使用它们。
	所以我在这里做了几个图表，想初步看看褐皮书报告中的情绪是否真的像我们预期的那样与经济事件相符？你知道，我们这种想法真的有一定道理吗？
	情绪可以作为某种经济指标吗？答案似乎是，很有可能。
	这里是我在图表生成器中制作的一个图表；它显示的是一段时间内的情感变化，所以所有的小灰点都代表各个报告。
	蓝色平滑曲线大致显示了情绪随时间变化的趋势，零点处的黑线表示中性情绪，至少根据我们的评分方案是这样。
	红色区域是
	美联储官方认定的经济衰退时期。
	所以你可能会注意到，市场情绪似乎会在经济衰退前后触底反弹，或者出现低谷，但你可能还会注意到另一件事。
	事实上，在每次经济衰退之前，我们都会看到市场情绪提前数月甚至数年出现下滑。但我们并没有看到这种情绪的大幅下滑。
	在没有出现经济衰退的情况下，褐皮书情绪或许确实具有一定的参考价值。因此，褐皮书情绪作为经济衰退的先行指标，可能也有一定的道理。
	如果我们从地理位置的角度来看，也会发现一些合理之处。这只是分析中的一个例子。我们正在研究12个地区的情绪。
	1999年至2000年以及2001年期间，各联邦储备区的情况。这段时期通常被称为互联网泡沫破裂时期。
	当时涌现出大量科技公司和在线企业，形成了一个巨大的泡沫，但最终，其中许多公司倒闭了，造成了相当严重的经济后果。
	99年到2000年的市场情绪正在增长，事实上，这种增长势头似乎相当强劲。
	旧金山联邦储备区是许多此类公司总部所在地。然后在2001年金融危机之后，我们看到市场情绪大幅下跌，跌至图中红色区域，而这一跌幅同样发生在旧金山联邦储备区。
	因此，只需对这些褐皮书情绪评分进行简单的图形检查，即可发现它们在跟踪甚至预测某些经济事件方面确实具有一定的有效性，当然，后者还需要我们更仔细地研究。
	但这只是情感分析潜在应用案例的一个例子，还有很多其他应用案例。
	目前它最大的应用领域之一是消费者研究，例如，人们可能会分析
	一些消费者调查回复，旨在找出导致正面或负面意见或反应的因素。
	但情感分析也可以用于产品改进等领域，例如，分析产品评论或保修索赔可以帮助我们发现能够引起客户强烈情感反应的产品功能或问题。
	例如，以客户支持为例，我们可以分析呼叫中心或聊天记录……聊天记录文本
	找出一些能导致客户满意或不满意的支持措施。或许还可以研究一下公共政策，我们会分析公开评论，以评估公众对拟议或现有政策的反应。
	以上仅列举了情感分析可以应用的几个领域。实际上，只要文本传达了某种情感，而这种情感可能具有信息价值，情感分析就非常适用。
	以上就是我首先要说的。现在我想花点时间向大家介绍一下它在 JMP 中的工作原理，所以我们进入 JMP 界面吧。
	这里是褐皮书数据，在底部可以看到我们有5000多份报告，每份报告都标明了日期。
	1972年5月至2020年10月，报告来自12个区中的哪一个，以及报告正文。你可以看到这些报告，
	它们不仅仅是对经济形势好坏的简单陈述，它们还可以深入到一定程度的细节。
	现在，在我们深入分析这些数据之前，我首先要感谢一位提出分析褐皮书想法的人，以及一位实际提取数据并将其导入JMP的人。
	文件格式已准备就绪，可以进行分析。这要感谢 Xan Gregg，如果您还不知道，Xan 是 JMP 开发团队的负责人，也是 Graph Builder 的创建者，所以，谢谢 Xan 的帮助。
	好的，现在我们来量化所有这些报告中积极和消极情绪的程度。我们将使用“分析”菜单下的“文本浏览器”。
	这里是我们的启动窗口。我会把文本数据放到文本列角色中。开始之前，有几点需要强调。
	Text Explorer 支持多种语言，但目前情感分析仅支持英语，还有一点我想指出，这一点也与此有关。
	对于从事文本分析的人来说，你们可能熟悉词干提取，但对于不熟悉的人来说，词干提取是一个将多个……合并的过程。
	简单来说……就是同一个词的多种不同形式。比如“strong”、“stronger”和“strongest”。这三个就是。
	同一个词“strong”有多种不同的表达方式，在某些文本挖掘技术中，你实际上会希望将所有这些表达方式合并成一个术语，然后说，哦，它们都表示“strong”，因为这在概念上是同一件事。
	我其实打算就此打住，不再赘述了，原因在于……就拿“最强”来说，它描述的是某物所能达到的最强状态。
	与“更强”相比，“更强”意味着你知道它很强，但还有提升的空间。
	所以，“strongest”的情感得分应该比“stronger”高，如果我进行词干提取，就会失去这两个词之间的区别。因为我不想失去这种区别，所以我想给它们不同的情感得分。我将继续进行词干提取。
	那我点击确定。
	现在 JMP 将对我们的文本进行分词，即将文本分解成所有单独的单词，然后统计每个单词出现的频率。
	这里列出了所有术语及其出现频率。例如，“销售”一词出现了超过 46,000 次，这里还有短语列表。短语列表如下：
	两个或多个词频繁出现的序列，有时我们确实希望将它们计入词项数量。
	分析。对于情感分析，你需要浏览你的短语列表，比如说，添加“房地产”，虽然是两个词，但它实际上指的是，你知道的，房产。
	我还可以补充一点。通常在文本分析中，我们还会添加所谓的停用词。
	这些词语在我们的分析语境中并没有实际意义，因此我们希望将其排除在外。以“区”为例。这种情况会发生……或者说，褐皮书的使用情况
	“区”这个词经常出现，比如说“这是来自里士满区的报告”之类的，其实并没有什么实际意义。
	但我其实不打算在这里使用停用词，因为，如果你还记得的话，
	回到幻灯片部分，我们说过，我们所有的情感评分都是基于一个词典，我们在词典中选择情感词语以及它们应该获得的分数。
	如果我们去掉“district”，它的得分自然是 0，不会影响我们的情感得分，所以我真的不需要把它声明为停用词。
	准备就绪后，我们将调用这里红色三角形下方的文本分析，或者，抱歉，是情感分析。
	所以，由于我们还没有声明任何情感词或其他参数，JMP 现在正在使用内置的情感词典对所有文档进行评分。这里我们输出评分结果。
	在浏览这些结果之前，我们可能需要自定义情感词典，包括情感词及其得分。这是因为在不同的领域，
	或许由于文本由不同的人撰写，某些词语会承载不同的情感程度，或者在某些情况下带有情感色彩，而在另一些情况下则没有。因此，我们希望……
	我们非常仔细、彻底地创建了一个情感词典，我们认为该词典能够准确地捕捉到我们正在分析的语言所表达的情感。
	正如我所说，JMP 使用的是内置词典，而且词典内容非常有限。你可以看到，这里只有一些表情符号。
	比如这些小笑脸之类的，但我们也看到了一些非常明确的表达情感的语言，比如 -90 的“糟糕透顶”。
	现在看来，大概不会有人用“糟糕透顶”这个词而没有负面含义，所以我们对此感觉还不错。但是，你知道，这个列表还不够长，我们可能想添加一些词语进去。
	那么我们来看看该怎么做，我建议的一点是直接查看你的数据。你可以阅读一些文档，试着找出一些你认为可能反映情感的词语。
	这里有一个工具，可以让我们浏览文档并直接添加情感词。这里我有一个文档列表。可以看到文档 1 被高亮显示，文档 1 也显示在下方。我可以选择不同的文档来查看它们。
	现在，如果我们看一下文档 1，你可能会立刻注意到一些潜在的情感词汇，例如“悲观”和“乐观”。
	现在您可以看到这些词语没有被高亮显示。实际上，这些词语并没有包含在标准的情感词典中。
	很多名词实际上并非如此，这是因为像“悲观”或“乐观”这样的名词可以通过一些方式来描述，从而暗示它们的存在或缺失。所以我可以说，“悲观情绪正在下降”，或者
	“明显缺乏悲观情绪”，“悲观情绪已不再被报道”。
	而且，在这些情况下，我们不会说“悲观”是件坏事。所以，在将词语添加到情感词典之前，你需要谨慎思考它们在语境中的含义以及它们实际的用法。
	例如，我可以返回到我们之前的术语列表。我这里只展示一下筛选器。
	查找“悲观主义”一词，然后查看文本，了解它的用法。例如，在第一个例子中，“我们董事们的情绪时而悲观，时而乐观”。
	下一个
	“私下谈话中流露出深深的悲观情绪。”如果你仔细阅读，就会发现这是典型的用法，所以实际上在《褐皮书》中，他们似乎并没有以我所担心的方式使用“悲观”这个词。
	“乐观情绪正在增强。”
	所以我觉得在这里加入“悲观”这个词是可以的，让我们把它添加到我们的情感词典中吧。
	所以如果我直接把鼠标悬停在上面，
	您可以看到我们提供了几种处理方法。例如，我可以给它打-60分。
	现在，这个词及其对应的分数将被添加到我们的词典中，并触发 JMP 中情感评分的更新。也就是说，它现在会查找单词“悲观主义”，并调整所有找到该词的文档的分数。
	现在让我们回到顶部，更详细地看一下这些情感词汇。如果我向下滚动，你会看到“悲观”。
	就是我刚才给它的分数 -60。现在我可能想……如果你注意到的话，“悲观”的默认分数是 -50，所以也许我应该在这里输入 -50，这样就一致了。
	我本来可以这么做，但我不会，免得触发另一次更新。
	您还会注意到，这里列出了一些可能的情感词汇。这些词汇是 JMP 识别出的可能带有情感含义的词汇，您可以查看一下，并考虑将它们添加到您的词典中。
	例如，这里的“强大”一词，如果你看一下右侧的一些文档文本，你可能会说，好的，这显然是一个积极的词。如果你仔细查看了很多例子，这一点就非常突出了。
	“强劲”和相应的“疲软”这两个词是这些经济学家经常用来谈论当前经济好坏的词语。
	所以我可以添加它们，或者点击上面按钮中的“正面 60”来添加“强烈”评价。不过，为了加快我们进行情感分析的速度，我现在先不这么做。
	所以，就像我们下面的文本一样，我们可以浏览这里的情感词列表，从中挑选一些好的候选词。
	在红色三角形下方，我们还可以更直接地管理情感词，所以这完全包含在内。
	对于文本探索者用户来说，术语管理列表可能类似于短语管理和停用词管理。
	您可以看到，除了所有内置术语之外，我们还为本次分析添加了一个新的术语“本地”。当然，如果我们想排除某些术语，也可以声明例外情况。
	更重要的是，你还可以导入和导出情感词典。另一种表达情感的方法是咨询领域专家。你知道，
	经济学家们可能会对他们期望看到的、能够清晰传达信息的词语类型有很多话要说。
	这些报告中的情绪是积极的还是消极的？如果我们能与他们交流，我们想知道他们对此有何看法，我们甚至可以与他们一起创建一个字典，比如用制表符分隔的文件，然后将其导入到这里。
	当然，一旦我们创建了一个自己满意的词典，我们就应该将其导出并保存，以便将来可以轻松地再次应用。
	以上就是如何构建情感词典的一些基本方法。另外，以下几点也很重要：
	精心挑选你的加强语气词和否定语气词，同样，你在这里看不到分数，因为这些只是极性反转。
	为了更直观地展示它的实际表现形式，我们……来看看这里的情感分析，这样我们就能看到一些例子，
	JMP 检测到某些情感词前面有“不”字，并应用了相应的分数。例如，最上面的“不可接受”得分为 -25。
	我向你们展示这一点，只是为了让你们注意到，这些否定词和强调词是由 JMP 自动应用的。
	不过，咱们还是别讨论如何设置分析了，直接来看结果吧。接下来我要讲的是……
	分析的一个版本已经完成，也就是说，我已经整理好了情感词典，我们现在可以开始解释我们得到的结果了。
	所以，我们这里是概要信息，正面文档的数量多于负面文档。正如我们之前讨论的，我们可以看到正面和负面文档的具体数量。实际上，在左侧表格的底部，您可以看到有一份文档完全没有表达任何情感倾向。
	“强”出现约14,000次，“弱”出现约4,500次。
	并根据它们的数量或分数来查看这些结果，找出最负面和最正面的结果，
	即使放在具体的语境中来看，它们本身也能提供相当多的信息。我的意思是，尤其是在像消费者研究这样的领域，如果你想知道人们何时感到积极或表达积极情绪。
	例如，关于我们的品牌或产品，他们使用的语言类型是什么？这或许能为我们的营销策略提供参考。这份情感词汇列表在这方面能提供极具价值的信息。
	制造业，
	旅游、投资。有时我们想重点关注其中某个子领域，我们称之为某个特色领域。
	如果我进入情感分析的“特征”选项卡，点击“搜索”，JMP 会找到一些与情感词频繁出现的词语，并询问你是否想深入了解该特征的情感倾向。
	例如，以“销售额”为例。我们可以看到“销售额报告疲软”、“销售额走弱”、“销售额报告保持良好”等等。
	所以，如果我只对这个选定的特征进行评分，JMP 现在将只针对这些大型报告中提及“销售”的部分提供情感评分，这将有助于我们改进分析或将其集中在一个定义明确的子域上。
	这一点尤其重要。
	有可能我们分析的语言的领域范围并没有那么明确。例如，
	产品评论。你感兴趣的是人们对产品的正面或负面感受，但他们也可能会谈到其他方面，比如运输，而你并不一定在意他们对运输是否满意，主要是因为这超出了你的控制范围。
	你肯定不想把一堆评论都归到一起，因为这些评论里也提到了运费。所以，考虑分析的范围并进行适当的限定非常重要，而这里的功能查找器就是实现这一目标的一种方法。
	所以现在你可以看到，在我对“销售额”进行评分后，正面和负面文档的分布情况截然不同。我们有更多文档没有情感评分，因为它们……
	干脆不要谈论销售，或者不要用情绪化的语言来讨论销售，我们现在有一份不同的情感词汇表，专门用来描述销售情况。
	让我把它删掉。
	我意识到我忘了提一件事，虽然我之前简单提过，那就是我们一直在看的这些文档总分是如何计算的，我说过它们是所有情感词的平均值……
	这件事发生在某个特定的文档中。我们来看一下文档 1。我只想向你们展示一下……
	如果你想知道这个分数是怎么来的，比如说 -20，你可以把鼠标移过去，它会显示所有出现的情感词列表。
	你可以看到，这里有16个，包括最底部的“亮点”，它的分数是+78，然后，如果你把所有这些分数加起来，再除以78……
	或者，抱歉，除以 16，那么平均情绪值为 -20。这是提供总体评分的两种方法之一。另一种方法是最小-最大评分法，即最小值和最大值之间的差值。
	文中表达的情感。
	现在，我们仅通过查看这份报告就能获得很多信息，例如情感评分、最常用的词汇等等。
	但很多时候，我们想把这些情感以其他方式运用，例如：
	像我们在幻灯片里那样，用图表的方式查看它们。所以，当需要进行这部分分析时，只需点击这里的红色三角形即可。
	并将文档评分保存下来。这样，这些评分就会保存到您的数据表中，以便您可以将其输入到进一步的分析中或绘制成图表，或者进行任何您想要的操作。
	以上是对 JMP Pro 16 中文本浏览器即将推出的情感分析功能的预览。其核心思想是，情感分析使用情感词典，该词典……
	您可以设置对每份文档的积极和消极情感内容进行评分，然后您可以根据自己的需要以任何方式使用这些信息。
	那么我们现在就先告别情感分析，接下来我将回到幻灯片，谈谈即将加入文本探索器的另一项技术。
	这就是术语选择，术语选择回答了另一个问题，那就是，哪些术语与我关心的一些重要变量或变量的关联性最强？
	我们将继续采用褐皮书。
	我们将探究哪些词语与经济衰退存在统计学上的关联。图中显示的是随时间推移的百分比变化。
	图中展示了按季度划分的国内生产总值（GDP），蓝色代表经济增长，红色代表经济萎缩。我们可能会想，这究竟意味着什么？
	褐皮书中出现的某些术语，是否可能与这些经济衰退时期存在统计学上的关联？例如，这里列出的几个术语。
	你知道，我们为什么要将褐皮书中的特定术语与经济衰退时期联系起来呢？
	嗯，获取一份术语列表本身就可能很有参考价值。你知道，我或许能从中发现一些微妙之处。
	一些我可能没有意识到或难以用定量数据捕捉到的经济衰退的驱动因素或影响。
	我或许还能找到一些词语供进一步分析。我或许……我或许能找到一些
	潜在的情绪词汇，一些在经济形势特别糟糕时使用的词汇，我在第一次进行情绪分析时错过了。
	或者，我或许可以找到一些与经济衰退密切相关的词语，以便将它们用于预测模型，从而尝试找出未来经济衰退可能发生的时间。
	因此，我们可能出于多种不同的原因想要了解哪些词语与经济衰退的关联性最强。
	那么，这在 JMP 中是如何实现的呢？我们基本上构建了一个回归模型，其中结果变量是我们关心的变量——经济衰退，而输入变量则是所有不同的词语。
	输入模型的数据采用文档词项矩阵的形式，其中每一行对应于：
	一份文件或一份褐皮书报告，然后各列记录该报告中出现的词语。这里我们高亮显示了“弱”这一列，其内容为“二进制”，这意味着
	它将包含 1 和 0；1 表示该报告包含“weak”一词，0 表示该报告不包含“weak”一词。这是我们对文档进行评分的几种方法之一，但目前我们先使用这种二进制方法。
	所以我们将这些信息输入到回归模型中。以下是发布会的模拟结果。
	我们将经济衰退作为 Y 变量，这是一个非此即彼的变量，然后我们将所有这些二元项预测变量作为模型效应输入。
	然后我们将使用 JMP Pro 的通用回归工具
	为了构建模型，这是因为广义回归（或称 GenReg）包含了自动变量选择技术。所以，如果您熟悉……
	正则化回归，我们指的是像 Lasso 或弹性网络这样的回归。如果你不知道这是什么意思，完全没关系。它的基本思想是自动地……
	找出与结果变量“衰退”关联最强的术语，然后将它认为与该变量无关的术语归零。
	这样我们就可以研究“衰退”与成百上千个可能与之相关的词语之间的关系。
	那么，我们运行分析后会得到什么结果呢？
	我们得到了一个模型。所以这里我们看到的是这个模型的方程。不用太担心。关键是，我们说
	经济衰退的对数几率，也就是我们处于经济衰退状态的概率的函数，而褐皮书的发布时间则取决于……
	褐皮书报告中可能出现的所有不同词语。
	你可以看到，你知道，“大流行”一词的出现产生了影响，其系数为 1.94。
	这意味着，如果褐皮书报告中提到“疫情”一词，那么“衰退”的对数概率就会上升1.94倍。然后我们看到“增长”的对数概率会下降1.02倍。也就是说，如果褐皮书报告中提到“增长”一词，那么衰退的概率……
	或者，经济衰退的对数几率下降 1.02。
	因此，我们从中得出了一系列与经济衰退概率增加密切相关的术语，例如“疫情”、“推迟”、“取消”、“止赎”。
	我们还得到了一系列与经济衰退概率降低相关的术语，例如“获得”、“加强”、“竞争”。
	我们还可以看到“制造业”，但它的系数相对较小，约为 -0.2。
	实际上你会注意到，如果我们看一下本次分析中选择的所有术语的图形表示，你会发现并没有太多像“制造业”这样的具体领域。
	“旅游业”、“投资”等等。这是因为无论经济是否衰退，人们总是谈论这些话题，所以我们真正想寻找的是那些被使用的词语。
	你知道，我们陷入经济衰退的频率远超预期。所以我们有……例如，那些是
	“疫情”这个词最具预测性。这很有道理。直到最近我们才开始谈论疫情，而且最近我们也经历了经济衰退，所以我们对疫情的到来已经非常清楚了。
	然后我们还有一些其他的，算是第二层级的，比如“推迟”、“取消”、“止赎”、“恶化”、“悲观”。
	有趣的是，“推迟”和“取消”这两个词都与经济衰退有关。这很合理，毕竟人们确实想讨论的是推迟经济活动之类的事情。
	当经济衰退发生时，或者至少这或许是一个可靠的趋势。这本身就是一种洞见。事实上，我
	我的意思是，我无法告诉你美联储是如何追踪经济活动的推迟或取消情况的，但这些术语在这项分析中被标记出来，这表明这可能是值得追踪的事情。
	好的，这就是术语选择。我们得到了一个与经济衰退相关的术语列表，并且可以看到它们之间的关联强度。现在让我们简单看一下在 JMP 中是如何操作的。
	所以我要回到JMP软件，我们要调出一个略有不同的数据表。不过，数据仍然是褐皮书，只是现在我们只有国家层面的报告。
	我们还有一个伴随变量，即美国当时是否处于经济衰退状态。当然，这些数据存在一定的自相关性。我的意思是，如果上个月我们处于经济衰退状态，那么这个月我们处于经济衰退状态的可能性就比上个月没有处于经济衰退状态时更大。
	您也知道，这通常会对基于回归的分析造成问题，但这纯粹是探索性的，我们并不太担心。
	所以我打算直接从表格脚本中调出文本浏览器，因为我们之前已经大致了解过它是如何启动的。
	不过请注意，我已经像之前一样进行了一些措辞处理。我还添加了一些停用词（您在这里看不到），这些词我不希望它们被此次分析返回。
	我已经开启了词干提取功能，这就是词条列表中那些小点的含义。例如，现在“increase”实际上是将“increases”、“increasing”和“increasingly”合并在一起的。
	那是因为我现在觉得这些概念都差不多，我只是想知道，你知道，这个概念是否与经济衰退有关。
	所以要启用术语选择功能，我们只需点击红色三角形，然后在这里选择它。
	首先会弹出一个控制窗口（或者应该说是控制部分），我们可以在这里选择关注的变量，也就是经济衰退。选择目标值，我希望它代表经济衰退的概率，而不是没有经济衰退的概率。
	我可以指定一些模型设置。如果您熟悉 GenReg，就会发现您可以选择是否提前停止，以及选择两种不同的方法之一。
	惩罚项用于变量选择，以及你想用什么统计量进行验证。如果你对这些内容还不熟悉，也不用太担心。默认设置一开始就很好用。
	如果您还记得的话，我们已经设置了权重。在“弱”这一列中，我们用 1 和 0 来表示该词是否出现在文档中，但您可以根据需要进行选择。
	例如，频率并非指“弱”现象是否出现，而是指它出现了多少次。这会影响你对结果的解读方式。目前我们暂且使用二元分类。
	但是我想说，我想查看最常用的1000个词条，而不是默认的400个。你可以看到，这比436个词条多得多，通常情况下，你不可能用1000个词条来拟合一个模型，而只能用436个词条。
	观察结果，但多亏了
	在广义回归中，自动变量选择不是问题。因此，它再次从这上千个项中选择出相关性最强的项，因此得名“项选择”。
	所以我运行一下这个程序。你可以看到，JMP 调用了广义回归平台并返回了这些结果，在这里，我们可以看到一些关于模型拟合的信息。例如，我们返回了 37 个项。
	我把它移到一边。因为右边这边有一些非常有价值的信息。这里列出了与经济衰退关联最密切的词汇。
	现在我将按系数对这些词进行排序，找出与经济衰退概率关联最强的词，所以再次强调，这些词是“疫情”、“延期”、“取消”。正如你所预料的，此时如果我点击其中一个词，预览就会更新。
	或者看看下面的这些文本片段，这样我们就能在上下文中实际看到这个词了。
	因此，这份术语表本身就极具价值。您可能会从中了解到一些之前不了解的重要术语或概念。您还可以将这些术语用于预测模型中。
	还有几点需要注意。
	您可以看到，下面我们再次为每个文档创建了一个表格，但这次表格中显示的不是情感得分，而是模型给出的分数。对于每个文档，我们都有相应的分数。
	这...
	我们称之为正贡献，也就是预测经济衰退概率的正系数所贡献的部分。这里我们列出的是负系数。
	然后，我们甚至还有模型预测的经济衰退概率，这里是 71.8%，以及我们实际观察到的情况。
	我们在这里并非一定要构建一个预测模型，也就是说，我不会用这个模型来预测经济衰退。我的意思是，我有很多经济指标变量可以使用。
	也一样，但这确实是检验模型是否合理的好方法。它的预测看起来是否有些正确？
	因为如果不是这样，你可能就不会信任它返回的条款。你还有很多其他信息可以用来做出判断。我的意思是，我们有一些拟合统计数据，比如上面曲线下的面积。
	或者我们甚至可以进入通用回归平台，那里有各种常规选项，可以进一步评估您的模型。
	我不会深入探讨细节，但所有这些都可供您使用，以便您可以评估您的模型，并根据自己的喜好调整模型，确保您有一份令您满意的术语列表。
	现在您可以看到，在摘要下方，我们有一个模型列表，这是因为您可能需要运行多个模型。所以，如果我回到模型……哦，不好意思……如果我们回到我们的
	如果按照上面的设置，我其实可以运行一个略有不同的模型。例如，我知道BIC比AICc更保守一些，所以我想返回更少的项；也许我做了一个分析，返回了900个项，你觉得有点不知所措。
	所以我点击运行，然后用它构建另一个模型。
	现在我们已经将该模型添加到列表中，我可以切换这些模型来查看每个模型的结果。在这个例子中，我们只返回了 14 个项，而不是 37 个，下面我将逐一评估它们。
	所以，你当然会得到两个主要的输出结果，其中一个就是这个术语列表。如果你想保存它，这些术语对你来说很重要，你想跟踪它们，只需右键单击并将其转换为数据表即可。现在我有一个 JMP 表格。
	包括各项参数、它们的系数和其他信息。
	和
	如果你真正想做的是将这些数据写回原始数据表，以便你可以在其他类型的分析或预测模型中使用这些信息，
	只需前往术语选择，然后选择将术语得分保存为文档术语矩阵即可。如果我把数据表放回这里，您可以看到我已经写入了他们的数据。
	为选定的每个术语分别填充列。在本例中，列中填入了它们的系数，现在我可以使用它了。
	我喜欢定量信息。
	以上只是关于术语选择的一小部分。再次强调，这里的核心思想是，我找到了一系列与我关注的变量相关的术语，而且通过它们的系数，我甚至可以了解这种相关性的强度。
	那么我们就总结一下吧。我们已经介绍了两种技术。我们刚才看到了词项选择，也就是找到那些重要的词语。在此之前，我们回顾了情感分析，以及关于情感分析的所有内容。
	量化文本中正面或负面情绪的程度。这是 JMP Pro 16 文本浏览器新增的两项文本挖掘技术。我们非常期待您体验这些技术，并期待您的反馈。

高级统计建模基础数据分析与建模消费者和市场研究数据融合与清理数据探索与可视化实验设计大规模定制预测建模和机器学习质量与工艺工程可靠性分析分享和交流结果