349270_zh-CN

liliconcom

通过 JMP® Pro 16 (2021-EU-45MP-790) 中的情感分析和术语选择扩展我们的文本挖掘工具包

级别：中级

 

Ross Metusalem，SAS JMP 系统工程师

 

文本挖掘技术可以从非结构化文本数据中提取定量信息。 由于文本浏览器功能的两项新增功能：情感分析和术语选择，JMP Pro 16 扩展了它可以从文本中提取的信息。 情感分析通过将文本的单词映射到可定制的情感承载术语字典和相关分数（例如，“很棒”：+90；“糟糕”：-90）来量化文本中表达的积极或消极情绪的程度。 由此产生的情感分数可用于大规模评估人们的主观感受，探索与客观概念相关的主观感受并丰富进一步的分析。 项选择通过应用 JMP Pro 中广义回归平台的正则化回归功能（从文本资源管理器内部调用），自动查找对响应变量最具预测性的项。 术语选择对于轻松识别重要结果度量与相关非结构化文本中特定术语的出现之间的关系非常有用。

本演讲将概述情感分析和术语选择技术，演示它们在现实世界数据中的应用，并分享一些有效使用每种技术的最佳实践。

 

 

自动生成的成绩单...

 

扬声器	成绩单
罗斯·梅图萨勒姆	大家好，感谢您花一些时间了解 JMP 如何在 JMP Pro 16 中扩展其文本挖掘工具包
	情感分析和术语选择。
	我是 Ross Metusalem，美国东南部的一名 JMP 系统工程师，我将向您简要介绍这两种新分析，解释一下它们的工作原理，并提供一些使用它们的最佳实践。
	因此，这两种分析技术都出现在 Text Explorer 中，对于那些不熟悉的人来说，这是 JMP 的
	用于分析我们所说的自由或非结构化文本（即自然语言文本）的工具。
	这就是我们所说的文本挖掘工具，这是一种从自由文本中获取定量信息的工具，这样我们就可以
	使用其他类型的统计或分析工具从自由文本中获取见解，甚至可以将该文本用作其他分析的输入。
	因此，让我们来看看 JMP Pro 16 中文本资源管理器中的这两种新的文本挖掘技术，我们将从情感分析开始。
	情感分析的核心回答了文本在情感上是积极还是消极的问题。
	我们将对褐皮书进行情绪分析，这是美国联邦储备银行的定期报告。
	现在，我对 JMP Discovery Europe 使用美国示例表示歉意，但褐皮书确实很好地演示了情绪分析的含义。
	这是一份月刊，包含国家级报告，以及12个地区级报告，总结了这些地区的经济状况，所有这些都是基于定性信息，例如访谈和调查。
	美国政策制定者可以利用褐皮书中的定性信息以及传统经济指标中的定量信息来推动经济政策。
	所以你可能会想，好吧，我们现在正在谈论情绪或情感。 我不知道我期望经济报告包含多少情感，但褐皮书报告和许多语言确实包含可以承载或传达情感的词语。
	让我们看一下一份报告的摘录。 这是直接来自新情绪分析平台的屏幕截图。
	您会注意到一些突出显示的单词，这些就是我们所说的情感术语，即
	我们认为这些术语对他们来说有一些情感内容。 例如，在顶部，“另一方面，计算机销售严重低迷，”
	其中“严重抑郁”以紫色突出显示，表明我们认为这是为了传达负面情绪，如果有人将计算机销售描述为“严重抑郁”，听起来他们的意思是我们将其解释为肯定是一件坏事。
	如果我们往下看，我们会看到橙色突出显示了一些积极的情绪术语，例如“改善”或“有利”。 因此我们可以寻找我们认为具有积极或消极情绪的词语
	紫色代表消极，橙色代表积极，一些情感分析将事情保持在这个水平，所以只是二元区分，积极文本或消极文本。
	还有其他执行情感分析的方法，特别是：
	许多方法试图量化积极或消极的程度，而不仅仅是量化某事物是积极还是消极。 因此，考虑另一个例子，我将把我们的注意力集中到这里的底部，在那里我们可以看到“销售不佳”的报告。
	我将把它与我们所说的“计算机销售严重低迷”进行比较。
	所以这两种说法都是负面的，但我想我们都同意“严重抑郁”听起来比“贫穷”更负面。
	因此，我们不仅要弄清楚表达的情绪是积极的还是消极的，而且还要弄清楚它的积极程度或消极程度，这就是情绪分析的目的
	文本资源管理器可以。 那么它是如何做到的呢？ 嗯，它使用了一种称为词汇情感分析的技术，该技术基于一些情感术语和相关分数。
	所以我们现在看到的是我们所谓的情感词典的摘录，其中包含术语及其分数。
	例如，术语“fantastic”的得分为正 90，而底部的术语“grim”的得分为 -75。
	因此，我们要做的就是指定我们认为哪些术语带有情感内容，以及它们在任意范围内积极或消极的程度，这里是 -100 到 100。
	然后我们可以在所有文档中找到这些术语，并使用它们来对这些文档的整体积极或消极程度进行评分。
	如果你回想一下我们的例子“严重抑郁”，那么“严重”这个词和“抑郁”这个词，我们所说的就是强化它。
	它是所表达情感的增强器或乘数，因此我们还有一个增强器字典以及它们对情感术语表达的情感的作用。
	例如，我们说“令人难以置信”会将情绪乘以 1.4 倍，而“小”会将情绪乘以 0.3 倍，所以实际上，你知道，它稍微削弱了所表达的情绪。
	现在，最后我们要考虑另一种类型的词，那就是否定词，比如“不”和“不”，我们基本上将它们视为极性反转。 所以
	“不是很棒”就是将“很棒”的分数乘以-1。
	因此，这是进行情感分析的常见方法，又称为词汇情感分析。 因此，我们所做的就是采用我们找到的情感术语，将它们乘以任何相关的增强器
	或否定词，然后对于每个文档，当我们获得出现的各个术语的所有情绪分数时，我们只需对所有术语进行平均即可获得该文档的情绪分数。
	JMP 通过多种有用的方式将这些分数返回给我们。 这是情绪分析工具的屏幕截图，您知道，我们稍后将使用它。
	但您可以看到，除其他外，它还为我们提供了所有文档中情绪分数的分布。 它为我们提供了所有情感术语及其出现频率的列表。
	正如我们将看到的，我们甚至有能力导出情绪分数以在图表或分析中使用它们。
	因此，我实际上在这里制作了几张图表，只是为了初步了解褐皮书报告中的情绪是否确实以我们认为应该的方式与经济事件保持一致？ 你知道，我们对此真的有一定的道理吗？
	情绪作为某种经济指标？ 答案看起来是，是的，可能是。
	这里我有一个在 Graph Builder 中制作的图；这是随着时间的推移而产生的情绪，所以所有的小灰点都是个人报告
	蓝色平滑点显示了随着时间的推移情绪的趋势，零处的黑线显示了中性情绪，至少根据我们的评分方案是这样。
	红色区域是
	美联储正式列出的经济衰退时期。
	因此，您可能会注意到情绪似乎已触底或经济衰退出现低谷，但您可能会注意到另一件事
	实际上，在每次经济衰退之前，我们都会提前几个月甚至在某些情况下，提前几年看到情绪下降。 我们没有看到情绪大幅下降
	在没有经济衰退的情况下。 因此，褐皮书情绪作为经济衰退的领先指标也许有一定的有效性。
	如果我们从地理角度来看，我们也会看到一些有意义的事情。 这只是分析中的一个例子。 我们正在关注 12 月份的情绪
	1999 年至 2000 年至 2001 年期间的美联储分区。 这是通常所说的互联网泡沫破灭的时期，所以这就是
	科技公司和在线企业出现了巨大的泡沫，最终，其中许多公司破产了，并产生了一些相当严重的经济后果。
	99 到 2000 年的情绪正在增长，事实上，情绪增长得相当强劲，看起来，
	旧金山联邦储备区是许多此类公司的总部所在地。 然后在 2001 年经济萧条之后，我们看到最大的下降，一直到红色的负面情绪，再次发生在旧金山地区。
	因此，对这些褐皮书情绪分数进行快速图形检查表明，它们在跟踪（也许是预测）某些经济事件的能力方面确实有一定的有效性，当然，后者我们需要研究更多小心。
	但这只是情感分析潜在用例的一个例子，还有更多。
	目前它最大的应用领域之一是消费者研究，比方说，人们可能会分析
	一些消费者调查回复以确定是什么推动了积极或消极的意见或反应。
	但情感分析也可以用于产品改进，其中分析产品评论或保修索赔可能有助于我们发现引起客户强烈情绪反应的产品功能或问题。
	比如说客户支持，我们可以分析呼叫中心或聊天……聊天记录
	找到一些可以让客户满意或不满意的支持实践。 甚至可能是公共政策，我们分析公开评论，以衡量公众对拟议或现有政策的反应。
	这些只是可以应用情感分析的几个领域。 它确实适用于任何需要传达某种情感并且这种情感可能提供信息的文本的地方。
	这就是我想说的。 现在我想花一点时间向您介绍它在 JMP 中的工作原理，所以让我们继续讨论 JMP。
	这里我们有褐皮书数据，所以在底部，您可以看到我们这里有超过 5,000 份报告，并且我们有每份报告的日期
	1972年5月2020年10月，来自12个区中的哪一个，然后是报告正文。 你可以看到这些报告，
	它们不仅仅是快速陈述经济状况是好是坏，它们还可以提供一定程度的细节。
	现在，在我们深入研究这些数据之前，我只想对某人提出分析褐皮书的想法表示感谢，并感谢您实际提取数据并将其输入 JMP，以一种
	格式准备分析。 感谢 Xan Gregg，如果您不知道，Xan 是 JMP 开发团队的总监，也是 Graph Builder 的创建者，所以感谢 Xan，您的帮助。
	好吧，让我们量化所有这些报告中积极和消极情绪的程度。 我们将使用分析菜单下的文本资源管理器。
	这里有我们的启动窗口。 我将获取文本数据，将其放入文本列角色中。 在我们开始之前，有几件事需要强调。
	文本资源管理器支持多种语言，但目前情感分析仅支持英语，我想提请注意的另一件事就是这里的词干。
	因此，对于那些进行文本分析的人来说，您可能熟悉什么是词干提取，但对于那些不熟悉的人来说，词干提取是一个我们可以折叠多个...的过程。
	好吧，为了保持非技术性……同一个词的多个版本放在一起。 以“强”、“更强”和“最强”为例。 所以这是三个
	同一词“强”的不同版本，在某些文本挖掘技术中，您实际上希望将所有这些组合成一个术语，然后说，哦，它们都意味着“强”，因为这在概念上是相同的事情。
	事实上，我要离开这里，这是因为……用“最强”来描述某事物所能达到的最强程度
	与“更强”相比，“更强”表示你知道它很强大，但你知道，它仍然有变得更强的空间。
	因此，“最强”可能会比“更强”获得更高的情感分数，如果我要阻止，我将失去这些词之间的区别。 因为我不想失去这种区别，所以我想给他们不同的情感分数。 我要继续离开这里。
	所以我会点击“确定”。
	JMP 现在将对我们的文本进行标记，即将其分解为所有单独的单词，然后计算每个单词出现的频率。
	这里我们列出了所有术语及其出现频率。 因此，“sales”出现了 46,000 多次，我们的短语列表也在这里。 所以这些短语是
	经常出现的两个或多个单词的序列，有时我们实际上想将它们算作我们的术语中的术语
	分析。对于情感分析，您需要浏览短语列表，比方说，也许添加“房地产”，这是两个词，但它实际上指的是财产。
	我可以补充一点。 现在通常在文本分析中，我们还会添加所谓的停用词，
	这些词在我们的分析背景下并没有真正的意义，我们想排除掉。 就拿“区”来说吧。 这种情况发生......或者褐皮书使用
	经常使用“地区”这个词，只是说，“这份来自里士满地区的报告”之类的，这并没有什么意义。
	但实际上我不会在这里费心使用停用词，那是因为，如果你还记得的话，
	回到我们的幻灯片，我们说过我们所有的情感分数都基于字典，我们在字典中选择情感词以及它们应该得到的分数。
	如果我们只是将“district”排除在外，它本质上会得到 0 分，并且不会影响我们的情绪分数，因此我实际上不需要将其声明为停用词。
	因此，一旦我们准备好，我们将调用文本，或者，对不起，这里红色三角形下的情绪分析。
	因此，JMP 现在正在做的事情是，因为我们尚未声明任何情感术语或其他情况，所以它使用内置情感字典对所有文档进行评分。 在这里我们可以得到我们的分数。
	现在，在浏览这些结果之前，我们可能应该自定义我们的情感字典，即带有情感的单词及其分数。 那是因为在不同的领域，
	也许不同的人生成文本，某些单词将承载不同程度的情感，或者在一种情况下承载情感，而在另一种情况下则不然。 所以我们想要
	我们非常仔细、彻底地创建了一个情感词典，我们认为它准确地捕捉了我们现在正在分析的语言所传达的情感。
	因此，正如我所说，JMP 使用内置字典，而且它非常稀疏。 所以你可以在这里看到它，它有一些表情符号，
	就像这些小笑脸之类的，但是我们有一些非常清晰的情感语言，比如 -90 的“abysmal”。
	现在，可能不会有人使用“糟糕透顶”这个词，但并不意味着它有负面意义，所以我们对此感觉很好。 但是，您知道，这个列表并不是很长，我们可能想向其中添加一些术语。
	那么让我们看看如何做到这一点，我可以推荐的一件事就是查看您的数据。 您知道，请阅读您拥有的一些文件，并尝试找到一些您认为可能表达情感的词语。
	实际上，我们这里有一个工具，可以让我们仔细阅读我们的文档并直接从中添加情感术语。 所以在这里，我有一个文档列表。 您可以看到文档 1 突出显示，然后文档 1 显示在下方。 我可以选择不同的文档来查看它们。
	现在，如果我们立即查看文档 1，您可能会注意到一些潜在的情绪术语，例如“悲观主义”和“乐观主义”。
	现在您可以看到这些没有突出显示。 这些实际上不包含在标准情感词典中。
	你会发现很多名词实际上不是，这是因为像“悲观主义”或“乐观主义”这样的名词基本上可以用表明它们存在或不存在的方式来描述。 所以我可以说，你知道，“悲观情绪正在下降”或者
	“明显缺乏悲观情绪，”“不再有悲观情绪的报道。”
	而且，在这些情况下，我们不会说“悲观主义”是消极的事情。 这是......所以在将单词添加到情感词典之前，您需要小心并考虑上下文中的单词以及它们的实际使用方式。
	例如，我可以返回到此处的术语列表。 我只是要展示一下过滤器
	查找“悲观主义”，然后显示文本来看看它是如何使用的。 所以我们可以在第一个例子中看到，“我们董事的情绪从悲观到乐观各不相同。”
	还有下一张
	“私人谈话中充满了深深的悲观情绪。” 如果你真的读过，这是典型的用法，所以实际上在褐皮书中，他们似乎并没有以我可能担心的方式使用悲观主义这个词，
	“乐观情绪正在增加。”
	所以我实际上觉得在这里添加“悲观主义”是可以的，所以让我们将它添加到我们的情感词典中。
	所以如果我把鼠标悬停在它上面
	你可以看到我们提出了一些如何处理它的选项。 所以在这里我可以给它打-60分。
	现在，它将与相应的分数一起添加到我们的字典中，并且它会触发 JMP 中更新的情绪评分。 也就是说，它现在正在寻找“悲观主义”一词，并调整找到它的所有文档分数。
	现在让我们回过头来更详细地看看我们的情绪术语。 如果我向下滚动，你会发现“悲观主义”
	就在这里，我刚刚给出的分数是-60。 现在我可能想实际上...如果您注意到，默认情况下“悲观”的得分为 -50，所以也许我只是在此处输入 -50 以使其保持一致。
	我可以，但我不会这样做，这样我们就不会触发另一次更新。
	您还会注意到，就在这里，可能的情绪术语列表。 因此，JMP 已确定这些术语可能带有情感，您可能需要查看它们并考虑将它们包含在您的词典中。
	比如这里的“强”这个词，如果你看一下右边的一些文档文本，你可能会说，好吧，这显然是一件积极的事情。 如果你看过很多这样的例子，你就会发现，
	这些经济学家在谈论当前经济的好坏时经常使用“强”和相应的“弱”一词。
	所以我可以添加它们，或者通过点击上面按钮中的正 60 来添加“强”。 再说一次，我现在不会，只是为了加快我们对情绪分析的了解。
	因此，我们可以像下面的文本一样，通过此处的情绪术语列表来选择一些好的候选者。
	在红色三角形下，我们还可以更直接地管理情绪项，这就是完整的
	术语管理列表是我们文本浏览器用户可能习惯的，例如短语管理和停用词管理。
	您可以看到，除了所有内置术语之外，我们还为此特定分析添加了一个本地新术语。 当然，如果我们想实际上不包含其中的一些异常，我们也可以声明异常。
	重要的是，您还可以导入和导出情感词典。 声明情绪术语的另一种方法是咨询主题专家。 你知道，
	对于他们期望看到的能够清楚传达信息的词语类型，经济学家可能有很多话要说。
	这些报告中的积极或消极情绪。 如果我们可以与他们交谈，我们会想知道他们对此有何看法，我们甚至可以在一个制表符分隔的文件中导出一个字典，然后将其导入到此处。
	当然，一旦我们制作了一本感觉良好的词典，我们就应该将其导出并保存，以便将来再次应用。
	这就是关于如何实际管理情感词典的一些内容。 这也很重要
	管理你的增强项和否定项，同样，你在这里看不到分数，因为这些只是极性反转。
	只是为了向您展示更多关于实际情况的信息，如果我们……让我们在这里看一下情绪，这样我们就可以看到其中的实例
	JMP 在其中一些情绪术语之前找到了“不”一词，并实际应用了适当的评分。 因此，在顶部，“不可接受”的得分为 -25。
	所以我向您展示，只是为了让您注意这样一个事实：这些否定器和增强器，它们是由 JMP 自动应用的。
	但无论如何，让我们从讨论如何设置分析转向实际查看结果。 所以我要提出
	已经完成的分析版本，也就是说，我已经整理了情感词典，我们实际上可以开始解释我们得到的结果。
	因此，我们在这里进行了高级总结，因此我们拥有的积极文件多于消极文件。 正如我们之前讨论的，我们可以看到，每个都有多少。 事实上，在左侧表格的底部，您会看到我们有一份文件，其中没有表达任何情绪。
	“强”出现 14,000 次，“弱”出现约 4,500 次
	通过计数或分数来查看这些，查看最消极和最积极的方面，
	即使在上下文中查看它们本身也可以提供相当多的信息。 我的意思是，特别是在消费者研究这样的领域，如果你想知道人们何时感到积极或表达积极性
	关于我们的品牌或我们拥有的一些产品，他们使用什么类型的语言，也许这会为营销工作提供信息，比方说。 在这方面，这份情感术语列表可以提供大量信息。
	制造业，
	旅游、投资。 有时我们特别想将其中一个子域归零，我们可以称之为特征。
	如果我进入情绪分析中的此功能选项卡，我将单击搜索。 JMP 会找到一些通常与情绪术语一起出现的单词，并询问您是否想深入了解与该功能相关的情绪。
	以“销售”为例。 我们可以看到“据报道销售疲弱”、“销售疲软”、“据报道销售保持良好”等等。
	因此，如果我只是对这个选定的功能进行评分，那么现在 JMP 要做的就是仅提供这些较大报告中提及“销售”的情绪评分，这将帮助我们完善我们的分析或将其重点放在一个非常好的方面——定义的子域。
	这一点尤其重要。
	您知道，我们正在分析的语言的领域可能没有那么严格的限制。 举个例子，
	产品评论。 您感兴趣的是人们对产品的积极或消极看法，但他们也可能会谈论运输等问题，而您不一定关心他们是否对运输不太满意，主要是因为它超出了您的控制范围。
	您不会只想包含一堆也对发货发表评论的评论。 因此，考虑分析领域并对其进行适当限制非常重要，这里的特征查找器就是实现这一目标的一种方法。
	所以你现在可以看到，我已经在“销售”上得分了，我们的正面和负面文档的分布非常不同。 我们有更多没有情绪评分的文档，因为它们
	只是不要谈论销售或不要使用情感语言来讨论它，我们现在有一个不同的情感术语列表，专门针对销售。
	让我删除这个。
	我意识到我忘记提及的一件事，我简单地提到了，我们一直在研究的这些总体文档分数是如何计算的，我说它们是......的所有情感术语的平均值。
	发生在特定文档中的情况。 那么我们来看看文档1。 我只是想让你看看
	如果您想知道这个分数从何而来，比如说 -20，您只需将鼠标放在上面，它就会向您显示所有出现的情感术语的列表。
	你可以看到，这里我们有 16 个，包括所有位于底部的“真正的亮点”，即 +78，然后，如果你除以……将所有这些分数相加。除以 78...
	或者除以 16，对不起，那么你得到的平均情绪是 -20。 这是提供总体分数的两种方法之一。 另一种是最小最大评分，因此最小和最大之间的差异
	文中所表达的情感。
	现在，我们只需查看这份报告就可以获取大量信息，你知道，显然是情绪分数，这是最常见的术语。
	但很多时候我们想要接受这些情感并以其他方式使用它们，比如
	以图形方式查看它们，就像我们在幻灯片中所做的那样。 因此，当需要进行这部分分析时，只需前往此处的红色三角形即可
	并保存文档分数。 这些会将这些分数保存回您的数据表中，以便您可以将它们输入到进一步的分析中或将它们绘制成图表，无论您想要做什么。
	这是 JMP Pro 16 中文本资源管理器中情绪分析的预览。 最重要的想法是情感分析使用情感字典
	您设置为提供与每个文档的积极和消极情感内容相对应的分数，然后从那里，您可以以任何对您有用的方式使用该信息。
	因此，我们现在将情感分析抛在后面，我将继续回到我们的幻灯片，讨论即将出现在文本资源管理器中的其他技术。
	这就是术语选择，其中术语选择回答了一个不同的问题，即哪些术语与我关心的某些重要变量或变量关联最紧密？
	我们将坚持使用褐皮书。
	我们要问哪些词在统计上与经济衰退相关。 所以在这里的图表中，我们看到了随着时间的推移，百分比变化
	每个季度的GDP（国内生产总值），其中蓝色表示经济增长，红色表示经济收缩。 我们可能会想，嗯，什么
	褐皮书中出现的术语可能在统计上与这些经济衰退时期相关吗？ 例如，其中一些就在这里。
	您知道，为什么我们要将褐皮书中的特定术语与经济衰退时期联系起来？
	好吧，获取术语列表本身就可能提供丰富的信息。 你知道，我可能会发现一些潜在的，你知道的，微妙的
	我可能不知道或无法在定量数据中轻易捕捉到经济衰退的驱动因素或影响。
	我可能还会找到一些词来进一步分析。 我可能...我可能会找到一些
	潜在情绪术语，当经济表现特别差时使用的一些术语，我在第一次进行情绪分析时错过了这些术语。
	或者也许我可以找到一些与衰退密切相关的单词，我想我可以在预测模型中使用它们来尝试找出未来何时可能发生衰退。
	因此，出于多种不同的原因，我们可能想知道哪些词与经济衰退最相关。
	那么，这在 JMP 中是如何工作的呢？ 好吧，我们基本上建立了一个回归模型，其中结果变量是我们关心的变量，经济衰退，输入都是不同的词。
	输入模型的数据采用文档术语矩阵的形式，其中每一行对应于
	一份文档或一份褐皮书报告，然后各列捕获该报告中出现的单词。 在这里，我们突出显示了“弱”列，它显示“二进制”，这意味着
	它将包含 1 和 0； 1 表示该报告包含单词“weak”，0 表示该报告不包含单词“weak”。 这是我们对文档进行评分的几种方法之一，但我们现在将坚持使用这个二进制文件。
	因此，我们获取这些信息并将其输入回归模型。 这就是发布的样子。
	我们将经济衰退作为 Y 变量，这只是一种是或否变量，然后我们将所有这些二元项预测变量作为我们的模型效应输入。
	然后我们将使用 JMP Pro 的广义回归工具
	为了构建模型，这是因为广义回归或我们所说的 GenReg 包含自动变量选择技术。 所以如果你熟悉
	正则化回归，我们谈论的是套索或弹性网络。 如果您不知道这意味着什么，那也完全没问题。 这个想法是它会自动
	找到哪些术语与结果变量“衰退”最密切相关，然后找到那些它认为不与之相关的术语，它将把它们归零。
	这使我们能够研究“衰退”之间的关系，也许你知道数百、数千个可能与之相关的单词。
	那么当我们进行分析时我们会得到什么呢？
	我们拿出一个模型。 所以我们这里得到的是该模型的方程。 别太担心它。我们的想法是
	衰退的对数几率，所以它是我们陷入衰退的概率的函数，而褐皮书的发行时间是以下函数
	褐皮书报告中可能出现的所有不同词语。
	你可以看到，我们有，你知道，“流行病”这个词出现的效果，系数为1.94。
	这仅仅意味着，如果褐皮书报告提到“流行病”一词，“经济衰退”的对数几率就会上升 1.94。 然后我们看到负 1.02 倍的“增益”。 好吧，这意味着如果褐皮书报告提到“增益”这个词，那么经济衰退的可能性......
	或者衰退的对数几率下降 1.02。
	因此，我们从中得到了一系列与经济衰退可能性增加密切相关的术语，比如“流行病”、“推迟”、“取消”、“取消抵押品赎回权”。
	我们还得到了与衰退可能性降低相关的术语列表，例如“增益”、“加强”、“竞争”。
	我们还在那里看到了“制造业”，但它的系数相对较小，约为 -0.2。
	您实际上会注意到这里，如果我们查看此分析中选择的所有术语的图形表示，您不会看到太多特定领域，例如“制造”，
	“旅游”、“投资”等等。 那是因为无论我们是否处于经济衰退之中，这些事情总是被谈论，所以我们真正寻找的是使用的词语，
	你知道，当我们陷入经济衰退时，其发生的频率比你预期的要高。 所以我们...例如，那些是
	“大流行”是最具预测性的。 很有道理。 直到最近我们才开始谈论流行病，而且最近我们也经历了经济衰退，所以我们已经非常清楚地认识到了这一点。
	然后我们还有其他一些在第二层，所以这是“推迟”、“取消”、“取消赎回权”、“恶化”、“悲观”。
	有趣的是，这种“推迟”和“取消”与经济衰退有关。 这是有道理的，你真的想谈论推迟，比如说，经济活动
	当经济衰退发生时，或者至少这可能是一个可靠的趋势。 这……所以这本身就是洞察力。 事实上，我
	意思是，我无法告诉您美联储如何跟踪推迟或取消经济活动，但这些术语在本次分析中被标记的事实表明，这可能值得跟踪。
	好的，这就是术语选择。 实际上，我们列出了与经济衰退相关的术语清单，我们可以看到关联的相对强度。 现在让我们实际简单地了解一下 JMP 中是如何完成的。
	因此，我将回到 JMP，我们要做的是提取一个略有不同的数据表。 不过，这仍然是褐皮书数据，现在我们只有国家报告。
	无论美国当时是否陷入衰退，我们都会有这个伴随变量。 当然，这些数据中存在一些自相关性。 我的意思是，如果我们上个月陷入衰退，那么本月我们更有可能陷入衰退。
	您知道这通常可能是基于回归的分析的问题，但这纯粹是探索性的。 我们不太关心它。
	因此，我将从表脚本中提取文本资源管理器，因为我们之前已经了解过它的启动方式。
	请注意，我已经做了一些措辞，就像我们之前所做的那样。 我还添加了一些停用词，您在此处看不到，但我不希望此分析必然返回这些词。
	我已经打开了词干提取，这就是术语列表中那些小点的含义。 例如，“增加”现在实际上是在“增加”、“增加”、“增加”之间折叠。
	那是因为现在我认为这些都是同一个概念，我只是想知道这个概念是否与经济衰退有关。
	因此，要调用术语选择，我们只需转到红色三角形，我将在此处选择它。
	我们首先弹出一个控制窗口，或者我应该说部分，我们在其中选择我们关心的变量，那就是经济衰退。 选择目标水平，所以我希望这是根据衰退的概率，而不是不衰退的概率。
	我可以指定一些模型设置。 如果您熟悉 GenReg，您会发现您可以选择是否要提前停止，是否要选择两种不同的之一
	执行变量选择的惩罚，您想要执行验证的统计数据。 如果这些东西对您来说是新的，请不要太担心。 默认设置是一开始的好方法。
	如果你还记得的话，我们有自己的权重，我们在那一列中用 1 和 0 表示“弱”，只是说明该单词是否出现在文档中，但你可以选择你想要的。 所以
	例如，频率不是“弱”发生与否，而是发生了多少次。 这会影响您解释结果的方式。 我们现在将坚持使用二进制。
	但我要说的是，我想查看 1,000 个最常见的术语，而不是默认的 400 个，您可以看到，这比 436 个多得多，而且通常您无法拟合具有 1,000 个 X 的模型但只有436
	观察，但感谢
	广义回归中的自动变量选择，这不是问题。 因此，它再次选择这千个术语中相关性最强的术语，因此称为“术语选择”。
	所以我要运行这个。 您可以看到发生的情况是 JMP 调用了广义回归平台并返回了这些结果，在这里，我们看到了有关模型拟合的一些信息。 例如，我们返回了 37 个术语。
	让我把它移过去。 因为在右边我们可以找到一些非常有价值的信息。 这是与经济衰退最密切相关的术语列表。
	现在，我将按系数对这些进行排序，以找到与经济衰退概率最密切相关的那些，因此，这又是“大流行”、“推迟”、“取消”，正如您所料，此时，如果我单击其中之一这些，它将更新这些预览
	或下面的这些文本片段，这样我们实际上可以在上下文中看到这个词。
	因此，这个术语列表本身就非常有价值。 您可能会学到一些您以前可能不知道的重要的特定术语或概念的知识。 您还可以在预测模型中使用这些术语。
	现在还有其他一些需要注意的事情。
	您可以在这里看到，我们再次有每个单独文档的表格，但我们现在基本上有模型的分数，而不是情绪分数。 我们为每一位
	这...
	我们称之为正贡献，这就是预测衰退概率的正系数的贡献。 这里我们有负端的那些。
	然后我们甚至可以从模型中得出经济衰退的概率，此处为 71.8%，然后是我们实际观察到的。
	我们不一定要在这里建立一个预测模型，也就是说，我不会用这个模型来尝试预测经济衰退。 我的意思是，我有各种我会使用的经济指标变量
	也是如此，但这是从根本上检查模型完整性的好方法。 看起来它的一些预测是正确的吗？
	因为如果不是，那么您可能不信任它返回的条款。 您还有大量其他信息来尝试做出判断。 我的意思是，我们有一些拟合统计数据，例如这里曲线下的面积。
	或者我们甚至可以进入广义回归平台，其中包含用于进一步评估模型的所有正常选项。
	我不会详细介绍那里的细节，但所有这些都可供您使用，以便您可以评估您的模型，按照您喜欢的方式调整您的模型，以确保您拥有一个您感觉良好的术语列表。
	现在您可以看到，我们在摘要下有这个模型列表，这是因为您实际上可能想要运行多个模型。 所以如果我回到模型......哦，对不起......如果我们回到我们的
	在这里设置，我实际上可以运行一个稍微不同的模型。 例如，也许我知道 BIC 比 AICc 更保守一点，我想返回更少的术语，也许做了一个返回 900 个术语的分析，你有点不知所措。
	因此，我将单击“运行”并使用它构建另一个模型。
	现在我们已将该模型添加到此处的列表中，我可以在这些模型之间切换以查看每个模型的结果。 在本例中，我们只返回了 14 个术语，而不是 37 个，我将在下面对它们进行评估。
	当然，你会从中得到两个重要的输出，那就是这个术语列表。 如果您想保存它，这些对您来说只是重要的术语，并且您想跟踪它们，只需右键单击并将其放入数据表中即可。 现在我有一个 JMP 表
	以及术语、它们的系数和其他信息。
	和
	如果您实际上想做的是将其写回原始数据表，也许这样您就可以在其他类型的分析或预测模型中使用该信息，
	只需前往术语选择并说您想要将术语分数保存为文档术语矩阵，如果我将数据表带回此处，您可以看到我现在已写入他们
	已选择的每个术语的列。 在本例中填写了它们的系数值，现在我可以使用它
	我喜欢的定量信息。
	这只是关于术语选择的一些内容。 同样，这里的重要想法是我找到了与我关心的变量相关的术语列表，我什至通过它们的系数获得了有关这种关系有多强的信息。
	那么我们就结束吧。 我们已经介绍了两种技术。 我们刚刚看到了术语选择，找到了那些重要的单词。 在此之前，我们回顾了情感分析，所有关于
	量化文本中积极或消极情绪的程度。 JMP Pro 16 的文本资源管理器中引入了两种新的文本挖掘技术。 我们非常高兴您能亲自使用它们，并期待您的反馈。

峰会精选爆发数据探索预测建模回复：通过 JMP® Pro 16 中的情感分析和术语选择扩展我们的文本挖掘工具包 (2021-EU-45MP-790)

罗斯在本教程中做得非常棒，这是一个多么强大的平台。@Ross_Metusalem