349270_zh-CN

liliconcom

关于：在JMP®Pro 16（2021-EU-45MP-790）中通过情感分析和术语选择扩展我们的文本挖掘工具包

Ross出色的本教程工作，多么强大的平台。@Ross_Metusalem

在JMP®Pro 16（2021-EU-45MP-790）中通过情感分析和术语选择扩展我们的文本挖掘工具包

级别：中级

 

SAS JMP系统工程师Ross Metusalem

 

文本挖掘技术能够从非结构化文本数据中提取定量信息。 JMP Pro 16扩展了它可以从文本中提取的信息，这归功于Text Explorer的功能的两项新增功能：情感分析和术语选择。 情感分析通过将文本中的单词映射到可自定义的带有情感的术语和相关分数的字典来量化文本中表达的积极或消极情绪的程度（例如，“很棒”：+90；“糟糕”：-90）。 由此产生的情感分数可用于大规模评估人们的主观感觉，探索与客观概念有关的主观感觉并丰富进一步的分析。 术语选择通过从JMP Pro中的Generalized Regression平台应用正则化回归功能来自动找到最能预测响应变量的术语，该功能从Text Explorer内部调用。 术语选择对于轻松识别重要结果度量和相关非结构化文本中特定术语的出现之间的关系很有用。

本演讲将概述情感分析和术语选择技术，展示其在现实数据中的应用，并分享一些有效使用每种方法的最佳实践。

 

 

自动产生的笔录...

 

扬声器	成绩单
罗斯·梅图萨莱姆（Ross Metusalem）	大家好，感谢您抽出宝贵的时间来学习JMP如何通过以下方式扩展JMP Pro 16中的文本挖掘工具包：
	情绪分析和术语选择。
	我是美国东南部JMP系统工程师Ross Metusalem，我将为您简要预览这两项新分析，对它们的工作原理进行一些解释，并提供一些使用它们的最佳实践。
	因此，这两种分析技术都来自Text Explorer，对于不熟悉的人来说，这就是JMP的
	用于分析我们称为自由文本或非结构化文本的工具，即自然语言文本。
	这就是我们所说的文本挖掘工具，它是一种从自由文本中获取定量信息的工具，因此我们可以
	使用其他类型的统计或分析工具从免费文本中得出见解，或者甚至可以将该文本用作其他分析的输入。
	因此，让我们看一下JMP Pro 16中Text Explorer中即将使用的这两种新的文本挖掘技术，我们将从情感分析开始。
	情感分析的核心回答了文本在情感上是积极还是消极的问题。
	我们将对《米色书》（Beige Book）进行情感分析，这是美国联邦储备银行的定期报告。
	现在在JMP Discovery Europe上使用美国的示例表示歉意，但是“褐皮书”确实很好地说明了情绪分析的全部内容。
	因此，这是每月出版的出版物，其中包含国家级报告以及12个地区级报告，这些报告总结了这些地区的经济状况，并且所有这些报告都是基于定性信息（例如访谈和调查）。
	而且，美国决策者可以使用《褐皮书》中的定性信息以及传统经济指标中的定量信息来推动经济政策。
	因此，您可能会想，好吧，我们现在正在谈论情绪或情感。 我不知道我期望经济报告会包含很多情感，但是《褐皮书》的报告和许多语言确实包含能够传达或传达情感的单词。
	因此，让我们看一下一份报告的摘录。 这是新的情绪分析平台的截图。
	您会注意到一些突出显示的词，这就是我们所说的情感术语，即
	我们认为的术语对他们来说具有一些情感上的满足。 例如，在顶部，“另一方面，计算机销售受到严重压制”
	“严重沮丧”以紫色突出显示，表示我们认为这是在传达负面情绪，似乎有人将计算机销售描述为“严重沮丧”，这听起来像是对我们而言意味着将其解释为肯定是一件坏事。
	如果我们往下看，我们会看到橙色的几个正面情绪术语，例如“改善”或“有利”。 因此，我们可以寻找我们认为具有积极或消极情感的单词
	紫色代表否定，橙色代表肯定，某些情感分析使事情保持在该水平上，因此仅是二进制区别，肯定文本或否定文本。
	还有其他进行情感分析的方法，尤其是
	许多方法试图量化阳性或阴性的程度，而不仅仅是量化某事物是正面还是负面。 因此，请考虑另一个示例，在这里，我们将注意力集中在底部，在这里我们可以看到“销售不佳”的报告。
	我将与我们所说的“计算机销售严重下降”进行比较。
	因此，这两个都是负面的陈述，但我想我们都同意“严重沮丧”听起来比“贫穷”更为负面。
	因此，我们不仅要弄清楚情绪是正面还是负面表达，而且是正面还是负面的表达，这就是情感分析中的内容。
	文本资源管理器可以。 那么它是如何做到的呢？ 好吧，它使用了一种基于某些情感术语和相关分数的称为词汇情感分析的技术。
	因此，我们现在看到的是我们所称的情感词典的摘录，其中包含术语及其得分。
	例如，术语“很棒”的得分为正90，而底部的术语“肮脏”的得分为-75。
	因此，我们要做的是具体说明我们相信哪些词带有情感内容，以及它们在任意范围（-100至100）之间是正面还是负面的程度。
	然后，我们可以在所有文档中找到这些术语，并使用它们对这些文档的整体正面或负面进行评分。
	如果您回想一下我们的示例“严重沮丧”，那么该词“严重”并带有“沮丧”这个词，我们称之为“强化”。
	它是表达的情感的增强器或乘数，因此我们也有词典和增强器对情感术语表达的情感做了什么。
	例如，我们说“难以置信”将情感乘以1.4倍，而“小”则将情感乘以0.3倍，因此，实际上，某种程度上，您可以稍微减弱所表达的情感。
	现在，最后我们要考虑另一种类型的单词，那就是否定词，例如“ no”和“ not”之类的东西，我们基本上将它们视为极性反转。 所以
	“不是太棒了”就是将“太棒了”的分数乘以-1。
	因此，这是进行情感分析的常用方法，又称为词法情感分析。 因此，我们要做的就是采用找到的情感术语，然后将其乘以任何关联的增强器
	否定词或否定词，然后对于每个文档，当我们掌握了出现的各个术语的所有情感评分时，我们对所有这些单词进行平均即可获得该文档的情感评分。
	JMP通过许多有用的方式将这些分数返回给我们。 因此，这是情感分析工具的屏幕截图，我们将在短时间内使用它。
	但您可以看到，除其他外，它使我们在所有文档中的情感分数分布均匀。 它为我们提供了所有情感术语及其出现频率的列表。
	就像我们将看到的那样，我们甚至可以导出情感分数，以将其用于图表或分析中。
	因此，我实际上在这里制作了一些图表，只是试图将其视为初步的第一步，《褐皮书》报告中的情绪是否确实以我们认为应该的方式与经济事件相吻合？ 你知道吗，我们真的对此有一定的道理吗
	情绪作为某种经济指标？ 答案似乎是，是的。
	这里有一个我在Graph Builder中绘制的图。随着时间的流逝，所有灰色的小点都是个别的报告
	至少根据我们的计分方案，蓝色的平滑器会显示情绪随时间的变化趋势，黑色的零线表示中性情绪。
	红色区域是
	美联储正式列出的经济衰退时期。
	因此，您可能会发现情绪似乎触底反弹或在经济衰退周围出现低谷，但您可能会注意到另一件事
	是实际上在每次衰退之前，我们都会看到情绪下降了几个月，或者在某些情况下甚至提前了几年。 而且我们看不到情绪的大幅下降
	在没有衰退的情况下。 因此，也许褐皮书情绪在某种程度上可以作为经济衰退的主要指标。
	如果从地理上看它，我们也会看到有意义的事情。 这只是分析中的一个例子。 我们正在看12中的情绪
	从1999年至2000年至2001年，美联储各区之间的时间跨度较大。 这是通常所说的Dotcom胸围的时间，所以这是
	科技公司和在线业务冒出了巨大的泡沫，最终，许多公司倒闭了，并带来了相当严重的经济后果。
	'99到2000年的情绪正在增长，实际上，情绪正在非常强劲地增长，这似乎会出现，
	位于旧金山联邦储备区，许多公司的总部都设在该地区。 然后在2001年泡沫破灭之后，我们看到最大的跌幅一直是这里的负面情绪，再次出现在那个旧金山地区。
	因此，只需对这些“褐皮书”的情绪得分进行快速图形检查就可以看出，它们在跟踪，也许预测一些经济事件方面具有真正的合法性，当然，后者，我们需要研究更多小心。
	但这只是情感分析潜在用例的一个例子，还有更多例子。
	当前正在使用的最大应用领域之一是消费者研究，人们可以在其中进行分析。
	一些消费者调查的答复，以确定是什么导致正面或负面的意见或反应。
	但是，情感分析也可以用于产品改进，例如，分析产品评论或保修索赔可能会帮助我们找到引起客户强烈情感反响的产品功能或问题。
	查看客户支持，我们可以分析呼叫中心或聊天记录...
	寻找一些导致客户满意或不满意的支持做法。 甚至公共政策，我们都会分析公开评论，以评估公众对拟议或现有政策的反应。
	这些只是可以应用情感分析的几个领域。 它确实适用于您的文本传达出某种情感并且这种情感可能会提供信息的任何地方。
	这就是我想先说的。 现在，我想花一点时间向您介绍它在JMP中的工作方式，因此让我们继续讲到JMP。
	这里有Beige Book数据，所以在底部，您可以看到我们这里有5,000多个报告，每个报告的发布日期都在
	1972年5月至2020年10月，它来自12个区中的哪个区，然后是报告的文本。 您会看到这些报告，
	它们不仅是您所知道的快速陈述，经济状况是好是坏，它们可以深入到某些细节上。
	现在，在我们深入研究这些数据之前，我只想对某人说谢谢您，因为他有想法分析《褐皮书》，实际上是将数据提取并放入JMP中。
	格式准备分析。 还要感谢Xan Gregg，如果您不知道Xan是JMP开发团队的主管和Graph Builder的创建者，那么感谢Xan的帮助。
	好了，让我们来量化一下所有这些报告中正面和负面情绪的程度。 我们将在“分析”菜单下使用“文本资源管理器”。
	在这里，我们有我们的启动窗口。 我将获取文本数据，并将其放在“文本列”角色中。 在我们开始之前，有两件事要突出。
	Text Explorer支持多种语言，但是现在，情感分析仅以英语提供，而我想引起注意的另一件事就在这里。
	因此，对于那些进行文本分析的人来说，您可能熟悉词干是什么，但对于不熟悉的人来说，词干是一个过程，在此过程中我们会崩溃多个...
	好吧，让它保持非技术性...同一单词的多个版本在一起。 采取“强”，“更强”和“最强”。 所以这是三个
	同一单词的“强”版本以及某些文本挖掘技术中，您实际上希望将所有这些组合成一个术语，然后说，哦，它们全都表示“强”，因为从概念上讲这是同一件事。
	我实际上将离开这里，这是因为...采取“最强”的态度，它描述了某些东西可以得到的坚强程度。
	而不是“更强”，即表示您知道它很强大，但您仍然知道它甚至会更强大。
	因此，“最强”应该比“强”应该获得更高的情感分数，而且如果我干了，我将失去这两个词之间的区别。 因为我不想失去这种区别，所以我想给他们不同的情感评分。 我将继续在这里阻止。
	因此，我将单击“确定”。
	现在，JMP将标记我们的文本，即将其分解为所有单独的单词，然后计算每个单词出现的频率。
	在这里，我们列出了所有术语以及它们的使用频率。 因此，“销售”发生了46,000次，并且我们的短语列表也位于此处。 所以这句话是
	经常出现的两个或两个以上单词的序列，有时我们实际上希望将其视为术语
	分析。为了进行情感分析，您可能需要查看短语列表，并且可以添加“房地产”，这是两个词，但是它实际上是指财产。
	我可以补充一点。 现在通常在文本分析中，我们还要添加所谓的停用词，
	在我们的分析中，这些词并没有真正意义，因此我们希望排除。 以“区”为准。 发生这种情况...或《褐皮书》使用了
	“区”一词经常出现，只是说，“来自里士满地区的这份报告”之类的话，实际上没有任何意义。
	但是我实际上不会在这里打扰停用词，这是因为，如果您还记得，
	在幻灯片中，我们说过，我们所有的情感分数都是基于字典的，我们在其中选择情感词以及应该得到的分数。
	而且，如果我们只保留“区域”，则其固有得分为0，并且不会影响我们的情感得分，因此，我真的不需要将其声明为停用词。
	因此，一旦我们准备好了，我们将在此处的红色三角形下调用文本，或者对不起，请进行情感分析。
	因此，JMP现在正在做什么，因为我们没有声明任何情感术语，否则，它将使用内置的情感词典对所有文档进行评分。 在这里，我们得到分数。
	现在，在浏览这些结果之前，我们可能应该自定义情感词典，以便使情感带有单词及其分数。 那是因为在不同的领域，
	也许是由不同的人来生成文本，某些单词将承受不同程度的情感，或者在一种情况下而不是另一种情况下。 所以我们想
	确实非常仔细和彻底地创建了一个情感词典，当我们正在分析的语言传达这种情感词典时，我们感觉可以准确地捕捉到该情感。
	因此，就像我说的那样，JMP使用内置字典，而且非常稀疏。 因此，您可以在此处看到它，其中包含一些图释，
	像这些小小的笑脸和诸如此类的东西，但是随后我们有了一些非常清晰的情感表达语言，例如-90的“深渊”。
	现在，可能不是有人会使用“深渊”一词而不是消极的意思了，所以我们对此感到非常满意。 但是，您知道，这并不是一个很长的清单，我们可能想在其中添加一些术语。
	因此，让我们看看我们如何做到这一点，我可以建议的一件事就是查看您的数据。 您知道了，阅读一些现有的文档，然后尝试找到一些您认为可能表示情绪的词。
	实际上，我们这里有一个工具，可让我们仔细阅读文档并直接从文档中添加情感术语。 所以在这里，我有一个文档列表。 您可以看到文档1突出显示，然后在下面显示文档1。 我可以选择其他文档来查看它们。
	现在，如果我们马上查看文档1，您可能会注意到几个潜在的情感术语，例如“悲观主义”和“乐观主义”。
	现在您可以看到这些未突出显示。 这些实际上并未包含在标准情感词典中。
	而且您实际上会发现很多名词并非如此，这是因为诸如“悲观主义”或“乐观主义”之类的名词基本上可以通过暗示其存在或不存在的方式来描述。 所以我可以说，“悲观情绪正在下降”或
	“明显缺乏悲观主义，”“不再有悲观主义报道。”
	而且，在那种情况下，我们不会说“悲观主义”是消极的事情。 是...因此，您需要小心并考虑上下文中的单词以及在将其添加到情感词典之前实际使用这些单词的方式。
	例如，我可以回到这里的术语表。 我只是要展示过滤器，
	寻找“悲观主义”，然后显示文本以了解其用法。 因此，在第一个示例中，我们可以看到“董事的情绪从悲观到乐观都各不相同”。
	还有下一个
	“私下交谈充满悲观情绪。” 如果您真的通读过，这是典型的用法，那么实际上在《褐皮书》中，他们似乎并没有以我可能担心的方式使用悲观主义一词，
	“乐观情绪正在提高。”
	因此，我实际上对在此处添加“悲观主义”感到满意，因此让我们将其添加到我们的情感词典中。
	所以，如果我将鼠标悬停在它上面，
	您会看到我们提出了一些解决方案。 所以在这里，我可以给它一个-60分。
	因此，现在将以相应的分数将其添加到我们的字典中，并触发JMP中更新的情感评分。 也就是说，它正在寻找“悲观主义”一词，并在找到它的地方调整所有文档分数。
	因此，让我们现在回过头来更详细地了解我们的情感术语。 如果我向下滚动，您会发现“悲观主义”
	就在这里，我刚刚给它打了-60分。 现在，我可能实际上想...如果您注意到，“悲观”默认情况下的得分为-50，所以也许我只需在此处输入-50即可保持一致。
	我可以但我不会，只是为了避免触发其他更新。
	您还会在这里注意到此可能的情感用语列表。 因此，这些都是JMP标识的可能带有情感的术语，您可能需要看看它们并考虑将其包含在词典中。
	例如，这里的“强”一词，如果您看一下右边的某些文档文本，您可能会说，好吧，这显然是一件好事。 如果您看过很多这样的例子，那真的很突出
	这些词“强”和相应的“弱”是这些经济学家大量使用的词来谈论对当前经济有利或不利的事物。
	因此，我可以添加它们，也可以通过单击此处的按钮中的正60来添加“ strong”。 再说一次，我现在不会，只是为了加快我们对情感分析的了解。
	因此，就像下面的文字一样，我们可以仔细阅读我们的情感术语列表，以选择一些合适的人选。
	在红色三角形下，我们还可以直接更直接地管理情感术语，因此这是完整的
	我们可能会习惯于Text Explorer用户的术语管理列表，例如短语管理和停用词管理。
	您可以看到，除了所有内置术语外，我们还在此特定分析中添加了一个新的本地术语。 当然，如果我们想实际上不包括其中的一些异常，我们也可以声明异常。
	重要的是，您也可以导入和导出情感词典。 声明情感术语的另一种方法是与主题专家进行协商。 你懂，
	经济学家可能会对他们希望看到的能够明确传达的词种有很多话要说
	这些报告中的正面或负面情绪。 而且，如果我们可以与他们交谈，我们想知道他们对此要说些什么，甚至可以与他们一起在一个制表符分隔的文件中派生一个词典，然后将其导入此处。
	然后，当然，一旦我们制作了一部很好的字典，就应该将其导出并保存，以备将来再次使用。
	因此，这与您实际如何整理情感词典有关。 这也很重要
	整理您的增强项和否定项，再一次，您在这里看不到分数，因为这些只是极性反转。
	只是为了向您展示更多有关实际情况的信息，如果我们...让我们在这里看看情绪，那么我们可以看到其中的实例
	JMP在其中一些情感术语之前找到了“ not”一词，并实际应用了适当的分数。 因此，在最高处，“不可接受”的得分为-25。
	因此，我向您展示了，这些提示器和增强器是由JMP自动应用的，这实际上是要引起您的注意。
	但是无论如何，让我们从讨论如何设置分析到实际查看结果继续进行。 所以我要提起
	一个已经完成的分析版本，也就是说，我已经整理了情感词典，我们实际上可以开始解释得出的结果。
	因此，我们在此处提供了较高级别的摘要，因此，我们拥有比否定文件更多的肯定。 正如我们之前讨论过的，我们可以看到每个。 实际上，在左表的底部，您会看到我们有一个文档，其中没有表达任何情感。
	“强”发生14,000次，“弱”发生4,500次
	并通过计数或分数来查看这些值，查看最消极和最积极的情况，
	即使在上下文中查看它们本身也可以提供很多信息。 我的意思是，尤其是在诸如消费者研究之类的领域中，如果您想知道人们何时感到积极或表达积极态度
	例如，关于我们的品牌或我们拥有的某些产品，使用的是哪种语言，也许这将有助于营销工作。 在这方面，此情感术语列表可以提供大量信息。
	制造业，
	旅游，投资。 有时，我们特别想在那些子域之一中归零，我们称之为功能。
	而且，如果我进入情感分析的“功能”选项卡，则将单击“搜索”。 JMP找到了一些在情感术语中经常出现的单词，并询问您是否想深入了解与该功能有关的情感。
	因此，以“销售”为例。 我们可以看到“报告的销售疲软”，“销售疲软”，“报告的销售情况良好”等等。
	因此，如果我仅对这个选定的功能进行评分，那么现在JMP要做的就是仅提供这些较大的报告中提及“销售”的情感评分，这将有助于我们完善分析或将分析重点放在一个非常好的产品上-定义的子域。
	这尤为重要。
	您可能知道，我们正在分析的语言中的域没有那么严格的限制。 举个例子
	产品评论。 您对人们对产品的正面或负面看法感兴趣，但他们也可能谈论运输，您不一定在乎他们是否对运输不太满意，主要是因为运输超出了您的控制范围。
	您可能不希望只包含一堆评论，这些评论也会对该运输发表评论。 因此，重要的是要考虑分析的领域并适当地对其进行限制，而这里的特征查找器就是做到这一点的一种方法。
	因此，您现在可以看到，我在“销售”方面得分很高，我们对正向和负向文档的分配方式非常不同。 我们有更多没有情感评分的文档，因为它们
	只是不谈论销售或不使用情感语言来讨论它，而我们现在有一个不同的情感术语列表，它们特别吸引了销售。
	让我删除此。
	我意识到我忘了提及的一件事，我简要提到过，是如何计算我们一直在查看的这些文档总得分的，我说它们是...所有情感术语的平均值。
	发生在特定文档中。 因此，让我们看一下文档1。 我想告诉你
	如果您想知道该分数是从何而来的（例如-20），您可以直接将鼠标移到上方，它会向您显示出现的所有情感术语的列表。
	您会看到，这里有16个，包括所有位于底部的“真正的亮点”，即+78，然后，如果除以...将所有这些分数相加。除以78 ...
	或除以16，对不起，您的平均情绪为-20。 这是提供总体评分的两种方法之一。 另一个是最小最大得分，因此最小和最大之间的差异
	文中表达的情感。
	现在，仅通过查看此报告，就可以得到很多信息，显然，情感分数是最常用的术语。
	但是，有时我们想接受情感并以其他方式使用它们，例如
	以图形方式查看它们，就像我们在幻灯片中所做的一样。 因此，当需要进行该部分分析时，请直接转到此处的红色三角形
	并保存文档分数。 这些将把这些分数保存回您的数据表，以便您可以将其输入到进一步的分析中或以图形方式对其进行绘制，无论您要执行什么操作。
	因此，这是JMP Pro 16中Text Explorer即将进行的情感分析的预览。 归根结底是，情感分析使用情感词典，
	您可以设置为提供与每个文档的正面和负面情感内容相对应的分数，然后从那里开始，可以以对您有用的任何方式使用该信息。
	因此，我们现在将情绪分析留在后面，我将回到幻灯片上来讨论即将在Text Explorer中使用的另一种技术。
	这就是术语选择，其中术语选择回答了一个不同的问题，也就是说，哪些术语与某些重要变量或我关心的变量最密切相关？
	我们将坚持使用《褐皮书》。
	我们将要问统计上哪些词与衰退相关。 所以在这里的图表中，随着时间的推移，百分比变化
	GDP（国内生产总值）每季，蓝色表示经济增长，红色表示经济萎缩。 我们可能想知道，嗯，什么
	在“褐皮书”中出现的这些术语是否可能与这些经济衰退时期在统计上相关？ 例如，其中一些就在这里。
	您知道吗，为什么我们要把《褐皮书》中的特定术语与经济不景气时期联系起来？
	好吧，获取术语列表可能本身具有参考价值。 你知道，我可能会发现一些潜在的微妙之处
	我可能不了解或容易捕捉到的量化数据中的衰退动因或影响。
	我可能还会找到一些话做进一步分析。 我可能...我可能会找到一些
	潜在情感术语，当经济状况特别糟糕时使用的一些术语使我错过了第一次进行情感分析的时间。
	也许我可以找到一些与衰退密切相关的词，以至于我认为我可以在预测模型中使用它们来弄清楚将来何时可能发生衰退。
	因此，出于多种原因，我们可能想知道哪些词与衰退最密切相关。
	那么，这在JMP中如何工作？ 好吧，我们基本上建立了一个回归模型，其中结果变量是我们关心的变量，衰退和输入都是不同的词。
	输入模型的数据采用文档术语矩阵的形式，其中每一行对应于
	一个文档或一个Beige Book报告，然后各列捕获该报告中出现的单词。 在这里，我们突出显示了“弱”列，并显示了“二进制”，这意味着
	它将包含1和0； 1表示该报告包含单词“弱”，0表示该报告不包含单词“弱”。 这是我们可以对文档打分的几种方法之一，但是我们现在将继续使用该二进制文件。
	因此，我们将这些信息用于回归模型。 这就是启动的样子。
	我们将经济衰退作为Y变量，这只是一个是或否变量，然后我们将所有这些二元项预测变量作为模型效应输入。
	然后，我们将使用JMP Pro的广义回归工具
	为了建立模型，这是因为广义回归或我们所谓的GenReg包含自动变量选择技术。 因此，如果您熟悉
	正则化回归，我们就像套索或弹性网一样说话。 如果您不知道那是什么意思，那完全没问题。 这个想法是它将自动
	找出哪些术语与结果变量“衰退”关联最紧密，然后将那些认为与之不相关的术语归零。
	这使我们能够研究“衰退”之间的关系，也许您知道与之相关的成百上千种可能的单词。
	那么，当我们进行分析时会得到什么呢？
	我们得到一个模型。 因此，我们这里是该模型的方程式。 不用太担心。这个想法是，我们说
	经济衰退的对数赔率，所以这只是我们处于经济衰退的概率的函数，而发行《褐皮书》时的概率是
	在“褐皮书”报告中可能出现的所有不同词语。
	您可以看到，我们知道系数为1.94的“大流行”一词的出现所产生的影响。
	这仅意味着，如果《褐皮书》报告中提到“大流行”一词，则“衰退”的对数几率会提高1.94。 然后我们看到“增益”为负1.02倍。 好吧，这意味着如果“褐皮书”报告中提到“获利”一词，那么衰退的可能性就...
	或经济衰退的对数赔率下降1.02。
	因此，我们得出了一系列与衰退可能性增加密切相关的术语，例如“大流行”，“推迟”，“取消”，“止赎”。
	而且，我们还获得了与衰退可能性降低相关的术语列表，例如“获利”，“增强”，“竞争”。
	我们还在那里看到“制造”，但是系数相对较小，约为-2。
	您实际上会在这里注意到，如果我们看一下此分析中选择的所有术语的图形表示，您不会看到太多特定领域，例如“制造”，
	“旅游”，“投资”等等。 那是因为不管我们是否处于衰退中，总是会谈论这些事情，所以我们真正要寻找的是用过的单词，
	您知道，当我们处于经济衰退时期时，您所遇到的机会要比偶然发生的要多。 所以我们有...例如
	“大流行”是最可预测的。 很有道理。 直到最近我们才开始谈论流行病，然后我们最近也经历了经济衰退，因此我们已经很清楚地意识到了这一点。
	在第二层，我们还有其他一些层，因此被“推迟”，“取消”，“被取消”，“恶化”，“悲观”。
	有趣的是，这种“推迟”和“取消”与经济衰退有关。 这很有道理，您真的想谈谈推迟经济活动
	当经济衰退发生时，或者至少这是一个可靠的趋势。 就是这样，这本身就是洞察力。 其实我
	意思是，我无法告诉您美联储如何跟踪经济活动的推迟或取消，但是在分析中标记这些术语的事实表明，这可能值得跟踪。
	好了，这就是术语选择。 实际上，我们得到了与衰退相关的一系列不错的术语列表，并且可以看到关联的相对强度。 现在让我们在这里简要地看看它是如何在JMP中完成的。
	因此，我将回到JMP，我们要做的是提取一个略有不同的数据表。 不过，它仍然是Beige Book的数据，现在我们只有国家报告。
	不管美国当时是否处于衰退中，我们都有这个伴随变量。 当然，这些数据中存在一些自动关联。 我的意思是，如果我们上个月陷入衰退，那么本月我们更有可能陷入衰退。
	而且您知道通常对于基于回归的分析可能是一个问题，但这纯粹是探索性的。 我们不太在意它。
	因此，我只是从表脚本中拉起Text Explorer，只是因为我们之前已经看过它是如何启动的。
	请注意，尽管像以前一样，我已经做了一些措辞。 我还添加了一些停用词，您在这里看不到，但是我不希望它们在分析中返回。
	我已经启用了词干功能，这就是术语列表中那些小点的意思。 例如，“增加”现在实际上在“增加”，“增加”，“越来越多”之间崩溃。
	那是因为现在我有点考虑所有相同的概念，而我只想知道该概念是否与衰退相关。
	因此，要调用术语选择，我们将转到红色三角形，然后在这里选择它。
	我们首先弹出一个控制窗口，或者我应该说一节，在这里我们选择我们关心的变量，即衰退。 选择目标水平，所以我希望这是根据衰退的可能性，而不是没有衰退的可能性。
	我可以指定一些模型设置。 如果您熟悉GenReg，将会看到可以选择是否要提前停止，是否要选择两种不同的方法之一
	执行变量选择的惩罚，要执行验证的统计量。 而且，如果这些东西对您来说是新手，请不要担心太多。 默认设置是一开始的好方法。
	我们有权重，如果您还记得的话，该列中的1和0表示“弱”，仅表示单词是否出现在文档中，但是您可以选择想要的单词。 所以
	例如，频率不是，“弱”是否发生，这是它发生了多少次。 这种影响会影响您解释结果的方式。 现在，我们将继续使用二进制文件。
	但是我要说的是，我想查看1,000个最常用的术语，而不是默认的400个，您可以看到，这比436个多得多，通常您不能使用1,000个Xs拟合模型但只有436
	的意见，但由于
	广义回归中的自动变量选择，这不是问题。 因此，它再次选择了这千个术语中最紧密相关的一个，因此命名了术语。
	所以我要运行这个。 您可以看到发生了什么事，即JMP已召集到广义回归平台并返回了这些结果，在这里，我们可以看到有关该模型的一些信息。 例如，我们返回了37个术语。
	让我将其移开。 因为在右边的这里是我们发现一些真正有价值的信息的地方。 这是与衰退最密切相关的术语列表。
	现在，我将根据系数对它们进行排序，以找到与衰退可能性最密切相关的那些因素，因此，这再次是“大流行”，“推迟”，“取消”，并且，如您所料，如果我单击以下一项，这些，它将更新这些预览
	或下面的这些文本片段，因此我们实际上可以在上下文中看到此单词。
	因此，这个术语列表本身可能会非常有用。 您可能会学到一些关于某些特定术语或概念的知识，而这些东西以前可能都不知道。 您也可以在预测模型中使用这些术语。
	现在要注意其他一些事情。
	您可以在这里看到，每个文档都有一个表格，但是现在基本上有了该模型的得分，而不是情感得分。 每个人都有
	这...
	我们称之为正贡献，所以这是预测衰退可能性的正系数贡献。 在这里，我们有消极的一面。
	然后，我们甚至可以从模型中得出衰退的可能性，这里是实际观察到的概率为71.8％。
	而且我们这里不一定要建立预测模型，也就是说，我不会使用该模型来预测经济衰退。 我的意思是，我会使用各种经济指标变量
	也是，但这是从根本上检查模型的一种好方法。 看起来它正在正确地做出一些预测吗？
	因为如果不是，那么您可能不信任它返回的条款。 您还拥有许多其他信息来尝试做出此判断。 我的意思是，我们有一些拟合统计量，例如此处曲线下方的面积。
	或者，我们甚至可以进入广义回归平台，它具有所有正常选项，可以在那里进一步评估您的模型。
	我不会在这里进行详细介绍，但是所有这些都可供您使用，以便您可以评估模型，根据自己的喜好调整模型，以确保您拥有自己满意的术语列表。
	现在您在这里看到的，在摘要的下面，有这个模型列表，这是因为您实际上可能想运行多个模型。 所以如果我回到模型...哦，对不起...如果我们回到模型
	在这里进行设置，我实际上可以运行一个略有不同的模型。 例如，也许我知道BIC比AICc更为保守，我想返回更少的术语，也许分析返回了900个术语，但您有点不知所措。
	因此，我将单击“运行”并使用该模型构建另一个模型。
	现在，我们将该模型添加到此处的列表中，我可以在这些模型之间切换以查看每个模型的结果。 在这种情况下，我们只返回了14个字词，而不是37个字词，下面我将对其进行评估。
	因此，您将从中获得的两个重要结果就是这个术语表。 如果您想保存它们，这些只是对您来说很重要的术语，并且您想跟踪它们，只需右键单击并将其放入数据表即可。 现在我有一个JMP表
	以及这些术语，它们的系数和其他信息。
	和
	如果您实际上想将其写回到原始数据表中，以便您可以在其他类型的分析或预测模型中使用该信息，
	只需进行术语选择，然后说您要将术语分数保存为文档术语矩阵，如果我将数据表带回到此处，您会发现我已经写了他们的术语表。
	已选择的每个术语的列。 在这种情况下，请填写其系数值，现在我可以使用它了
	但是我喜欢定量信息。
	关于术语选择，仅此而已。 再说一次，这里的一个大主意是我找到了一个与我关心的变量相关的术语列表，我什至通过它们的系数也了解到这种关系的强度。
	那么，让我们结束吧。 我们已经介绍了两种技术。 我们只是看到了术语选择，找到了那些重要的单词。 在此之前，我们回顾了情绪分析，所有关于
	量化文本中正面或负面情绪的程度。 这是JMP Pro 16的Text Explorer中引入的两种新的文本挖掘技术。 我们很高兴您能接触到它们，并期待您的反馈。

最佳峰会爆发数据探索预测建模