398687_zh-CN

liliconcom

扩展我们的文本挖掘工具包：JMP Pro 16 中的情绪分析和术语选择 (2021-US-45MP-851)

级别：中级

 

JMP 系统工程师 Ross Metusalem

 

文本挖掘技术能够从非结构化文本数据中提取定量信息。 JMP Pro 16 扩展了它可以从文本中提取的信息，这要归功于 Text Explorer 的两项新增功能：情感分析和术语选择。 情感分析通过将文本的单词映射到可定制的带有情感的术语和相关分数的字典（例如，“精彩”，+90；“可怕”，-90）来量化文本中表达的积极或消极情绪的程度。 由此产生的情绪得分可用于大规模评估人们的主观感受，探索与客观概念相关的主观感受，并丰富进一步的分析。 术语选择通过应用 JMP Pro 的广义回归平台（从文本资源管理器内部调用）的正则化回归功能，自动查找对响应变量预测能力最强的术语。 术语选择有助于轻松识别重要结果度量与相关非结构化文本中特定术语的出现之间的关系。

 

本演示文稿概述了情绪分析和术语选择技术，展示了它们在现实世界数据中的应用，并分享了一些有效使用每种技术的最佳实践。

 

 

自动生成的成绩单...

 

扬声器	成绩单
罗斯·梅图萨勒姆	大家好，欢迎观看关于 JMP 如何在今年春天刚刚发布的 JMP Pro 16 中扩展其文本挖掘工具包的演示文稿。
	我是罗斯·梅图萨勒姆。 我是 JMP 的学术大使，我将与大家分享这两个新的文本挖掘功能
	情绪分析和术语选择。 我们将讨论它们是什么以及如何使用它们和 JMP，然后我们将看到两个对真实世界公开数据执行这些分析的示例。
	因此，情感分析和术语选择是 JMP 文本浏览器的两个新增功能，它是一种通用文本挖掘工具。
	所以你可以用它从我们通常所说的自由或非结构化文本数据中推导出定量信息，所以这可能是推导词频的任何东西，这样我们就可以制作词云，
	进行潜在语义分析，以便我们可以对语义相似的文档进行聚类。 所以我们今天要看到的两个功能是文本浏览器工具中的功能。
	我们将从情绪分析开始，这是我们很高兴在 JMP Pro 16 中引入的一种流行且经常被要求的功能。
	对于那些不熟悉的人来说，情绪分析就是量化非结构化文本数据中的积极情绪到消极情绪。
	现在我们要看的例子来自褐皮书，它是美联储发布的叙述性报告。
	正如我们在地图上看到的那样，美联储分为 12 个不同的地区，每年大约 8 次，每个地区发布一份叙述性褐皮书报告
	它总结了该地理区域本身当前和潜在的未来经济状况。 这些报告主要基于定性数据源，所以想想
	与商业领袖的对话，调查之类的事情。 所以我认为褐皮书为情绪分析提供了一个很好的例子，不仅仅是因为
	这是公开可用的数据，我可以与大家分享，但也因为如果你是投资者或你，它会非常有趣，
	您知道，管理一家金融机构以了解美联储董事对美国不同地区经济状况的正面或负面看法。 你实际上可以用它来
	也许可以指导决策制定，或者即使您可以量化它，也可以将其用于一些统计分析，甚至可能是一些预测模型。
	因此，让我们看一下褐皮书中的一些文本示例。
	在这里，我们只是其中一个报告的片段，我们可以看到，从顶部开始，该报告说，另一方面，计算机销售已经严重低迷。
	鉴于，如果我们往下看，有个人还报告说风中有许多有利的稻草，所以我们在这里突出显示了“严重沮丧”和“有利”以及“改善”，
	因为这些就是我们所说的情感短语。 所以它是一个或多个词，表示某种积极或消极的情感内容。
	所以在顶部，我们有严重的抑郁，这将是强烈的负面，然后我们有向下，有利的，这通常是正面的，我们使用这种颜色编码，以便橙色与蓝色或紫色（取决于如何你看）
	分别表示积极和消极的情绪。
	许多形式的情绪分析就是这样做的。 他们在文本中寻找积极的短语和消极的短语。
	JMP 使用的形式以及您可能在其他地方遇到的形式实际上可以连续量化正面和负面情绪。
	例如，在第二段文本的底部，我们看到有人说该地区的大型百货公司销售不佳。
	所以在顶部，我们的销售严重低迷，在下面，我们看到销售很差。 好吧，我想我们都同意严重抑郁听起来更糟
	在销售方面比差。 所以我们可能想要，
	虽然它们都是消极的，但将严重抑郁量化为比贫穷更消极，这就是我们在 JMP 的情绪分析中所做的。 我们要谈谈
	在这里很快就会谈到这些分数是如何计算的，特别是，但首先我认为值得真正看看
	通过查看诸如此类的个人术语和短语来潜在地证明量化情绪的有效性。
	我们谈论的本质上是根据文档中出现的单词对文档进行评分
	我们认为表示情感和程度。 这是一种内在的主观的东西，但是这种方法，情感分析，
	确实可以证明一些预测有效性。 例如，如果我们查看褐皮书情绪如何随时间变化，我们可以看到它实际上在衰退中非常可靠地跟踪。 所以在这里我们有情绪
	在 y 轴上。 您可以看到它从负 75 扩展到 75，这正是我们绘制的范围。 真实比例从负 100
	到 100，其中零是中性的。 你可以看到，随着时间的推移，所有褐皮书报告中的情绪总体趋势更加平滑，
	你可以看到一个关于经济衰退的有趣模式，它本身以红色突出显示。 特别是，我们可以看到，情绪似乎在每次衰退之前都会可靠地下降。
	因此，尽管这是对我们认为美联储董事情绪状态的相对主观衡量，但我的意思是，这与人们可能预期的经济衰退一样。
	它实际上也在地理上跟踪，非常有趣。 以 2000 年至 2001 年左右的互联网泡沫为例，当时旧金山湾区的一群互联网初创公司
	去了。 我们可以看到，我在这里突出显示了旧金山的悬停标签，因此我们可以看到该地区的分数。 正如我们之前看到的，橙色是积极的情绪，蓝色是消极的。
	我们可以看到，建立到 2000 年，情绪
	在湾区相当高，38.65，然后在 2001 年平均暴跌 60 多点，至
	负 24.7 左右。 这比我们在该国其他地方看到的波动要大得多，因为那是该地区……大概是因为那是受影响最严重的地区。
	我们看到了与大衰退类似的情况。 因此，我们看到 2008 年房地产市场的崩盘与情绪下降相对应，但并不统一。
	看起来西海岸的跌幅最大，所以这又是旧金山地区、纽约地区和亚特兰大地区，其中包括
	我居住的佛罗里达州是该国受灾特别严重的地区。 而且，事实上，如果我们往下看，我们可以看到佛罗里达...
	直到 2012 年左右，该地区的情绪似乎才恢复，落后于其他一些地区，这似乎是有道理的。 佛罗里达州的房地产市场是全国最后一个复苏的市场之一。
	所以我们有这种主观的情绪测量方法，但在这种情况下，它确实以我们预期的方式跟踪外部事件……经济事件。
	你再次知道，我们正在研究褐皮书，因为它是一个特别好的公开示例。 如果你
	正在谈论可能更常见的领域来应用情绪分析，例如消费者市场研究，您正在处理一个
	文本数据形式的客户声音，因此产品评论，调查响应之类的，
	您可以使用情绪分析来更好地理解甚至预测客户行为，就像我们可以在这里使用情绪来更好地理解或预测经济衰退一样。
	话虽如此，我意识到过去几分钟我们一直在查看情绪评分，这确实引发了一个关于它们来自哪里的问题。
	因此，JMP 使用一种称为词汇情感分析的情感分析形式。 所以它使用情感词典或
	情感词典
	为我们认为带有某种情感的所有单个单词打分。 所以像fantasy这样的词可能会得到90分，这是非常积极的。 它几乎处于正面的最大值，100，而几个下降，恐惧的得分为负 60。
	现在我们可以为这些术语分配分数，并基本上计算它们或在任何单个文档中取它们的平均值。
	但我们确实想考虑其他一些事情。 如果您还记得我们在褐皮书示例中看到的第一个情感短语，那么它是严重抑郁的。
	换句话说，我们称之为增强器的一个例子，它基本上是一个情绪倍增器。 所以你可以在这里看到，我们可以难以置信地声明它是一个情绪得分为 1.4 的乘数，实际上有点
	将其缩放 0.3，因此会稍微降低情绪的幅度。
	因此，如果增强词与情感项一起出现，我们会执行该乘法运算，如果出现否定词，我们也会执行该乘法运算。 所以我们说，
	你知道，某事是不存在或不应该或不应该，我们乘以负数，所以我们基本上，你知道，翻转符号；正变为负，反之亦然。
	所以对于任何情感短语，我们只需执行这个简单的乘法，然后在一个文档中，
	我们可以将平均分数或最小和最大情绪分数之间的差值作为
	计算这些文档的情绪值。 这就是我们在那些图表中看到的，所以这些地图中的情绪图表。
	这就是词汇情感分析。 这是一种非常常见的做法，它是在 JMP 中实现的情感分析类型。 正如我们将看到的，当您拥有 JMP
	计算所有的情绪分数，你会得到很多方便的信息。 下面是情绪分析报告的示例。
	为了仅预览结果的一个元素，在此处的顶部，我们对所有文档的情绪进行了简单的总结。
	因此，我们有一个方便地用颜色编码的直方图，向我们展示了整体情绪的分布似乎倾向于积极，我们有一个非常强烈的负面情绪尾巴。
	我们可以看到，在所有文档中，平均情绪得分为 4.1，略高于中性。
	对于所有总体正面的文档，其中有 3,900 个，它们的平均得分为 22.9，而在大约 1,400 个负面文档中，
	平均得分为负 15.4，因此负文档不如正文档强正那么强。
	现在，当然，你知道，这里有褐皮书，我可能会说，好吧，你知道从 1970 年到现在的这种情况，只看平均情绪得分，也许，你知道，我不知道不关心单个文档的分数或
	也许可以查看某些情绪项的分布。 但同样，如果你正在处理数据，
	比如说，消费者市场研究，诸如此类，任何你有客户声音的文本数据，甚至只是像这样的高级摘要，它可以很好地告诉我们客户的感受有多积极或消极，基于数据我们有，
	即使只是简单的报告也可能非常有价值。 但我们即将切换到 JMP，我们将看到情绪分析报告附带大量额外的方法来探索数据以获得洞察力。
	因此，让我们前往 JMP 看看它是如何完成的。
	所以我们现在在 JMP Pro 16.1 中，在我们深入研究这些褐皮书数据之前，我想向 Xan Gregg 大声疾呼。
	对于那些不认识他的人，Xan 是我们开发团队的主管。 他是Graph Builder的创造者
	而且他也是最初提出看褐皮书数据的人，甚至还好心地把褐皮书档案中的html页面刮了下来，并为我提供了一张漂亮的JMP数据表。 非常感谢你，Xan。
	好吧，让我们看一下情绪分析，实际上，我并没有进入结果，
	你知道，我确实想向你展示如何简单地设置分析，因为有一些重要的注意事项需要注意，
	不仅仅是关于 JMP 如何实现它，而是关于如何进行情绪分析或一般的词汇情绪分析。
	为了演示该设置，我实际上将只查看从 2010 年到现在的数据的一个子集，在这种情况下，只是为了保持快速，因为我们将要问
	文本浏览器可以多次自动更新其分析，我们希望它尽可能接近即时。
	所以在这里，我有数据的子集，所以我们从 2010 年 1 月开始，直到上个月的最新报告为止，都有所有 12 个地区的褐皮书报告。
	好的，所以要启动我们的情绪分析，我将去分析并选择文本资源管理器。 获取我们的文本并将其放在文本列角色中。 需要注意的几件事。
	一是虽然文本浏览器通常支持多种语言，
	情绪分析目前仅提供英文版本。
	另一个是如果……至少如果你是一个有经验的文本浏览器用户，你可能习惯于打开词干，你会注意到我现在要把它关掉。
	对于那些不知道词干的人来说，这是一种跨同一个词或语言的多种形式折叠的方式，同一个词。 所以要强，强，强。
	我们会在所有这些东西上崩溃，然后说，好吧，它们对于我们的目的来说都很强大。
	显然我们不想在这里这样做，因为最强比强更积极，比强更积极。
	因此，我们不再使用词干，事实上，即使您在调用情绪分析后将其打开，它也会忽略该词干，因为，再次，您真的不应该使用它。
	所以我要点击确定。 不，看起来就像我那样做，我们遇到了轻微的技术问题。 我很抱歉最近我的电脑发生了一些奇怪的事情，但没关系。 我们可以简单地重新启动屏幕共享并恢复我的视频。 大家好你们好。
	我们将分享这一点。 好的，所以我们应该还在继续，看起来录音还在继续。 让我确保在此处将 JMP 分配给正确的监视器。 看起来是这样。 好吧，对不起大家。 无论如何，让我们回到它。
	所以这里我们有我们的文本浏览器窗口。 现在再次，如果你习惯做
	文本分析，您会知道您通常从声明停用词开始。 例如，人们在谈论我的行业联系人告诉我... 你知道我不想在我的分析中使用联系人这个词，所以通常我会
	将其添加为停用词，然后可能会经历数小时
	在我实际进行分析之前声明停用词，而情绪分析不必这样做。
	这一切都基于那个情感词典，因此，对于像联系人这样的词，它不在词典中。 无论如何，它在功能上被排除在外，因此这是节省一些时间的好方法。
	但是，您可能确实想要声明短语，例如房地产或我们将要研究的短语，即贷款需求，它坐在这里。
	所以我点击贷款需求并将其添加为短语。 它被放置在我们的术语列表中，所以让我们快速找到它。
	那里有 1,139 个实例。 这是一个帮助我们在这些分析中深入研究子域的方法
	在这个数据集中。 所以想象一下，我想计算情绪，而不是整体，而是仅与贷款需求相关的情绪。
	正如我们将看到的那样，我需要首先将其声明为短语，因此至少对于您可能感兴趣的真正突出的域，检查并声明一些短语是合理的。
	好的，现在让我们关闭它并实际启动情绪分析。
	你会看到当我这样做的时候，我会得到一份完整的报告，所以在我看来，是时候开始探索我的结果了，因为这看起来像是一个完整的分析，但我确实想要鼓励任何人使用它来踩刹车并考虑您的情绪词典。
	你知道，不同的人群在不同的上下文中生成关于不同事物的文本，使用不同的方言
	可以以多种不同的方式使用语言。 调整你的情绪和强化否定词列表很重要
	反映这一点。 所以那是......我犹豫使用从不这个词，但我要......我要说永远不要只使用默认的情感词典。 如果您自己策划，您将始终获得更有效的结果。
	所以如果我去这里的情感术语，你可以看到分数是基于这个内置的字典，它是比较稀疏的。
	但我想真正阅读一些文本，看看我是否可以识别出更多应该包含在字典中的单词。 我应该提到你甚至可能想通过
	内置列表并排除一些，尽管该列表相对稀疏，因此理想情况下您不必排除太多或任何可能。
	所以在我们的报告中，你实际上有一些工具来管理你的字典，而不仅仅是探索结果。 我可以选择此文档表中的文档并调出文本
	正下方。 所以我会简单地离开屏幕底部。 您可以看到在该文本中突出显示，已经找到了情感术语和短语，就像稍微好一点。
	但是如果你看，比如说，我们这里有弱这个词，当前的条件仍然很弱，结果，据我所知，这是一个非常常见的
	褐皮书报告中的术语表明某些事情本质上是坏的。 我不知道，我不是经济学家，但也许在经济学中，
	你知道，weak 是 bad 的同义词， strong 是 good 的同义词，这就是我的看法，看过这些数据。
	现在你会看到，它没有突出显示。 这意味着 weak 目前不在我的字典中，但我可以很容易地添加它。 我只是悬停在上面
	文本中的正确术语，我可以将其添加为否定词。 我可以给它一个增强器值或一个情绪值，所以它是中等负值，所以我要点击负值 60。
	发生的事情是它现在已添加到我的字典中，并且所有情绪分数都在这里实时重新计算。
	所以我的情绪术语列表现在我什至可以选择弱并查看它的所有实例。 看起来，如果我们回到计数列中的那个表，它在褐皮书数据的这个子集中出现了 1,012 次。
	因此，当然，请仔细阅读并阅读文档的随机子集或分层随机子集，并尝试识别一些属于您的字典中的情感术语。
	现在，您还可以依赖一个方便的功能，这个可能的情绪列表，
	这实际上提供了潜在的情绪术语供您考虑。 我可以说，强在这里，我把弱放进去。 我当然想要坚强，所以我要宣布这是一个
	强的。
	而且我一直在使用快捷按钮，你知道，正 60，负 60，但你可以输入任何你喜欢的负 100 到 100 之间的分数，所以也许我实际上只想要一个 50 分的强。 所以我会这样做，如果你现在向下看，你可以再次看到自动更新的所有内容。
	因此，请注意您的情绪术语列表。 此外，我不会介绍使用否定增强词的机制，但同样的想法也适用。
	确保你得到了真正反映你的领域的权利，然后我建议，在红色三角形下，你总是可以进入完整的术语管理工具，你知道手动输入一些术语，所以也许我知道我想要最强，我希望是90分。
	所以我可以在这里添加一种批处理格式
	无需每次自动更新，或者我也可以导入和导出情绪术语列表，
	这非常适合与其他人共享它们，使它们便于携带，有助于跟踪我们的工作并使其可复制。
	由于您的结果在多大程度上取决于情绪术语列表，以及增强词和否定词，我强烈建议当您有一个导出它们的集合列表时，您可以将其完整记录并能够导入到新的分析和复制。
	所以设置分析就足够了，我真的只想强调一点，如果你调用情绪分析，你会得到一份报告，但不要直接进入那个报告。 首先整理你的字典。
	所以，既然我已经
	把那一点狠狠地打到家，让我们来看看那份报告。
	我现在要做的是，你知道，一份完整的报告使用，在这种情况下，全部 5,300 加
	褐皮书在这里报道。 所以，正如我之前提到的，在结果部分，你有这个总体摘要。 我们不会再遇到这种情况了。 我们已经看到你也有
	所有单独的文档，因此您可以查看任何文档以了解它的评分方式，其中显示的内容。 探索在上下文中使用情感术语和短语。
	您还可以在此表中查看许多方便的度量，例如，文档的总正分数，
	文档中积极情绪短语的平均分数。 负数也是如此，然后是总分，你会注意到，正如我
	将鼠标悬停在这些值上，这实际上向我展示了它们是如何计算的。 因此，如果我查看负分均值，我可以看到总共有七个学期，我可以看到他们的分数是多少，然后我可以看到平均值是多少。
	我还可以看到，在这种情况下，负值的平均值只是所有情绪项的平均分数，无论是正面的还是负面的。
	有很多方便的方法可以将鼠标悬停在此报告中的元素上来显示有用的信息。 我强烈推荐，你知道的，试试吧。 用鼠标悬停在不同的地方。 你可能会发现一些有用的东西。
	现在，当我们像这样进行文本挖掘时，通常我们不会太仔细地查看单个文档。 我的意思是，如果我们能把它们都读一遍，
	那么我们会的。 我的意思是，我们比计算机更擅长理解语言。 所以，你知道，我们当然不会只检查整个 5,300 份文档的集合，但你可以说，按分数排序，看看最负面的
	报告，并实际通读这些以了解，好吧，好吧，
	当人们特别消极时，他们对什么感到消极？ 我能从中了解到什么是导致这种消极情绪的原因，尤其是在消费者研究、产品评论、调查等方面，这些都是非常有价值的。
	我们还看到您有您的情绪术语列表，我们可以在其中看到出现的所有不同的情绪术语，它们出现的频率以及它们的
	与他们相关的分数。 如果我抓住其中任何一个，我也可以在上下文中看到这些术语。 因此，如果使用了特定的情绪术语
	在您的数据中很常见，您可能希望在上下文中更好地理解它，以了解人们使用它的原因或驱使他们使用它的原因。 只需选择术语然后浏览下面的文本，就可以很容易地做到这一点。
	现在，最后，我认为情绪分析中最有用的功能之一是在此功能选项卡下。
	所以当我点击搜索时，它会找到经常与情感术语一起出现的非情感术语，并允许我们进行深入分析，我们只评估与情感相关的情感
	选定的术语，或者我们称之为功能的东西，或者您也可以将其称为子域。 所以也许只是销售情绪，我们可以看到销售疲软，销售疲软。
	或者回到之前我说你确实想做一些措辞的时候。 让我们在这个列表中找到贷款需求，
	让我们仅根据有关贷款需求的情绪对我们所有的文件进行评分。 当然，这是使用一些
	自然语言处理，以尝试确定哪些情感短语适用于和不适用于贷款需求，并且使用任何 NLP 方法，它都不会 100% 准确，但它的准确性，尤其是在格式良好的文本中
	以褐皮书报告的方式，它似乎运行得很好。 所以现在，我可以看到，例如，他们对贷款需求的看法
	在所有这些报告中？ 它看起来总体上是积极的，尽管我们确实有一些特别负面的报道。
	最后要在这里喊一下，只是为了让我们回到原点，可能会注意到我这样做时必须尖峰，那是……看起来像正 60 和负 60。
	这只是再次强调了在进行此分析时整理情绪字典的重要性，并说明在解释结果时如何构建它。
	所以在这里，正值 60 的峰值很可能是因为当我最初在字典中输入大量情绪术语时，我正在使用这些快捷按钮。
	所以我有这 30、60、90 个快捷按钮，所以我几乎正在建立自己，以看到分数的峰值
	正60和负60。 如果我要更加小心地使分数更细粒度，那么也许我不会看到这个，你知道的，有趣的，我们称之为分布。
	所以我把它叫出来只是为了再次强调获取你的情绪字典是多么重要
	预先一起，然后，一旦你这样做了，你就会拥有所有关于全局情绪、文档情绪、单个术语甚至子域的情绪的有用信息，使用此功能
	部分在这里。 然后，当然，正如您在 JMP 中可能习惯的那样，当您需要将所做的事情保存起来时，您可以在红色三角形下的其他地方使用它，您会找到这些选项，所以我可能会保存我的文档分数。
	如果我们回到我的数据表，就在这里，你可以看到我实际上已经保存了，在这种情况下，它是那个贷款需求子域的分数，回到我的数据表，这样我就可以使用它们，比如说，在进一步的分析或绘图中，就像我们为幻灯片制作的一些图表一样。
	这就是情绪分析，JMP Pro 16 中的新功能，用于量化文本中的正面和负面情绪。 和
	有了这个，让我们过渡到术语选择，这是我想谈谈的另一种新的文本挖掘技术。 正如它所说，术语选择就是识别与某些结果相关的单词，即其他一些度量。 例如在这里，你知道，我们有，
	褐皮书报告文本，但我们也可以合并
	经济变量，例如 GDP，并查看褐皮书报告中的某些术语如何与 GDP 或二元变量（例如经济是否处于衰退）保持一致。
	这是...这里的术语选择是一种通用工具，用于查找与其他变量相关的单词，这可能很有用
	在解释性上下文中，可能是为了找到其他变量的驱动因素，或者可能是在预测建模练习中，这样我们就可以识别出可以预测某事的术语，以便将来我们可以使用这些术语来帮助预测它。
	所以让我们看看术语选择是如何工作的，我们实际上将在这里看一个与消费者金融保护局的消费者投诉不同的例子
	数据库。因此，消费者如果对金融产品或服务有投诉，可以向 CFPB 提出投诉，CFPB 在该消费者和消费者之间进行调解。
	金融产品或服务的提供者。 以下是您可以在这些数据中找到的示例。 所以有人说他们正在监控他们的信用报告，并且有一份 3,900 美元的收款通知，他们声称对此一无所知。
	你也可以看到，在数据表中，我们旁边有一列说消费者提出了异议，这里消费者提出了异议，这意味着他们收到了来自
	金融服务提供商，他们对该回应不满意，因此对其提出异议。
	您可以在数据表中的标题图表规范中看到，这并不常见。 在我们正在查看的这个数据集中，它基本上是大约五分之一，
	导致消费者纠纷，但如果您是与该客户打交道的金融公司，您当然不想发布一些回应，然后让他们继续对该回应提出异议。 您可能想了解哪些类型的投诉
	实际上会导致消费者纠纷，因此您可能能够，例如，提前识别可能导致纠纷的那些，
	或者只是更好地了解您的争议解决做法，以减少争议的数量。 有很多原因，您要注意这一点。
	消费者投诉叙述数据首先查看可能导致这些争议的原因，以及术语选择的作用是在文本中找到与该结果相关联的单个术语，即争议变量。
	所以在这里，我有一个我做的术语选择分析结果的图表，其中我们有一组沿 Y 轴的术语。 在 X 上，我们有 logworth，即
	衡量该关联的统计证据的强度。 所以这实际上是按 logworth 值排序的，所以在顶部，我们有
	违反，你可以看到那里的小点。 这实际上表明我们已经在这里完成了阻止，因此违反意味着可能被违反、违反、违反等等。
	所以我们有强有力的统计证据表明该术语违反与消费者纠纷有关，实际上是在颜色编码中，
	我在这里的优势比方面具有强大的效果。 所以当人们......当有人提到那个词时，违反，
	发生争执的几率增加了大约 1.5 倍。 所以如果我是
	金融服务提供商，我可能想留意这个词。 我可能想调查人们如何以及何时声称某些违规行为，正如我们将看到的那样，这确实违反了联邦法律。
	当他们在投诉中声称这一点时，我们是如何处理这些的，因为看起来我们可能没有令人满意地处理它们。
	也许您想在预测模型的一部分中使用该术语的存在或不存在来帮助预先标记潜在的有问题的投诉，以便我们可以升级他们的解决方案。
	那么，这一切是如何运作的呢？ 好吧，我们正在构建一个以文档术语矩阵开始的模型，它是文本的表示，其中每个
	行是一个文档，然后每一列是一个可能出现的术语。 接着
	在这种情况下，我们有所谓的二元加权，所以我们只要出现这个词，就输入一个；如果该术语未出现在该文档中，请输入零。 有更多的权重，但我们将坚持使用二进制，例如。
	当我们在那里输入这些二进制列作为模型中的预测变量时，特别是我们使用
	JMP 的广义回归，我们马上就会知道为什么。 首先只想说明我们在这里所做的是回归，实际上是一些
	有些人，你可能会听到，将术语选择称为文本回归。
	不要太担心模型的形式。 我只是想强调我们正在做的是我们正在考虑一些结果变量。
	因为我们有一个二元变量，它是逻辑回归的对数几率，我们说这等于，你知道，一些截距加，
	你知道，一个系数乘以某个变量。 在这种情况下，它是二进制 1 或 0；确实违反了出现与否。
	加上另一个系数值，在这种情况下，负 0.2 乘以另一个二进制变量；这里是否有人提到这个词挂断了，等等。
	所以我们在这个模型中输入了一堆术语，我们使用广义回归来选择哪些术语属于模型，哪些不属于。 和
	我们在这里看到的是 JMP 计算该解决方案的示例，哪些术语属于我们，哪些不适合我们。
	在解决方案路径中，我们可以用蓝色看到所有进入模型的项，用黑色看到实际上未包含在模型中的所有项，因为它们并没有真正增加其预测值。
	所以我们最终得到的是一个术语列表。 我们有他们的模型系数值，所以在这里，例如，违反，我得到了 0.4 的值，因为这实际上是
	拟合模型时的系数值。 而且，正如我们之前提到的，我们还获得了统计证据或证据强度的衡量标准，
	这个 logworth 值，这里是 16.58，如果你想要一个经验法则，你知道，任何高于 2 的值都可能被认为是强有力的统计证据，但实际上，logworth 是 p 值的负对数基数 10，所以值2 仅对应于 0.01 的 P 值。
	所以我们两者都有，在这种情况下，有系数，这在多大程度上增加或减少了争议的可能性？ 然后日志值得告诉我们，你知道，我们的证据真的有多可靠？
	有了这些信息，我们可以做很多事情，我们将看到我们如何转移到 JMP 并实际执行此分析。
	所以我回到了我的另一个桌面。 我要调出我们的消费者投诉数据。
	和
	而不是从头开始进入文本资源管理器，我将在此处使用表格脚本启动它。
	正如我们将看到的，一旦出现......对不起，在错误的屏幕上弹出。 我们去吧。
	我们有，你知道，我们总是从一个实际输入到分析中的术语列表开始。 然后我们有我们的短语列表，我们可以在其中声明属于术语列表的某些短语也应该包括在内。
	我已经包含了很多短语，例如公平信用报告法，因为如果提到该短语或该概念与消费者争议有关，我想找到它。
	如果我去我们的...让我们去管理停用词，你也会注意到，我已经声明了很多停用词。 所以这些都是
	我不想包括在分析中，主要是因为它们可能会淹没其他词。
	它们可能非常频繁，如果我只要求分析 500 个最常见的单词，我不想把它搞砸。
	尤其是因为，即使将able 作为与争议相关的术语返回，我什至不确切知道我会……我会用它做什么，或者我如何解释像able 这样的通用词。
	所以你想花点时间做你的停用词和短语，当你准备好时，在红色三角形下，调用术语选择。
	所以当我们这样做时，我们将首先选择我们的
	结果变量，这就是这个消费者有争议的。 我们想根据发生争议的可能性来谈论事情。
	您可以在此处设置连续的以及分类的结果变量。 他们都工作。 我还应该提到，我们正在谈论一场争执，其中，
	你知道，你可能认为实际上可能是某种情绪的代表，也就是说，如果有人对某事提出异议，那可能是因为他们不开心。
	但有些人拥有数据可能很常见，其中您有一个更直接衡量情绪的外部变量，例如产品的星级评分，这确实表明了满意度。
	所以，如果你碰巧有一个很好的情绪测量，连同你的文本数据，你可以使用这样的工具来做我们所说的
	数据派生情感分析，您可以使用此工具挖掘可预测情感度量的术语，从而基本上选择情感术语并自动
	找出他们的分数应该是多少。 所以它可以很方便。 这不是我们在这里所做的。 我们以更通用的方式使用它。
	好的，所以对于那个文档术语矩阵，我将坚持使用二进制加权。 为了保持简洁，我要说的是，让我们只看一下最常用的 200 个术语。
	除此之外，从 201 学期开始，我不会将其包括在分析中。 在实践中，我可能会包含更多内容，你知道，只是我希望这对演示来说既好又快。
	如果你是 GenReg 用户，你会看到你有
	wome 选项用于预先指定估计和验证方法。 我将保留这些默认设置并单击运行。
	因此，JMP 正在呼唤 GenReg。 它正在建立一个逻辑回归模型并使用弹性网络方法进行变量选择。
	看起来我们刚刚遇到了第二个技术故障。 我对此感到非常抱歉。 我们将解决这个问题，因为这个模型很合适。 那么让我们看看。 我们将恢复我的屏幕共享。
	我们会把我带回来。 看起来我们还在录制，所以我们会继续进行。 所以这是结果。
	在我们详细介绍报告之前，我们将首先看一下汇总表中的这一行。 这总结了我迄今为止构建的单个模型。
	因此，例如，我可以看到它返回了 145 个术语。 我使用 AICc 作为验证，并且有 AICc 值。 我们可以看到其他一些拟合统计数据。
	而且，就像任何模型一样，我们可能想在模型上尝试多次运行，以便构建最适合我们数据的模型。
	因此，如果我在这里转到这个广义回归节点，您会看到我们实际上将 GenReg 嵌入到文本资源管理器中。
	我可以更详细地探索我们已经拟合的模型，或者在我的情况下，我实际上要再拟合一个模型，看看我是否可以做得更好。 让我们做一个自适应弹性网络。
	并将改为拟合该模型，看看它是否比我们已经拟合的常规弹性网更好。
	好的，所以它也适合该模型。
	如果我们去我们的摘要，我们可以看到这个现在已经返回了 98 个术语，实际上有一个较低的 AICc，所以可能更合适。
	所以我会选择那个模型。 现在我可以，如果我想使用原版，只需点击它。 如您所见，下面的报告会更新到我在此表中选择的任何模型。
	我有我的术语列表在这里。 我们已经讨论过这个，所以我可以从系数的角度来看待它。 所以这里是最……影响最大的条款，增加了消费者纠纷的几率。
	以下是在降低消费者纠纷几率方面效果最大的那些。 例如，在其中任何一个中，我都可以看到挂断电话并看到，当然，它是在谈论他们挂断某人或某人挂断他们，也许这对我们来说是有道理的
	这预示着争议的可能性会降低，因为这听起来确实是一个沟通问题，而且可能更容易解决。
	同样，我们要注意这里的 logworth 值 2.883，所以这比我之前所说的经验法则 2 略高，所以我们可以说好吧，我认为有相当有力的统计证据表明这是一个真实的协会。
	只是为了把那个点带回家，如果我们走到这里，我们会看到警察这个词。 我最初的印象是，嗯，人们说，嗯，我做了一份警察报告，或者我报警了。
	如果我们发布一些回应，概率争议，如果有人已经达到报警的程度，他们可能不会那么容易消失。
	但如果我们看
	logworth，我们可以清楚地看到这方面的统计证据确实不是那么强，所以虽然它违反了我的直觉，但你知道，也许，也许它并不完全真实。
	当然，我不会想把它向上推到管理层，然后说，嘿，如果人们说他们对我们报警，这实际上是一件好事。 我们当然不会这么说。 它刚刚被选中包含在此处的模型中，因为它最终做到了，
	产生一个更好的拟合模型，但我们仍然需要运用我们自己的知识和常识来解释结果。
	所以这张表可能是，如果你真正想做的只是识别这些术语并以某种能力量化它们的影响，
	这可能是您分析的目标。 所以我可以右键单击并进入数据表
	并获得这些术语及其系数和对数值的数据表，然后使用它来指导对我们之前的响应、改进工作的一些分析，甚至将这些标记为应该包含在某种预测模型中的术语。
	但是，你知道，我们确实在这里建立了一个模型，一个回归模型，所以我们在单个文档级别有关于
	预测争议几率增加的系数总和，预测争议减少的总和，整体模型值，发生争议的概率
	模型分配和我们实际观察到的争论。 因此，当您实际在单个文档的级别进行评估时，您可能会期望的所有事情，嗯，这个模型的性能如何。
	在顶部，我们还有一个总体摘要，在这种情况下，各个文件及其......我们称之为我们的贡献，所以这就是
	这些系数值的总和或平均值。 所以看起来，例如，我们的 30,412 个文档有一个总和......它们的系数值和平均系数值的总和为正，平均贡献约为 0.57。
	所以，再次只是一个标志，你知道，我们在这里讨论的是回归系数，所以这些贡献值，系数表，所有这些都应该像你在构建时一样解释
	否则是线性回归模型，所以在我们的例子中，逻辑回归，我们应该解释这些
	适当地，也就是说，如果我们将它们取幂，那么我们正在处理对数或......对不起......然后我们正在处理优势比，这就是几率会增加或减少的因素如果这个词出现在文本中。
	虽然如果你对回归不是很感兴趣，但这些值在更一般的意义上仍然对你有好处，因为你可以看看，好吧，好吧，哪些术语有最强的影响或没有。 与 logworth 一样，嗯，有或没有最有力的证据。
	现在，最后，正如您可能想象的那样，我的意思是我们已经看到了如何保存术语表，但是如果您的目标不是那个术语表，而是真正的模型
	你已经建立了，你也可以选择保存它。 所以我选择了我打算使用的模型，自适应弹性网络，在红色三角形下，我可以保存预测公式。
	而且我认为我的电脑可能会在这里搅动一秒钟。 所以它保存了文档术语矩阵，这是我们指定的前 200 个术语，然后是公式
	对这些列或文档术语矩阵进行操作以实际计算我们的模型。 所以在这里，我有文档术语矩阵
	然后是最后的公式列，所以现在，我可以实际使用
	如果我愿意，可以直接使用此模型。
	这就是术语选择。 再次在高层次上，我们正在寻找与我们关心的结果变量最密切相关的术语，以便更好地解释驱动该结果的原因，或者甚至可能通知建模实践以尝试预测该结果。
	这就是 JMP Pro 16 中的两个新文本挖掘功能，即术语选择和情感分析，在去年春天再次推出。
	我现在要出去玩一会儿，回答任何人的任何问题，
	你知道，这两个新功能。 并且还知道，稍后，您可以随时在用户社区页面上针对此演示文稿发表其他评论或问题，我会一直留意
	开放回答通过的任何问题。 所以感谢大家抽出宝贵的时间。 请保重。

爆发数据探索统计和建模回复：扩展我们的文本挖掘工具包：JMP Pro 16 中的情绪分析和术语选择 (2021-US-45MP-851)

谢谢， @jgrayson .恐怕我不明白关于 15 对 16 的问题。 你能澄清一下吗？

回复：扩展我们的文本挖掘工具包：JMP Pro 16 中的情绪分析和术语选择 (2021-US-45MP-851)

伟大的！期待看到这些。我现在只有 16 岁，其他人似乎是 15 岁。 有没有可能也有16个？

谢谢，

吉姆

回复：扩展我们的文本挖掘工具包：JMP Pro 16 中的情绪分析和术语选择 (2021-US-45MP-851)

半现场演示的一位与会者要求提供情感分析参考。 我当时没有一个好的答案，但一些快速的互联网搜索表明刘冰教授的工作可能是一个很好的起点。 他 2012 年出版的书情绪分析与意见挖掘在 Google Scholar 上有超过 7,000 次引用，他还撰写了一本更新的书，名为情绪分析：挖掘情绪、意见和情绪. 刘教授的情绪分析网页包括有关这些书籍的信息以及有关该主题的 PDF 书籍章节. 我没有读过刘教授的作品，但值得一看。