398687_zh-CN

liliconcom

扩展我们的文本挖掘工具包：JMP Pro 16 中的情感分析和术语选择 (2021-US-45MP-851)

级别：中级

 

Ross Metusalem，JMP 系统工程师

 

文本挖掘技术可以从非结构化文本数据中提取定量信息。 JMP Pro 16 扩展了它可以从文本中提取的信息，这要归功于文本浏览器功能的两项新增功能：情绪分析和术语选择。 情感分析通过将文本的单词映射到可定制的情感承载术语字典和相关分数（例如，“很棒”，+90；“糟糕”，-90）来量化文本中表达的积极或消极情绪的程度。 由此产生的情感分数可用于大规模评估人们的主观感受，探索与客观概念相关的主观感受，并丰富进一步的分析。 术语选择通过应用 JMP Pro 广义回归平台（从文本浏览器内部调用）的正则化回归功能，自动查找最能预测响应变量的术语。 术语选择对于轻松识别重要结果度量与相关非结构化文本中特定术语的出现之间的关系非常有用。

 

本演示文稿概述了情感分析和术语选择技术，演示了它们在现实世界数据中的应用，并分享了有效使用每种技术的一些最佳实践。

 

 

自动生成的成绩单...

 

扬声器	成绩单
罗斯·梅图萨勒姆	大家好，欢迎观看本次演示，介绍 JMP 如何在去年春天刚刚推出的 JMP Pro 16 中扩展其文本挖掘工具包。
	我是罗斯·梅图萨勒姆。 我是 JMP 的学术大使，我将与您分享这两个新的文本挖掘功能
	情感分析和术语选择。 我们将讨论它们是什么以及如何使用它们和 JMP，然后我们将看到对现实世界公开数据执行这些分析的两个示例。
	因此，情感分析和术语选择是 JMP 文本浏览器（一种通用文本挖掘工具）的两个新增功能。
	因此，您可以使用它从我们通常所说的自由或非结构化文本数据中获取定量信息，因此这可能是从词频中获取的任何内容，以便我们可以制作词云，
	执行潜在语义分析，以便我们可以对语义相似的文档进行聚类。 因此，我们今天要看到的两个功能是文本浏览器工具中的功能。
	我们将从情绪分析开始，这是一项受欢迎且经常被要求的功能，我们很高兴在 JMP Pro 16 中引入该功能。
	对于那些不熟悉的人来说，情感分析就是量化非结构化文本数据中的积极到消极情绪。
	现在我们要看的例子来自褐皮书，这是美联储发布的一份叙述性报告。
	正如我们在地图中看到的，美联储分为 12 个不同的区，每年大约发布 8 次，每个区都会发布一份叙述性褐皮书报告
	它总结了该地理区域本身当前和未来潜在的经济状况。 这些报告主要基于定性数据源，因此请考虑
	与商界领袖的对话，调查之类的事情。 所以我认为褐皮书为情感分析提供了一个很好的例子，不仅因为
	这是公开的数据，我可以与大家分享，但也因为如果你是，比方说，投资者或者你，它会非常有趣，
	你知道，管理一家金融机构可以了解美联储董事对美国不同地区经济状况的积极或消极看法。 你实际上可以用它来
	也许可以指导决策，或者即使你可以量化它，也可以在一些统计分析中使用它，甚至可以在一些预测模型中使用它。
	让我们看一下褐皮书中的一些文本示例。
	这里我们只是其中一份报告的一个片段，我们可以从顶部开始看到，该报告表示，另一方面，计算机销售严重低迷。
	然而，如果我们深入到底部，也有人报告说，有很多有利的稻草在风中，所以我们这里突出了“严重沮丧”和“有利”，也有“改善”，
	因为这些就是我们所说的情感短语。 所以它是一个或多个词来表示某种积极或消极的情感内容。
	因此，在顶部，我们有严重的抑郁，这将是强烈的负面影响，然后我们在下面有有利的，这通常是积极的，我们使用这种颜色编码，以便橙色与蓝色或紫色（取决于如何你看到了）
	分别表示积极和消极的情绪。
	许多形式的情感分析就是这样做的。 他们在文本中寻找积极的短语和消极的短语。
	JMP 使用的形式以及您在其他地方可能遇到的形式实际上连续量化了积极和消极情绪。
	例如，在第二段文本的底部，我们看到有人说该地区的大型百货商店销售不佳。
	因此，在顶部，我们看到销售严重低迷，在下面，我们看到销售很差。 嗯，我想我们都同意严重抑郁听起来更糟
	就销售额而言，比穷人还差。 所以我们可能想要，
	虽然它们都是负面的，但将严重抑郁量化为比贫困更负面，这就是我们在 JMP 中进行情绪分析的方法。 我们要谈谈
	很快就会特别介绍这些分数的计算方式，但首先我认为值得实际看看
	通过查看像这样的个人术语和短语，可以证明量化情绪的有效性。
	我们讨论的本质上是根据文档中出现的单词对文档进行评分
	我们认为表示情感以及情感程度。 这是一种内部和主观的事情，但是这种方法，情感分析，
	确实可以证明一些预测的有效性。 例如，如果我们观察褐皮书情绪随时间的变化情况，我们可以看到它实际上与经济衰退相当可靠地跟踪。 所以这里我们有感情
	在 y 轴上。 您可以看到它从负 75 延伸到 75，这正是我们绘制的范围。 真实比例从负 100 开始
	到 100，其中零是中性的。 你可以看到，随着时间的推移，所有褐皮书报告中的情绪总体趋势变得更加平滑，
	你可以看到一个关于经济衰退的有趣模式，经济衰退本身以红色突出显示。 特别是，我们可以看到，每次经济衰退之前，情绪似乎都会明显下降。
	因此，尽管这是对我们认为的美联储董事情绪状态的相对主观衡量，但我的意思是，正如人们所预期的那样，这与经济衰退是一致的。
	它实际上还可以追踪地理，这很有趣。 以 2000 年至 2001 年左右的互联网泡沫破灭为例，当时旧金山湾区出现了一批互联网初创公司
	被淹没了。 我们可以看到，我在这里突出显示了旧金山的悬停标签，这样我们就可以看到该地区的分数。 正如我们之前看到的，橙色是积极情绪，蓝色是消极情绪。
	我们可以看到，到 2000 年，情绪
	湾区的得分很高，为 38.65，然后在 2001 年平均下降了 60 多点，
	大约为负24.7。 这比我们在该国其他地方看到的波动要大得多，因为那是该地区……大概是因为那是受影响最严重的地区。
	我们在大衰退中也看到了类似的情况。 因此，我们看到 2008 年房地产市场的崩溃与情绪的下降相对应，但情况并不统一。
	看起来跌幅最大的是西海岸，所以又是旧金山地区、纽约地区以及亚特兰大地区，其中包括
	我居住的佛罗里达州是该国受灾最严重的地区。 事实上，如果我们往下看最后一排，我们可以看到佛罗里达州......
	直到 2012 年左右，该地区的情绪似乎才恢复，落后于其他一些地区，这似乎是有道理的。 佛罗里达州的房地产市场是全国最后恢复的市场之一。
	因此，我们有这种主观的情绪衡量标准，但在这种情况下，它确实以我们期望的方式跟踪外部事件……经济事件。
	你又知道了，我们正在研究褐皮书，因为它是一个特别好的公开示例。 如果你
	正在谈论可能更常见的应用情感分析的领域，例如消费者市场研究，您正在处理一个
	客户的声音以文本数据的形式出现，例如产品评论、调查回复等，
	您也许可以使用情绪分析来更好地理解、甚至预测客户行为，就像我们可以在这里使用情绪来更好地理解或预测经济衰退一样。
	话虽如此，我意识到过去几分钟我们一直在研究情绪分数，这确实引出了一个问题：它们来自哪里。
	因此，JMP 使用一种称为词汇情感分析的情感分析形式。 所以它使用情感词典或
	情感词典
	为我们认为带有某种情感的所有单词打分。 因此，像“棒极了”这样的词可能会得到 90 分，这是非常积极的。 正数几乎达到最大值，即 100 分，而少数人则担心得分为负数 60 分。
	现在我们可以为这些术语分配分数，并基本上对它们进行计数或在任何单独的文档中取平均值。
	但我们确实想考虑其他一些事情。 如果你还记得我们在褐皮书示例中看到的第一个情感短语是“严重抑郁”。
	换句话说，严重就是我们所说的增强器的一个例子，它基本上是一个情绪乘数。 所以你可以在这里看到，我们可以令人难以置信地宣称这是一个情绪分数为 1.4 的乘数，实际上有一点
	将其缩放 0.3，因此稍微降低了情绪的强度。
	因此，如果增强器与情感项一起出现，我们将执行该乘法，如果出现否定器，我们也会执行该乘法。 所以我们说，
	你知道，某件事是不存在或不存在、不应该或不存在的，我们乘以负数，这样我们基本上就翻转了符号；正值变为负值，反之亦然。
	因此，对于任何情感短语，我们只需执行这个简单的乘法，然后在整个文档中，
	我们可以取平均分数或者最小和最大情绪分数之间的差值
	计算这些文档的情感值。 这就是我们在这些图表中看到的内容，即这些地图中随时间变化的情绪图表。
	这就是词汇情感分析。 这是一种非常常见的做法，也是 JMP 中实施的情绪分析类型。 正如我们将看到的，当您拥有 JMP 时
	计算所有的情绪分数，你会得到很多有用的信息。 这是情绪分析报告的示例。
	为了预览结果的一个元素，在顶部，我们对所有文档的情绪进行了简单的总结。
	因此，我们有一个直方图，可以轻松地用颜色编码，向我们显示整体情绪的分布似乎倾向于积极，我们有一个相当强烈的负面情绪尾部。
	我们可以看到，在所有文档中，平均情绪得分为 4.1，略高于中性。
	对于总体正面的文件（其中有 3,900 份），其平均得分为 22.9，而在大约 1,400 份负面文件中，平均分
	平均得分为负 15.4，因此负面文档的负面程度不如正面文档的强烈正面程度。
	现在，当然，你知道，有了褐皮书，我可能会说，好吧，你知道，从 1970 年的情况到现在，只要看看平均情绪得分，也许，你知道，我不知道不必关心查看单个文档的分数或
	也许看看某些情绪术语的分布。 但同样，如果你正在处理数据，
	比如说，消费者市场研究，类似的东西，任何有客户声音的文本数据，甚至只是像这样的高级摘要，可以根据以下数据很好地告诉我们客户的感受有多么积极或消极我们有，
	即使只是简单的报告也可能非常有价值。 但我们即将切换到 JMP，我们将看到情绪分析报告附带了很多探索数据以获得洞察力的其他方法。
	那么让我们转到 JMP 看看它是如何完成的。
	所以我们现在使用的是 JMP Pro 16.1，在我们深入研究这些褐皮书数据之前，我确实想向 Xan Gregg 大声喊叫。
	对于那些不认识他的人来说，Xan 是我们开发团队的总监。 他是Graph Builder的创建者
	他也是最初提出查看褐皮书数据的人，甚至还好心地抓取了褐皮书档案中的html页面，并为我提供了一个不错的JMP数据表。 非常感谢你，Xan。
	好吧，现在让我们看一下情绪分析，实际上我不讨论结果，
	你知道，我确实想向你展示如何简单地设置分析，因为有一些重要的考虑因素需要注意，
	您知道，这不仅涉及 JMP 如何实现它，还涉及如何进行一般情感分析或词汇情感分析。
	为了演示该设置，我实际上只会查看 2010 年至今的数据子集，在本例中，只是为了让事情变得简单，因为我们要问
	文本浏览器可以多次自动更新其分析，我们希望它尽可能接近瞬时。
	在这里，我有数据的子集，所以我们有从 2010 年 1 月开始直到上个月最新报告的所有 12 个地区的褐皮书报告。
	好吧，为了启动我们的情感分析，我将去分析并选择文本浏览器。 将我们的文本放入文本列角色中。 有几点需要注意。
	一是虽然文本浏览器通常支持多种语言，
	情绪分析目前仅提供英文版本。
	另一个是，如果......至少如果您是一位经验丰富的文本浏览器用户，您可能习惯于打开词干提取，并且您会注意到我现在将把它关闭。
	对于那些不知道词干提取的人来说，这是一种折叠同一单词的多种形式的方式，或者用语言学的话说，就是同一个 lemme。 所以，要坚强，要坚强，要坚强。
	我们会崩溃于所有这些，然后说，好吧，它们对于我们的目的来说都很强大。
	显然我们不想在这里这样做，因为最强比更强更积极，而更强比更强更积极。
	因此，我们将词干保留为关闭状态，事实上，即使您在调用情绪分析后将其打开，它也会忽略该词干提取，因为您真的不应该使用它。
	所以我要单击“确定”。 不，看起来当我这样做时，我们遇到了轻微的技术问题。 我很抱歉我的电脑最近发生了一些奇怪的事情，导致了这种情况，但没关系。 我们只需重新启动屏幕共享即可恢复我的视频。 大家好。
	我们将分享这一点。 好吧，所以我们应该继续，看起来录音还在继续。 让我确保 JMP 已分配给此处的正确监视器。 看起来确实如此。 好吧，对此大家感到抱歉。 无论如何，让我们回到正题。
	所以这里有我们的文本浏览器窗口。 现在，如果你习惯这样做的话
	在文本分析中，您会知道通常是从声明停用词开始的。 例如，人们在谈论我在行业中的联系时告诉我...... 你知道我不想在分析中使用联系人这个词，所以通常我会
	将其添加为停用词，然后可能要花费几个小时
	在我实际进行分析之前声明停用词，而您不必在情感分析中这样做。
	这一切都基于情感词典，因此，对于像联系人这样的词，它不在词典中。 无论如何，它在功能上已被排除，因此这是节省时间的好方法。
	然而，您可能确实想声明一些短语，例如房地产或我们要考虑的一个短语，即贷款需求，就在这里。
	因此，我单击贷款需求并将其添加为短语。 它被放置在我们的术语列表中，所以让我们快速找到它。
	共有 1,139 个实例。 这是为了帮助我们真正深入到这些分析或这个中的子领域
	在这个数据集中。 因此，想象一下，我想计算情绪，不是整体计算，而是仅计算贷款需求方面的情绪。
	正如我们将看到的，要做到这一点，我需要首先将其声明为一个短语，因此至少对于您可能感兴趣的真正突出的领域来说，浏览并声明一些短语是合理的。
	好吧，现在让我们结束这个问题并实际启动情绪分析。
	你会看到，当我这样做时，我将得到一份完整的报告，所以在我看来，是时候开始探索我的结果了，因为这看起来像是一个完整的分析，但我确实想鼓励任何使用此功能的人踩刹车并考虑您的情绪词典。
	你知道，不同的人群在不同的背景下用不同的方言生成关于不同事物的文本
	可以以多种不同的方式使用语言。 定制你的情绪和强化否定术语列表很重要
	反映这一点。 所以这就是...我犹豫是否使用“从不”这个词，但我要...我要说“从不”只是使用默认的情感词典。 如果您自己策划，您总是会得到更有效的结果。
	因此，如果我转到此处的情感术语，您可以看到分数基于此内置字典，该字典相对稀疏。
	但我想实际阅读一些文本，看看我是否可以识别出更多应该包含在字典中的单词。 我应该提到你甚至可能想经历
	内置列表并排除一些，尽管该列表相对稀疏，因此理想情况下您不必排除太多或可能任何。
	因此，在我们的报告中，您实际上拥有一些用于整理词典的工具，而不仅仅是探索结果。 我可以选择此文档表中的文档并显示文本
	就在下面。 所以我将暂时离开屏幕底部。 您可以看到该文本中突出显示的内容，已经找到了情感术语和短语，例如稍微好一点。
	但如果你看一下，这里有“弱”这个词，当前的状况仍然很弱，据我所知，这是一个非常常见的情况。
	褐皮书报告中的术语表明某些事物本质上是坏的。 我不知道，我不是经济学家，但也许在经济学中，
	你知道，弱是坏的同义词，强是好的同义词，这是我在仔细查看这些数据后的看法。
	现在你会看到，它没有突出显示。 这意味着我的字典中目前没有“weak”，但我可以很容易地添加它。 我只是将鼠标悬停在上面
	术语就在文本中，我可以将其添加为否定词。 我可以给它一个增强值或情绪值，因此它是适度的负值，因此我将单击负值 60。
	所发生的情况是，它现在已添加到我的字典中，并且所有情绪分数都在这里实时重新计算。
	所以我的情绪术语列表现在我什至可以选择弱并查看它的所有实例。 如果我们返回计数列中的该表，看起来它在褐皮书数据的这个子集中出现了 1,012 次。
	因此，当然，浏览并阅读文档的随机子集或分层随机子集，并尝试识别属于您字典中的一些情感术语。
	现在，您还可以依赖一个方便的功能，这个可能的情绪列表，
	这实际上提供了潜在的情感术语供您考虑。 我可以注意到，这里有强项，而我把弱项放进去。 我当然想要坚强，所以我要宣布这是一个
	强的。
	我一直在使用快捷按钮，你知道，正 60，负 60，但是你可以输入负 100 到 100 之间的任何你喜欢的分数，所以也许我实际上只想要 50 分作为强分数。 所以我会这样做，如果你现在往下看，你可以再次看到自动更新的所有内容。
	因此，请注意您的情绪术语列表。 另外，我不会详细介绍否定增强项的机制，但同样的想法也适用。
	确保您获得这些权利来真正反映您的领域，然后我建议，在红色三角形下，您始终可以进入完整的术语管理工具，以手动输入一些术语，所以也许我知道我想要最强的并且我希望分数为 90。
	所以我可以在这里添加一种批处理格式
	无需每次自动更新，或者我也可以导入和导出情绪术语列表，
	这非常适合与其他人分享，使它们便于携带，帮助跟踪我们的工作并使其可复制。
	由于您的结果在很大程度上取决于情绪术语列表以及增强词和否定词，因此我强烈建议您在拥有一组列表时将其导出，以便将其完整记录下来并能够导入到新的分析和复制。
	因此，设置分析就足够了，我真的只想强调这一点，如果您调用情绪分析，您将获得一份报告，但不要直接深入该报告。 首先整理你的字典。
	所以，现在我已经
	毫不留情地打败了这一点，让我们实际看看该报告。
	我现在要做的是拉入一份完整的报告，在本例中使用了所有 5,300 多个
	褐皮书报道在这里。 因此，正如我之前提到的，在结果部分中，您可以得到总体摘要。 我们不会再经历这个了。 我们看到您也有
	所有单独的文档，因此您可以查看任何文档以了解其评分方式以及其中显示的内容。 探索情感术语和短语在上下文中的使用。
	您还可以在此表中看到许多方便的度量，例如文档的总积极分数，
	文档中积极情绪短语的平均得分。 同样的情况也适用于负数，然后是总分，你会注意到，正如我所见
	将鼠标悬停在这些值上，这实际上向我展示了它们的计算方式。 因此，如果我查看负分数平均值，我可以看到总共有七个术语，我可以看到它们的分数是多少，然后我可以看到平均值是多少。
	我还可以看到，在这种情况下，负面情绪的平均值只是所有情绪术语（正面和负面）的平均分数。
	有很多方便的方法可以将鼠标悬停在本报告中的元素上以显示有用的信息。 我强烈推荐，你知道的，试试吧。 将鼠标悬停在不同的地方。 您可能会发现一些有用的东西。
	现在，当我们进行这样的文本挖掘时，通常我们不会太仔细地查看单个文档。 我的意思是，如果我们能把它们全部读完的话
	那么我们会的。 我的意思是，我们比计算机更擅长理解语言。 所以，您知道，我们当然不会仅仅浏览 5,300 份文档的整个集合，但您可以说，按分数排序并仅查看最负面的文档
	报告，并实际阅读这些报告以了解，好吧，好吧，
	当人们特别消极时，他们消极的是什么？ 我能了解到什么是造成这种消极情绪的原因，尤其是在消费者研究方面，比如产品评论、调查之类的东西可能非常有价值。
	我们还看到您有情绪术语列表，我们可以在其中看到出现的所有不同情绪术语、它们出现的频率以及它们的含义
	与他们相关的分数。 如果我抓住其中任何一个，我也可以在上下文中看到这些术语。 因此，如果使用了特定的情感术语
	在您的数据中很常见，您可能希望在上下文中更好地理解它，以了解人们为什么使用它或是什么驱使他们使用它。 只需选择术语然后浏览下面的文本即可轻松完成此操作。
	现在，最后，我认为情感分析中最有用的功能之一就在这个功能选项卡下。
	因此，当我单击搜索时，它会找到经常与情绪术语一起出现的非情绪术语，并允许我们进行深入分析，我们仅评估与该情绪术语相关的情绪
	选定的术语，或者我们所说的功能，或者您也可以将其称为子域。 因此，也许只是针对销售的情绪，我们可以看到销售报告疲弱，销售疲软。
	或者回到之前我说你确实想做一些潜在的措辞。 让我们在这个列表中找到贷款需求，
	让我们仅根据贷款需求的情绪对所有文件进行评分。 当然这是使用一些
	自然语言处理，以便尝试确定哪些情感短语适用于贷款需求，哪些不适用于贷款需求，并且使用任何 NLP 方法，它都不会 100% 准确，但它的准确性，特别是在以良好格式编写的文本中
	从某种程度上来说，褐皮书的报告看起来确实运作得很好。 现在，我可以看到，例如，他们对贷款需求有何看法
	在所有这些报告中？ 尽管我们确实有一些特别负面的报告，但看起来总体上是积极的。
	最后要指出的是，只是为了让我们回到原点，可能注意到我这样做时必须尖峰，那就是……看起来像正 60 和负 60。
	这只是再次强调了在进行分析时整理情感词典以及在解释结果时说明如何构建它的重要性。
	所以在这里，正值 60 的峰值很可能是因为当我最初在字典中输入大量情感术语时，我使用了这些快捷按钮。
	所以我有 30、60、90 个快捷按钮，所以我几乎要让自己看到分数的峰值
	正60和负60。 如果我更加小心地让分数变得更细粒度，那么也许我不会看到这个，你知道，有趣的，我们称之为分布。
	所以我这么说只是为了再次强调获得你的情感词典是多么重要
	预先放在一起，然后，一旦您这样做了，您就可以使用此功能获得有关全局情绪、文档情绪、单个术语甚至子域情绪的所有有用信息
	部分在这里。 当然，正如您在 JMP 中可能习惯的那样，当需要将您所做的工作保存起来时，您可以在红色三角形下的其他地方使用它，您会找到这些选项，所以我可能会保存我的文档分数。
	如果我们回到我的数据表，就在这里，你可以看到我实际上已经保存了，在这种情况下，它是该贷款需求子域的分数，回到我的数据表，以便我可以使用它们，比如说，在进一步分析或绘图中，就像我们为幻灯片构建的一些图表一样。
	这就是情感分析，JMP Pro 16 中的新功能，用于量化文本中的积极和消极情绪。 和
	接下来，让我们过渡到术语选择，这是我想讨论的另一种新的文本挖掘技术。 正如它所说，术语选择就是识别与某些结果（即其他一些度量）相关的单词。 例如在这里，你知道，我们有，
	褐皮书报告文本，但我们也可以纳入
	经济变量，例如 GDP，并了解褐皮书报告中的某些术语如何与 GDP 或二元变量（例如经济是否处于衰退中）保持一致。
	这是一个...术语选择是一个通用工具，用于查找与其他变量相关的单词，这可能很有用
	在解释性上下文中，寻找其他变量的驱动因素，或者在预测建模练习中，这样我们就可以识别预测某些事物的术语，以便将来我们可以使用这些术语来帮助预测它。
	那么让我们看看术语选择是如何运作的，我们实际上将看一个来自消费者金融保护局消费者投诉的不同示例
	数据库。因此，消费者如果对金融产品或服务有投诉，可以向 CFPB 提出投诉，CFPB 会在消费者和金融机构之间进行调解。
	金融产品或服务的提供者。 以下是您可以在这些数据中找到的内容的示例。 有人说他们正在监控自己的信用报告，并且收到了一份 3,900 美元的收款通知，但他们声称对此一无所知。
	你也可以看到，在数据表中，我们接下来有一列说消费者对此提出了异议，而这里消费者确实提出了异议，这意味着他们收到了来自
	金融服务提供商对这一答复并不满意，因此提出了异议。
	您可以在数据表的标题图规范中看到，这并不常见。 在我们正在查看的数据集中，基本上大约有五分之一，
	导致消费者纠纷，但如果您是与该客户打交道的金融公司，您当然不想发布一些响应，然后让他们继续对该响应提出异议。 您可能想了解哪些类型的投诉
	实际上会导致消费者纠纷，这样你就可以提前识别出哪些可能会导致纠纷，
	或者只是更好地了解您的争议解决实践以减少争议数量。 您需要注意的原因有很多。
	消费者投诉叙述数据首先要了解是什么可能导致这些争议，而术语选择的作用是在文本中找到与该结果（即争议变量）相关的各个术语。
	在这里，我根据术语选择分析的结果制作了一个图表，其中我们有沿 Y 轴的术语集合。 在 X 上，我们有对数沃斯，即
	衡量关联统计证据强度的指标。 所以这实际上是按对数值排序的，所以在顶部，我们有
	违反，你可以看到那里的小点。 这实际上表明我们已经在这里完成了词干处理，因此违反意味着可能被违反、违反、违反等等。
	因此，我们有强有力的统计证据表明，该术语“违规”与消费者纠纷有关，实际上在颜色编码中，
	我在这里用比值比来表示效应的强度。 所以当人们...当有人提到这个词时，违反，
	发生争议的可能性大约增加 1.5 倍。 所以如果我是
	作为一家金融服务提供商，我可能想留意这个术语。 我可能想调查人们如何以及何时声称某些违规行为，正如我们将看到的，这确实违反了联邦法律。
	当他们在投诉中声称这一点时，我们是如何处理这些问题的，因为看起来我们处理得并不令人满意。
	也许您想在预测模型的一部分中使用该术语的存在或不存在来帮助预先标记潜在的有问题的投诉，以便我们可以升级他们的解决方案。
	那么，这一切是如何运作的呢？ 好吧，我们正在构建一个从文档术语矩阵开始的模型，它是文本的表示，其中每个
	行是一个文档，每一列是可能出现的一个术语。 进而
	在这种情况下，我们有所谓的二进制加权，所以我们只是，如果该术语出现，我们输入 1；如果该术语未出现在该文档中，请输入零。 还有更多权重，但对于我们的示例，我们将坚持使用二进制。
	当我们在模型中输入这些二进制列作为预测变量时，特别是我们使用
	JMP 的广义回归，我们稍后就会明白原因。 首先只是想说明一下我们在这里所做的是回归，实际上是一些
	您可能会听到，有些人会将术语选择称为文本回归。
	不要太担心模型的形状。 我只是想强调，我们正在做的是我们正在采取一些结果变量。
	因为我们有一个二元变量，它是逻辑回归的对数几率，我们说它等于，你知道，一些截距加上，
	你知道，一个系数乘以某个变量。 在本例中，它是二进制 1 或 0；是否出现违规。
	再加上另一个系数值，在本例中是另一个二进制变量的负 0.2 倍；这里是否有人提到“挂断”一词，等等。
	因此，我们在这个模型中输入一堆项，然后使用广义回归来选择哪些项属于模型，哪些不属于模型。 和
	我们在这里看到的是 JMP 计算该解决方案的示例，哪些术语属于我们，哪些不适合我们。
	在解决方案路径中，我们可以看到进入模型的所有项都显示为蓝色，而实际上未包含在模型中的所有项都显示为黑色，因为它们并没有真正增加其预测价值。
	所以我们最终得到的是一个术语列表。 我们有他们的模型系数值，所以在这里，例如，违反，我得到了 0.4 值，因为这实际上是
	当我们拟合模型时的系数值。 正如我们之前提到的，我们还获得了统计证据或证据强度的衡量标准，
	这个 logworth 值，这里是 16.58，如果你想要一个经验法则，任何高于 2 的值，你知道，可能被认为是强有力的统计证据，但实际上，logworth 是 p 值的以 10 为底的负对数，所以值2 正好对应 P 值 0.01。
	因此，在本例中，我们都有系数，这会在多大程度上增加或减少争议的可能性？ 然后日志值得告诉我们，你知道，我们的证据到底有多可靠？
	有了这些信息，我们就可以做很多事情，当我们转向 JMP 并实际执行此分析时，我们将看到如何进行。
	所以我回到了我的另一个桌面。 我将调出我们的消费者投诉数据。
	和
	我将在此处使用表脚本启动它，而不是从头开始进入文本资源管理器。
	正如我们将看到的，一旦启动……抱歉，出现在错误的屏幕上。 我们开始吧。
	您知道，我们总是从实际进入分析的术语列表开始。 然后我们有我们的短语列表，我们可以在其中声明属于术语列表的某些短语也应该包括在内。
	我加入了很多短语，例如《公平信用报告法》，因为如果提及该短语或该概念与消费者纠纷相关，我想找到它。
	您还会注意到，如果我去我们的...让我们去管理这里的停用词，我已经声明了很多停用词。 所以这些都是
	我不想包含在分析中，主要是因为它们可能会淹没其他单词。
	它们可能非常频繁，如果我只要求分析 500 个最常见的单词，我不想把它搞砸。
	特别是因为，即使“能够”作为与争议相关的术语返回，我什至不知道我会做什么……我会用它做什么，或者我如何解释像“能够”这样的通用词。
	因此，您需要花时间处理停用词和短语，准备好后，在红色三角形下方调用术语选择。
	所以当我们这样做的时候，我们首先要选择我们的
	结果变量，这是这位消费者有争议的。 我们希望根据发生争议的可能性来讨论问题。
	您可以在此处设置连续和分类结果变量。 他们都工作。 我还应该提到，我们正在谈论一场争端，
	你知道，你可能认为实际上可能是某种情绪的代表，也就是说，如果有人对某件事有争议，那可能是因为他们不高兴。
	但很常见的是，有些人拥有数据，其中有一个外部变量，可以更直接地衡量情绪，例如产品的星级，这确实表明了满意度。
	因此，如果您碰巧对情绪以及文本数据有很好的测量，您可以使用这样的工具来执行我们所说的操作
	数据衍生的情感分析，您可以使用此工具挖掘可预测情感度量的术语，从而从本质上选择情感术语并自动
	找出他们的分数应该是多少。 所以它非常方便。 这不完全是我们在这里所做的事情。 我们正在以更通用的方式使用它。
	好的，对于该文档术语矩阵，我将坚持使用二进制加权。 为了让事情变得简单，我要说的是，让我们只看 200 个最常见的术语。
	除此之外，从第 201 学期开始，我不会将其包含在分析中。 在实践中，我可能会包含更多内容，你知道，只是我希望它对于演示来说是美好而活泼的。
	如果您是 GenReg 用户，您会看到您有
	用于预先指定估计和验证方法的选项。 我将保留默认值并单击运行。
	因此，JMP 正在向 GenReg 发出请求。 它正在构建逻辑回归模型并使用弹性网络方法进行变量选择。
	看起来我们刚刚遇到了第二个技术故障。 对此我感到非常抱歉。 当这个模型合适时，我们会解决这个问题。 那么让我们看看。 我们将恢复我的屏幕共享。
	我们会把我带回来。 看来我们还在录音，所以我们就继续吧。 这就是结果。
	在详细介绍报告之前，我们首先看一下汇总表中的这一行。 这总结了我迄今为止构建的单一模型。
	例如，我可以看到它返回了 145 个术语。 我使用 AICc 作为验证，并且有 AICc 值。 我们可以看到一些其他的拟合统计数据。
	而且，就像任何模型一样，我们可能想在模型上尝试多次运行，以便构建最适合我们数据的模型。
	因此，如果我转到此处的广义回归节点，您将看到我们实际上已将 GenReg 嵌入到文本资源管理器中。
	我可以更详细地探索我们已经拟合的模型，或者就我而言，我实际上将拟合另一个模型，看看我是否可以做得更好。 让我们做一个自适应弹性网络。
	并将适合该模型，看看它是否比我们已经适合的常规弹性网更好。
	好的，所以它也适合该模型。
	如果我们查看摘要，我们可以看到这个现在已返回 98 个术语，实际上具有较低的 AICc，因此可能更适合。
	所以我将采用该模型。 现在，如果我想使用原始版本，只需单击它即可。 如您所见，下面的报告更新为我在此表中选择的模型。
	我这里有我的术语清单。 我们已经讨论过这一点，所以我可以从系数的角度来看待它。 因此，以下是最……影响最大的条款，增加了消费者纠纷的可能性。
	以下是对降低消费者纠纷发生率影响最大的措施。 例如，在其中任何一个中，我都可以看到“挂断”，当然，它是在谈论他们挂在某人身上或某人挂在他们身上，也许这对我们来说是有意义的
	这预示着争议的可能性会减少，因为听起来这确实是一个沟通问题，而且可能更容易解决。
	再次，我们要注意这里的对数值，2.883，所以它比我之前所说的经验法则 2 稍高一点，所以我们可能会说，好吧，我认为有相当有力的统计证据表明这是一个真实的协会。
	为了让大家明白这一点，如果我们走到这里，我们会看到“警察”这个词。 我的第一印象是，好吧，人们说，好吧，我做了一份警方报告，或者我报了警。
	如果我们做出一些回应，他们可能不会那么容易消失，概率争议，如果有人已经达到报警的程度，概率争议就会上升。
	但如果我们看看
	洛沃斯，我们可以很好地看到这方面的统计证据确实不是那么有力，所以虽然它违反了我的直觉，但你知道，也许，也许它并不完全真实。
	当然，我并不是想把这件事向上级汇报给管理层，然后说，嘿，如果人们说他们给我们报了警，这实际上是一件好事。 我们当然不是这么说的。 它刚刚被选择包含在此处的模型中，因为它最终确实，
	产生更好的拟合模型，但仍然取决于我们运用自己的知识和常识来解释结果。
	所以这个表可能是，如果你真正想做的只是识别术语并以某种方式量化它们的影响，
	这可能就是您分析的目标。 所以我可以右键单击并进入数据表
	并获得这些术语及其系数和对数值的数据表，然后用它来指导我们之前的响应、改进工作的一些分析，甚至将这些标记为应包含在未来某种预测模型中的术语。
	但是，您知道，我们确实在这里构建了一个模型，一个回归模型，因此我们在单个文档级别上有关于
	预测争议可能性增加的系数总和、预测争议可能性减少的系数总和、总体模型值、发生争议的概率
	模型分配的内容与我们实际观察到的内容存在争议。 因此，当您实际在单个文档级别进行评估时，您可能会想到的所有事情，以及该模型的表现如何。
	在顶部，我们还对各个文档及其......我们所说的贡献进行了总体摘要，这就是
	这些系数值的总和或平均值。 例如，我们的 30,412 个文档的系数值和平均系数值的总和为正总和，平均贡献约为 0.57。
	所以，再次只是一个标志，你知道，我们在这里讨论回归系数，所以这些贡献值，系数表，所有这些都应该像你构建时那样解释
	否则，线性回归模型，所以在我们的例子中，逻辑回归，我们应该解释这些
	适当地，也就是说，如果我们对它们求幂，那么我们正在处理对数，或者......对不起......然后我们正在处理优势比，所以这是优势增加或减少的因素如果这个词出现在文本中。
	尽管如果您不太热衷于回归，但从更一般的意义上来说，这些值仍然对您有好处，因为您可以看看哪些项具有最强的效果或没有最强的效果。 洛格沃斯也一样，有最有力的证据也有，也有没有。
	现在，最后，正如您可能想象的那样，我的意思是我们已经看到了如何保存术语表，但是如果您的目标不是该术语表，而是模型
	您也可以选择将其保存下来。 因此，我选择了我打算使用的模型，即自适应弹性网络，在红色三角形下，我可以保存预测公式。
	我想我的电脑可能会在这里搅动一秒钟。 因此它保存了文档术语矩阵，即我们指定的前 200 个术语，然后还有公式
	对这些列或文档项矩阵进行操作以实际计算我们的模型。 所以在这里，我有文档术语矩阵
	然后是最后的公式列，所以现在，我实际上可以使用
	如果我愿意的话，可以直接使用这个模型。
	这就是术语选择。 同样，在高层次上，我们正在寻找哪些术语与我们关心的结果变量最密切相关，以便更好地解释驱动该结果的因素，或者甚至可以为建模实践提供信息以尝试预测该结果。
	至此，JMP Pro 16 中的两个新文本挖掘功能术语选择和情感分析再次于去年春天推出。
	我现在要出去玩一会儿，回答大家提出的任何问题，
	你知道，这两个新功能。 并且还知道，稍后您可以随时在本次演示的用户社区页面上发布其他评论或问题，我将始终关注
	愿意回答任何提出的问题。 谢谢大家抽出时间。 请保重。

爆发数据探索统计和建模回复：扩展我们的文本挖掘工具包：JMP Pro 16 中的情感分析和术语选择 (2021-US-45MP-851)

谢谢， @jgrayson 。恐怕我不明白15 vs 16 的问题。 你能澄清一下吗？

回复：扩展我们的文本挖掘工具包：JMP Pro 16 中的情感分析和术语选择 (2021-US-45MP-851)

伟大的！期待看到这些。我现在只有16个，别人好像都是15个。 也可以有16个吗？

谢谢，

吉姆

回复：扩展我们的文本挖掘工具包：JMP Pro 16 中的情感分析和术语选择 (2021-US-45MP-851)

半现场演示的一位与会者要求提供情感分析参考。 当时我没有一个好的答案，但一些快速的互联网搜索表明刘兵教授的工作可能是一个很好的起点。 他的 2012 年书情感分析与意见挖掘在 Google Scholar 上被引用超过 7,000 次，他还撰写了一本更新的书，名为情感分析：挖掘情感、观点和情绪。 刘教授的情感分析网页包括有关这些书籍的信息以及有关该主题的 PDF 书籍章节。 我没有读过刘教授的著作，但值得一看。