756824_zh-CN

liliconcom

扩展我们的文本挖掘工具包：JMP Pro 16 中的情感分析和术语选择 (2021-US-45MP-851)

JMP 系统工程师 Ross Metusalem

文本挖掘技术能够从非结构化文本数据中提取定量信息。JMP Pro 16 扩展了其从文本中提取信息的能力，这得益于文本探索器新增的两项功能：情感分析和词条选择。情感分析通过将文本中的词语映射到一个可自定义的情感词汇词典及其相关分数（例如，“精彩”，+90；“糟糕”，-90），量化文本中表达的积极或消极情绪程度。由此得出的情感分数可用于大规模评估人们的主观感受，探索与客观概念相关的主观感受，并丰富进一步的分析。词条选择通过应用 JMP Pro 广义回归平台的正则化回归功能（该功能在文本探索器内部调用）自动查找对响应变量预测能力最强的词条。词条选择有助于轻松识别重要结果指标与相关非结构化文本中特定词条出现之间的关系。

本演示概述了情感分析和术语选择技术，展示了它们在现实世界数据中的应用，并分享了一些有效使用它们的最佳实践。

自动生成的成绩单...

扬声器	抄本
罗斯·梅图萨勒姆	大家好，欢迎观看本次演示，了解 JMP 如何在刚刚于今年春天发布的 JMP Pro 16 中扩展其文本挖掘工具包。
	我是 Ross Metusalem，JMP 的学术大使，我将与大家分享这两项新的文本挖掘功能
	情绪分析和术语选择。我们将讨论它们是什么以及如何使用它们以及 JMP，然后我们将看到两个在现实世界的公开数据上执行这些分析的示例。
	因此，情感分析和术语选择是 JMP 文本探索器（一种通用文本挖掘工具）的两个新功能。
	因此，你可以使用它从我们通常所说的自由或非结构化文本数据中获取定量信息，这可能是从获取词频到制作词云的任何内容，
	进行潜在语义分析，以便我们可以对语义相似的文档进行聚类。所以，我们今天要讲的两个功能是文本探索工具中的功能。
	我们将从情绪分析开始，这是一项受欢迎且经常被要求的功能，我们很高兴在 JMP Pro 16 中引入它。
	对于那些不熟悉的人来说，情绪分析就是量化非结构化文本数据中的积极和消极情绪。
	现在我们要看的例子来自《褐皮书》，这是美联储发布的一份叙述性报告。
	正如我们在地图上看到的，美联储被划分为 12 个不同的区域，每个区域每年大约发布八次褐皮书报告
	它概括了该地区当前和未来的潜在经济状况。这些报告主要基于定性数据来源，因此
	与商界领袖的对话，以及诸如此类的调查。所以我认为褐皮书为情绪分析提供了一个很好的例子，不仅因为
	这是公开数据，我可以与大家分享，而且如果你是投资者或者你自己，
	你知道，管理一家金融机构，了解美联储理事对全国不同地区经济状况的积极或消极情绪有多强烈。你实际上可以用它来
	也许可以指导决策，或者即使你可以量化它，也可以在一些统计分析中使用它，甚至是一些预测模型。
	让我们看一下《褐皮书》中的一段文字示例。
	这里我们只摘录了其中一份报告的片段，从顶部开始我们可以看到，该报告指出，另一方面，计算机销售严重低迷。
	然而，如果我们深入研究，就会发现有人报告说，有很多有利的迹象，所以我们在这里强调了“严重低迷”和“有利”以及“改善”。
	因为这些就是我们所说的情绪短语。所以，它们是由一个或多个词来表达某种积极或消极的情绪内容。
	因此，在顶部，我们有严重抑郁，这是非常负面的，然后我们在下方，有积极情绪，这通常是积极的，我们使用这种颜色编码，以便橙色与蓝色或紫色（取决于你如何看待它）相对
	分别表示积极情绪和消极情绪。
	许多情绪分析都是这样做的，它们在文本中寻找积极短语和消极短语。
	JMP 使用的形式（您可能在其他地方遇到过）实际上是在连续范围内量化积极和消极情绪。
	举例来说，在第二个文本片段的底部，我们看到有人说该地区的大型百货商店报告销售不佳。
	所以，上面显示的是销售额严重下滑，下面显示的是销售额不佳。嗯，我想大家都同意，严重下滑听起来更糟。
	销量比差劲的要好。所以我们可能想，
	虽然它们都是负面的，但将严重抑郁量化为比贫困更负面的情绪，这就是我们在JMP的情绪分析中所做的。我们将讨论
	这里简要介绍一下这些分数是如何计算的，但首先我认为值得看一下
	通过观察像这样的个别术语和短语，可以潜在地证明量化情绪的有效性。
	我们讨论的本质上是根据文档中出现的单词对文档进行评分
	我们认为它代表着情绪，以及在多大程度上代表着情绪。这是一种内在的、主观的东西，但这种方法，情绪分析，
	确实能展现出一定的预测有效性。例如，如果我们观察褐皮书情绪随时间的变化，就会发现它实际上相当可靠地追踪了经济衰退。因此，我们得出了以下结论：
	在 y 轴上。你可以看到它从 -75 延伸到 75，这只是我们绘制的范围。真正的比例尺从 -100
	到100，其中0代表中性。你可以看到，随着时间的推移，平滑线捕捉到了所有褐皮书报告中情绪的总体趋势，
	你可以看到一个关于经济衰退的有趣模式，这些衰退本身以红色突出显示。特别是，我们可以看到，情绪似乎在每次衰退之前都会稳步下降。
	因此，尽管我们认为这是一个相对主观的衡量标准，可以反映出美联储理事的情绪状态，但正如人们所预料的那样，这与经济衰退是同步的。
	有趣的是，它实际上也追踪了地理位置。例如，2000-2001年互联网泡沫破灭时，旧金山湾区涌现出一批互联网初创公司
	破产了。我们可以看到，我在这里突出显示了旧金山的悬停标签，这样我们就可以看到该地区的得分。正如我们之前看到的，橙色代表积极情绪，蓝色代表消极情绪。
	我们可以看到，情绪在 2000 年左右
	在湾区相当高，为 38.65，然后在 2001 年平均下降了 60 多点，
	大约为-24.7。这比我们在该国其他地区看到的波动要大得多，因为那是该地区……大概是因为那是受影响最严重的地区。
	我们在经济大衰退中也看到了类似的情况。因此，我们认为2008年房地产市场的崩溃与市场情绪的下降是一致的，而且这种现象并不完全一致。
	看起来西海岸的降幅最大，也就是旧金山地区、纽约地区，以及亚特兰大地区，其中包括
	我居住的佛罗里达州是美国受灾最严重的地区。事实上，如果我们往下看，可以看到佛罗里达州……
	该地区的市场情绪似乎直到2012年左右才复苏，落后于其他一些地区，这似乎也情有可原。佛罗里达州的房地产市场是全美最后复苏的地区之一。
	因此，我们有这种主观的情绪衡量标准，但在这种情况下，它确实会以我们预期的方式跟踪外部事件......经济事件。
	你知道，我们之所以会参考褐皮书，是因为它是一个非常好的公开范例。如果你
	我们正在讨论情绪分析更常见的应用领域，比如消费者市场研究，你正在处理
	以文本数据形式呈现的客户声音，例如产品评论、调查回复等，
	您可能能够使用情绪分析来更好地理解甚至预测客户行为，就像我们可以在这里使用情绪来更好地理解或预测经济衰退一样。
	话虽如此，我意识到我们过去几分钟一直在关注情绪分数，这确实引出了一个问题：它们来自哪里。
	JMP 使用一种叫做词汇情绪分析的情绪分析方法。它使用情绪词典或
	情感词典
	给所有我们认为带有某种情感的单词打分。所以像“fantastic”这样的词可能会得到90分，这是非常积极的评价。它几乎是积极的最高分，100分，而像“feared”这样的词则得到了-60分。
	现在我们可以为这些术语分配分数，并在任何单个文档中对它们进行计数或取平均值。
	但我们确实想解释一些其他因素。如果你还记得，我们在褐皮书的例子中看到的第一个情绪短语是“严重沮丧”。
	换句话说，我们称之为“强化因子”，它本质上是一个情绪乘数。所以，你可以看到，我们可以将“难以置信”定义为情绪得分为 1.4 的乘数，实际上，
	将其缩放 0.3，因此会稍微降低情绪的强度。
	因此，如果情感词中出现了强化词，我们就进行乘法运算，如果出现了否定词，我们也进行乘法运算。所以我们说，
	你知道，某件事是“不是”或“不应该”或“不是”，我们乘以-1，这样我们基本上就翻转了符号；正数变成负数，反之亦然。
	对于任何情感短语，我们只需执行这个简单的乘法，然后跨文档，
	我们可以取平均分数，或者取最小和最大情绪分数之间的差值来
	计算这些文档的情感值。这就是我们在这些图表中看到的，也就是这些地图中随时间变化的情感图。
	这就是词汇情感分析。这是一种非常常见的做法，也是 JMP 中实现的一种情感分析类型。正如我们将看到的，当你使用 JMP 时
	计算所有情绪得分，就能获得很多有用的信息。以下是情绪分析报告的示例。
	仅预览结果的一个元素，在顶部，我们对所有文档的情绪进行了简单的总结。
	因此，我们有一个方便的颜色编码的直方图，向我们展示了整体情绪的分布似乎倾向于积极，我们有一个相当强烈的负面情绪尾部。
	我们可以看到，在所有文档中，平均情绪得分为 4.1，略高于中性。
	对于所有总体正面的文档（共 3,900 篇），其平均得分为 22.9，而在约 1,400 篇负面文档中，
	平均得分为负 15.4，因此负面文档的负面程度并不像正面文档的正面程度那么强烈。
	当然，你知道，现在有了褐皮书，我可能会说，嗯，你知道，从 1970 年到现在，只看平均情绪得分，也许，你知道，我不太关心，也许我更关心的是单个文件的得分，或者
	也许可以看看某些情绪词的分布。但同样，如果你处理的数据是……
	比如说，消费者市场研究，任何包含客户声音的文本数据，甚至只是像这样的高级摘要，都可以根据我们掌握的数据告诉我们客户的感受是积极还是消极，
	即使只是一份简单的报告也能非常有价值。但我们即将切换到JMP，我们将看到情绪分析报告附带了许多额外的数据探索方法，从而获得洞察。
	那么让我们转到 JMP 看看它是如何完成的。
	现在我们在使用 JMP Pro 16.1，在深入研究这些褐皮书数据之前，我想先向 Xan Gregg 致谢。
	对于那些不认识他的人来说，Xan 是我们开发团队的主管。他是 Graph Builder 的创始人。
	他也是最初提出查看褐皮书数据的人，甚至还好心地从褐皮书档案中抓取了HTML页面，并提供了一个很棒的JMP数据表给我。非常感谢你，Xan。
	好的，现在我们来看一下情绪分析，我实际上不讨论结果，
	我确实想向你简要展示如何设置分析，因为有一些重要的注意事项需要注意，
	不仅涉及 JMP 如何实现它，还涉及如何进行情感分析或词汇情感分析。
	为了演示这个设置，我实际上只查看从 2010 年到现在的一个数据子集，在这种情况下，只是为了保持简洁，因为我们要问
	文本浏览器可以多次自动更新其分析，我们希望它尽可能接近即时更新。
	在这里，我有那部分数据，因此我们有涵盖所有 12 个地区的褐皮书报告，从 2010 年 1 月开始，直到上个月的最新报告。
	好的，为了启动我们的情绪分析，我将进入分析界面，并选择“文本探索器”。取出我们的文本，并将其放入“文本列”角色中。以下几点需要注意。
	一是虽然文本浏览器通常支持多种语言，
	情绪分析目前仅提供英文版本。
	另一个是，如果...至少如果你是一个有经验的文本浏览器用户，你可能习惯于打开词干提取，并且你会注意到我现在要将其关闭。
	对于那些不懂词干提取的人来说，它是一种将同一个词（或者用语言学术语来说，同一个 lemme）分解成多种形式的方法。所以，就拿 strong、strong 和 easiest 来说吧。
	我们会把它们全部摧毁，然后说，好吧，对于我们的目的来说，它们都很强大。
	显然，我们不想在这里这样做，因为最强比更强更积极，而更强又比强更积极。
	因此，我们关闭了词干提取功能，事实上，即使你在调用情绪分析时打开了它，它也会忽略词干提取，因为，再说一次，你真的不应该使用它。
	所以我要点击“确定”。不行，看起来我点击的时候，出现了一点技术故障。抱歉，我的电脑最近出了点问题，导致出现这种情况，不过没关系。我们可以重启屏幕共享，然后恢复我的视频。大家好。
	我们会分享的。好的，我们应该继续，看起来录音还在进行中。我确认一下 JMP 是否分配到了正确的监视器上。看起来是的。好吧，各位，很抱歉。总之，我们回到正题吧。
	现在我们有了文本浏览器窗口。如果你习惯这样做
	文本分析，你应该知道，通常一开始就要声明停用词。比如，有人说我的业内联系人告诉我……你知道，我不想在分析中使用“联系人”这个词，所以通常我会
	将其添加为停用词，然后可能要花几个小时
	在我实际进行分析之前声明停用词，而你不必在情感分析中这样做。
	这一切都基于那本情感词典，所以像“contacts”这样的词，词典里没有。反正它在功能上已经被排除了，所以这倒是个节省时间的好办法。
	但是，您可能确实想声明一些短语，例如房地产或我们将要研究的短语，即贷款需求，它就在这里。
	于是我点击“贷款需求”，并将其添加为短语。它被添加到我们的术语列表中，这样我们就可以快速找到它了。
	就是这样，1139 个实例。这可以帮助我们深入到这些分析中的子域，或者在这个
	在这个数据集中。假设我想计算情绪，不是整体情绪，而是仅针对贷款需求的情绪。
	要做到这一点，正如我们将看到的，我需要首先将其声明为一个短语，因此至少对于您可能感兴趣的真正突出的领域，仔细检查并声明一些短语是合理的。
	好的，现在让我们结束这个话题并真正启动情绪分析。
	你会看到，当我这样做时，我会得到一份完整的报告，所以在我看来，现在是时候开始探索我的结果了，因为这看起来像是一个完整的分析，但我确实想鼓励任何使用它的人踩刹车并考虑你的情感词典。
	你知道，不同的人群在不同的语境下，用不同的语言，创作关于不同事物的文本。
	可以用很多不同的方式使用语言。重要的是要定制你的情绪和强化否定词列表
	来反映这一点。所以……我不太想用“绝不”这个词，但我还是要说……绝不要只用默认的情感词典。如果你自己整理，你总会得到更有效的结果。
	因此，如果我查看这里的情感术语，您会发现分数是基于这个内置词典的，而这个词典相对稀疏。
	但我想实际读一下课文，看看能不能找出一些应该收录进词典的单词。我得提一下，你甚至可以看看
	内置列表并排除一些，尽管该列表相对稀疏，因此理想情况下您不必排除太多或任何。
	所以在我们的报告中，你实际上有一些工具可以用来整理你的词典，而不仅仅是探索结果。我可以在这个文档表中选择文档，然后调出文本
	就在下面。所以我先简单介绍一下屏幕底部。你可以看到，文本中突出显示的情感词和短语已经被找到了，比如“稍微好一点”。
	但如果你看一下，比如说，这里有“弱”这个词，当前的情况仍然很弱，而且据我所知，这是一个非常常见的
	褐皮书报告中的一个术语，表明某件事本质上是坏的。我不知道，我不是经济学家，但也许在经济学中，
	你知道，弱是坏的同义词，强是好的同义词，这是我对这些数据进行了大量研究后的看法。
	现在你会看到，它没有被高亮显示。这意味着“weak”目前不在我的词典里，但我可以很容易地添加它。我只需将鼠标悬停在它上面即可
	文本中的术语，我可以将其添加为否定词。我可以给它一个强化值或情感值，这样它就变成中等程度的负面，所以我要点击“负 60”。
	现在它被添加到我的字典中，并且所有的情绪分数都会在这里实时重新计算。
	所以，我的情绪词列表现在甚至可以选择“弱”并查看它的所有实例。如果我们回到计数列中的表格，你会发现它在褐皮书数据的这个子集中出现了 1012 次。
	因此，当然，请通读文档中的一个随机子集或分层随机子集，并尝试找出一些属于你的词典的情感术语。
	现在，你还可以依靠一个方便的功能，这个可能的情绪列表，
	这实际上提供了一些潜在的情绪术语供你考虑。我可以注意到，比如说，这里是“强”，然后我把“弱”放进去。我当然想要“强”，所以我要声明这是一个
	强的。
	我一直在用快捷键，比如正60分、负60分，但你也可以输入负100到100之间的任意分数，所以也许我实际上只想要50分作为强分数。所以我就这么做了，如果你现在往下看，就能看到所有内容都自动更新了。
	所以，请谨慎处理你的情感词列表。另外，我不会详细讲解否定强化词的构成机制，但思路是一样的。
	确保你正确地获得这些内容以真正反映你的领域，然后我建议，在红色三角形下，你可以随时进入完整的术语管理工具，手动输入一些术语，所以也许我知道我想要最强的，我希望得分是 90。
	所以我可以在这里添加批处理格式
	无需每次都自动更新，或者我也可以导入和导出情绪术语列表，
	这对于与其他人共享它们非常有用，可以使它们便于携带，有助于追踪我们的工作并使其可复制。
	由于您的结果很大程度上取决于情感术语列表以及强化词和否定词，因此我强烈建议您在拥有一组列表时将其导出，以便完整记录它，并且能够将其导入到新的分析中并进行复制。
	关于分析的设置就讲到这里，我只想强调一点：如果你调用情绪分析，你会得到一份报告，但不要直接深入研究报告。先整理好你的词典。
	所以，现在我已经
	毫不留情地强调了这一点，让我们实际看看那份报告。
	我现在要做的是，提取一份完整的报告，在本例中，使用了全部 5,300 多个
	褐皮书报告在这里。正如我之前提到的，在结果部分，你可以看到这份总体摘要。我们不再赘述。我们看到你也
	所有单独的文档，以便您可以查看任何文档，了解其评分方式和内容。探索情感术语和短语在语境中的使用。
	您还可以在此表中看到一些方便的指标，例如，文档的总正分数，
	文档中积极情绪短语的平均得分。消极情绪短语也一样，然后是总体得分，你会注意到，正如我
	将鼠标悬停在这些值上，实际上会显示它们的计算方式。因此，如果我查看负分平均值，我可以看到总共有七个词条，我可以看到它们的分数是多少，然后我可以看到平均值是多少。
	我还可以看到，在这种情况下，平均值为负数，只是所有情绪术语（正面和负面）的平均分数。
	在本报告中，鼠标悬停在元素上可以显示许多实用信息。我强烈建议您尝试一下。将鼠标悬停在不同的位置。您可能会发现一些有用的信息。
	通常，我们在进行文本挖掘时，不会太过关注单个文档。我的意思是，如果我们能读完所有文档，
	那么我们就会。我的意思是，我们比计算机更擅长理解语言。所以，你知道，我们当然不会浏览这5300份文件，但你可以说，按分数排序，只看最负面的
	报告，然后仔细阅读这些报告，了解一下，好吧，
	当人们特别消极的时候，他们消极的是什么？我能从中了解到是什么导致了这种消极情绪？再说一次，尤其是在消费者研究方面，查看产品评论、调查之类的信息非常有价值。
	我们还看到你有你的情绪词列表，我们可以在其中看到出现的所有不同情绪词，它们出现的频率以及它们的
	与之相关的分数。如果我抓取其中任何一个，我都能在上下文中看到这些词。所以，如果某个特定的情绪词被使用
	这个词在你的数据中很常见，你可能想结合上下文更好地理解它，看看人们为什么使用它，或者是什么促使他们使用它。这很简单，只需选择该词，然后浏览下面的文本即可。
	现在，最后，我认为情绪分析中最有用的功能之一就在这个功能选项卡下。
	所以当我点击搜索时，它会找到经常与情绪词一起出现的非情绪词，并允许我们进行深入分析，我们只根据这些非情绪词来评估情绪
	选定的术语，或者我们称之为“功能”，或者你也可以称之为“子域名”。所以，也许情绪只是针对销售，我们可以看到销售额报告疲软，销售额正在减弱。
	或者回到我之前说的，你确实想做一些措辞。让我们在这个列表中找到贷款需求，
	让我们只根据贷款需求情绪对所有文件进行评分。当然，这需要使用一些
	自然语言处理，试图确定哪些情感短语适用于贷款需求，哪些不适用于贷款需求，任何 NLP 方法都不可能 100% 准确，但它的准确性，尤其是在用
	就像褐皮书报告那样，它似乎确实发挥了相当好的作用。所以现在，我可以看看，比如说，他们对贷款需求的看法如何。
	所有这些报告看起来总体上是积极的，尽管其中也有一些特别负面的报告。
	最后要说的是，为了让我们回到原点，可能注意到当我这样做的时候，我必须达到峰值，那就是......看起来像是正 60 和负 60。
	这再次强调了在进行分析时整理情感词典以及在解释结果时解释如何构建它的重要性。
	所以在这里，这个正 60 的峰值很可能是因为当我最初在字典中输入大量情感术语时，我使用了这些快捷按钮。
	所以我有 30、60、90 个快捷按钮，所以我几乎是在为自己积累经验，以便看到分数飙升
	正 60 和负 60。如果我更加小心地将分数划分得更细一些，那么我可能就不会看到这种有趣的现象了，我们称之为分布。
	所以我再次强调这一点只是为了强调情感词典的重要性
	预先将它们放在一起，然后，一旦你这样做了，你就有了关于全局情绪、按文档的情绪、按单个术语的情绪甚至按子域的情绪的所有有用信息，使用这些功能
	此处部分。当然，正如您可能在 JMP 中习惯的那样，当您要保存所做的操作，以便在红色三角形下的其他地方使用时，您会找到这些选项，所以我可能会保存我的文档分数。
	如果我们回到我的数据表（就在这里），您可以看到我实际上已经保存了，在这种情况下，它是贷款需求子域的分数，回到我的数据表，以便我可以使用它们，例如在进一步的分析或绘图中使用它们，就像我们为幻灯片构建的一些图表一样。
	这就是 JMP Pro 16 中的情绪分析新功能，用于量化文本中的积极和消极情绪。
	好了，我们来谈谈术语选择，这是我想谈的另一种新的文本挖掘技术。正如它所说，术语选择就是识别与某个结果（也就是某个其他指标）相关的词语。例如，这里有，
	褐皮书报告文本，但我们也可以纳入
	经济变量，例如 GDP，并查看褐皮书报告中的某些术语如何与 GDP 或二元变量跟踪，例如经济是否处于衰退之中。
	这是一个...术语选择，这是一个通用工具，用于查找与其他变量相关的单词，这可能很有用
	在解释性的语境中，也许可以找到其他变量的驱动因素，或者在预测建模练习中，我们可以识别出可以预测某事物的术语，以便将来我们可以使用这些术语来帮助预测它。
	那么让我们看看期限选择是如何运作的，我们实际上要看一个来自消费者金融保护局消费者投诉的不同例子
	数据库。因此，如果消费者对金融产品或服务有投诉，他们可以向消费者金融保护局 (CFPB) 提交投诉，CFPB 会在消费者和监管机构之间进行调解。
	金融产品或服务的提供商。以下是您可以在这些数据中找到的信息的示例。有人说他们正在监控自己的信用报告，发现有人提交了 3,900 美元的催收通知，但他们声称对此一无所知。
	您还可以看到，在数据表中，我们紧挨着一列显示消费者对此提出异议，这里消费者确实提出了异议，这意味着他们收到了
	金融服务提供商，他们对该答复并不满意，因此提出异议。
	你可以在数据表的标题图表规范中看到，这种情况并不常见。在我们查看的这个数据集中，这种情况基本上占五分之一。
	导致消费者纠纷，但如果你是一家与该客户打交道的金融公司，你肯定不希望在做出回应后，客户继续对该回应提出异议。你可能想了解哪些类型的投诉
	确实会导致消费者纠纷，这样你就可以提前识别出哪些因素可能导致纠纷，
	或者只是更好地了解你的争议解决实践，以减少争议数量。有很多理由让你需要注意这一点。
	消费者投诉叙述数据可以了解最初引发这些争议的原因，术语选择的作用是在文本中找到与该结果、该争议变量相关的单个术语。
	这里，我制作了一张术语选择分析结果的图表，Y轴上是一组术语。X轴上是logworth函数，也就是
	衡量关联统计证据强度的指标。这实际上是按对数沃斯值排序的，所以在最上面，我们有
	违反，你可以看到那里有个小点。这实际上表明我们在这里已经完成了词干提取，所以违反意味着它可能是违反、违反、违反等等。
	因此，我们有强有力的统计证据表明，“违反”一词与消费者纠纷有关，实际上在颜色编码中，
	我在这里用比值比来衡量这种效应的强度。所以当人们……当有人提到“违反”这个词时，
	发生争议的几率会增加大约 1.5 倍。所以如果我
	作为一家金融服务提供商，我可能需要留意这个术语。我可能需要调查人们如何以及何时声称存在某些违规行为，正如我们将看到的，这些违规行为实际上违反了联邦法律。
	当他们在投诉中声称这一点时，我们是如何处理的，因为看起来我们可能没有令人满意地处理这些问题。
	也许您想在预测模型中使用该术语的存在或不存在来帮助提前标记潜在的问题投诉，以便我们可以升级其解决方案。
	那么，这一切是如何运作的呢？我们构建一个模型，它从文档词条矩阵开始，它是文本的表示，其中每个
	一行代表一个文档，每一列代表一个可能出现的词条。然后
	在这种情况下，我们采用所谓的二元加权，也就是说，如果该词条出现，我们就输入1；如果该词条未出现在该文档中，就输入0。还有其他权重，但我们这里就以二元加权为例。
	当我们在模型中输入这些二进制列作为预测变量时，特别是我们使用
	JMP 的广义回归，我们稍后会解释为什么。首先要说明的是，我们这里做的是回归，实际上有些
	您可能听说过，有些人将术语选择称为文本回归。
	不用太担心模型的形式。我只是想强调，我们所做的就是获取一些结果变量。
	因为我们有一个二元变量，它是逻辑回归的对数概率，我们说它等于某个截距加上，
	你知道，系数乘以某个变量。在这种情况下，它是二进制的1或0；是否违反了规定。
	加上另一个系数值，在本例中为另一个二进制变量的-0.2 倍；这里是否有人提到挂断电话这个词，等等。
	因此，我们在这个模型中输入一堆项，并使用广义回归来选择哪些项属于这个模型，哪些不属于。
	我们在这里看到的是 JMP 计算该解决方案的一个例子，哪些术语属于我们，哪些不属于我们。
	在解决方案路径中，我们可以看到蓝色表示进入模型的所有术语，黑色表示实际上未包含在模型中的所有术语，因为它们实际上并没有增加其预测值。
	所以我们最终得到的是一个项列表。我们有它们的模型系数值，例如，违反，我得到了 0.4 的值，因为这实际上是
	拟合模型时系数的值。正如我们之前提到的，我们还可以测量统计证据或证据强度。
	这个 logworth 值是 16.58，如果你想要一个经验法则，那么任何大于 2 的值都可以被视为强有力的统计证据，但实际上，logworth 是 p 值的以 10 为底的负对数，因此 2 的值刚好对应于 .01 的 P 值。
	所以，在这种情况下，我们既有系数，又有系数，那么它对争议概率的增加或减少程度有多大呢？然后，对数可以告诉我们，我们的证据到底有多可靠？
	利用这些信息，我们可以做很多事情，我们将看到如何转到 JMP 并实际执行此分析。
	我回到我的另一台电脑上。我要调出我们的消费者投诉数据。
	和
	我不会从头开始进入文本浏览器，而是只需使用这里的表格脚本来启动它。
	正如我们所见，一旦它弹出……抱歉，弹错了屏幕。好了。
	你知道，我们总是先创建一个将实际用于分析的术语列表。然后，我们会创建一个短语列表，我们可以在其中声明哪些属于该术语列表的短语也应该被纳入分析。
	我添加了很多短语，例如公平信用报告法，因为如果提到该短语或该概念与消费者纠纷有关，我就想找到它。
	你也会注意到，如果我去……让我们来管理停用词，我声明了很多停用词。所以这些都是
	我不想将其纳入分析，主要是因为它们可能会淹没其他词语。
	它们可能确实出现得很频繁，如果我只要求分析最常见的 500 个词，我不希望把它搞砸。
	尤其是因为，即使 able 作为与争议相关的术语返回，我甚至不知道我会做什么......我会用它做什么或者我如何解释像 able 这样的通用词。
	因此，您需要花时间来处理停用词和短语，当您准备好时，请在红色三角形下调用术语选择。
	因此，当我们这样做时，我们将首先选择我们的
	结果变量，也就是消费者争议的变量。我们想从争议发生的概率的角度来讨论。
	你可以在这里设置连续型和分类型结果变量。它们都可以。我还应该提一下，我们正在讨论一场争议，
	你知道，你可能会认为这实际上可以作为某种情绪的代表，也就是说，如果有人对某事有异议，那可能是因为他们不高兴。
	但有些人拥有的数据可能很常见，其中有一个外部变量可以更直接地衡量情绪，比如产品的星级评定，这确实表明了满意度。
	因此，如果你恰好有一个很好的情绪测量方法，以及你的文本数据，你就可以使用这样的工具来做我们所说的
	数据衍生的情绪分析，您可以使用此工具挖掘可以预测情绪测量的术语，从而从本质上选择情绪术语并自动
	找到他们的分数应该是多少。所以这应该很方便。但这和我们这里做的不太一样。我们用一种更通用的方式使用它。
	好的，对于文档词条矩阵，我将坚持使用二元加权。为了简洁起见，我先只看最常见的 200 个词条。
	除此之外，从201项开始，我不会把它纳入分析。实际上，我可能会加入更多，只是我希望它在演示中简洁明了。
	如果你是 GenReg 用户，你会看到你拥有
	预先指定估算和验证方法的一些选项。我将保留默认值，然后点击“运行”。
	所以现在的情况是，JMP 正在调用 GenReg。它正在构建一个逻辑回归模型，并使用弹性网络方法进行变量选择。
	看来我们又遇到了一次技术故障。非常抱歉。我们会尽快解决这个问题，因为这个型号已经适配了。所以，让我们拭目以待吧。我们会恢复我的屏幕共享。
	我们会带我回来的。看来我们还在录制，所以我们会继续录制。结果如下。
	在详细研究报告之前，我们先来看一下汇总表中的这一行。这行总结了我目前为止构建的单个模型。
	例如，我可以看到它返回了 145 个词条。我使用 AICc 作为验证，这里是 AICc 值。我们可以看到一些其他拟合统计数据。
	而且，就像任何模型一样，我们可能需要多次尝试运行该模型，以构建最适合我们数据的模型。
	因此，如果我转到此处的广义回归节点，您会看到我们实际上已将 GenReg 嵌入文本资源管理器中。
	我可以更详细地探索我们已经拟合的模型，或者就我的情况而言，我实际上会再拟合一个模型，看看能否做得更好。我们来做一个自适应弹性网络。
	并将适合该模型，看看它是否比我们已经适合的常规弹性网络更好。
	好的，所以它也适合该模型。
	如果我们查看摘要，我们可以看到这个摘要现在已经返回了 98 个术语，实际上具有较低的 AICc，因此可能更合适。
	所以我要选择那个模型。现在，如果我想选择原始模型，只需点击它即可。如您所见，下面的报告会根据我在此表中选择的模型进行更新。
	我这里有我的术语列表。我们已经讨论过这个问题了，所以我可以从系数的角度来分析。以下是影响最大的术语，它们会增加消费者纠纷的几率。
	以下是对降低消费者纠纷几率最有效的方法。例如，在任何一个方法中，我都可以查看“hang up”（挂断电话），当然，它指的是他们挂断了某人的电话，或者某人挂断了他们，这对我们来说可能更有意义。
	这可以预测争议发生的可能性会降低，因为这听起来确实是一个沟通问题，而且可能更容易解决。
	再次，我们要注意这里的对数沃斯值 2.883，所以这略高于我之前提到的经验法则 2，所以我们可能会说，好吧，我认为有相当有力的统计证据表明这是一种真正的关联。
	为了强调这一点，如果我们往下看，就会看到“警察”这个词。我的第一印象是，人们会说，嗯，我写了一份警方报告，或者我报了警。
	如果我们做出某种回应，他们可能不会就此罢休，争议的可能性必须上升，如果有人已经到了报警的程度。
	但如果我们看一下
	logworth，我们可以清楚地看到，这方面的统计证据实际上并不是那么有力，所以虽然它违背了我的直觉，但你知道，也许，也许它并不完全真实。
	我当然不会想把这件事上报给管理层，然后说，嘿，如果有人说他们报警了，这其实是件好事。我们当然不会这么说。它被选入这个模型只是因为它最终……
	从而得到更好的拟合模型，但我们仍然需要运用自己的知识和常识来解释结果。
	所以这个表格可能是，如果你真正想做的只是识别术语并量化它们的影响，
	这可能就是你分析的目标。所以我可能会右键点击，然后将其制作成数据表
	并获取这些术语及其系数和对数值的数据表，然后使用它来指导对我们以前的反应、改进工作的一些分析，甚至将这些标记为应该包含在未来某种预测模型中的术语。
	但是，你知道，我们确实在这里建立了一个模型，一个回归模型，所以我们在单个文档层面上拥有关于
	预测争议概率增加的系数总和、预测争议概率减少的系数总和、整体模型值、
	模型分配的结果与我们实际观察到的结果存在争议。所以，当你在单个文档层面进行实际评估时，你可能会想到所有这些，那么，这个模型的表现如何呢？
	在顶部，我们还有一个总体总结，在本例中，是各个文档及其……我们称之为我们的贡献，所以这就是
	这些系数值的总和或平均值。例如，我们的 30,412 份文档的系数值与平均系数值的总和为正，平均贡献率约为 0.57。
	所以，再次强调，我们在这里讨论的是回归系数，这些贡献值、系数表，所有这些都应该像你构建时那样解释。
	否则就是线性回归模型，所以在我们这里，逻辑回归，我们应该解释这些
	适当地，也就是说，如果我们对它们进行指数运算，那么我们正在处理对数或...对不起...那么我们正在处理赔率比，所以这是如果这个词出现在文本中，赔率就会增加或减少的因素。
	即使你对回归不太了解，这些值在更一般的意义上仍然对你有用，因为你可以通过观察哪些项的影响最强，哪些项的影响最弱。对数沃斯函数也是一样，嗯，哪些项的证据最强，哪些项的证据最弱。
	现在，最后，正如你可能想象的那样，我的意思是我们已经看到了如何保存术语表，但如果你的目标不是那个术语表，而是真正的模型
	你构建的模型，你也可以选择保存它。所以我选择了我打算使用的模型，自适应弹性网络，在红色三角形下，我可以保存预测公式。
	我想我的电脑可能会在这里转一会儿。它保存了文档词条矩阵，也就是我们指定的前 200 个词条，然后还有公式
	对这些列或文档词条矩阵进行操作，从而真正计算出我们的模型。所以，这里我有文档词条矩阵
	然后这里的公式列，现在我实际上可以使用
	如果我想要的话可​​以直接使用这个模型。
	这就是术语选择。同样，从高层次来看，我们要找到哪些术语与我们关心的结果变量最密切相关，以便更好地解释导致该结果的因素，甚至可能为建模实践提供参考，以尝试预测该结果。
	这就是术语选择和情感分析，这两个新的文本挖掘功能 JMP Pro 16 于今年春天刚刚推出。
	我现在要出去待一会儿，回答大家的任何问题，
	你知道，这两个新功能。另外，以后你随时可以在用户社区页面上发布关于此演示的其他评论或问题，我会一直关注。
	欢迎大家提问。感谢大家抽出时间。请多多关照。

高级统计建模基础数据分析与建模消费者和市场研究数据混合和清理数据探索与可视化实验设计大规模定制预测模型和机器学习质量与工艺工程可靠性分析分享和交流结果