扬声器 | 成绩单 |
| 克莱·巴克 | 谢谢你，我叫克莱·巴克。 我是 JMP 小组的一名统计开发人员，今天我将讨论 JMP pro 16 中的一项新功能。 这就是所谓的术语选择，我和我的同事 Paris Faison 和 Ernest Pasour 一起研究过这个问题。 |
| 因此文本数据在实践中变得越来越普遍。 我们可能有客户对我们生产的产品的评论，我们可能有一些事件的描述或某些设备的维护日志。 |
| 在我的幻灯片上的这个例子中，这是来自 |
| 飞机事故...我们在样本数据中拥有的事故数据集。 |
| 每行数据都是对某些航空事故、坠机或其他类型故障的描述。 |
| 因此，如果您从未使用过文本浏览器平台，它是在 JMP 13 中引入的，我们主要使用它来帮助汇总和分析文本数据。 |
| 因此，它可以轻松执行常见任务，例如查看最频繁或最常出现的单词和短语，并且可以轻松执行诸如对文档进行聚类或查找主题（例如主题分析）之类的操作。 一切都是由所谓的文档术语矩阵驱动的。 |
| 那么什么是文档术语矩阵呢？ 最简单的方法是将其视为每个文档是否包含特定单词或短语的指示变量矩阵。 |
| 我们可以根据该词在每个文档中出现的频率来衡量这一点。 因此，每个文档都是文档术语矩阵中的一行，每列都是一个单词。 |
| 因此，举一个非常简单的例子，第一行是“披萨包装令人沮丧”。 所以我们有一个1用于包装， |
| 1 代表披萨，1 代表令人沮丧，0 代表所有其他单词。 同样，对于第二行，我们用 1 表示气味、很棒、味道和披萨，而在其他地方用 0 表示。 它只是对每个文档中出现的单词的简单总结。 |
| 我还提到过文档术语矩阵有几个变体。 最简单的是二进制；只是 1 和 0。 |
| 但我们可能想要包含有关每个单词出现频率的信息，因此这是另一个稍长的句子，其中 Pizza 出现了多次。 |
| 在二进制文档术语矩阵中，披萨列仍然是 1，因为我们不关心它出现的频率。 对于三进制来说，它是 2，因为三进制是零、一和二。 如果该单词未出现，则为 0；如果出现一次，则为 1；如果出现多次，则为 2。 |
| 不管这里是否出现四次，我们仍然编码为2。 然后频率就很简单了。 这只是每个单词在该文档中出现的次数。 |
| 这三个非常简单，我们还提供 TF-IDF 加权，这有点像相对频率，但您可以了解有关这些加权方案的更多信息 |
| 文本浏览器平台。 |
| 那么下一步是什么？ 接下来您可能想使用的下一个东西是什么？ |
| 您可能想使用文本来帮助实现某些结果。 所以我在这里编写了一些家具评论，并且每条评论都有一个与之相关的星级，对吧。 |
| 因此，我们可能认为这些评论为我们提供了一些线索，说明为什么有人会对产品评分更高或更低。 因此，在第一行中，“说明令人沮丧”，用户只给我们打了 3 分。 如果……如果这种模式经常发生并且很多人都在评价…… |
| 许多较低的评级与说明相关，这可能告诉我们需要改进家具随附的说明。 |
| 所以简单的想法就是使用它们作为回归模型。 我们将...我们将采用我们的文档术语矩阵， |
| 我们将把它与我们的响应信息结合起来，然后我们将进行回归。 |
| 这将帮助我们了解为什么客户喜欢或不喜欢我们的家具或我们生产的任何产品。 |
| 它可以帮助我们根据描述对对象进行分类，稍后我们会看到其中的一些内容，或者也许我们想根据某些机器的维护记录来了解为什么某些机器会出现故障或不出现故障。 |
| 我们做到这一点的方法非常简单。 |
| 我们实际上只是在制作一个回归模型，其中每个 X 或预测变量都是项矩阵中的列之一。 因此，如果我们对产品评级进行建模，那就是一个简单的线性回归，如果我们 |
| 如果我们正在对二元结果进行建模，例如客户是否会推荐我们的产品 |
| 可能有数百个单词，最好不要全部使用。 并非所有数据都有用，因此我们将在回归模型中应用变量选择技术，我们将得到一个更简单的模型，该模型易于解释且拟合良好。 |
| 在底部，很容易将这些指标变量与我们的响应评级、星级评级相结合。 |
| 因此，我们将在 JMP 16 中采用的解决方案是将回归模型引入文本浏览器平台。 如果您曾经使用广义回归平台进行变量选择，那么我们实质上是将该平台嵌入到文本资源管理器中。 |
| 因此，如果您有 JMP pro，您将在文本资源管理器的红色小三角菜单中看到术语选择项。 |
| 这才是我们真正兴奋的事情。 它可以轻松快速地构建和完善此类回归模型。 |
| 因此，当您启动这个平台时，我们将在一分钟内完成一些演示，但速度很快， |
| 在发布之初，它只是询问有关我们的响应以及我们想要适合的模型类型的信息。 |
| 因此，它可以处理连续响应，例如星级，并且当您指定连续响应时，它会提供一个过滤器，以便您可以根据响应过滤掉某些行。 |
| 当我们有名义响应列时，我们选择目标水平。 那么在这种情况下，您是否会推荐我们的产品，是或否。我们将要建模... |
| 我们将对建议进行建模，等于“否”。 |
| 如果我们有蓝色、绿色、黄色等多级别响应，我们将选择想要建模的级别，稍后我们就会看到一个示例。 |
| 然后，在指定响应后，我们将向平台提供一些有关我们想要拟合的模型类型的信息。 |
| 那么我们做变量选择的时候，是用弹性网还是套索呢？ 这些都是广义回归中内置的变量选择技术。 我们将如何进行验证？ 我们要使用 AIC 还是 BIC？ |
| 此外，我们可以指定有关文档术语矩阵的详细信息。 我们可以选择权重，也可以选择我们想要考虑的最大项数。 因此，如果我们想要考虑最常出现的 200 个单词，那就是现在设置为 200 的单词。 |
| 那么当您启动它并按下运行按钮时会发生什么？ 基本上它可以做所有事情 |
| 你需要做的。 它在幕后正确设置数据，因此您不必担心。 它进行变量选择，所以现在我们有一小部分单词，我们认为它们对于预测我们的反应有用，并且它以简单的方式呈现结果 |
| 解释报告，而且它具有很强的交互性，我们稍后会看到。 所以你过去可以通过以下方式做到这一点 |
| 将文档项矩阵保存到您的数据集中，自己启动广义回归平台， |
| 但你不必再这样做了。 现在就选择而言，这就是全部。 |
| 那么模型规格，我们怎么知道是什么，我们怎么知道选择什么？ |
| 可用的估计方法有弹性网和套索。 记住它们之间区别的简单方法 |
| 是弹性网络倾向于选择相关预测变量组。 所以在这种情况下，当我们的预测变量都是单词时， |
| 这意味着它会倾向于选择往往一起出现的单词组。 所以如果你想到说明和手册 |
| 由于使用说明书，这些词经常一起出现。 因此，这两个预测变量将高度相关，弹性网络可能会选择它们，而套索可能会选择指令或手册，但不一定两者都选择。 |
| 验证方法，我们有AIC和BIC。 |
| 根据经验，AIC 倾向于过度选择模型，而 BIC 倾向于选择不足。 所以在我们的规格中， |
| 只是AIC会倾向于选择较大的单词集，而BIC会选择较小的单词集。 |
| 就我个人而言，我倾向于在场景中大量使用 AIC，因为我宁愿使用更多的单词而不是更少的单词，但实际上这是一个偏好问题。 |
| 以及文档术语权重... |
| 我的意思是文档术语矩阵权重。 |
| 这实际上取决于你的问题。 所以在这个例子中， |
| 油漆这个词在评论中多次出现。 这可能意味着审稿人非常...... |
| 采取...油漆对于审阅者来说非常重要，这在我们的回归模型中可能有意义，因此我们希望使用频率等权重而不是二进制。 |
| 那么，一旦你启动术语选择，你最终会遇到这样的情况，我们有 |
| 左边是所有文档的摘要，右边是我们选择的所有单词的摘要。 我现在暂时跳过这个；当我们开始做演示时更容易看到。 |
| 我们认为非常有用的另一件事是我们有一个摘要，因此您可以使用术语选择来拟合一系列模型，然后将它们全部汇总在顶部，并且您可以在它们之间来回切换。 我们很快就会再次看到这一点。 |
| 那么我们就来看看这个平台吧。 |
| 首先我们来看看这个 |
| JMP 示例数据文件夹中的飞机事故数据集。 |
| 所以我们表中的每一行都是一个事件。 我们知道飞机受损程度、受伤类型，并且我们有描述。 所以最后一篇专栏是对事件中发生的具体情况的描述。 |
| 因此，我们将启动文本资源管理器，如果您以前从未使用过文本资源管理器，则左侧有最常出现的术语，右侧有最常出现的短语，即单词组。 |
| 所以我们想用这些词来理解 |
| 这......是什么导致撞车造成更多，你知道，遭受更多损害或更严重的伤害。 因此，我们将转到红色小三角菜单并要求选择术语。 |
| 现在我们看到了我们刚才看到的这次发布，我想了解更多有关损坏的信息，对吧。 特别是我想...我可能想区分飞机被摧毁和较小损坏的事件，因此我们将选择要摧毁的目标级别。 |
| 我要提到的是，提前停止是一种节省时间的功能。 所以 |
| 当我们进行变量选择时，对于更大的问题可能会非常耗时。 如果你选中这个复选框，它会说 |
| 我们认为我们有一个足够好的模型；我们要继续前进并提前停下来。 我倾向于取消选中它，除非我知道我有一个更大的问题。 |
| 所以我会用弹性网、AIC 留下它，然后我们就开始运行。 |
| 所以现在后台发生的事情是它创建了我需要拟合这个回归模型的数据，并且它在幕后拟合回归模型，现在我有了我的总结。 所以每 |
| 每个文件都在左侧面板上进行了总结，因此这是第一起飞机事故，这是第二起，这是空白的。 |
| 第一个是，飞机接触了跑道一侧的雪堆。 |
| 我们已经突出显示了所有重要的单词，因此蓝色单词具有负系数，橙色单词具有正系数。 |
| 如果我们对这些词感兴趣，我们可以查看右侧的面板。 我倾向于按系数排序，这样您只需单击顶部即可。 |
| 因此，在这种情况下，具有负系数的单词被破坏的可能性较小。 因此，如果 |
| 该文件包含“着陆”一词，如果飞机已经到达着陆点，那么这可能不是一个非常严重的事件。 所以这些可能性较小 |
| 被毁了。另一方面，我们可以看看最积极的术语，这些词与被摧毁的飞机最相关。 |
| 这些词就像火一样，证人。 如果他们采访目击者来描述事件，这可能意味着飞机上的任何人都无法接受采访。 |
| 所以火、雷达、旋转、夜晚，这些都是与 |
| 与被摧毁。 |
| 现在，也许我们也对受伤程度感兴趣，具体来说，我们将关注最严重的受伤程度。 |
| 我们将再次进行术语选择。 |
| 为了保持快速，我会接受这一点。 |
| 所以现在我们可以做同样的事情，但现在要考虑的是伤害程度。 |
| 因此，如果采访对象包括机长或着陆人员，那么就受伤程度而言，这些可能不是很严重。 |
| 但如果再提到雷达、夜晚、山脉，这些都是严肃得多的词。 因此，我们可以在这两个响应之间快速来回切换，看看哪些词可以预测这两个响应 |
| 伤害等级和伤害等级。 |
| 那么让我们看另一个例子。 |
| 所以这是我真正喜欢的一件事。 早些时候，我在示例中讨论了披萨。 现在我们要谈谈啤酒。 所以这些显然是我心目中最亲近的事情。 |
| 所以我这里得到的是我已经我已经...我根据一些啤酒评论下载了每种啤酒风格的描述 |
| 身体。 |
| 所以每一种啤酒都有一个描述。 |
| 上面还写着啤酒是从哪里来的。 所以我们有... |
| 美国、德国、爱尔兰。 |
| 使用术语选择来查看 |
