扬声器 | 成绩单 |
| 粘土巴克 | 谢谢，我叫克莱·巴克。 我是JMP小组的统计开发人员，今天我将要谈论JMP pro 16中的新功能。 这就是术语选择，我已经与我的同事Paris Faison和Ernest Pasour一起工作。 |
| 因此，文本数据在实践中变得越来越普遍。 我们可能会对客户对所生产产品的评论，对某些事件的描述或某些设备的维护日志。 |
| 在此示例中，我来自幻灯片 |
| 飞机事故...样本数据中的事故数据集。 |
| 每一行数据都是对某些航空事故，坠机或其他类型故障的描述。 |
| 因此，如果您从未使用过Text Explorer平台，它将在JMP 13中引入，我们主要使用它来帮助汇总和分析文本数据。 |
| 因此，它使执行常见任务（例如查看最频繁或最常见的单词和短语）变得容易，并且使诸如文档的聚类或主题（如主题分析）之类的工作变得容易。 一切都由所谓的文档术语矩阵驱动。 |
| 那么，文档术语矩阵是什么？ 最容易想到的只是将其视为每个文档是否包含特定单词或短语的指标变量矩阵。 |
| 我们可以根据每个文档中单词出现的频率来加权。 因此，每个文档在我们的文档术语矩阵中都是一行，而每一列都是一个单词。 |
| 因此，对于这里一个非常简单的示例，第一行是“比萨包装令人沮丧”。 所以我们的包装是1 |
| 比萨饼为1，挫败感为1，其他所有单词均为0。 同样，对于第二行，对于气味，好吃，好吃的披萨，我们还有1，而在其他地方为0。 这只是每个文档中出现的单词的简单摘要。 |
| 我还提到了文档术语矩阵有几个变体。 最简单的是二进制文件。它只是一和零。 |
| 但是我们可能希望包括有关每个单词出现频率的信息，因此这是另一个略长的句子，其中比萨饼出现了多次。 |
| 在二进制文档术语矩阵中，该披萨列仍为1，因为我们不在乎它出现的频率。 对于三进制为2，因为三进制为零，一和二。 如果未出现该单词，则为0；如果出现一次，则为1；如果出现多次，则为2。 |
| 无论在这里是否发生四次，我们仍然将其编码为2。 然后频率真的很简单。 这只是每个单词在该文档中出现的次数。 |
| 所以这是三个非常简单的方法，我们还提供了TF-IDF加权，这有点像相对频率，但是您可以在 |
| 文本资源管理器平台。 |
| 那么下一步是什么？ 接下来您可能要使用的下一件事是什么？ |
| 您可能希望使用文本来帮助实现某些结果。 所以在这里，我整理了一些家具评论，并且每个评论都有一个星级评定。 |
| 因此，我们可能会认为这些评论为我们提供了一些线索，说明为什么有人会评价产品的较高或较低。 因此，在第一行中，“说明令人沮丧”，用户只给我们打了3分。 如果那...如果这种模式发生了很多人都在评价... |
| 许多较低的评分与说明相关，这可能告诉我们我们需要改进家具随附的说明。 |
| 因此，简单的想法是将它们用作回归模型。 我们要...我们将采用文档术语矩阵， |
| 我们将其与我们的响应信息相结合，并且我们将进行回归分析。 |
| 这将帮助我们理解为什么客户喜欢或不喜欢我们的家具或我们制造的任何产品。 |
| 它可以帮助我们根据描述对对象进行分类，稍后我们将进行介绍，或者也许我们想根据某些维护记录来了解为什么某些计算机出现故障或不发生故障。 |
| 而且我们做到这一点的方法确实很容易。 |
| 我们实际上只是在建立一个回归模型，其中每个X或我们的预测变量都是项矩阵中的列之一。 因此，如果我们要对产品评分进行建模，那是一个简单的线性回归，如果 |
| 如果我们正在模拟二进制结果，例如客户是否会推荐我们的产品 |
| 可能是数百个单词，因此不要全部使用它们。 并非所有数据都会有用，因此我们将变量选择技术应用于我们的回归模型，我们将获得一个更易于解释且更合适的更简单模型。 |
| 在底部，可以很容易地将这些指标变量与我们的响应等级（星级）结合起来进行可视化。 |
| 因此，我们将在JMP 16中使用的解决方案是将回归模型引入Text Explorer平台。 如果您曾经使用广义回归平台进行变量选择，那么我们实际上是将该平台嵌入到Text Explorer中。 |
| 因此，如果您拥有JMP pro，您将在Text Explorer的红色三角形菜单中看到术语选择项。 |
| 这是我们真正感到兴奋的。 它使构建和完善此类回归模型变得轻松快捷。 |
| 因此，当您启动该平台时，我们将在短短一分钟内快速进行一些演示， |
| 在发布之初，它只是在询问有关我们的响应以及我们想要适合的模型类型的信息。 |
| 因此，它既可以处理星级评定，也可以处理连续响应，并且当您指定连续响应时，它会提供一个过滤器，以便您可以根据响应过滤掉某些行中的某些行。 |
| 当我们有一个名义响应列时，我们选择目标水平。 因此，在这种情况下，您会推荐我们的产品吗？是或否。我们将为...建模 |
| 我们将建模建议等于否的建议。 |
| 如果我们有多个级别的响应（例如蓝色，绿色，黄色），我们将选择我们要建模的级别，我们将在几分钟内看到一个示例。 |
| 然后，在您指定响应后，我们将为平台提供一些有关我们要适合的模型类型的信息。 |
| 因此，当我们进行变量选择时，我们将使用弹性网还是套索？ 这些都是内置在广义回归中的变量选择技术。 以及我们将如何进行验证？ 我们要使用AIC还是BIC？ |
| 此外，我们可以指定有关文档术语矩阵的详细信息。 我们可以选择权重，还可以选择要考虑的最大项数。 因此，如果我们要考虑前200个最频繁出现的单词，那就是现在的200个单词。 |
| 那么，当您启动它并按下运行按钮时会发生什么呢？ 基本上它能做的一切 |
| 你需要做。 它可以在后台正确设置数据，因此您不必担心。 它可以进行变量选择，所以现在我们有一小部分单词被认为对预测我们的反应很有用，并且可以轻松呈现结果 |
| 解释报告，并且它是非常互动的，稍后我们将看到。 所以你以前可以做到这一点 |
| 将文档术语矩阵保存到您的数据集中，自己启动一个广义回归平台， |
| 但您不必再这样做了。 这就是现在选择术语的全部。 |
| 这样的模型规范，我们怎么知道，我们怎么知道要选择什么？ |
| 可用的估计方法是弹性网和套索。 记住两者之间区别的简单方法 |
| 是弹性网倾向于选择相关预测变量组。 因此，在这种情况下，当我们的预测变量都是单词时， |
| 这意味着它将倾向于选择倾向于同时出现的单词组。 因此，如果您想到说明和手册， |
| 由于使用手册，这些词经常在一起出现。 因此，这两个预测变量将高度相关，并且弹性网可能会选择它们两者，而套索可能会选择指令或手册，但不一定会选择两者。 |
| 验证方法，我们有AIC和BIC。 |
| 这样的经验法则是，AIC倾向于过度选择模型，而BIC倾向于选择不足。 所以在我们的规格中 |
| 只是AIC倾向于选择较大的一组单词，而BIC则会选择较小的一组单词。 |
| 就个人而言，我倾向于在设置中频繁使用AIC，因为我宁愿多说而不是少说一些单词，但这确实是一个优先选择的问题。 |
| 以及文档术语权重... |
| 我的意思是文档术语矩阵加权。 |
| 这真的取决于您的问题。 所以在这个例子中 |
| 油漆一词在评论中多次出现。 这可能意味着审稿人非常... |
| 用...油漆对于那个审阅者来说非常重要，这在我们的回归模型中可能是有意义的，所以我们想使用像频率这样的加权而不是二进制。 |
| 因此，一旦启动术语选择，您将最终到达像这样的地方 |
| 左侧所有文档的摘要，以及我们在右侧选择的所有单词的摘要。 我现在暂时跳过这一点；当我们开始进行演示时，更容易看到。 |
| 我们认为非常有用的另一件事是，我们有一个摘要，因此您可以使用术语选择来拟合一系列模型，然后将它们全部概括在顶部，并可以在它们之间来回切换。 再过一会，我们将看到这一点。 |
| 因此，让我们看一下平台。 |
| 首先，我们来看一下 |
| JMP样本数据文件夹中的飞机事故数据集。 |
| 因此，表中的每一行都是一个事件。 我们知道飞机受到了多少损坏，有人受伤了，我们对此进行了描述。 因此，最后一列是对事件中发生的情况的准确描述。 |
| 因此，我们将启动文本资源管理器，如果您以前从未使用过文本资源管理器，则左侧是最常出现的术语，右侧是最常出现的短语，所以是词组。 |
| 所以我们想用这些词来理解 |
| 这...导致撞车的原因是造成更多的伤害，甚至造成更大的伤害，甚至可能造成更严重的伤害。 因此，我们将转到红色三角形菜单，并要求选择术语。 |
| 因此，现在我们看到了刚才正在查看的发射，我想进一步了解伤害。 特别是我想...我可能想区分飞机被摧毁的事件与损害较小的事件，因此我们将选择要摧毁的目标高度。 |
| 我会提一下，这种提早停止功能可以节省时间。 所以 |
| 当我们进行变量选择时，解决更大的问题可能会非常耗时。 如果您选中此复选框，它会说 |
| 我们认为我们有一个足够好的模型；我们将继续并尽早停止。 我倾向于取消检查，除非我知道我还有更大的问题。 |
| 因此，我将其留给弹性网，AIC，然后开始运行。 |
| 因此，现在在后台发生的事情是它创建了我适合该回归模型所需的数据，并且它在后台拟合了回归模型，现在我有了摘要。 所以每个 |
| 每个文档都在左面板上汇总，因此这是第一起飞机事故，这是第二起飞机事故，这是空白。 |
| 所以第一个是，飞机接触了跑道侧面的积雪。 |
| 并且我们已将所有重要的单词都突出显示，因此蓝色单词的系数为负，橙色单词的系数为正。 |
| 如果我们对这些词感兴趣，我们可以看一下右边的面板。 我倾向于按系数排序，因此您只需单击顶部。 |
| 因此，在这种情况下，具有负系数的单词被破坏的可能性较小。 因此，如果 |
| 该文档中包含着陆一词，如果飞机已经达到着陆点，则可能不是很严重的事件。 因此，这些可能性较小 |
| 毁了。另一方面，我们可以看看最积极的用语，这些是与被毁飞机最相关的词语。 |
| 那些是火，见证人。 如果他们在采访目击者以描述事件，则可能意味着飞机上的任何人都无法进行采访。 |
| 所以火，雷达，旋转，夜晚，这些都是与 |
| 被摧毁。 |
| 现在，也许我们也对伤害级别感兴趣，具体地说，我们将研究最严重的伤害级别。 |
| 我们将再次进行术语选择。 |
| 我会接受这一点以保持快速。 |
| 所以现在我们可以做类似的事情，但现在要关注的是伤害水平。 |
| 因此，如果面试包括机长或着陆，那么就伤害程度而言，这可能不是很严重。 |
| 但是，如果再次提到雷达，夜晚，山脉，这些是更严肃的话。 因此，我们可以快速地在这两个之间来回切换...这两个响应，看看哪些词可以预测这两个 |
| 伤害等级和伤害等级。 |
| 因此，让我们看另一个例子。 |
| 所以这是我真正喜欢的。 之前，我在示例中谈论披萨。 现在我们要谈啤酒。 所以这些显然是我心中亲爱的。 |
| 所以我在这里是我已经...根据一些啤酒评论，我下载了每种啤酒风格的描述 |
| 身体。 |
| 因此，每种啤酒都有其说明。 |
| 它说，啤酒来自哪里。 所以我们有... |
| 美国，德国，爱尔兰。 |
| 使用术语选择来查看 |
