扬声器 | 成绩单 |
| 米娅·斯蒂芬斯 | 这可能不会需要 45 分钟。 |
| 好吧，我们很好。 |
| 该死的，为什么那个文字刚刚出现。 |
| 杰森威金斯，JMP | 你看到了吗，我只是想问我已经开始录制了，但是有人会进入并在结尾处剪辑开头。 |
| 米娅·斯蒂芬斯 | 我会说你在录音。 |
| 杰森威金斯，JMP | 是的。 |
| 如果你愿意，我可以停下来。 |
| 嗯。 |
| 杰森威金斯，JMP | 好的录制开始。 |
| 米娅·斯蒂芬斯 | 大家好，我是 MIA Stevens，我是 JMP 产品经理。 |
| 而今天我们要讨论的一个新功能首先出现在 JMPed 16 或 JMP pro 16 模型屏幕筛选中。 |
| 实际上，让我重新开始。 |
| 杰森威金斯，JMP | 录音又开始了。 |
| 米娅·斯蒂芬斯 | 嗨，我是米娅·斯蒂芬斯。 |
| 我是一名 JMP 产品经理。 今天我们将讨论模型筛选。 模型筛选是 JMP Pro 16 中的一个新平台，它允许您同时拟合多个模型，从而使您能够简化预测建模工作流程。 |
| 因此，我们将首先讨论预测建模的含义，这与更经典的建模或解释性建模形成对比。 |
| 我们将了解您可以在 JMP Pro 中构建的模型类型，并且我们将稍微讨论一下预测建模工作流程。 然后我们将了解如何使用模型筛选来简化此工作流程。 |
| 我们将看到几个用于比较竞争模型的不同指标，我们将在 JMP Pro 中使用两个不同的示例，我将使用 JMP Pro 16.1。 |
| 那么首先，我们所说的预测建模是什么意思？ |
| 我们中的大多数人都在大学或学院或通过贵公司上过统计课程，通常，当我们......当我们学习统计建模时，它是解释性建模。 |
| 我们的意思是你有兴趣研究一些 Y 变量，一些感兴趣的响应，作为几个 X 或输入变量的函数。 |
| 所以我们可能对识别重要变量感兴趣，也许我们正处于一种解决问题的情况下，我们想尝试识别最重要的 X，最重要的潜在原因。 |
| 因此，作为解释性建模的结果，我们可能能够识别出 X1、X3 和 X6 是 Y 变化的潜在原因，这可能会引导您使用设计的实验进一步研究这些变量。 |
| 我们可能还对量化关系的性质感兴趣，例如，我们可能有兴趣了解 Y（我们的反应）如何随 X 函数平均变化。 |
| X 的 1 个单位变化与 Y 的 5 个单位变化相关。 |
| 所以这就是我们在谈论建模、统计建模或回归分析时通常会想到的。 |
| 现在，相比之下，预测建模是关于准确预测或分类未来结果。 |
| 因此，在经典建模中，我们通常对均值、整体均值进行陈述。 在预测建模中，我们想知道接下来会发生什么。 那么，例如，这个客户会流失吗？ 请问这位客户 |
| 接受信用卡优惠？ 机器会坏吗？ 所以我们有兴趣预测接下来会发生什么。 所以我们对准确性感兴趣，我们预测的准确性。 |
| 在预测建模中，我们倾向于拟合和比较许多不同的可能模型，这涉及或可能涉及一些非常先进的技术。 |
| 其中一些技术可能不太容易解释。 所以如果你想到神经网络，神经网络通常被认为是一个黑盒子。 |
| 对于这些更复杂的模型，过度拟合可能是一个问题，我所说的过度拟合是我们倾向于……我们可以拟合一个比我们需要的复杂得多的模型。 |
| 所以在预测建模中，我们倾向于使用模型验证。 我们使用模型验证来防止过度拟合和欠拟合。 模型验证涉及的是拆分我们的数据，拆分数据的典型方法是保留我们的一些数据...... |
| 好吧，我们的一些数据用于训练我们的模型，我们的一些数据被保留，我们可能还有第三组也被保留。 我们使用这些数据的方式是使用训练数据拟合我们的模型 |
| 然后我们会看到模型在验证数据上的表现如何。 第三步可能会用到，这通常被称为测试集， |
| 因为验证... JMP 中的验证数据通常用于控制模型的大小。 所以我们将在几分钟内看到这一点。 |
| 我不会详细介绍验证，但如果这对您来说是一个相对较新的主题，那么我从我们的免费在线课程 STIPS 中借用了本套牌末尾的一些幻灯片，它说明了为什么验证是重要的。 |
| 在 JMP Pro 中，您可以拟合许多不同类型的预测模型。 |
| 其中一些可从拟合模型中获得，因此如果您有连续响应，则可以拟合线性回归模型。 如果你有一个明确的回应，你可以适应 |
| 逻辑回归模型。 这可以是序数或多项式或二项式回归模型。 您可以拟合广义线性模型或惩罚回归模型，如弹性网络和 Lasso 和岭回归。 |
| 有一个包含许多项目的预测建模菜单，例如神经网络。 您可以在 JMP Pro 中拟合神经网络 |
| 两层，具有多个节点，多个激活函数，带有提升。 通常在 JMP 中， |
| 您可以使用同一平台为分类响应或连续响应拟合模型。 你可以适应各种不同类型的树，分类树，如果你有 |
| 分类响应，如果您有连续响应，则为回归树。 您还可以安装一些更复杂类型的树，例如引导森林和增强树。 您可以看到还有其他可用的方法。 |
| 并且在多元方法下有几个预测建模平台，因此判别分析和偏最小二乘法。 所以这绝不是一个详尽的列表，我会指出部分最小二乘也可以从拟合模型中获得。 |
| 问题是，为什么我们需要这么多模型？ 在经典解释性建模中，我们通常会学习回归分析，但显然还有很多很多类型的模型可以拟合。 |
| 嗯，原因是没有一种模型总是最好的。 最佳模型通常取决于数据的结构。 |
| 您有多少变量，无论您是否有纯连续的 X，或者您是否有连续变量和分类变量的混合，如果您有非线性行为。 |
| 因此，没有一种单一类型的模型始终是准确预测的最佳模型。 因此，我们通常会尝试几种不同的模型，然后选择效果最好的模型或组合模型。 |
| 我们在更广泛的分析工作流程的背景下考虑预测建模。 |
| 当然，我们正在尝试解决某种类型的问题，业务问题或工程问题。 |
| 但是我们编译数据，这可能是来自各种不同来源的数据，我们需要配对这些数据，我们需要整理数据。 |
| 我们探索并可视化数据，以了解更多关于我们可用的数据和其他数据需求的信息。 而这方面的预测建模方面正在分析数据和构建模型，在我看来，这才是真正有趣的地方。 |
| 因此，JMP 中的经典工作流程是通过验证来拟合模型。 |
| 然后将预测公式保存到数据表中，或者将其发布到公式库中，我们稍后会看到。 |
| 然后你适合另一个模型。 因此，您可以从回归模型开始，然后拟合基于树的模型。 然后你重复这个，你可以拟合几种不同类型的模型。 |
| 然后使用模型比较来评估每个模型在验证数据上的性能。 所以请记住，我们使用训练数据来拟合模型，但为了比较模型以查看最准确的预测，我们使用验证数据或测试数据。 |
| 我们选择最好的模型或模型的最佳组合。 |
| 然后我们部署模型，这是一种典型的工作流程。 |
| 现在，通过模型筛选，模型筛选所做的就是简化这一点。 因此，您可以在模型筛选平台中拟合所有所需的模型， |
| 使用验证数据比较这些模型，选择最佳模型。 您可以探索模型，甚至可以从模型筛选中拟合新模型，然后您可以轻松部署最佳模型。 |
| 因此，为了更深入地了解这一点，我们将使用几个示例，第一个示例是您可能熟悉的示例， |
| 糖尿病数据，这些在样本数据目录中。 所以情况是研究人员希望能够预测疾病进展的速度 |
| 在进行基线测量一年后。 因此，有 10 个基线变量和 442 名患者，我们将在此处查看两种类型的响应。 响应 Y 是一种量化指标，用于衡量疾病在一年内的进展程度。 |
| 还有一个二元反应，高/低，所以高意味着疾病进展率高……高，低意味着进展率低。 |
| 这里的建模目标是预测最有可能疾病进展率高的患者，以便可以采取纠正措施。 |
| 因此，最终，我们希望能够建立一个模型，使我们能够根据他们的人口统计变量和我们在这里拥有的基线信息对未来的患者进行分类。 所以我们希望能够 |
| 准确预测他们是否会有很高的疾病进展率，以便我们可以采取行动。 好的，那就是这样的场景。 |
| 在我们进入 JMP 之前，我想谈谈我们如何决定哪个模型预测最好。 |
| 我提到我们为此使用验证集或测试集，我们可以使用几种不同类型的度量。 |
| 对于连续响应，我们使用 RMSE，即根主平方误差，或 RASE，这是一个相关的度量，即均方根误差，这就是预测误差，这里越低越好。 |
| 我们还可以使用 AAE（平均绝对误差）、MAD（平均绝对偏差）或 MAE，对于这些，越低越好。 所以这些是……这些是……这些是一种平均误差度量。 |
| 然后，R 平方，对于真正衡量拟合优度的 R 平方，越高越好。 |
| 所以我们倾向于将这些用于持续响应；还有许多其他类型的措施可用。 |
| 对于分类响应通常对错误分类或错误率或准确率感兴趣，我们可能对精度感兴趣。 |
| 还有其他度量，曲线下面积，我们在 ROC 曲线中看到，敏感性和特异性，这些有几种不同类型的名称。 |
| 我们在模型筛选中添加了一些其他措施，当我们有不平衡的数据时这些措施很好。 有一个 F1 分数和 MCC，这是 Matthews 相关系数，这是一个具有...的值 |
| 或者一个指标，取一些值在负一和正一之间，它擅长测量当你有分类数据时，数据在所有四个可能的类别中的分类情况，真阳性、真阴性、假阳性和假阴性。 |
| 所以让我们……让我们继续讨论 JMP。 |
| 我将打开数据。 |
| 所以这些是......我会做大一点，这些又是糖尿病数据。 |
| 如果你想玩弄这些数据，有一个使用这些数据的博客，你也可以在帮助下找到它们，然后采样数据。 |
| 再一次，我们有一个响应 Y，让我把它放大一点，这是我们对疾病进展的持续衡量。 然后我们有一个二进制 Y，结果为低或高，我们会接受它......我们将看看其中的每一个。 |
| 因此，首先，让我们看看您是否...如果您有 JMP 15 或者如果您没有使用模型筛选，如果您有 JMP Pro，您将如何拟合预测模型来预测 Y（连续响应）？ |
| 请注意，我们有几个人口统计变量。 |
| 所以有 10 个，还有一个验证列，验证列将我们的数据划分为训练和验证数据。 |
| 所以我们将使用训练数据来拟合我们的模型，然后我们将看看当我们将模型应用于验证数据时模型的表现如何。 |
| 要创建此列，请在分析、预测建模、制作验证列下使用实用程序，这允许我们创建验证列。 |
| 您可能有想要用作分层列的变量，例如，您希望确保数据在 |
| 验证集。 我只是在这里单击确定。 |
| 这允许我们将一定比例的数据分配到不同的集合中。 |
| 这里还有一些有用的附加选项，所以如果您正在教学并且希望所有学生都具有相同的分区，那么随机种子非常好。 |
| 所以这是之前使用的 |
| 分析，所以让我们首先看一下 Y 列，即连续响应。 因此，如果我要拟合预测模型，一个自然的起点是拟合回归模型，而 JMP 中的回归是欠拟合模型。 |
| 我的回答是 Y，我会拟合……首先拟合一个仅主效应的模型。 |
| 我将在此验证字段中输入验证，默认情况下，个性是标准最小二乘法。 但是如果您熟悉 JMP 和 JMP Pro，您就会知道个性下有很多不同的选项。 |
| 当我点击运行时， |
| JMP 16 的一个变化是，如果我们通过预测图或任何其他图查看实际图，请注意有一个点……这里有些点带有 V，而不是点。 |
| 这是为了表明这些点实际上是分配给验证集的，所以我们基本上是在看， |
| 你知道，模型在周围的随机噪声中预测得有多好，你可以看到存在某种程度的分散。 和 |
| 请记住，我们正在将我们的模型拟合到训练数据中，并且我们正在看到它在验证数据上的表现如何。 所以下面有一些统计数据。 因此，只要我们进行了验证，您就会看到训练和验证集的一些额外统计数据。 |
| 我们可以看到这里有几个措施。 有 R Square，也有 RASE。 |
| 通常，当您将模型拟合到一组数据，然后将该模型应用于新数据时，它在新数据上的表现不会那么好。 因此，我们可以看到验证集的 R 平方较低，而 RASE（误差）略高一些。 |
| 曾经......我们在预测分析器下看到的一件事 |
| 是那个通知吗……注意总胆固醇和低密度脂蛋白在末端真的有点散开。 |
| 当我拖动 |
| 胆固醇的值，注意这个平均值的置信区间有多宽。 所以当我把它拖到低端时， |
| 它变得超宽，就像我将它拖到高端一样。 事实上，每个预测变量的所有这些间隔都变得非常宽。 |
| 这有点超出了本次演讲的范围，但这是因为我们在这个地区实际上没有数据或大量数据。 如果我……看一看，我就去 |
| 抓住这两个变量，总胆固醇和低密度脂蛋白作为一个例子......对于胆固醇和低密度脂蛋白。 |
| 请注意，这些之间有很强的相关性。 我在这个地区没有任何数据，我在这个地区也没有任何数据。 |
| 因此，如果您曾经拟合过预测模型或任何类型的模型，您会看到这些波段真正呈扇形散开， |
| 这表明您的预测在该地区不会非常精确。 JMP Pro 中有一个新功能， |
| 称为外推控制，如果这是一个问题，它可以警告你。 所以如果我把它拖出来， |
| 请注意，它告诉我，嘿，可能有外推；你的预测在这里可能有问题。 如果我打开外推控制， |
| 请注意，它会截断这些波段，它基本上是在说，你不能做出超出这些界限的预测。 这只是无效的。 |
| 所以这有点超出了这个范围，但是如果您在预测分析器中看到呈扇形散开的波段， |
| 这通常是因为您的预测变量彼此相关，而且......可能是您没有大量数据来对这些区域进行预测。 所以很高兴意识到这一点。 |
| 好吧，回到手头的任务，让我们看看，我拟合了这个模型并缩小了模型，这很舒服，这是我的最终模型。 |
| 我将通过保存预测公式将此模型保存到我的数据表中。 您会看到它在数据表中添加了一个新列。 我刚刚建立了一个线性模型，所以它将公式保存到数据表中。 |
| 另一种方法是发布这个，我将把它发布到公式库。 |
| 所以，最终，我要做的是拟合几种不同类型的模型（我会继续关闭这个），我想比较这些模型，以便我可以使用它...... |
| 我可以通过保存公式并进行分析、预测建模、模型比较来做到这一点，我稍后会这样做，或者将其保存到公式库中。 |
| 将它保存到公式库的好处是现在我有了评分代码。 因此，例如，如果这是我想应用于新数据的最终模型， |
| 我可以复制这个脚本，然后我可以应用它来为新数据评分 |
| （我不会在这里这样做），或者如果我希望能够在生产环境中使用此模型，我可以使用各种不同的语言创建代码。 |
| 所以这是一个简单的线性模型。 如果我想拟合不同类型的模型怎么办？ |
| 我可以在拟合模型中拟合更复杂的模型。 |
| 所以我可以拟合一个广义回归模型，也许我想拟合一个 Lasso 模型，所以我会点击 go here。 |
| 在广义回归中有一些模型比较，但是假设我想保存这个模型，对吧。 |
| 我不是我不会太注意这里的细节，但我会保存这个。 我要把预测公式保存出来。 也许我会继续发布那个。 |
| 去这里，发布这个。 |
| 我可能会重复这一点，我可能适合一个有交互的模型。 然后我可能会继续拟合神经网络模型或分区模型，基于树的模型，如果我有分类响应，这将适合 |
| 一个分类树。 如果我有一个连续的响应，那将适合回归树。 我可能适合自举森林，它是较小树或增强树的集合，因此我可以适合几种不同类型的模型。 |
| 一旦我得到我的模型并将公式保存出来或发布到公式库，我想找到最准确的预测模型。 |
| 所以我将使用模型比较。 |
| 我只是将验证添加为我的 by 变量， |
| 因为我希望能够看到模型在验证数据上的表现如何。 只需使用这两个模型并查看验证数据（我将收起训练数据）， |
| 我可以看到最小二乘模型的平均误差较低，而最小二乘模型的 RASE 略高一些。 |
| 我的 R 方格对于广义 Lasso 来说要好一些。 |
| 因此，如果我们有 JMP 15 Pro 或 JMP Pro 15，或者如果我们不使用模型筛选，这就是我们可能进行预测建模的典型方式。 模型筛选的作用是让我们一步完成所有这些工作。 所以我将进入预测建模并启动模型筛选。 |
| 模型筛选，如果你看这里的角落，基本上可以让我们启动每个对我们拥有的数据类型有意义的平台 |
| 并自动运行这些模型。 所以我们不必进去从菜单中选择模型，我们可以从这里自动运行它。 所以我要拟合相同类型的模型，所以这里是一个只有主效应的模型。 |
| 这些是我的 X。 我将使用相同的验证。 |
| 这里有很多选项，我们稍后会讨论，我将单击“确定”。 请注意，我有一个决策树、引导森林、提升树、K 个最近邻。 |
| 默认情况下，朴素贝叶斯关闭，我可以拟合神经模型。 |
| 这里底部还有其他人。 请注意，获得了 XGBoost，因此 XGBoost 可用，因为我安装了一个插件，即 XGBoost 插件。 |
| 所以这是一个访问开源库的免费插件，如果你已经在 JMP Pro 中安装了它，那么你可以从模型筛选平台启动它。 所以我将把它关掉，然后单击“确定”。 |
| 所以它正在运行模型，它就在那里。 所以它出去了，它实际上跳过了一步，对吧。 它会自动为我运行这些模型中的每一个。 |
| 而且，您可以使用一些模拟来确定调整参数的最佳起始值，因此我们适合所有这些模型。 |
| 它报告了每个模型的验证训练和验证统计数据。 现在要弄清楚这些模型中哪一个是最好的， |
| 选择优势。 选择主导基本上所做的是在可用指标上创建前沿，所以我在这里点击选择主导。 |
| 并发现对于这些数据，最好的模型是神经增强模型，然后该模型的详细信息在神经下面。 |
| 因此，所有细节实际上只是启动平台并捕获所有信息，就在这个平台内。 |
| 所以所有的细节都在这里用于神经，所以它基本上是运行一个 TanH，三个节点被提升。 我可以看到训练统计数据和验证统计数据，如果我希望能够看到实际拟合的模型， |
| 这是底层模型。 |
| 对，所以这是……所以这是我表现最好的模型。 如果我想更仔细地查看这些模型，我可以从这里探索它们，这里有一些选项，我可以通过预测图查看实际情况。 |
| 而且我可以比较这些模型，所以正如预期的那样，我们的训练数据中的变化比验证数据和实际预测图中的变化要小一些。 如果我想探索这个，我可以关闭某些模型。 |
| 我也可以启动分析器，如果你有 16.1，那么分析器是一个选项。 如果您有 16.0，这实际上是一个隐藏选项，我再次为此而在 Pro 中。 分析器很好，因为它允许我们探索我们适合的模型，所以我选择了三个模型。 |
| 让我把它放大一点。 |
| 也许没那么大。 |
| 所以我有一个引导森林，它是一个基于树的模型，它基本上将一堆不同树的结果加在一起。 |
| 我有一个增强模型，神经模型非常好地拾取非线性行为。 我有 Lasso 模型，它本质上只是一个线性模型。 |
| 你可以很清楚地看到这些模型。 注意广义套索，对，我得到了 BMI 之间的这种线性关系 |
| 和回应。 随着神经增强，我可以看到有一些曲率。 我可以用 LTG 和引导森林在这里看到它，我可以看到我有这个小阶跃函数，对，所以它实际上近似于我们在这里的这种非线性关系。 |
| 所以如果我们决定神经增强模型是最好的， |
| 然后我们基本上可以启动模型，从这里启动它，我们可以将公式保存到数据表中，也可以将它们发布到公式库进行部署。 |
| 所以它节省了大量时间，并且仍然让我们能够探索我们的模型。 |
| 如果我们有一个明确的回应呢？ 所以请记住，我们有 Y 二进制文件。 我们可以以同样的方式使用 Y 二进制，所以我要去分析，然后再次调用模型筛选，然后我会点击召回，而不是 Y，我将使用 Y 二进制。 |
| 我们可以在其中运行相同类型的模型。 如果某种类型的模型没有意义，它就不会运行它。 因此，例如，最小二乘回归在这里没有意义，因此它实际上不会运行它。 |
| 这里有几个选项。 如果我选择设置随机种子，如 1、2、3、4、5，这将给我可重复性，如果我从细节启动模型， |
| 它会......它会产生相同的结果。 我在这里有一些额外的选项进行验证。 |
| 所以事实证明，在很多情况下，使用训练、验证和测试的经典划分 |
| 实际上并不是最好的，尤其是在小型数据集中。 所以我可能想改用 K 折交叉验证，我们也有嵌套交叉验证。 |
| 您可以重复进行 K 折验证。 所以这是一个不错的选择，特别是如果你有一个小数据集。 |
| 底部还有一些额外的选项。 因此，您可能想要添加双向交互或二次方程。 |
| 如果您知道您缺少值，那么您可能需要使用信息缺失。 附加方法适用于附加的广义回归方法。 如果您在 JMP 17 早期采用者计划中，您会注意到菜单对话的这一部分 |
| 或者模型启动对话已经重新组织了一点，使其流畅一点。 对，所以我将在这里使用默认设置和随机种子，然后单击“确定”。 |
| 所以它正在运行所有这些模型。 同样，它非常非常快。 好吧，现在，因为我有一个二元响应，我有一些额外的指标。 我有两个 |
| R平方测量，我得到了错误分类率，曲线下的面积，RASE。 请记住，这与均方根误差有关。 同样，我将单击选择显性，它再次发现神经增强，但情况并非总是如此。 |
| 如果我选择我认为是顶级模型的选项，红色三角形下的选项，您可以查看这些的 ROC 曲线，再次，我可以打开和关闭模型的复选标记。 让我来 |
| 选择这个。 我最喜欢的新功能之一（也可从模型比较平台和 JMP 17 中获得）正在添加到任何进行分类建模的建模平台中，这就是所谓的决策阈值。 |
| 我认为这是我们在 JMP 16 中添加的最强大的东西之一……其中之一。 |
| 因此，在选择了这三个模型后，它给了我这三个模型的分类摘要。 |
| 我要把它放大一点，这样我们就能看得更清楚一点。 |
| 因此，我们阅读本文的方式是，如果我们只看一下神经增强，它向我们展示了神经增强的两个类别……神经增强，我们正在预测高概率。 所以这些是高的拟合概率。 |
| 截止值为 0.5，因此低于 0.5 的任何值都被归类为低；任何高于 0.5 的东西都被归类为高。 |
| 所以，如果我们看这里的这个红色块，这些都是被归类为低但实际上是高的点，我们可以在这里看到这个数字。 其中有 29 个，所以这些是假阴性。 |
| 下面的红框，这些被归类为高， |
| 但它们实际上是低点。 所以这些是误报，这些人在这里。 |
| 底部是一些指标，一些图表来帮助我们理解这一点，并帮助我们做出一些决定。 还有一些指标，所以我们可以在这里看到相同的值，29 个假阴性，17 个假阳性。 |
| 我们也可以看到真正的正面和负面。 我真正喜欢的是它让我能够探索不同的截止点。 |
| 因此，例如，根据您的建模目标，我们可能对具有高敏感性率感兴趣，但我们真的不希望具有低特异性率。 |
| 敏感率，这里的这个键真的很有帮助，敏感是真阳性率；特异性是真阴性率。 |
| 你知道，我们能找到一个实际上在这两个方面都做得更好的截断吗？ 通过单击和拖动，您可以更改分类的截止值 |
| 并尝试找到一个做得更好的切断。 例如，在 0.26 处，我将在这里输入一个很好的四舍五入数字，在 0.25 的截止值处，灵敏度更高，同时仍保持高特异性。 |
| 我藏起来的图表在解释这些数字方面也非常有用，因此它们为我们提供了错误分类的总体情况 |
| 按阈值，按部分，然后是真正的分类。 所以如果我想找到一个平衡特异性和敏感性的点，我可以看看这张图。 |
| 所以这些顶线是敏感性，虚线是特异性，是否有一个点我仍然高于某个敏感性值... |
| 敏感性，我的特异性在哪里保持高？ 我们可以……我们可以平衡这些。 所以如果我看这里，我可以看到这是两条线交叉的点。 |
| 如果我们遇到数据不平衡的情况，这将变得非常重要。 所以让我们看另一个例子。 所以我要结束这个 |
| 不保存这个。 让我关闭公式库，顺便说一下，公式库是独立的，所以基本上它与我们使用的数据集无关。 因此，获取模型然后将其应用于新数据变得非常容易。 我将继续并关闭它。 |
| 所以下一个数据集的场景，称为信用卡营销的数据，场景是 |
| 我们正在做一些关于接受信用卡优惠的市场调查。 并且响应被接受。 需要注意的是，只有 5.5% 的报价， |
| 使用历史数据，已被接受。 这实际上是一个设计实验，我们正在研究不同的奖励，不同的邮件类型， |
| 不同的财务信息，但设计的实验是奖励和邮件类型。 我们将专注于这个特定的建模目标。 我们希望确定最有可能接受信用卡优惠的客户。 |
| 通过这样做，我们将尝试 |
| 将模型应用于新客户，并根据这些新客户的分类，我们将决定是否向他们发送报价。 |
| 因此，如果客户不太可能接受该报价，我们将不会将其发送给他们。 如果他们很有可能，那么我们将把它发送给他们。 |
| 情况就是这样，回到 JMP，我们已经接受了报价。 在我谈论数据的同时，我将继续在这里运行一个保存的脚本。 |
| 我们有 10,000 个观测值，所以这将需要更长的时间，现在它正在运行这些模型，而我只是在这里使用默认设置。 所以我接受了offer， |
| 奖励类型是航空里程、现金返还或积分。 邮件类型是信件或明信片。 然后其余的是银行业务......历史银行信息和一些人口统计信息。 |
| 您会看到它正在运行支持向量机。 支持向量机可能会有点慢，尤其是在大数据集中，事实上，如果我们有超过 10,000 个观测值，它默认不会运行。 |
| 我们可以看到我们有平均余额。 数据被请求用于训练和验证，JMP 将自动将零识别为训练，将零识别为验证。 对，所以它运行了所有模型。 |
| 如果我选择显性，我们可以看到它选择了逐步拟合和决策树。 |
| 但我想指出这个错误分类率。 |
| 所以这是......这真的是我们在大海捞针时经常看到的东西，对吧。 如果我看一下这些数据，我将运行这些数据的分布...... |
| 让我把它放大一点，这样我们就能看得清楚一点，对吧。 所以我只是在查看验证数据，请注意 |
| 6.25, 6.2, 6.3% |
| 的价值是肯定的，他们回应了报价，这正是我们在这里得到的错误分类率。 |
| 为了更好地理解这一点，我将打开决策阈值。 |
| 让这个更大一点。 |
| 请注意，预测的“是”全为零，这是因为预测的概率都相对较低。 |
| 请记住，在经典混淆矩阵中，截止值是 0.5，如果您有不平衡的数据，那么在这种情况下，您不太可能将很多观察分类为是。 |
| 当我点击并拖动时， |
| 我到达了第一组点，然后我开始看到一些预测的肯定。 事实上，我会打开指标。 |
| 当您获得高度不平衡的数据时，预测的概率可能非常低。 |
| 因此，拥有这个滑块可以让您探索截止 |
| 这会影响您的敏感性和特异性。 所以在这种情况下，我们可能会说，好吧，如果我们要发送...... |
| 我将在此处输入 0.05...如果我们要向预测概率发送信用卡报价，则预测概率的前 5% 是的，对，我们的敏感性 |
| 两个模型之间大约是 0.72、0.75，我们的特异性仍然很高。 所以有了这个……这个截断，这个滑块，可以让你从你的模型中获得更多有用的信息。 |
| 所以，所以如果...在 0.5，我可以看到我得到了一些真正的肯定。 我也得到了很多误报，对，所以这里有一个权衡。 |
| 现在，在这种情况下，您可能还会产生一些财务影响。正确的。 所以考虑这个是有道理的...... |
| 利润矩阵。 还有一个按钮。 |
| 我点击这个。 |
| 利润矩阵是特定列的列属性，我们可以设置 |
| 那个从概率阈值中截断的值，作为列属性，或者我们也可以插入值。 你知道，在经典场景中，它可能要花费 5 美元 |
| 如果我们选择向某人发送报价。 |
| 如果他们回应提议， |
| 也许它值 100 美元。 因此，如果我们选择向某人发送报价，但他们没有回应，我们将损失 5 美元。 |
| 如果我们选择向某人发送报价，并且他们确实做出了回应，那么我们平均可以赚到 100 美元。 也许失去了一些机会，也许我们说我们损失了 100 美元 |
| 如果他们不回应。 通常这样做的代价是，这只是留空，我们只是为“是”插入值。 如果我应用它并单击确定， |
| 然后添加了一些新值，对。 所以，现在我们有一个利润矩阵，如果我查看我们的指标，那么我们可以看到预测的利润。 所以 |
| 平均而言，对于这个数据集中的每个客户，如果我们应用决策树模型，这将是 1.50 美元，如果我们应用逐步模型，则会少一点。 |
| 因此，在这种数据不平衡的情况下，当存在一些潜在成本时，使用利润矩阵是有意义的。 如果我们没有潜在成本， |
| 然后这个滑块可以帮助我们选择一个可以满足我们建模目标的截止点，好吧。 它可以是最大限度地提高灵敏度、最大限度地提高特异性或其他方式。 |
| 这就是本质上的模型筛选。 |
| 让我关闭它，然后回到幻灯片。 |
| 所以我们已经讨论了一些关于预测建模以及我们所说的预测建模的含义。 |
| 我们已经看到，您可以使用验证轻松拟合和比较许多模型，而模型筛选就是为了简化此工作流程。 |
| 如果需要，您仍然可以出去拟合单个模型，但模型筛选允许您在一个平台上同时拟合所有模型，然后比较这些模型。 |
| 有关更多信息，有许多不同类型的可用指标和许多用于分类数据的指标。 有一个真的很好 |
| 维基百科中有关敏感性和特异性以及所有...所有各种指标的页面，我发现这非常有用，因为我试图深入研究并了解如何解释所提供的指标。 |
| 一般有很多关于预测建模的资源，还有 JMP Pro 中的模型筛选 |
| 在我们的……在我们的用户社区中。 我将再次参考 STIPS。 STIPS 是我们解决工业问题的统计思维课程。 |
| 第七个模块是对预测建模的介绍，所以如果您是预测建模的新手，我建议您检查一下。 还有一个博客使用发布在我们社区上的糖尿病数据。 最后，你知道，任何新功能 |
| 将倾向于通过迭代改进。 JMP Pro 16 中引入了模型筛选。 我们已经在开发 JMP Pro 17，并且已经进行了很多改进。 |
| 因此，如果您有兴趣了解即将发生的事情，它为您提供了提供反馈的机会， |
| 您知道，请与我们联系以加入早期采用者计划，我们将为您进行设置。 感谢您抽出宝贵的时间，希望您能享受会议的其余部分。 |
