扬声器 | 成绩单 |
| 米娅·斯蒂芬斯 | 可能用不了 45 分钟。 |
| 好吧，我们很好。 |
| 该死的，为什么那个文本刚刚出现。 |
| 杰森威金斯，JMP | 你看到了吗，我只是想问我已经开始录音了，但有人会进来，把开头剪到结尾。 |
| 米娅·斯蒂芬斯 | 我会说你在录音。 |
| 杰森威金斯，JMP | 是的。 |
| 如果你愿意，我可以停下来。 |
| 嗯。 |
| 杰森威金斯，JMP | 好了开始录音。 |
| 米娅·斯蒂芬斯 | 大家好，我叫 MIA Stevens，是一名 JMP 产品经理。 |
| 而今天我们要说的是在JMPed 16 或JMP pro 16 模型屏幕筛选中首次出现的一项新功能。 |
| 实际上，让我重新开始。 |
| 杰森威金斯，JMP | 录音又开始了。 |
| 米娅·斯蒂芬斯 | 嗨，我是米娅·斯蒂芬斯。 |
| 我是一名 JMP 产品经理。 而今天我们要谈谈模型筛选。 模型筛选是 JMP Pro 16 中的一个新平台，它允许您同时拟合多个模型，从而简化您的预测建模工作流程。 |
| 因此，我们将首先谈谈我们所说的预测建模的含义，这与更经典的建模或解释性建模形成对比。 |
| 我们将了解您可以在 JMP Pro 中构建的模型类型，并稍微讨论一下预测建模工作流程。 然后我们将了解如何使用模型筛选来简化此工作流程。 |
| 我们将看到几个用于比较竞争模型的不同指标，我们将在 JMP Pro 中使用两个不同的示例，我将使用 JMP Pro 16.1。 |
| 那么首先，我们所说的预测建模是什么意思？ |
| 我们中的大多数人都在大学或学院或贵公司上过统计学课程，通常，当我们......当我们学习统计建模时，它是解释性建模。 |
| 我们的意思是，你有兴趣研究一些 Y 变量，一些感兴趣的响应，作为几个 X 或输入变量的函数。 |
| 所以我们可能对识别重要变量感兴趣，也许我们正处于解决问题的情况下，我们想尝试识别最重要的 X，最重要的潜在原因。 |
| 因此，作为解释性建模的结果，我们或许能够确定 X1、X3 和 X6 是 Y 变化的潜在原因，这可能会引导您使用设计的实验进一步研究这些变量。 |
| 我们可能也对量化关系的性质感兴趣，因此，例如，我们可能有兴趣了解 Y（我们的反应）作为 X 的函数平均如何变化。 |
| X 的一个单位变化与 Y 的五个单位变化相关联。 |
| 所以这就是我们在谈论建模、统计建模或回归分析时通常会想到的。 |
| 现在，相比之下，预测建模是关于准确预测或分类未来结果。 |
| 因此，在经典建模中，我们通常对均值、总体均值进行陈述。 在预测建模中，我们想知道接下来会发生什么。 那么，例如，这个客户会流失吗？ 请问这位顾客 |
| 接受信用卡优惠？ 机器会坏吗？ 所以我们有兴趣预测接下来会发生什么。 因此，我们对预测的准确性、准确性感兴趣。 |
| 在预测建模中，我们倾向于拟合和比较许多不同的可能模型，这涉及或可能涉及一些非常先进的技术。 |
| 其中一些技术可能不太容易解释。 所以如果你想到神经网络，神经网络通常被认为有点像黑盒子。 |
| 对于这些更复杂的模型，过度拟合可能会成为一个问题，我所说的过度拟合的意思是我们倾向于……我们可以拟合一个比我们需要的复杂得多的模型。 |
| 所以在预测建模中，我们倾向于使用模型验证。 我们使用模型验证来防止过度拟合和欠拟合。 模型验证涉及的是拆分我们的数据，拆分数据的一种典型方法是保留我们的一些数据...... |
| 好吧，我们的一些数据用于训练我们的模型，我们的一些数据被保留下来，我们可能还有第三组数据也被保留下来。 我们使用这些数据的方式是我们使用训练数据来拟合我们的模型 |
| 然后我们会看到模型在验证数据上的表现如何。 第三步可能会用到，这通常被称为测试集， |
| 因为验证...JMP 中的验证数据通常用于控制模型的大小。 所以我们将在几分钟内看到这一点。 |
| 我不会详细介绍验证，但如果这对您来说是一个相对较新的主题，我从我们的免费在线课程 STIPS 借来的幻灯片末尾有一些幻灯片，它说明了为什么验证是重要的。 |
| 在 JMP Pro 中，有许多不同类型的预测模型可供您使用。 |
| 其中一些可从拟合模型中获得，因此如果您有连续响应，则可以拟合线性回归模型。 如果你有一个明确的反应，你可以适应 |
| 逻辑回归模型。 这可以是序数或多项式或二项式回归模型。 您可以拟合广义线性模型或惩罚回归模型，如弹性网、套索和岭回归。 |
| 有一个包含许多项目的预测建模菜单，例如神经网络。 您可以在 JMP Pro 中使用神经网络 |
| 两层，有多个节点，多个激活函数，带有提升。 通常在 JMP 中， |
| 您可以使用同一平台为分类响应或连续响应拟合模型。 你可以适合各种不同类型的树，如果你有一个分类树 |
| 分类响应，回归树，如果你有一个连续的响应。 您还可以拟合一些更复杂的树类型，例如 bootstrap 森林和提升树。 你可以看到还有其他可用的方法。 |
| 并且在多元方法下有几个预测建模平台，所以判别分析和偏最小二乘法。 所以这绝不是一个详尽的列表，我会指出偏最小二乘法也可以从拟合模型中获得。 |
| 问题是，为什么我们需要这么多模型？ 在经典解释性建模中，我们通常学习回归分析，但显然有很多很多类型的模型可供我们拟合。 |
| 嗯，原因是没有一种模型总是最好的。 最好的模型通常取决于数据的结构。 |
| 你有多少变量，无论你有纯粹的连续 Xs 还是你有连续和分类变量的混合，如果你有非线性行为。 |
| 因此，没有哪一种模型始终是准确预测的最佳模型。 所以我们通常会尝试几种不同的模型，然后选择效果最好的模型或组合模型。 |
| 我们在更广泛的分析工作流程的背景下考虑预测建模。 |
| 当然，我们正在努力解决某些类型的问题，业务问题或工程问题。 |
| 但是我们编译数据，这可能是来自各种不同来源的数据，我们需要对这些数据进行配对，我们需要整理数据。 |
| 我们探索并可视化数据，以更多地了解我们可用的内容和额外的数据需求。 预测建模方面是分析数据和构建模型，在我看来，这才是真正有趣的地方。 |
| 因此，JMP 中的经典工作流程是您通过验证来拟合模型。 |
| 然后将预测公式保存到数据表中，或者将其发布到公式库中，稍后我们会看到。 |
| 然后你适合另一个模型。 因此，您可以从回归模型开始，然后拟合基于树的模型。 然后你重复这个并且你适合几种不同类型的模型。 |
| 然后使用模型比较来评估每个模型在验证数据上的性能。 所以请记住，我们使用训练数据来拟合模型，但是为了比较模型以查看哪个预测最准确，我们使用验证数据或测试数据。 |
| 我们选择最好的模型或模型的最佳组合。 |
| 然后我们部署模型，这是一种典型的工作流程。 |
| 现在，通过模型筛选，模型筛选的作用是简化这一过程。 因此，您可以在模型筛选平台中安装所有需要的模型， |
| 使用验证数据比较这些模型，选择最佳模型。 您可以探索模型，甚至可以从模型筛选中拟合新模型，然后您可以轻松部署最佳模型。 |
| 因此，为了更深入地了解这一点，我们将使用几个示例，第一个示例您可能很熟悉， |
| 糖尿病数据，这些都在示例数据目录中。 所以情况是研究人员希望能够预测疾病进展的速度 |
| 进行基线测量后一年。 所以有 10 个基线变量和 442 名患者，我们将在这里查看两种类型的反应。 响应 Y 是衡量一年内疾病进展程度的定量指标。 |
| 还有一个二元反应，高/低，高意味着疾病进展率高，低意味着进展率低。 |
| 这里的建模目标是预测最有可能出现高疾病进展率的患者，以便采取纠正措施。 |
| 因此，最终，我们希望能够做的是建立一个模型，使我们能够根据他们的人口统计变量和我们在这里拥有的基线信息对未来的患者进行分类。 所以我们希望能够 |
| 准确预测他们是否会出现高疾病进展率，以便我们随后采取行动。 好的，就是这样。 |
| 在我们进入 JMP 之前，我想谈谈我们如何决定哪个模型预测最好。 |
| 我提到我们为此使用验证或测试集，我们可以使用几种不同类型的度量。 |
| 对于连续响应，我们使用 RMSE，即主平方根误差，或 RASE，这是相关度量，均方根误差，这是预测误差，这里越低越好。 |
| 我们还可以使用 AAE（平均绝对误差）、MAD（平均绝对偏差）或 MAE，对于这些，越低越好。 所以这些是……这些是……这些是平均误差度量。 |
| 然后，R 平方，对于真正衡量拟合优度的 R 平方，越高越好。 |
| 所以我们倾向于使用这些来进行连续响应；还有许多其他类型的措施可供使用。 |
| 对于分类响应通常对错误分类或错误率或准确率感兴趣，我们可能对精度感兴趣。 |
| 还有其他指标，曲线下面积，我们在 ROC 曲线中看到的，灵敏度和特异性，这些有几种不同类型的名称。 |
| 当我们有不平衡的数据时，我们在模型筛选中添加了一些其他措施。 有一个 F1 分数和 MCC，这是马修斯相关系数，这是一个承担... |
| 或采用负一和正一之间的某些值的指标，它擅长衡量何时获得分类数据，数据在所有四个可能类别（真阳性、真阴性、假阳性）中的分类情况和假阴性。 |
| 那么让我们……让我们继续讨论 JMP。 |
| 我会打开数据。 |
| 所以这些是……我会放大一点，这些又是糖尿病数据。 |
| 如果你想玩弄这些数据，有一个使用这些数据的博客，你也可以在帮助下找到它们，然后样本数据。 |
| 同样，我们有一个响应 Y，让我把它放大一点，这是我们对疾病进展的持续衡量。 然后我们有一个结果为低或高的二进制 Y，我们将接受它……我们将逐一查看。 |
| 那么首先，让我们看看您是否...如果您有 JMP 15 或者如果您没有使用模型筛选，如果您有 JMP Pro，您将如何拟合预测模型来预测 Y，即连续响应？ |
| 请注意，我们有几个人口统计变量。 |
| 因此，其中有 10 个，并且有一个验证列，验证列将我们的数据划分为训练数据和验证数据。 |
| 所以我们将使用训练数据来拟合我们的模型，然后我们将看到当我们将模型应用于验证数据时模型的性能如何。 |
| 要创建此列，请使用分析、预测建模、制作验证列下的实用程序，这使我们能够创建验证列。 |
| 您可能有要用作分层列的变量，因此，例如，您要确保数据在整个 |
| 验证集。 我将在这里单击“确定”。 |
| 这使我们能够将一定比例的数据分配到不同的集合中。 |
| 这里还有一些有用的附加选项，所以如果您正在教学并且希望所有学生都具有相同的分区，那么随机种子非常好。 |
| 所以这是在之前使用的 |
| 分析，所以让我们首先看一下 Y 列，即连续响应。 因此，如果我要拟合预测模型，一个自然的起点就是拟合回归模型，而 JMP 中的回归是在拟合模型下进行的。 |
| 我的回答是 Y，我会拟合...从拟合仅主效应模型开始。 |
| 我将在此验证字段中输入验证，默认情况下，个性是标准最小二乘法。 但如果您熟悉 JMP 和 JMP Pro，就会知道个性下有很多不同的选项可用。 |
| 当我点击运行时， |
| JMP 16 中的一个变化是，如果我们通过预测图或任何其他图查看实际图，请注意有一个点……这里有些点带有 V，而不是点。 |
| 这是为了表明这些点实际上已分配给验证集，所以我们基本上是在看， |
| 你知道，模型在周围的随机噪声中的预测有多好，你可以看到存在一定程度的分散。 和 |
| 请记住，我们正在将我们的模型拟合到训练数据上，并且我们看到它在验证数据上的表现如何。 所以下面有一些统计数据。 因此，只要我们进行了验证，您就会看到训练集和验证集的一些额外统计数据。 |
| 我们可以看到这里有一些措施。 有 R Square，也有 RASE。 |
| 通常，当您将模型拟合到一组数据，然后将该模型应用于新数据时，它在新数据上的表现不会很好。 所以我们可以看到验证集的 R 平方较低，而错误 RASE 稍高一些。 |
| 曾经......我们在预测分析器下看到的一件事 |
| 那个通知是……注意总胆固醇和低密度脂蛋白在末端确实呈扇形分布。 |
| 当我拖动 |
| 胆固醇的值，请注意这个平均值的置信区间有多宽。 所以当我把它拖到低端时， |
| 它变得超宽，就像我将它拖到高端一样。 事实上，每个预测变量的所有这些间隔都变得非常宽。 |
| 这有点超出了本次谈话的范围，但这是因为我们实际上没有该地区的数据或大量数据。 如果我拿...看一看，我就去 |
| 抓住这两个变量，总胆固醇和低密度脂蛋白作为一个例子……胆固醇和低密度脂蛋白。 |
| 请注意，它们之间存在很强的相关性。 我没有这个地区的任何数据，我也没有这个地区的任何数据。 |
| 因此，如果您拟合预测模型或任何类型的模型，您会看到这些波段真的呈扇形展开， |
| 这表明您的预测在该地区不会非常准确。 JMP Pro 中有一项新功能， |
| 称为外推控制，如果这是一个问题，它可以警告你。 所以如果我把它拖出来， |
| 请注意，它告诉我，嘿，有可能进行推断；你的预测在这里可能有问题。 如果我打开外推控制， |
| 请注意，它截断了这些波段，它基本上是在说，你不能做出超出这些范围的预测。 这是无效的。 |
| 所以这有点超出了这个范围，但是如果你在你的预测分析器中看到呈扇形展开的波段， |
| 这通常是因为您的预测变量彼此相关，并且……可能是您只是没有足够的数据来对这些区域进行预测。 所以意识到这一点是件好事。 |
| 好吧，回到手头的任务，让我们看看，我适合这个模型并减少模型，这是我的最终模型。 |
| 我将通过保存预测公式将此模型保存到我的数据表中。 您会看到它向数据表添加了一个新列。 我刚刚建立了一个线性模型，所以它把这个公式保存到数据表中。 |
| 另一种方法是发布它，我将把它发布到公式仓库。 |
| 所以，最终，我要做的是拟合几种不同类型的模型（我将继续并关闭它）并且我想比较这些模型以便我可以使用它...... |
| 我可以通过保存公式并进行分析、预测建模、模型比较来做到这一点，我稍后会这样做，或者将它保存到公式库中。 |
| 将它保存到公式仓库的好处是现在我有了评分代码。 因此，例如，如果这是我想要应用于新数据的最终模型， |
| 我可以复制这个脚本，然后应用它来对新数据进行评分 |
| （我不会在这里这样做），或者如果我想在生产环境中使用这个模型，我可以用各种不同的语言创建代码。 |
| 所以这是一个简单的线性模型。 如果我想拟合不同类型的模型怎么办？ |
| 我可以在拟合模型中拟合更复杂的模型。 |
| 所以我可以拟合一个广义回归模型，也许我想拟合一个套索模型，所以我会点击这里。 |
| 在广义回归中有一些模型比较，但是假设我想保存这个模型，对吧。 |
| 而且我不是我没有太注意这里的细节，但我要保存这个。 我要把预测公式存出来。 也许我会继续发布那个。 |
| 去这里，发布这个。 |
| 我可能会重复这一点，我可能会拟合一个具有交互作用的模型。 然后我可能会继续拟合一个神经网络模型或分区模型，一个基于树的模型，如果我有一个分类响应，这将适合 |
| 分类树。 如果我有一个连续的响应，那将适合回归树。 我可能适合引导森林，它是较小的树或增强树的集合，所以我可以适合几种不同类型的模型。 |
| 一旦我得到我的模型并将公式保存或发布到公式仓库，我想找出哪个模型预测最准确。 |
| 所以我要使用模型比较。 |
| 我只是将验证添加为我的变量， |
| 因为我希望能够看到模型在验证数据上的表现如何。 只需使用这两个模型并查看验证数据（我将收起训练数据）， |
| 我可以看到最小二乘模型的平均误差较低，而最小二乘模型的 RASE 略高。 |
| 而我的 R 方块对于广义套索要好一些。 |
| 如果我们有 JMP 15 Pro 或 JMP Pro 15，或者如果我们不使用模型筛选，那么这就是我们进行预测建模的典型方法。 模型筛选的作用是让我们一步完成所有这些。 因此，我将进入预测建模并启动模型筛选。 |
| 模型筛选，如果你往下看这里的角落，基本上可以让我们启动对我们拥有的数据类型有意义的每个平台 |
| 并自动运行这些模型。 所以我们不必进入并从菜单中选择模型，我们可以从这里自动运行它。 所以我要拟合相同类型的模型，所以它是这里的主要效果模型。 |
| 这些是我的 X。 我将使用相同的验证。 |
| 这里有很多选项，我们稍后会讨论，我将单击“确定”。 请注意，我有一个决策树、bootstrap 森林、提升树、K 个最近的邻居。 |
| 默认情况下朴素贝叶斯是关闭的，我可以拟合一个神经模型。 |
| 底部还有其他人。 请注意，获得了 XGBoost，因此 XGBoost 可用，因为我安装了一个插件，即 XGBoost 插件。 |
| 因此，这是一个访问开源库的免费插件，如果您已将其安装在 JMP Pro 中，则可以从模型筛选平台启动它。 所以我打算把它关掉，然后单击“确定”。 |
| 所以它正在运行模型，它就在那里。 所以它出去了，实际上是跳过了一步，对吧。 它会自动为我运行这些模型中的每一个。 |
| 而且，您可以使用一些模拟来确定调整参数的最佳起始值，因此我们适合所有这些模型。 |
| 它会报告每个模型的验证训练和验证统计数据。 现在要找出这些模型中哪一个是最好的， |
| 选择主导。 select dominant 基本上所做的是在可用指标之间创建一个前沿，所以我在这里选择了 select dominant。 |
| 并发现对于这些数据，最好的模型是神经增强模型，然后该模型的详细信息在神经网络下。 |
| 因此，所有细节实际上只是启动平台并捕获所有信息，就在这个平台内。 |
| 所以这里的所有细节都是针对神经网络的，所以它基本上运行了一个 TanH，其中三个节点得到提升。 我可以看到训练统计数据和验证统计数据，如果我想看到实际适合的模型， |
| 这是基础模型。 |
| 对，所以这是……所以这是我表现最好的模型。 如果我想仔细看看这些模型，我可以从这里探索它们，这里有一些选项，我可以通过预测图查看实际情况。 |
| 我可以比较这些模型，所以正如预期的那样，我们的……训练数据的变化比验证数据和预测图的实际变化要少一些。 如果我想探索这个，我可以关闭某些模型。 |
| 我还可以启动探查器，如果你有 16.1，探查器是一个选项。 如果你有 16.0，它实际上是一个隐藏选项，我再次为此选择专业版。 探查器很好，因为它允许我们探索适合的模型，所以我选择了三个模型。 |
| 让我把它放大一点。 |
| 也许没有那么大。 |
| 所以我有一个引导森林，它是一个基于树的模型，它基本上将一堆不同树的结果加在一起。 |
| 我有一个提升模型，神经模型真的很好地拾取了非线性行为。 我有套索模型，它本质上只是一个线性模型。 |
| 你可以很清楚地看到这些模型。 注意广义套索，对，我在 BMI 之间有这种线性关系 |
| 和回应。 随着神经增强，我可以看到有一些曲率。 我可以在这里用 LTG 和引导森林看到它，我可以看到我有这个小阶梯函数，对，所以它实际上近似于我们这里的非线性关系。 |
| 所以如果我们决定神经增强模型是最好的， |
| 然后我们基本上可以启动模型，从这里启动它，我们可以将公式保存到数据表中，或者我们可以将它们发布到公式库中进行部署。 |
| 所以它节省了大量时间，并且仍然让我们能够探索我们的模型。 |
| 如果我们有明确的回应怎么办？ 所以请记住，我们有 Y 二进制。 我们可以用同样的方式使用 Y 二进制，所以我要去分析，然后再次调用模型筛选，我将点击召回，而不是 Y 我将使用 Y 二进制。 |
| 我们可以在其中运行相同类型的模型。 如果某种类型的模型没有意义，它就不会运行它。 因此，例如，最小二乘回归在这里没有意义，因此实际上不会运行它。 |
| 这里有几个选项。 如果我选择设置随机种子，如 1、2、3、4、5，这将给我可重复性，如果我从细节启动模型， |
| 它会...它会产生相同的结果。 我在这里有一些额外的选项用于验证。 |
| 所以事实证明，在许多情况下，使用训练、验证和测试的经典划分 |
| 实际上并不是最好的，特别是在小数据集中。 所以我可能想改用 K 折交叉验证，我们也有嵌套交叉验证。 |
| 并且可以做重复的 K 折验证。 所以这是一个不错的选择，特别是当你有一个小数据集时。 |
| 底部还有一些额外的选项。 因此，您可能想要添加双向交互作用或二次方程。 |
| 如果您知道自己缺少值，那么您可能想要使用信息性缺失。 其他方法适用于其他广义回归方法。 如果您参与了 JMP 17 早期采用者计划，您会注意到菜单对话的这一部分 |
| 或者对模型启动对话进行了一些重组，使其流畅一些。 是的，所以我将在这里使用默认设置和随机种子，然后单击“确定”。 |
| 所以它正在运行所有这些模型。 同样，它非常非常快。 那么现在，因为我有一个二进制响应，所以我有一些额外的指标。 我有两个 |
| R 平方度量，我有错误分类率，曲线下的区域，RASE。 请记住，这与均方根误差有关。 再次，我将单击选择主导，它再次发现神经增强，但情况并非总是如此。 |
| 如果我选择我认为是顶级的模型，即红色三角形下的选项，您可以查看这些模型的 ROC 曲线，同样，我可以打开和关闭模型的复选标记。 让我 |
| 选择这个。 模型比较平台和 JMP 17 中也提供了我最喜欢的新功能之一，它被添加到任何进行分类建模的建模平台，这就是所谓的决策阈值。 |
| 我认为这是我们在 JMP 16 中添加的...之一...最强大的功能之一。 |
| 因此，在选择了这三个模型后，它为我提供了这三个模型的分类摘要。 |
| 我要把它放大一点，这样我们就能看得更清楚一点。 |
| 所以我们阅读这篇文章的方式是，如果我们只看一下神经增强，它向我们展示了神经的两个类别……神经增强，我们预测的概率很高。 所以这些都是高拟合概率。 |
| 截止值为 0.5，因此低于 0.5 的任何值都被归类为低；任何高于 .5 的都被归类为高。 |
| 所以，如果我们看这里的这个红色块，这些都是被分类为低但实际上是高的点，我们可以在这里看到这个数字。 其中有 29 个，所以这些是假阴性。 |
| 下面的红色框，这些被归类为高， |
| 但它们实际上是低点。 所以这些是误报，这些人在这里。 |
| 底部是一些指标，一些图表可以帮助我们理解这一点，并做出……并帮助我们做出一些决定。 还有一些指标，所以我们可以在这里看到相同的值，29 个假阴性，17 个假阳性。 |
| 我们还可以看到真正的正面和负面。 我真正喜欢的是它让我可以探索不同的截止点。 |
| 因此，例如，根据您的建模目标，我们可能对高灵敏度感兴趣，但我们真的不希望低特异性。 |
| 灵敏度，这里的这个键很有用，灵敏度就是真正的阳性率；特异性是真阴性率。 |
| 你知道，我们能找到一个在这两个方面都做得更好的截止点吗？ 通过单击和拖动，您可以更改分类的截止值 |
| 并尝试找到一个做得更好的截止点。 因此，例如在 0.26，我将在这里输入一个很好的四舍五入的数字，在 0.25 的截止值处，灵敏度更高，同时仍保持高特异性。 |
| 我隐藏的图表对于解释这些数字也非常有用，因此它们为我们提供了错误分类的全貌 |
| 按阈值，按部分，然后是真实分类。 所以如果我想找到一个平衡特异性和敏感性的点，我可以看看这张图。 |
| 所以这些最上面的线是灵敏度，虚线是特异性，是否有一个点我仍然高于某个灵敏度值... |
| 灵敏度，我的特异性在哪里保持高？ 我们可以……我们可以平衡这些。 所以如果我看这里，我可以看到这就是两条线的交叉点。 |
| 如果我们遇到数据不平衡的情况，这就变得非常重要。 那么让我们来看另一个例子。 所以我要结束这个 |
| 不保存这个。 让我关闭公式仓库，顺便说一句，公式仓库是独立的，所以基本上它与我们使用的数据集无关。 因此，采用模型然后将其应用于新数据真的很容易。 我要继续并关闭它。 |
| 所以下一个数据集的场景，称为信用卡营销的数据，场景是 |
| 我们正在做一些关于接受信用卡优惠的市场调查。 响应是接受报价。 需要注意的是，只有 5.5% 的报价， |
| 使用历史数据，已被接受。 这实际上是一个设计实验，我们正在研究不同的奖励，不同的邮件类型， |
| 不同的财务信息，但设计的实验是奖励和邮寄类型。 我们将专注于这个特定的建模目标。 我们想要确定最有可能接受信用卡优惠的客户。 |
| 通过这样做，我们将尝试 |
| 将该模型应用于新客户，根据这些新客户的分类，我们将决定是否向他们发送报价。 |
| 因此，如果客户不太可能接受该优惠，我们就不会将其发送给他们。 如果他们很有可能，那么我们将把它发送给他们。 |
| 情况就是这样，回到 JMP，我们已经接受了报价。 在谈论数据时，我将继续并在此处运行保存的脚本。 |
| 我们有 10,000 个观察结果，所以这会花费更长的时间，现在它正在运行这些模型，我只是在这里使用默认设置。 所以我已经接受了报价， |
| 奖励类型是航空里程、现金返还或积分。 邮寄类型是信件或明信片。 然后其余的是银行业务……历史银行信息和一些人口统计信息。 |
| 您会看到它正在运行支持向量机。 支持向量机可能会有点慢，尤其是在大数据集中，事实上，如果我们有超过 10,000 个观察值，它默认情况下不会运行。 |
| 我们可以看到我们有平均余额。 数据被请求用于训练和验证，JMP 会自动将零识别为训练，将零识别为验证。 是的，所以它运行所有模型。 |
| 如果我选择 dominant，我们可以看到它选择了 fit stepwise 和 decision tree。 |
| 但我想指出这个误分类率。 |
| 所以这是……这真的是我们在大海捞针时经常看到的东西，对吧。 如果我看一下这些数据，我将对这些数据进行分发... |
| 让我把它放大一点，这样我们就能看得更清楚一点，对吧。 所以我只是在查看验证数据，请注意 |
| 6.25, 6.2, 6.3% |
| 的值是肯定的，他们响应了提议，这正是我们在这里得到的错误分类率。 |
| 为了更好地理解这一点，我将打开决策阈值。 |
| 把它弄大一点。 |
| 请注意，预测的是全为零，这是因为预测的概率都相对较低。 |
| 请记住，在经典的混淆矩阵中，截止值为 0.5，如果您有不平衡的数据，在这种情况下，您不太可能将很多观察结果分类为是。 |
| 当我点击并拖动时， |
| 然后我得到了第一组点，然后我开始看到一些预测的是。 事实上，我会打开指标。 |
| 当您拥有高度不平衡的数据时，预测的概率可能会非常低。 |
| 所以，有了这个滑块，您就可以探索截止点 |
| 这会影响您的敏感性和特异性。 所以在这种情况下，我们可能会说，好吧，如果我们要发送... |
| 我将在这里输入 .05...如果我们要将信用卡报价发送到预测概率，是的预测概率的前 5%，对，我们的敏感性 |
| 两个模型之间的差异约为 0.72、0.75，我们的特异性仍然很高。 所以有了这个......这个切断，这个滑块，可以让你从你的模型中获得更多有用的信息。 |
| 所以，所以如果......在 0.5，我可以看到我得到了一些真正的肯定。 我也得到了很多误报，对吧，所以这里需要权衡。 |
| 现在，在这种情况下，您可能还会产生一些财务影响。正确的。 所以考虑这个是有道理的...... |
| 利润矩阵。 还有一个按钮。 |
| 我点击这个。 |
| 利润矩阵是特定列的列属性，我们可以设置 |
| 从概率阈值中截取的那个值作为列属性，或者我们也可以插入值。 你知道，在经典场景中可能要花费 5 美元 |
| 如果我们选择向某人发送报价。 |
| 如果他们回应提议， |
| 也许它值 100 美元。 因此，如果我们选择向某人发送报价，而他们没有回应，我们就会损失 5 美元。 |
| 如果我们选择向某人发送报价，而他们确实做出了回应，那么我们平均可以赚到 100 美元。 也许失去了一些机会，也许我们说我们损失了 100 美元 |
| 如果他们不回应。 通常这样做的代价是，这只是留空，我们只是为是的插入值。 如果我应用它并单击确定， |
| 然后添加一些新值，对吧。 所以，现在我们有了一个利润矩阵，如果我查看我们的指标，那么我们可以看到预测的利润。 所以 |
| 平均而言，对，对于这个数据集中的每个客户，如果我们应用决策树模型，它表示将赚取 1.50 美元，如果我们应用逐步模型，则会少一点。 |
| 因此，在这种数据不平衡且存在一些潜在成本的情况下，使用利润矩阵是有意义的。 如果我们没有潜在成本， |
| 然后这个滑块帮助我们选择一个截止点，这将使我们能够满足我们的建模目标，好的。 它可能是最大化灵敏度、最大化特异性或其他。 |
| 这就是本质上的模型筛选。 |
| 让我关闭它，然后回到幻灯片。 |
| 因此，我们已经讨论了一些关于预测建模以及我们所说的预测建模的含义。 |
| 我们已经看到，您可以使用验证轻松地拟合和比较许多模型，而模型筛选就是简化此工作流程。 |
| 如果你愿意，你仍然可以出去拟合单个模型，但是模型筛选允许你在一个平台上同时拟合所有模型，然后比较这些模型。 |
| 有关更多信息，有许多不同类型的可用指标和许多分类数据的指标。 有一个非常好的 |
| 维基百科中关于敏感性和特异性以及所有......所有各种指标的页面，我发现这非常有用，因为我试图深入研究并理解如何解释所提供的指标。 |
| 一般而言，有很多关于预测建模的资源，还有 JMP Pro 中的模型筛选 |
| 在我们的...在我们的用户社区中。 我将再次参考 STIPS。 STIPS是我们的工业问题解决统计思维课程。 |
| 第七个模块是对预测建模的介绍，所以如果您是预测建模的新手，我建议您查看一下。 还有一个博客使用发布在我们社区上的糖尿病数据。 最后，你知道，任何新功能 |
| 将倾向于经历迭代改进。 JMP Pro 16 中引入了模型筛选。 我们已经在开发 JMP Pro 17，并且已经进行了大量改进。 |
| 所以如果你有兴趣看看即将发生的事情，它让你有机会提供反馈， |
| 您知道，请联系我们加入早期采用者计划，我们会帮助您完成设置。 感谢您抽出宝贵时间，希望您享受会议的其余部分。 |
