| 扬声器 |
抄本 |
| 米娅·斯蒂芬斯 |
模型筛选。 |
| |
如果您从事任何预测建模工作,您会发现模型筛选有助于简化预测建模工作流程。 |
| |
因此,在本次演讲中,我将概述预测模型,讨论我们可以在 JMP 中使用的不同类型的预测模型。 |
| |
我们将讨论更广泛的分析工作流程中的预测建模工作流程,并了解模型筛选如何帮助我们简化此工作流程。 |
| |
我将讨论使用验证数据比较竞争模型的一些指标,我们将在 JMP Pro 中看到几个示例。 |
| |
首先,让我们稍微谈谈预测模型以及什么是预测模型。 |
| |
你可能接触过回归分析,回归是解释性建模的一个例子。在回归分析中,我们通常感兴趣的是构建一个模型 |
| |
响应值(Y)作为一个或多个X的函数,我们可能有不同的建模目标。我们可能对识别重要变量感兴趣。那么,关键的X,或者说关键输入变量是什么呢? |
| |
例如,在解决问题的环境中,我们可能会集中精力解决哪些问题? |
| |
我们可能有兴趣了解响应如何根据输入变量平均变化。 |
| |
X 的一个单位变化与 Y 的五个单位变化相关。所以这是经典的解释模型,如果你在学校学过统计学,你可能就是这样学习回归的。 |
| |
相比之下,预测模型的目标略有不同。在预测模型中,我们的目标是准确预测或分类未来的结果。 |
| |
因此,如果我们的反应是连续的,我们希望能够尽可能精确地预测下一个观察结果、下一个结果。 |
| |
如果我们的回答是分类的,那么我们感兴趣的就是分类。同样,我们感兴趣的是利用当前数据来预测未来在个体层面上会发生什么。 |
| |
我们可能会拟合并比较许多不同的模型,在预测建模中,我们可能还会使用一些更高级的模型。我们可能会使用一些机器学习技术,比如神经网络。 |
| |
有些模型可能不太容易解释,而且很多模型有很多不同的调整参数需要设置。因此,预测模型可能会出现过度拟合的问题。 |
| |
过度拟合意味着我们拟合的模型比它需要的更复杂。 |
| |
因此,对于预测模型,我们通常使用验证,并且我们可以使用几种不同的验证形式。 |
| |
我们使用验证来比较和选择模型,从根本上来说,它可以防止过度拟合,也可以防止欠拟合。 |
| |
欠拟合是指我们拟合的模型不够复杂,它并没有真正捕捉到数据的结构。 |
| |
现在,在幻灯片末尾的附录中,我提取了一些幻灯片来说明验证的重要性,但就本次演讲的重点而言,我只会在拟合预测模型时使用验证。 |
| |
我们可以在 JMP Pro 中安装多种不同类型的模型,但这绝不是一份详尽的清单。 |
| |
我们可以拟合几种不同类型的回归模型。如果我们有一个连续的响应,我们可以拟合一个线性回归模型。 |
| |
如果我们的响应是分类的,则是逻辑回归模型,但我们也可以拟合广义线性模型和惩罚回归方法,这些都来自拟合模型平台。 |
| |
预测建模平台下有很多选项,包括神经网络、增强神经网络以及不同数量的层和节点, |
| |
分类和回归树,以及更先进的基于树的方法,以及其他几种技术。 |
| |
多元方法平台还提供了一些预测建模选项,因此可以进行判别分析 |
| |
偏最小二乘法是两种不同的……另外两种可用于预测建模的模型。顺便说一下,偏最小二乘法也可以从拟合模型中获得。 |
| |
为什么我们有这么多模型? |
| |
在预测模型中,你经常会发现,没有一个模型 |
| |
或者说建模类型总是效果最好。在某些情况下,神经网络可能是最好的,而且神经网络通常表现相当……相当不错。 |
| |
但您可能会发现在其他情况下,更简单的模型实际上表现最佳,因此最适合您的数据和最准确预测的模型类型主要取决于您的响应,也取决于您的数据结构。 |
| |
因此,您可能会拟合几种不同类型的模型并比较这些模型,然后找到最准确拟合或预测最准确的模型。 |
| |
因此,在更广泛的分析工作流程中,你首先要解决某个问题,然后编译数据、准备数据、探索数据, |
| |
预测建模的关键在于分析和构建模型。典型的预测建模工作流程可能类似于此,即拟合模型并进行验证。 |
| |
然后将该公式保存到数据表或将其发布到公式库。 |
| |
然后你拟合另一个模型并重复此过程,因此你可能会拟合几个不同的模型 |
| |
然后比较这些模型。在 JMP Pro 中,您可以使用模型比较平台来执行此操作,比较模型在验证数据上的性能,然后选择最佳模型或最佳组合模型,并部署该模型。 |
| |
与模型筛选不同的是,所有的模型拟合和比较,这种选择都是在一个平台,即模型筛选平台内完成的。 |
| |
因此,我们将使用一个您可能熟悉的示例,社区中发布了一篇关于使用这些数据进行模型筛选的博客,这些是糖尿病数据。 |
| |
因此,情况是研究人员想要预测基线一年后的疾病进展速度。 |
| |
因此,存在几种基线测量,然后有两种不同类型的响应。 |
| |
响应 Y 是定量测量,是连续测量,所以这是疾病进展的速度,然后还有第二个响应,Y Binary,它是高或低。 |
| |
因此 Y Binary 可以表示较高的进展率或较低的进展率。 |
| |
这里的预测模型的目标是预测最有可能出现高疾病进展率的患者,以便采取纠正措施 |
| |
以防止这种情况发生。所以我们将……我们将在 JMP Pro 中研究如何针对这两种响应拟合模型,并了解如何使用模型筛选来拟合相同的模型。 |
| |
在介绍 JMP 之前,我想先简单谈谈我们如何比较预测模型。 |
| |
我们在验证集或测试集上比较预测模型。所以,我们所做的基本上就是将模型拟合到我们数据的一个子集,也就是训练数据。 |
| |
然后我们将该模型与保留的数据(通常我们称之为验证数据)进行拟合,以查看模型的运行情况。 |
| |
如果我们有连续的响应,我们可以使用误差度量,即均方根误差 (RMSE) 或 RASE,即路线平均平方误差,所以这是预测误差的度量。 |
| |
AAE、MAD、MAE 是平均误差的测量值,我们可能会使用不同的 R 平方测量值。 |
| |
为了获得分类响应,我们最感兴趣的是错误或错误分类的度量。 |
| |
我们可能还对查看 ROC 曲线、AUC(曲线下面积)或敏感度、或特异性、假阳性率、假阴性率感兴趣。 |
| |
F1-Score 和 MCC,即马修斯相关系数。 |
| |
因此,让我切换到 JMP。 |
| |
把它收起来,我会打开糖尿病数据。 |
| |
让我把它放大以便你能够看到它。 |
| |
这些就是数据。这里有……442 位患者的信息,我们得到了响应 Y,它是连续的,代表一年后疾病进展的程度。我们首先查看 Y,然后我们还有第二个变量,Y 二元变量。 |
| |
我们已获得基线信息。 |
| |
还有一列验证。再次强调,当我们拟合模型时,我们将仅使用训练数据来拟合模型,并使用验证数据来告诉我们何时停止模型的增长,并衡量模型的实际拟合效果。 |
| |
现在要构建此列,预测模型下有一个名为模型验证列的实用程序。 |
| |
这为我们构建验证列提供了许多选项,因此我们可以将数据划分为训练验证和测试集。 |
| |
在大多数情况下,如果我们使用这种将数据划分为子集的技术, |
| |
建议使用测试集。测试集可以让你评估模型在未用于构建模型或停止模型增长的数据上的性能,因此,即使在这种情况下我们没有测试集,我还是建议这样做。 |
| |
假设我想……我想找到一个能够最准确地预测响应的模型。正如你所见,有很多不同的模型可供选择。 |
| |
我将从适合的模型开始。 |
| |
这通常是一个很好的起点。 |
| |
我要建立一个回归模型,以 Y 作为响应,X 作为模型效应,现在我只添加主效应。然后我要添加一个验证列。 |
| |
现在从拟合模型来看,这里的默认值是标准最小二乘法,但我们可以拟合很多不同类型的模型。 |
| |
我只是要运行最小二乘模型。 |
| |
这里有几点需要指出。注意这里的标记,V。 |
| |
请记住,我们将模型与训练数据进行拟合,但我们也想看看模型在验证数据上的表现如何,因此所有这些带有 V 的标记都是验证集中的观察值。 |
| |
因为我们有验证,所以这里有一个交叉验证部分,所以我们可以查看训练集和验证集上的 R 平方,然后查看 RASE。 |
| |
通常你会发现验证统计数据会比训练统计数据差一些,差距越大,就越能说明你的模型是过度拟合还是欠拟合。 |
| |
我想指出这里超出本次演讲范围的另一件事,那就是这个预测分析器。 |
| |
预测分析器 |
| |
这实际上是我最初开始使用 JMP 的原因之一。它是一种非常强大的理解模型的方法。 |
| |
因此我可以改变任意 X 的值,看看预测响应会发生什么变化,这是平均值, |
| |
这些模型,我们预测的是平均值。但请注意,这些带状区域是如何向外扩散的,分别对应总胆固醇、低密度脂蛋白(LDL)、高密度脂蛋白(HDL)。这是因为我们没有这些区域的数据。 |
| |
所以我想快速指出一下这个新功能,这超出了本次演讲的范围,它被称为外推控制。如果我打开警告并拖动 |
| |
总胆固醇,注意它告诉我有一个可能的外推。这告诉我,我试图在一个我实际上没有任何数据的区域进行预测,如果我转向 |
| |
外推控制开启后,注意它会截断这条线,也就是截断这条线,所以它基本上是在说你无法在那个区域做出预测。所以,如果你正在拟合模型,你可能需要检查一下。这是一个非常强大的工具。 |
| |
假设我已经完成了所有的诊断工作。我已经简化了这个模型,并且希望能够保存我的结果。 |
| |
嗯,有几种方法可以做到这一点。我可以转到红色列,保存列,保存预测公式。 |
| |
这样,我刚刚构建的线性模型就保存到数据表中了。你可以在后台看到它。然后,如果我向这个数据表添加新值,它就会自动预测响应。 |
| |
但我可能想以另一种形式保存模型,因此,我可能会发布 |
| |
把这个公式导出到公式库。公式库实际上独立于我的数据表,但这样我就可以复制脚本,粘贴到另一个包含新数据的数据表中,从而对新数据进行评分。 |
| |
或者我可能想用不同的语言生成代码,以便我能够在某种生产系统中部署它。 |
| |
我要继续,结束这个话题。这只是一个模型。如果我拟合一个更复杂或更精密的模型,它的性能可能会更好吗? |
| |
所以我可能会拟合另一个模型。比如,我可能……我只需要调用召回率。我可能会把特征从标准最小二乘法改为广义回归。 |
| |
这样我就可以指定不同的响应分布。我只需要选择“正常”并点击“运行”。 |
| |
这样我就可以拟合不同的惩罚方法,并使用不同的变量选择技巧。如果你还没了解过广义回归, |
| |
这是一个超级强大、超级灵活的现代建模平台。我只需点击“开始”即可。假设我符合这个模型 |
| |
我希望能够将此模型与我已保存的模型进行比较。因此,我可能会将预测公式保存到数据表中。这样,数据表的背景中就多了一列。 |
| |
或者我可能再次想发布这个 |
| |
到 |
| |
公式细节,现在我得到了两个不同的模型。我可以继续。这只是广义回归的一个模型。我还可以拟合几种不同类型的 |
| |
预测模型菜单中的预测模型,例如神经网络、分区、自举森林或增强树。 |
| |
现在,通常我需要做的就是拟合所有这些模型,将结果保存到数据表或公式库中,如果我将它们保存到 |
| |
通过数据表,我可以使用这个模型比较平台来比较不同的竞争模型。我可能有很多模型,但这里只有两个。 |
| |
我实际上甚至不需要指定模型是什么,只需要指定验证。我其实比较喜欢把验证放在“by”字段里。 |
| |
这样就能得到训练集和验证集的拟合统计数据,我只需要查看验证步骤的统计数据。这样我就能用它来选择性能最佳的模型。 |
| |
我感兴趣的是更高的 R 平方值、更低的 RASE(均方根误差)值以及更低的平均绝对误差。在这两个模型中,看起来这个拟合最小二乘回归模型是最好的。 |
| |
现在,如果我要拟合所有可能的模型,这可能会非常耗时。因此,JMP Pro 16 中新增了一个称为“模型筛选”的平台,可以解决这个问题。 |
| |
当我启动模型筛选时,它顶部会有一个对话框,就像我们所看到的一样,所以我会继续填充它。 |
| |
我将添加一个验证,但在侧面,您会看到我可以选择几个不同的模型并一次性拟合这些不同的模型。 |
| |
因此决策树、自举森林、提升树、K 最近邻,对,我可以适应所有这些模型。 |
| |
而且它不会运行没有意义的模型,所以我有一个连续响应逻辑回归作为我的选项之一,它不会运行逻辑回归模型 |
| |
并持续响应。请注意,这里还有这个选项:XGBoost。 |
| |
出现这种情况的原因是有一个插件,它实际上使用了开源库,如果你安装这个插件(它可以在我们的 JMP 用户社区中找到, |
| |
它被称为 XGBoost,并且仅在 JMP Pro 中有效),但如果您安装此插件,它将自动出现在模型筛选对话框中。 |
| |
所以我只需单击“确定”,当我单击“确定”时,它将启动每个平台。 |
| |
然后它会把所有结果拉到一个窗口中。所以我点击了“确定”。我这里数据不多,所以速度非常快。 |
| |
在详细信息下面,列出了所有已拟合的模型。如果我打开其中任何一个对话框,就可以看到结果,并且可以访问该菜单中的其他选项。 |
| |
所以我要隐藏细节。默认情况下,它会报告训练数据的统计数据,但它会显示验证数据的结果,这样我就能看到 R 平方和 RASE。 |
| |
默认情况下,它按 RASE 的顺序排序,其中最低的为最佳的。 |
| |
但是我这里有一些小的快捷选项,所以如果我想找到最好的模型,并且可能 R 平方对于某些模型是最好的,但是 RASE 对于其他模型更好,我将单击选择主导。 |
| |
在这种情况下,它选择了神经增强模型,所以在所有这些模型中,最好的模型是神经增强模型。如果我想更深入地了解这个模型,我可以查看这里神经增强模型的详细信息。 |
| |
或者,我可以简单地说,选择运行。 |
| |
现在我没有谈论这个,但是在对话窗口中有一个设置随机种子的选项。 |
| |
如果我设置了随机种子,那么这里启动的结果将与我在这里看到的完全相同。所以这是一个……这是一个 |
| |
我们使用 TanH 函数构建了一个包含三个节点的神经模型,但它也使用了 boosting 算法。因此,在设计这个平台时,开发人员进行了大量的模拟,以确定不同模型的最佳起点和最佳默认设置。 |
| |
因此神经增强是最好的。 |
| |
和 |
| |
如果我想要部署这个模型,现在我可以做的是保存脚本 |
| |
或者我可以运行它,或者我可以将它保存到更深的公式中。 |
| |
这是连续型响应,红色三角形下方还有其他选项。如果我有分类响应怎么办?对于分类响应,我可以使用相同的平台。所以,我再次进行模型筛选。 |
| |
我将单击“调用”,但不是使用 Y,而是使用 Y Binary。 |
| |
我不会改变任何默认方法。我会输入一个随机种子,例如 12345,我只是抓取随机数。 |
| |
这样做可以提高可重复性。如果我将任何模型保存到数据表或公式库中, |
| |
模型中的统计数据和拟合度都是一样的。这里还有一些其他选项。我们可能需要关闭一些功能,比如报告。 |
| |
我们可能想使用不同的交叉验证方法,因此该平台包括 K 折验证,但它也使用嵌套 K 折交叉验证。 |
| |
我们可以重复一遍。太棒了。有时候,把数据划分成训练集、验证集和测试集并不是最好的选择,K 折 |
| |
实际上可以稍微好一点。底部还有一些额外的选项。所以我们可能想添加双向交互。我们可能想添加二次效应。 |
| |
在“附加方法”下,这将拟合附加广义回归方法。所以我继续,点击“确定”。 |
| |
好的。它运行了所有模型,而且这是一个小数据集。它非常快。 |
| |
是的,外观和感觉都一样,但现在统计数据不同了。所以我得到了错误分类率。我得到了曲线下面积。我还得到了一些 R 平方值和均方根误差。 |
| |
我将单击选择主导,再次强调,主导方法是神经增强。 |
| |
现在,如果我想探索一些不同的模型,该怎么办?这样一来,这里的误分类率就比逐步分类低得多了。 |
| |
AUC 有点类似,总体来说最低,但可能也好不到哪里去。让我选几个。如果我点击几个,也许我会……也许我会选这四个,这五个。 |
| |
如果我有兴趣查看 ROC 曲线来比较模型,我可以查看 ROC 曲线。 |
| |
这里有一些不错的控制,可以让我关闭模型并专注于某些模型。 |
| |
令我非常兴奋的一个新功能是所谓的决策阈值。 |
| |
决策阈值允许我们观察什么, |
| |
它首先查看训练数据,然后为我们提供数据快照。 |
| |
误分类率是基于0.5的分类截止值。所以对于每个模型,它都会显示实际的高点和低点。如果我们关注高点,绿点就会被正确分类为高点。 |
| |
红色区域中的分类是错误的,所以它向我们展示了正确的分类和错误的分类,然后在侧面报告所有的统计数据 |
| |
然后在下面我们看到几个不同的指标以及许多图表,让我们可以查看错误分类和真实分类。 |
| |
我要关闭它并查看 |
| |
验证数据。 |
| |
那么这为什么有用呢?嗯,你可能在某个特定场景下,想要最大化灵敏度 |
| |
同时保持一定的特异性。敏感性……这里有一些定义。敏感性是真阳性率; |
| |
特异性指的是真阴性率。在这种情况下,我们想要观察疾病进展,所以我们要确保……我们保持较高的敏感度。 |
| |
同时还要确保我们的特异性很高,好吗?所以我们可以用这个滑块来操作,我们可以抓住它, |
| |
我们可以看到,随着分类截止值的改变,分类是如何变化的。 |
| |
因此,我认为当您查看竞争模型时,这是一个非常强大的工具,因为您可能有一些模型的整体截止值为 0.5,它们可能具有最佳的错误分类率。 |
| |
但也可能出现这样的情况:如果改变分类的截止值,不同的模型可能会表现不同。比如,如果我在某个区域,我可能会发现逐步模型实际上更好。 |
| |
现在为了进一步说明这一点,我想举一个不同的例子。 |
| |
这个例子叫做信用卡营销。 |
| |
如果我回到我的幻灯片只是为了介绍这个场景。 |
| |
这是一个场景 |
| |
我们根据市场调查获得了大量有关信用卡优惠接受度的数据。 |
| |
答案是,这个offer被接受了吗?而在本研究中,只有5.5%的offer被真正接受了。 |
| |
现在我们关注一些因素,因此提供了不同类型的奖励, |
| |
邮件类型也多种多样。所以这实际上是一个设计好的实验。我们实际上会忽略这项研究的这个方面。 |
| |
还有财务信息,所以我们将坚持...在这个例子中坚持一个目标,那就是确定最有可能接受报价的客户。 |
| |
如果我们能够识别出最有可能接受报价的客户,在这种情况下,我们可能会只向更有可能接受报价的那部分客户发送报价,而忽略其余客户。这就是我们目前的情况。 |
| |
我要打开这些数据。 |
| |
我已经得到了 10,000 条观察结果,我的回应是接受报价。 |
| |
我已经将脚本保存到数据表中,因此我获得了飞行里程、邮件类型、收入水平、信用评级和其他一些财务信息。 |
| |
它正在运行……我运行了一个保存脚本。它正在运行所有模型。在这种情况下,神经网络会花费最多的时间,因为它运行的是增强神经网络。 |
| |
这还需要几秒钟。它正在运行支持向量机。如果我的观测值超过 10,000 个,支持向量机就会超时,实际上无法运行。 |
| |
我再等一秒钟。我正在使用验证,所以我用的是标准验证,我有一个验证列。在本例中,我有一列 0 和 1,JMP 会识别 0 代表训练数据,1 代表验证数据。 |
| |
好的。就是这样。好的,它运行了,如果你正在处理一个大型数据表,那么你可以运行一个报告。 |
| |
查看耗时。在这种情况下,支持向量机实际上花费的时间最长,这就是为什么有时如果我们有超过 10,000 个观测值,它就无法运行。 |
| |
让我们看看这些。如果我选择主导模型,我们最好的模型是一个神经增强模型和一个决策树。但我想在这里指出一点。注意错误分类率。 |
| |
除了支持向量机之外,所有模型的误分类率都相同。为什么会这样呢?如果我运行一个 offer accepted 的分布 |
| |
(我把这个放大一点,这样我们就能看得更清楚了)我们只关注验证数据,注意到我们观察到的 0.063% 的答案是“是”。这正是我们模型预测的结果。 |
| |
为什么这样做呢? |
| |
我将再次询问决策阈值。 |
| |
重点关注这张图,它有很多用途,在本例中,它向我们展示了分类的截止值是 0.5 |
| |
但我们的拟合概率都远不及这个数字,对吧?因此,模型要么正确地将“否”归类为“否”,要么 |
| |
或者把“是”归类为“否”。它从来没有把任何结果归类为“是”,因为所有概率都不大于0.5。所以如果我把这个模型拉长, |
| |
对,我看出了这两个模型的区别。神经网络增强模型的最高概率大约是 0.25,而决策树模型的最高概率大约是 0.15。 |
| |
注意,决策树本质上是进行一系列二元分割,基本上我会得到几个预测值,而神经网络增强算法则会在点中呈现出一个很好的随机模式。所以,我把它改成 0.12 左右。 |
| |
对,它在 .12 处截止,事实上,如果我将其滑动一下,请注意,我得到的值越低,我实际上就开始得到(我将在这里打开指标)我开始得到一些真正的积极因素。 |
| |
然后我开始得到一些误报。所以当我拖动它时,你可以在条形图中看到它,但是条形图有点小,对吧。神经增强后,我开始看到一些真阳性和一些误报。 |
| |
现在你开始看到它们了。一旦我通过第一组点,我就开始看到决策树了。 |
| |
因此,对于这些数据使用 0.5 的截止值是没有意义的,而且我可能再次尝试找到一个可以给我带来最高敏感度的截止值,同时保持适当的特异性水平。 |
| |
在这种情况下,我要指出另外两个统计数据。 |
| |
F1 是 F1 分数,它实际上衡量了我们捕捉真实阳性的能力。 |
| |
MCC 是马修斯相关系数,它能很好地衡量四种可能性的分类效果。所以我得到了…… |
| |
我可以得到假阳性、假阴性、真阳性、真阴性。 |
| |
我其实并没有说要对应这里的方框,但我有四个不同的选项。MCC 是一个介于正负 1 之间的相关系数,它衡量的是我对这四个方框的预测结果。 |
| |
所以我可能想探索一下能给出最大F1值或最大MCC值的截止值。假设我把这个值往下拖。注意 |
| |
敏感度正在快速增长,而特异性却开始下降,所以可能在 0.5 左右,对,我达到了特异性开始下降太多的点。 |
| |
我可能会找到一个截止值,底部有一个设置利润矩阵的选项。如果我把它设置为我的利润矩阵,基本上,它就会允许我用这个截止值对新数据进行评分。 |
| |
因此,如果我在这里设置它并点击确定,那么,我做出的任何未来预测,如果我将其保存到数据表或公式库中,都将使用该截止值。 |
| |
在这种情况下,我可能实际上拥有一些可以构建到利润矩阵中的财务信息。 |
| |
比如,与其使用滑块来选择截止值,我可能对与我的分类相关的金额有所了解。如果实际答案是否定的, |
| |
但我给他们发了报价,所以他们说“是的”,我觉得他们会答应,然后我就给他们发了报价。这大概花了我5美元,对吧,所以我的报价是负数。 |
| |
我可能对潜在利润有所了解,所以这段时间的潜在利润……可能是100美元,也可能我错过了一些机会。我可能会说,你知道,如果…… |
| |
对方本来应该会回复的,但我没有给他们发邀请。所以这可能是错失的机会,有时我们会把这一项留空。如果我改用这个, |
| |
我有一些额外的信息显示出来,所以它识别出我有一个利润矩阵。现在,如果我查看指标,我就可以根据这个利润来决定我的最佳模型。 |
| |
所以我把这些额外的信息纳入决策中,有时我们有一个利润矩阵,可以直接使用,有时则不行。在这种情况下,我发现神经增强模型能给我带来最佳的整体利润。 |
| |
这是模型筛选的预览,让我回到我的幻灯片。 |
| |
我们在这里看到了什么?好吧,我们讨论了预测模型 |
| |
预测模型与解释模型的目标有何不同?我们的目标是准确预测或分类未来的结果,因此我们希望对未来的观察结果进行评分。 |
| |
我们通常会使用验证来拟合和比较许多模型,然后选择表现最佳、预测最准确的模型或模型组合。 |
| |
模型筛选确实简化了这一工作流程,因此您可以使用一个平台同时适应许多不同的模型。 |
| |
我实际上只使用了默认设置,这样我就可以拟合比实际更复杂的模型。这使得选择主要模型和探索模型细节变得非常容易。我们可以拟合新的模型。 |
| |
从细节入手。如果您处理的是分类数据,这个决策阈值可以让您探索分类的截止值,同时还能集成包含利润矩阵的功能。 |
| |
对于任何选定的模型,我们都可以将其部署到公式库或保存到数据表中。所以这是一个非常强大的新工具。 |
| |
更多信息。在看到 F1 分数和马修斯相关系数之前,我就知道分类指标,这些统计数据对我来说相对较新。 |
| |
为了理解敏感性和特异性,这篇维基百科文章有一些非常非常好的例子和非常好的讨论。 |
| |
还有一些非常棒的预测建模和模型筛选资源。JMP 用户社区新增了“学习 JMP”路径,可以访问相关视频。 |
| |
掌握 JMP 系列视频。去年在图森的 JMP Discovery 大会上,Ruth Hummel 和 Mary Loveless 做了一个非常精彩的演讲,探讨了模型的适用性。 |
| |
这很好地讨论了不同的建模目标以及何时可能想要使用每个模型。 |
| |
如果您对预测模型还不熟悉,我们的免费在线课程 STIPS(即工业问题解决的统计思维)第 7 模块是对预测模型的介绍。 |
| |
所以我推荐这个。有一个模型筛选博客使用了我接下来要提到的糖尿病数据,我还想指出的是,这本书《用 JMP Pro 构建更优模型》已经出了第二版。 |
| |
这本书会在接下来的几个月内出版。他们还没有新的封面,但他们会……在这本书里加入模特筛选的内容。 |
| |
好了,我的分享就到这里。欢迎大家对本文发表评论或提问,希望大家享受本次会议的剩余内容。谢谢。 |