预测建模就是找到能够准确预测感兴趣结果的模型。 举例来说，我想根据多种因素预测一年后某种特定疾病（在本例中为糖尿病）的进展情况。 更具体地说，我想确定最有可能出现疾病进展严重的患者，以便采取适当的干预措施。
我有JMP Pro，我知道我可以拟合几种可能的预测模型。 例如，我可以拟合回归模型、各种类型的基于树的模型或神经网络等等。 我应该使用哪个建模平台？ 哪种类型的模型能够最准确地预测结果？ 对于任何给定的建模情况，最佳模型在很大程度上取决于数据 - 没有一种模型适合所有问题。
为了找到适合糖尿病场景的最佳模型，我可以使用交叉验证一次拟合所有可能的模型。 我可以将各个模型保存到数据表或 Formula Depot，然后使用模型比较来比较模型在验证集上的性能，以选择最佳模型。 或者我可以选择最佳的模型组合。 虽然这种方法不仅仅可以完成工作，但它确实需要一些工作。
现在，借助 JMP Pro 16 中的新模型筛选平台，我们使这一切变得更加容易。 模型筛选提供了一个高效的工作流程，可以同时拟合、比较、探索、选择并部署最佳预测模型。
为了进行说明，我将使用 JMP 示例数据库中的糖尿病数据。 响应或结果变量是 Y 二元，它有两个可能的值：低（低疾病进展）和高。 预测因素或因素是年龄和血糖。
我从“分析”>“预测建模”菜单中选择“模型筛选”，并指定响应和因子。 验证列将数据划分为训练集和验证集，因此我将使用它进行模型验证。
模型筛选对话框的顶部如下所示：
在对话框的底部，有几种不同的建模方法可供选择，以及许多不同的拟合和交叉验证选项。 请注意，XGBoost 是一种可用的方法，因为我安装了XGBoost 插件来自JMP 用户社区。
我将使用默认模型，但将添加双向交互并将随机种子设置为 11111 以使我的结果可重现。
所有对这些数据有意义的模型都适合，并且提供了一些验证统计数据。 模型按广义 R 方的降序排序，但要查找在所有验证统计数据中脱颖而出的一个或多个模型，我将单击“选择主导”。
我可以看到，总体而言，顶级模型是具有双向交互的神经增强模型和广义回归套索模型。
为了探索这些模型的分类，我将从顶部红色小三角菜单中选择决策阈值。 此选项提供了大量信息，用于比较所选模型的分类准确性。 顶部部分显示了每个模型的真假分类的细目，如果我更改概率阈值（通过拖动滑块线或使用编辑框），我可以看到分类和分类错误对于不同的截止值如何变化。
底部有显示不同分类图和指标的选项卡。 此处显示验证数据的“指标”选项卡。 在这种情况下，我想确定最有可能患有高糖尿病进展率的患者。 所以，我想找到误报率最低的模型。 在概率阈值为 0.42 时，广义回归模型具有较低的假阴性率，同时相对于其他模型仍保持较低的假阳性率。
现在，我可能想仔细看看这个模型。 模型筛选使这一切变得无缝。 我可以通过单击“运行所选”轻松地在新窗口中运行所选模型。
或者，无需离开模型筛选，我就可以直接在详细信息大纲中查看结果，如下所示。 在模型筛选中，我可以访问我在广义回归中看到的所有选项。 因此，例如，我可以与解决方案路径交互，并且可以保存或发布模型以进行部署。 我什至可以运行其他模型，看看是否可以进一步提高模型精度。
我在这里只触及了模型筛选的表面，但希望您能够看到这个简化的工作流程如何帮助您节省大量时间和精力！ 您只需指定模型中的变量，选择要拟合的模型和验证方法，模型筛选即可完成剩下的工作！
要了解有关在 JMP Pro 中拟合和验证预测模型的更多信息，请访问主要功能页面在我们的网站上。
客户评价
“过去几个月在 JMP Pro 16 beta 上使用模型筛选，它已经成为我的珊瑚礁预测建模研究中不可或缺的一部分。 尽管在 JMP Pro 的早期版本（例如 JMP Pro 15 的“模型比较”平台）中可以相当容易地比较模型，但这个新工具使用户可以更轻松地同时测试许多不同的模型（例如 gen-reg、PLS、判别式、神经网络等）具有相同的数据集。 曾经需要几个小时甚至几天的事情现在可以在几分钟（甚至几秒钟）内完成。哇，多么棒的功能啊！ 这肯定是 15 版到 16 版最大的改进，我相信很多人也会有同样的感觉。”
- Anderson Mayfield，美国国家海洋和大气管理局 (NOAA) 和迈阿密大学
感谢您的提问@sukrit2020 。 MAE 目前无法从模型筛选平台获得。
你好@米亚斯蒂芬斯感谢您的补充说明！ 我同意这是一个权衡问题，很大程度上取决于主题专业知识和产品/用户应用程序和风险。我看到图表是如何进行这种权衡的，尽管我认为轨迹中在两个方向上交叉的线一开始可能有点令人困惑（实线在增加方向，虚线在减少方向）。我会将主题想法添加到愿望清单中！@帕特里克朱利亚诺
你好@帕特里克朱利亚诺，这是一个相对肤浅的例子，为了说明目的，我选择了 0.42 作为阈值。 这里的目标是找到一个截止点，在保持低假阳性率的同时，导致低假阴性率。 但是，什么构成可接受的利率？ 这很大程度上取决于研究情况或问题，以及特定类型错误的“成本”。 对于特定情况，如果较高的误报率能带来更好的误报率，您可能愿意接受。这些图表可以帮助找到最佳点，以平衡两种速率。
这是一个很小的数据集，因此结果相当精细。 但是，在第二张图中，我看到神经增强的假阳性率在 0.45 或 0.5 左右之后开始快速增长，而假阴性率在该点附近快速下降，并开始趋于平稳。
添加“记住的设置”选项的想法很引人注目。 您愿意将此发布到 JMP 愿望清单吗？
谢谢！
米娅
@米亚斯蒂芬斯这太酷了，我对“决策阈值”功能很感兴趣，并试图更好地理解它。在您的示例中，您是否实质上选择了高曲线的错误分类计数与概率阈值上的“交集”（我在附加图像中用黑色圈出的点）来确定概率阈值 0.42 将是一个不错的选择用于最大限度地减少假阴性（同时将假阳性率保持在大约相同的水平？）
我使用 JMP 16 EA8 并运行几乎相同的设置，只是我在模型筛选对话框中指定“XGBoost”作为模型拟合选项（在 1111 处保留相同的随机种子）。 
也许这里的一个有用功能是以类似的方式“记住设置”，这可以在预测刻画器中完成（它生成一个单选按钮以达到保存的设置），这样您就可以轻松地在不同的概率阈值之间切换以直接查看/比较您感兴趣的特定阈值的效果。 附示例图片。
我曾经做过基本上相同的事情，但一次使用一个模型平台。 这花了很多时间。 这项新功能确实节省了时间。 谢谢你！
