在 JMP 和 JMP Pro 中部署逐步回归方法了解如何使用 JMP 和 JMP Pro 识别适合预测建模的重要预测因子、减少因估计不必要的项而导致的方差以及构建预测模型。查看案例研究，了解如何使用 JMP 逐步回归查找重要变量和活跃模型效应，以及该方法与自动纳入变量选择的 JMP Pro 广义回归技术相比如何。
了解如何：
- 了解逐步回归方法的基础
- 选择逐步回归选项来自动化因子选择
- 分析 > 拟合模型 > 个性：逐步
- 设置停止规则/标准
- 设置前进、后退或混合方向
- 前向选择选择具有最低 p 值的变量，将其添加到模型中，然后重新计算 p 值和停止标准，直到满足停止标准
- 向后消除法选择 p 值最高的变量，将其从模型中删除，然后重新计算 p 值和停止标准，直到满足停止标准
- 混合在前向选择和后向消除之间交替，使用 p 值作为停止标准
- 运行模型
- 使用附加逐步选项
- 替代停止规则 - KFold 验证 R2
- 建立并比较所有可能的模型
- 根据每个模型中的 AICc 权重使用模型平均
- 在 JMP Pro 广义回归中实施逐步方法，轻松部署变量选择、验证、惩罚回归以帮助处理相关因素、交互式模型可视化、比较模型、使用高阶项轻松重新启动模型
JMP Stepwise Regression FlowJMP Stepwise Regression FlowJMP Stepwise Regression FlowJMP Stepwise Regression FlowJMP 逐步回归流程
Scott Allen @scott_allen和 Byron Wingerd @Byron_JMP在现场网络研讨会上回答了问题：
问：有没有关于何时优先选择 AICc 而不是 BIC 的指导原则？
答：BIC 为您提供具有最少项数的最佳模型；AICc 为您提供解释最多变化的模型，并根据项数进行惩罚。AICc 中的小写字母 c 代表已校正，表示针对小数据集进行了校正。AIC 会尝试选择最能充分描述未知高维现实的模型。这意味着现实永远不会出现在正在考虑的候选模型集合中。相反，BIC 会尝试在候选集合中找到真正的模型。
简短的回答是，我只是运行它们并进行比较，或者你甚至可以取两者然后将它们平均。您可以使用 Stepwise 平台中的工具来执行这些操作，然后比较它们并自动在图表中比较结果。在某些情况下。这取决于你的目标，如果你可以接受更多项，或者你真的希望将其减少到最小集。在有 500 个数据点的示例中，BIC 可能是首选。
问：我们如何检查过度拟合？
答：如果我们只是在 JMP 中拟合线性模型，即使使用 Stepwise，识别过度拟合问题也会更加棘手。在 JMP Pro 中，我们可以设置测试、训练和验证子集（或者如果您愿意，至少可以设置测试和训练）并比较 R 平方。因此，如果您发现训练集的 R 平方非常好，而验证集的 R 平方非常糟糕，则意味着您很好地拟合了数据，并且您对未来观察结果的预测能力不强。
问：在模型中，总共 568 行也有验证行。我们是否在模型中使用所有这些行，还是保留它们？
答：它们正在进行验证，并作为验证子集单独进行评估。
问：在旧版 SAS Enterprise Miner 中，“Ensemble”节点通常表现最佳。您觉得运行一堆模型、保存预测，然后简单地平均所有这些预测值怎么样？
答：在 JMP 中，我们使用神经网络平台来建立集成模型。它们通常比单个模型表现更好。
问：您是如何获得相关性颜色图的？
答：在红色三角形下，寻找颜色图选项。
问：如何检测和处理多重共线性？
答：JMP 中的逐步法无法单独处理多重共线性，因此您必须提前将它们取出和/或使用聚类找到一个代表性变量。如果您使用的是 JMP Pro 广义回归，惩罚回归方法也将有助于解决该问题，因此，如果您真的担心这个问题，广义回归绝对是最佳选择。您可以构建最小二乘模型，运行它并查看您的参数估计值。高 VIF 值可能表示存在多重共线性。请观看下面的视频。
高级统计建模回复：在 JMP 和 JMP Pro 中部署逐步回归方法嗨@肖恩L
在 Pic3 中，Profiler 中看起来像“蝴蝶结”的置信区间很好地表明您有一些高度相关的变量。由于逐步回归会独立检查每个变量对模型的影响，因此它并不总是能检测到相关变量。
为了验证这一点，您可以通过右键单击“参数估计”表中的表格并添加 VIF 列来检查 VIF。任何 >10 的 VIF 值都表明共线性可能是一个问题。统计知识门户在此处有一个很好的概述。
当您手动删除其中一个变量时，图 4 中的问题似乎已得到解决。
您可以对所有变量运行多元分析来检查相关性，然后选择最具代表性的变量进行建模。您还可以观看“掌握 JMP”网络研讨会，了解如何为相关和高维数据构建预测模型。
回复：在 JMP 和 JMP Pro 中部署逐步回归方法感谢网络研讨会！也感谢 Scott Allen。
这是一次很棒的学习，我渴望立即将新学到的知识应用到我的数据中。
当我应用新学到的 K 文件夹回归方法时，我得到了混合的结果。
- 本次网络研讨会之前，Stepwise 的原始回归分析：在规则、方向和其他方面采用默认设置的情况下，我针对下面列出的模型运行了该分析（图 1）。我通过删除 p 值 >0.05 的项和更多简化（在合理的 adj-R2 值范围内减少项）进一步缩小了模型范围。我对这个结果很满意。
- 本次网络研讨会结束后，我使用相同的 Stepwise 进行后续分析：通过将规则更改为“最大 K 倍 R 方”，我重复了分析以获得初步分析（图 2）。虽然初步结果显示 13 项的最大 R 值最好。我不希望我的模型中有那么多项，对于训练和 K 倍，我对 5 到 6 项的 R 值水平感到满意。因此，我选择了如图所示的 6 项结果并运行了模型。
如您所见，其模型在 Pic3 中包含一个 PValue >0.05 的项。此外，在其概况中，大多数项的置信度/方差水平都非常宽。因此，我删除了 AR 项，以便获得与原始模型相似的 R 值和相似的模型 - 除了原始模型的“RV”在新模型中被“Vol”项取代。RV 和 Vol 这 2 个项可以携带相似的信息，但不完全相同。我不知道为什么 K 折规则喜欢一个项而不喜欢另一个项。
无论如何，我对结果感到满意，因为它们采用了类似的建模方式，这证实了我的原始模型还不错（没有单独的训练和验证过程。这就是我理解的 K 折方法将数据集分成 2 组子集，一组用于训练，另一组用于验证。我是对的吗？）
如果以上算作第一个问题的话，那么这是我的第二个问题：
尽管 K-Fold 方法的结果略好一些，R2 为 0.947，但我仍然更喜欢原始结果 R2 0.942。这是因为与 K-Fold 的新结果相比，其模型在 Rad 和 RV 项的建模剖析器中具有较小的不确定性。如果原始方法不够好，K-Fold 方法可以简单地用于此类模型验证或更多。
对于这个特定的例子，这不是一个困难的决定，因为 R2 值并没有太大的差异。
但是，如果原始模型中的 R2 值低 0.1（少 2-3 个项），但预测分析器中的方差小得多（如原始模型与图 3 中的模型），哪个模型会更好？
我目前正在使用 JMP 17。
图1：原始分析
图2：通过K折规则进行初步回归
图片3：模特：K-Fold
图4：K-Fold 方法的最终结果
回复：在 JMP 和 JMP Pro 中部署逐步回归方法关于集成模型， @scott_allen写道：在标准 JMP 和 JMP Pro 中还有其他方法可以构建集成模型。您可以简单地在标准 JMP 中手动将模型平均在一起（将它们相加并除以模型数量）。在 JMP Pro 中，您可以使用比较模型平台集成不同的模型。另请参阅@Peter_Hersh的 2021 年集成模型演示。
