了解如何使用 JMP 和 JMP Pro 识别适合预测建模的重要预测因子、减少因估计不必要的项而导致的方差以及构建预测模型。查看案例研究,了解如何使用 JMP 逐步回归查找重要变量和活跃模型效应,以及该方法与自动纳入变量选择的 JMP Pro 广义回归技术相比如何。
了解如何:
- 了解逐步回归方法的基础
- 选择逐步回归选项来自动化因子选择
- 分析 > 拟合模型 > 个性:逐步
- 设置停止规则/标准
- 设置前进、后退或混合方向
- 前向选择选择具有最低 p 值的变量,将其添加到模型中,然后重新计算 p 值和停止标准,直到满足停止标准
- 向后消除法选择 p 值最高的变量,将其从模型中删除,然后重新计算 p 值和停止标准,直到满足停止标准
- 混合在前向选择和后向消除之间交替,使用 p 值作为停止标准
- 运行模型
- 使用附加逐步选项
- 替代停止规则 - KFold 验证 R2
- 建立并比较所有可能的模型
- 根据每个模型中的 AICc 权重使用模型平均
- 在 JMP Pro 广义回归中实施逐步方法,轻松部署变量选择、验证、惩罚回归以帮助处理相关因素、交互式模型可视化、比较模型、使用高阶项轻松重新启动模型
JMP Stepwise Regression FlowJMP 逐步回归流程JMP 逐步回归流程
Scott Allen @scott_allen和 Byron Wingerd @Byron_JMP在现场网络研讨会上回答了问题:
问:有没有关于何时优先选择 AICc 而不是 BIC 的指导原则?
答:BIC 为您提供具有最少项数的最佳模型;AICc 为您提供解释最多变化的模型,并根据项数进行惩罚。AICc 中的小写字母 c 代表已校正,表示针对小数据集进行了校正。AIC 会尝试选择最能充分描述未知高维现实的模型。这意味着现实永远不会出现在正在考虑的候选模型集合中。相反,BIC 会尝试在候选集合中找到真正的模型。
简短的回答是,我只是运行它们并进行比较,或者你甚至可以取两者然后将它们平均。您可以使用 Stepwise 平台中的工具来执行这些操作,然后比较它们并自动在图表中比较结果。在某些情况下。这取决于你的目标,如果你可以接受更多项,或者你真的希望将其减少到最小集。在有 500 个数据点的示例中,BIC 可能是首选。
问:我们如何检查过度拟合?
答:如果我们只是在 JMP 中拟合线性模型,即使使用 Stepwise,识别过度拟合问题也会更加棘手。在 JMP Pro 中,我们可以设置测试、训练和验证子集(或者如果您愿意,至少可以设置测试和训练)并比较 R 平方。因此,如果您发现训练集的 R 平方非常好,而验证集的 R 平方非常糟糕,则意味着您很好地拟合了数据,并且您对未来观察结果的预测能力不强。
问:在模型中,总共 568 行也有验证行。我们是否在模型中使用所有这些行,还是保留它们?
答:它们正在进行验证,并作为验证子集单独进行评估。
问:在旧版 SAS Enterprise Miner 中,“Ensemble”节点通常表现最佳。您觉得运行一堆模型、保存预测,然后简单地平均所有这些预测值怎么样?
答:在 JMP 中,我们使用神经网络平台来建立集成模型。它们通常比单个模型表现更好。
问:您是如何获得相关性颜色图的?
答:在红色三角形下,寻找颜色图选项。
问:如何检测和处理多重共线性?
答:JMP 中的逐步法无法单独处理多重共线性,因此您必须提前将它们取出和/或使用聚类找到一个代表性变量。如果您使用的是 JMP Pro 广义回归,惩罚回归方法也将有助于解决该问题,因此,如果您真的担心这个问题,广义回归绝对是最佳选择。您可以构建最小二乘模型,运行它并查看您的参数估计值。高 VIF 值可能表示存在多重共线性。请观看下面的视频。