场景:我使用验证数据来调整我的套索惩罚,现在我想重新调整我的所有数据(训练 + 验证),指定优化的惩罚项。
我无论如何都看不到在广义回归平台中这样做。 这里推荐什么?
你好@米特曼,
虽然我不确定实际的底层算法是什么,但对 Lasso 建模进行的调整非常有限。通过 L1 惩罚。 它非常擅长缩小不重要的因素,但如果你在因素和响应之间存在多重共线性,那就不是很好了。 需要记住的是,当您使用交叉验证(使用验证列)时,算法会使用它来开始最小化因子的估计值。 这有助于算法将不重要的因素驱动为 0 并简化模型。 如果您重新运行(即使使用相同的网格间距/间距类型和惩罚分数),您最终会得到不同的模型,因为它将使用不同的验证方法来简化模型。 如果您想比较与您的验证列拟合的模型与使用 AICc 或 K-fold 的模型,对于您生成的每个模型,您可以转到拟合旁边的红色热按钮并选择保存列 > 保存预测公式。 然后,您可以比较不同模型对响应的拟合程度,例如在模型比较平台下。
其他一些想法:
1. 您可以考虑使用 Elastic Net,因为它结合了 L1(Lasso)和 L2(Ridge)惩罚方法。 两全其美。
2. 您可能希望对因子的估计值运行一些引导程序或模拟,以确定它们的大小以及它们是否真的重要。 请务必将幅度与估计的标准误差进行比较,以查看误差是否大于估计本身。
3. 如果您正在构建模型,最好在 JMP 中运行其他建模平台以查看哪个模型更适合。 可能是 KNN 或 SVM 或 NN 模型在预测能力方面实际上优于其他模型。 请务必查看其他一些建模平台,例如 SLS、GenLinReg 等。您永远不知道哪种模型最终会胜过其他模型。
4. 如果您使用验证列进行交叉验证,您可能会考虑如何将数据划分为训练和验证,因为这会影响模型性能。
5. 如果您的数据来自 DOE,并且您正在使用 GenReg 平台,根据经验,最好将自己限制在 GenReg 平台中的前五种估计方法。
希望这可以帮助!,
DS
我感兴趣的场景是我使用固定数据分区(验证列)并运行惩罚回归(无论套索、脊或弹性网)。 这些为我提供了一个解决方案路径和一个基于验证数据的缩放对数似然的优化模型。 返回的调整参数可用于(快速)使用附加训练数据以调整参数的预先指定值拟合更新的模型。 有没有办法在不生成整个解决方案路径的情况下运行套索(或脊或弹性网)?