用于变量选择问题的 GenReg我的一位客户正在使用 GenReg 进行变量选择,并且一直在尝试使用 Lasso 和 Elastic Net。
他们的模型有 14 个主效应,以及相关的二次项和交互项(要检查的变量很多)。
在运行 Lasso 或 Elastic Net 之后,创建的最终模型包含所有项,没有项被清零。结果很奇怪,尤其是考虑到当他们使用逐步运行相同的分析时,模型中省略了一些项。
在使用 Lasso 或 Elastic Net 之前,有没有人遇到过这种行为?
回复:用于变量选择问题的 GenReg谢谢大家的建议。 在与客户进行调试会话后@剑草我们终于能够理解他们的问题,这在很大程度上与使用过多数据(25 万行)来训练模型有关。 独特的特征和数据量将模型误差降低到非常小的水平,从而导致每个项都开始显示出一定程度的重要性(没有项被归零)。
通过使用较小的、同样具有代表性的数据集(15K 行),我们能够让 Lasso 和 Elastic-Net 执行变量选择并为其应用程序构建有用的模型。
回复:用于变量选择问题的 GenReg嘿尼克,
尽管他们可能已经彻底考虑过验证,但对他们的数据进行随机验证是一件好事吗? 他们可能有分类值,您可能希望通过这些分类值之一对验证进行分层。
接下来的事情是按照 Pete 在 GenReg 中建议的向前选择进行尝试,看看这是否对 Lasso 在选择变量方面产生影响。 您可能还想使用两阶段套索和两阶段前向选择。
解决方案路径看起来如何,是否有模型效应缩小到零(只是没有达到 0)或根本没有(更多水平线)?
最后,你能否要求客户检查 Bootstrap Forest 运行多次并检查变量是否仍然全部重要,或者如果其中一些曾经重要,则其他运行不重要。 所以顺序不一致(前几名内的小变化是可以的,但巨大的变化是至关重要的)。 这将告诉您数据中正在发生某些事情,必须在进一步建模之前找出这些事情。
最后但同样重要的是,你是否使用自适应套索? 当您的数据高度共线时(BF 会看到疯狂地更改订单;) ),Lasso 和 Elastic Net 的自适应版本可能无法提供好的解决方案。 这是因为自适应版本假定 MLE 提供了良好的估计。 在这种情况下取消选中自适应选项。
最好的,
马丁
回复:用于变量选择问题的 GenReg嘿尼克,
他们是否尝试过从 GenReg 中向前选择或向后淘汰?如果他们看到逐步消除变量,他们应该会在 GenReg 中看到这种情况。
该模型是否包含具有高 p 值的效应?
他们在 Elastic Net 中检查的其他东西是 Elastic Net Alpha,如果它更接近 0 而不是 1,它将更像岭回归,而不是实际执行变量选择。至于套索,我只是检查以确保它们不会强制将术语包含在高级控件中。
回复:用于变量选择问题的 GenReg15 万行
回复:用于变量选择问题的 GenReg几行?回复:用于变量选择问题的 GenReg是的,他们正在使用验证列。
回复:用于变量选择问题的 GenReg他们在 Genreg 中进行交叉验证吗?