変数選択の問題に対する GenReg私の顧客の 1 人は、変数の選択に GenReg を使用しており、Lasso と Elastic Net を試しています。
彼らのモデルには 14 の主効果があり、それに関連する 2 次項と交互作用項 (調べる変数がたくさんあります) があります。
Lasso または Elastic Net を実行した後、作成された最終的なモデルには、すべての項が含まれ、項はゼロになりません。特に、ステップワイズを使用して同じ分析を実行すると、モデルから省略された項があることを考えると、結果は奇妙です。
Lasso または Elastic Net を使用する前に、この種の動作に遭遇した人はいますか?
Re: 変数選択の問題に対する GenRegご提案いただきありがとうございます。 お客様とのデバッグセッションの後、 @jiancao私たちは最終的に、モデルをトレーニングするためにあまりにも多くのデータ (250K 行) を使用することに主に関連していた彼らの問題を理解することができました。 独自の特性とデータ量により、モデルの誤差が非常に小さいレベルになり、すべての用語がある程度の有意性を示し始めた (ゼロになる用語はありません) という状況が生まれました。
より小さく、同等に代表的なデータセット (15,000 行) を使用することで、Lasso と Elastic-Net に変数の選択を実行させ、アプリケーションに役立つモデルを構築することができました。
Re: 変数選択の問題に対する GenRegねえニック、
彼らはおそらく検証について徹底的に考えましたが、ランダムな検証をデータで行うのは良いことですか? おそらくそれらのカテゴリ値の1つによって検証を階層化したい場合に、それらにカテゴリ値がある場合があります。
次のことは、Pete が GenReg で前方選択を提案したように、これが変数の選択において Lasso に違いをもたらすかどうかを確認することです。 2 段階のなげなわ選択と 2 段階の前方選択も使用したい場合があります。
ソリューション パスはどのように見えますか。モデル効果がゼロに向かって縮小している (0 に達していない) か、まったくない (水平線が増えている) か?
最後に、顧客に Bootstrap Forest の実行を複数回確認してもらい、変数がまだすべて重要であるかどうか、またはそれらの一部が一度重要である場合は他の変数が実行されないかどうかを確認するよう依頼できますか。 そのため、順序に一貫性がありません (上位数個の小さな変更は問題ありませんが、大きな変更は重要です)。 これは、さらにモデリングを行う前に、データ内で何かが起こっていることを示しています。
最後になりましたが、適応投げ縄を使用していますか? データが高度に同一線上にある場合 (BF が狂ったように順序を変更することで見られるでしょう 
)、Lasso と Elastic Net の適応バージョンでは、適切なソリューションが提供されない場合があります。 これは、アダプティブ バージョンが、MLE が適切な推定値を提供することを前提としているためです。 そのような場合は、適応オプションのチェックを外してください。
一番、
マーティン
Re: 変数選択の問題に対する GenRegねえニック、
彼らは GenReg から前方選択または後方排除を試みましたか?Stepwise が変数を削除するのを見ていたら、GenReg でそれが起こるのを見るはずです。
モデルには高い p 値を持つ効果が含まれていますか?
彼らがElastic Netでチェックインする他のものは、Elatic Net Alphaで、それが1ではなく0に近い場合、リッジ回帰のように機能し、実際には変数選択を実行しません.なげなわに関しては、用語を高度なコントロールに含めることを強制していないことを確認するだけです。
Re: 変数選択の問題に対する GenReg15万行
Re: 変数選択の問題に対する GenReg何列？Re: 変数選択の問題に対する GenRegはい、検証列を使用しています。
Re: 変数選択の問題に対する GenRegGenregで相互検証していますか?
