以前の投稿では、一般化回帰 (Genreg) プラットフォームを使用しました。 JMP プロに娘とボードゲームをしながら集めたデータを分析. 私のモデル (プレーヤー) には 1 つの効果しかなかったので、Genreg で使用できる変数選択方法を示すことができませんでした。
序数および名義のロジスティック回帰モデルはオーバーフィットしやすいため、応答が非数値 (赤/青/緑または小/中/大など) の場合、なげなわ選択や前方選択などの変数選択方法にアクセスできることは特に重要です。 ここでは、応答をモデル化するためにさらに多くの効果を考慮する例を見ていきます。
データ
ここでは、Diabetes.jmp ファイルを使用します。 JMPサンプルデータフォルダ。 このデータセットは、442 人の患者サンプルの各個人の年齢、性別、コレステロール値などの属性を使用して、1 年間の糖尿病の進行を測定します。 これらの属性を使用して、各患者の糖尿病の重症度 (低、中、高) にラベルを付ける "Y Ordinal" をモデル化します。 応答列の名前が示すように、バージョン 14 の Genreg で新しく追加された順序ロジスティック回帰モデルを使用してモデル化します。 説明変数間に交互作用があることを疑うのは合理的であるため、モデルに主効果と 2 因子交互作用を含めます。 モデルの適合ダイアログでこのモデルを指定するのは、「Factorial to Degree」マクロを使用すると簡単です。
Launching an ordinal logistic model for the Diabetes dataLaunching an ordinal logistic model for the Diabetes dataLaunching an ordinal logistic model for the Diabetes dataLaunching an ordinal logistic model for the Diabetes data糖尿病データの順序ロジスティック モデルの起動
モデルを指定して実行ボタンを押すと、一般化回帰プラットフォームに入ります。 Genreg は、トレーニング データに対して自動的に最尤適合 (完全なモデル、変数選択なし) を行います。 しかし、オーバーフィッティングが心配なので、MLE は必要ありません。 代わりになげなわを実行したいと思います。新しいデータにより適した、より節約的なモデルが得られるからです。
Doing a Lasso fit in GenregDoing a Lasso fit in GenregDoing a Lasso fit in GenregDoing a Lasso fit in Genreg Genreg でなげなわフィットを行う
Lasso output for the Diabetes dataLasso output for the Diabetes dataLasso output for the Diabetes dataLasso output for the Diabetes data糖尿病データのなげなわ出力
出力でわかるように、なげなわは、元の 57 の候補のうち 15 のパラメーターのみを使用するモデルを生成します。 したがって、MLE よりも解釈/説明がはるかに簡単なモデルがあります。 LASSO モデルは、完全な 57 項モデルよりも新しい観測値に対してどのくらい優れていますか? これは、モデル比較プラットフォームを使用すると最も簡単に確認できます。 完全なモデルがトレーニング データに非常によく適合し、検証データにひどく適合していることがわかります (検証 R^2 は負であり、常に悪い兆候です)。 これは典型的なケースです過剰適合. 一方、LASSO モデルは、検証データの R^2 率と誤分類率がはるかに優れています。 したがって、投げ縄モデルがここでは明らかにお気に入りです。
Lasso vs MLE using the Model Comparison platformLasso vs MLE using the Model Comparison platformLasso vs MLE using the Model Comparison platformLasso vs MLE using the Model Comparison platformモデル比較プラットフォームを使用した Lasso と MLE
多項ケース
のように私の以前の投稿、私たちの応答には自然な順序があります。 しかし、多項式問題で変数選択を行うことができるように、今はそれを無視しましょう。 この場合、変数の選択は特に重要です。なぜなら、多項モデルは過大パラメータ化または過剰適合しやすいからです。
このモデルはなぜオーバーフィットしやすいのでしょうか? p 個の予測子があり、応答が k 個のレベルを取る場合、フィッティングしているモデルには p*(k-1) 個のパラメーターがあります。 糖尿病データの場合、56 の予測因子と 3 つのレベルの応答があるため、56*(3-1) = 112 のパラメーターを考慮する必要があります。 これはすぐに制御不能になる可能性があります。 このモデルの詳細については、 JMPヘルプ.
前とまったく同じ方法で Genreg を起動します。 分布を多項分布に切り替えるだけです。
Launching the Multinomial in GenregLaunching the Multinomial in GenregLaunching the Multinomial in GenregLaunching the Multinomial in Genreg Genreg で多項式を起動する
ここでも、推定と変数の選択になげなわを使用します。 今回、なげなわは 25 個の変数しかないモデルを生成します。つまり、モデルからほぼ 90 個のパラメーターが削除されたことになります。 LASSO モデルの検証データの一般化 R^2 は大きくないように見えるかもしれませんが (約 .35)、完全なモデルの一般化 R^2 は検証セットの -2 より悪くなります!
Lasso summaryLasso summaryLasso summaryLasso summary投げ縄のまとめ
Lasso beats the MLE even worse in the Multinomial caseLasso beats the MLE even worse in the Multinomial caseLasso beats the MLE even worse in the Multinomial caseLasso beats the MLE even worse in the Multinomial case多項式の場合、Lasso は MLE をさらに打ち負かします
自分で試してみてください！
Genreg での序数および多項応答のサポートに興奮しています。 JMPプロ14. このタイプのデータは実際には非常に一般的ですが、糖尿病のデータで見たように、モデルの構築には注意が必要です。 Genreg のインタラクティブな変数選択ツールを使用すると、適合性が高く解釈しやすいモデルを構築できます。 どう考えているか教えてください。
