部分最小二乗パラメータ分散うまくいけば、この質問は理にかなっています。 N = 2000の観測値とp = 160の共変量を使用してロジスティック回帰を行っています。 設計マトリックスには明らかな相関構造があり、単純なロジスティック回帰を行うときにVIFを単純に見るとわかります。 PLSは変数リダクションをしないので、まだ160のものがありますが、私はそれからPLSをして、異なる係数のセットを取得します。 PLSレポートに新しい係数セットの分散を見つけて、それらが減少していることを確認する場所はありますか。私は分散のバイアスを取引しているかもしれないので、私がこれらを見たいと思うのは理にかなっていますか。
部分最小二乗パラメータ分散ありがとうピーター、
私にとって厄介なのは、適応型投げ縄を選択したときのモデルの大きな違いです。 適応モデルでは、Scaled-LogLikelihood値に明確な最小値が設定されていないことがわかります。 もう1つの問題は、Y = 0をモデル化し、モデルに59の項があることです。 あなたがY = 1を目標とするならば、あなたは71の用語で完全に異なるモデルを得ます。 わかりません。 アダプティブセットがなければ、0と1のどちらをターゲットにしても問題ありませんが、モデルは、用語の符号が異なる以外は同じです。 適応結果を理解するのは難しいと思うので、顧客に説明するだけでなく、私はバニララッソを使い続けます。
バニララッソを使えば、混同行列で0.1252のしきい値で妥当な性能を得ることができます。 要求される感度と特異性がおそらく満たされるという意味で合理的だと私は言う。
とは言っても、正則化を行う必要があるのかどうかという問題がまだあります。 バニラロジスティック回帰でも、te 2 AUCは多少近くなります。 しかし、深刻な相関関係があることがわかっているので、LRは使用したくありません。 それで、過剰適合の重要な証拠なしに、私は相関問題だけに対処するためにPLSに移るでしょう。 しかし、JMPはターゲットを連続的にモデル化しているので、レポートにすべてのROC、AUC、および混乱マトリックスを得ることはできません。 ロジットを線形予測子に適用することでそれらを得ることができます。それは合法です...そして他のモデルが厳密にロジット変換に基づいている場合のモデル比較のためのPLS結果の扱い方についての私の最初の質問に戻ります。線形予測子
ところで、私がしていることが私にとって非常に重要であることを私自身が十分に理解しているので、私はあなたがこれらの質問に飛び込むことを大いに感謝します。
私は同じデータテーブルをもう少しモデルに含めました。
部分最小二乗パラメータ分散十分な観測値があるときに過剰適合をチェックするためによく使用される手法の1つは、Predictive ModelingプラットフォームコレクションのMake Validationサブプラットフォームを使用して、元のデータセットをトレーニング、検証、およびオプションのテストグループ化に分割することです。分類問題については、Yで層別標本を作成することをお勧めします。そうすれば、各トレーニング、検証、およびオプションのテストグループで、すべての回答レベルの比率が等しくなります。あなたはあなたの応答のために1と0のレベルの間にかなり大きな不均衡を持っています。それで、あなたはバランスが50/50に近いいくつかのシナリオを試してみたいと思うかもしれません？モデルを当てはめたら、各グループ化のROC曲線を調べます。各グループ化に関連付けられているAUCがかなり近い場合は、過剰適合の証拠がありません。また、混同行列を確認してください。元のデータテーブルに作成したトレーニング/検証セットで得られた結果には少し不安があります。モデルはかなり貧弱な仕事をします。どのモデリングアプローチを使用しても、target = 0です。添付のデータ表の3つの異なる分析スクリプト、すなわちロジスティック、Gen Reg / Lasso、およびNeural Netを参照してください。これが実用的な観点から問題がある場合、あなたのモデルはまったくうまく適合していません...過剰適合を忘れる...それは単なる劣った分類子です。
部分最小二乗パラメータ分散ありがとうピーター、
私の場合、それは本当に予測子の相関構造についてのすべてです。 私は自分のアプリケーションで変数の削減が保証されているとは確信していません。 実際、それは私がまだ答えていない質問であり、私はすべての私の予測子を使ったとしても過剰適合が起こっているかどうかを確かめるための決定的な方法を探しています。 p = 148の共変量でN = 1839の観測値があります。 私はテーブルを含めました。 正規回帰を使用するだけで（名目上の出力を連続として扱う）、非常に大きなVIFがたくさんあることがわかります。 そのため、ロジスティック回帰を実行すると問題が発生することがわかります。 dureには相関関係の問題がありますが、多すぎる問題ではないかもしれません。 それが私がPLSを使った理由です。 変数をクラスタ化すると、35個のクラスタしか得られず、148個の共変量内には35個程度の有益な機能しかないことが示唆されます。 それで、なぜ相関に対してロバストな方法を使うのではなく、それらのどれかを取り除くことに焦点を合わせるのです。
ロジスティック回帰を実行すると、AUCはわずか0.815です。 ですから、すべての共変量を使っても私には完璧にフィットしません。 AUC <1は、過剰適合が問題ではないと主張するための合法的な方法です。
あなたの考えを歓迎します。
部分最小二乗パラメータ分散遺伝子：
あなたの質問は理にかなっています...しかし私は別の考えを提供することができますか？変数削減が実際的な問題の鍵となる場合、フィットモデル - >一般化回帰のパーソナリティ/プラットフォームからLassoまたはElastic Netのサブパーソナリティを使用することを検討しましたか？これらの手法は予測子間の多重共線性に適していますが、考慮すべき重要な特性もいくつかあります。これらについてはJMPのドキュメントで説明されています。どちらもカテゴリカル応答で使用できます。「最終的な」パラメータ推定値の信頼区間は、パラメータ推定値の表とともに正しく報告されます。
