JMP のカテゴリ変数の多重共線性に相当するものはありますか?連続変数の値を予測するための予測回帰モデルを作成しようとしています。純粋に予測を求めているので、多重共線性はそれほど重要ではありませんが、多数のカテゴリ変数 (20 以上) が記録されており (20 以上の連続変数とともに)、データに過剰適合しないように特徴選択/変数削減を行いたいと考えています。カテゴリ変数に対して JMP で変数削減を行う、または相関している可能性のある変数を見つける良い方法はあるでしょうか? 特にモデルは考えておらず、JMP PRO を使用します。
予測モデリングと機械学習Re: JMP のカテゴリ変数の多重共線性に相当するものはありますか?こんにちはフォロー 、
あなたの質問には 2 つの点があると思います。
- カテゴリ変数をモデル化するときに多重共線性を評価するにはどうすればよいでしょうか?
モデルの連続変数とカテゴリ変数の多重共線性は、元の予測子のパラメータ推定値にVIF 値を表示することで評価できます (表を右クリックして、「列」と「VIF」を選択)。VIF 値が高い場合、モデル内の項間に共線性の問題があることを示します。また、一部の項が互いに線形依存している場合は、 特異性の詳細列に特異性情報が表示され、パラメータ推定値の前に「バイアスあり」や「ゼロ」という表示も表示されます。
詳細はこちらをご覧ください: モデル項間の線形依存関係を持つモデル
- 特徴を選択/変数を削減するにはどうすればいいですか?
特徴選択/変数削減を行う場合、使用しているモデルの種類に応じていくつかのオプションがあります。- 多変量一般化線形回帰モデルの場合、Pruned Forward 選択を使用できます。または、多重共線性が重要な場合は、相関変数の推定値を 0 に設定して変数選択を行う Lasso などのペナルティ付き推定方法オプションを試してください。それほど「積極的」ではないアプローチは、Lasso と Ridge のペナルティを組み合わせた Elastic Net 推定です。
- ランダム フォレストは、それ自体でも興味深いものですが、 特徴の重要度(列の寄与) を使用して最も重要/アクティブな特徴を識別する予測子スクリーニングオプションとして使用することもできます。
- また、Boruta 特徴選択法と Rendom Forest を使用する予測子スクリーニングのアップグレード バージョンに基づいて変数を選択するのに役立つ予測子選択アシスタントアドインを使用することもできます。
- また、上記のさまざまなモデリング手法 (およびその他の手法) を組み合わせて、取得したモデルを比較し、どの用語が含まれているか、およびモデルがどの程度類似しているか/異なっているかを確認することもできます。
この回答がお役に立てば幸いです。
Re: JMP のカテゴリ変数の多重共線性に相当するものはありますか?ありがとう、ビクター！まさに私が探していたものです。
モデルを縮小する手順について何かご意見はありますか?
- LASSO/Ridge を進める前に、相関変数を削除したり、次元削減を行ったりする必要がありますか?
- それとも、変数を削減してから LASSO/Ridge に進み、すべての機能を使用して LASSO/Ridge を実行し、検証データでどの RASE が最適かを比較する、という両方を行うべきでしょうか?
Re: JMP のカテゴリ変数の多重共線性に相当するものはありますか?こんにちはフォロー 、
Justo が LASSO と Ridge の違いについて説明します (Elastic Net は LASSO と Ridge のペナルティを組み合わせたものです)。
- LASSOには、「興味深い」と見なさない特徴の係数をゼロに設定する機能があります。つまり、モデルは「自動特徴選択」を行って、どの特徴を独自に含めるべきか、含めるべきでないかを決定します。このプロパティには、モデルの複雑さを軽減する利点があります (したがって、過剰適合を回避するのに役立ちます)。ただし、このペナルティ (係数の縮小) によって係数にバイアスがかかり、相関する特徴を持つデータでトレーニングすると、LASSO 回帰が「不安定」になる可能性があります。つまり、特徴の 1 つがやや恣意的に選択され、その特徴と高い相関関係にある他のすべての特徴がモデルから実質的に削除されます。これにより、モデルに残るように選択された特徴だけが重要であると誤って結論付けてしまう可能性がありますが、実際には他の特徴のいくつかも同様に重要か、さらに重要である可能性があります。
LASSO は外れ値に対して堅牢であり、影響が小さいかまったくない他の多くの変数の中で、応答に強い影響を与える変数の小さなサブセットがある場合に最も効果的になる傾向があります。
- リッジには、相関する特徴の係数を最小化する機能があります (0 に近いが 0 ではない)。この特性により、相関する特徴の悪影響が最小限に抑えられ、過剰適合を減らすことができるため、多くの相関する特徴を持つデータセットでリッジ回帰を使用できます。ペナルティが導入されると、偏った係数推定値も得られます。
リッジは、すべての特徴を考慮することを可能にし、大きな比較可能な効果を持つ変数が多数ある場合に最も効果的になる傾向があります。
- Elastic Net は両方のペナルティ方式を組み合わせて、一部の係数を 0 に縮小し、他の係数を最小化します。そのため、応答で同様の重要度を持つ相関特徴を処理するだけでなく、特徴選択を行うための適切な妥協策となります。
一般化（およびペナルティ付き）回帰モデルの詳細については、このマスター： JMP® Proで一般化回帰を使用してロバストな線形モデルを作成するをご覧ください。
特徴選択については、ランダム フォレストから特徴の重要度を確認することを強くお勧めします。このモデルは、大規模な微調整を必要とせず、相関する特徴を処理でき、過剰適合の影響を受けないため、優れたベンチマーク比較を提供できる可能性があります。
検証データについて言及されているので、このモデルの目的が何なのかよくわかりません。システムの理解 (説明目的) か、予測目的か?
それは検証データ（モデルの最適化（ハイパーパラメータの微調整、機能/しきい値の選択など）やモデルの選択に使用）ですか、それともテストデータ（新しい/未知のデータに対する選択されたモデルの一般化と予測パフォーマンス評価に使用）ですか？
- 最初のケース (検証データ) では、この検証データを一般化回帰起動パネルの検証方法として使用して、ペナルティがデータセットに正しく設定され、固定されていることを確認し、この検証データでさまざまなモデル (ペナルティ付き回帰法、ランダム フォレストなど) を比較することができます。
- 2 番目のケース (テスト データ) では、モデルを比較して最も有望なものを選択するまで、このデータセットを使用しないことをお勧めします。主な目的 (システムの理解または予測) とモデルを検証する方法 (AICc や BIC などの情報基準、または予測パフォーマンスに関心がある場合は K 分割/ホールドバック/Leave-One-Out 検証) に応じて、適切な検証方法を選択し、トレーニング/検証データでモデルの結果を比較して、最も興味深いモデルを選択できます。選択したら、テスト セット (未確認データ) でその一般化と予測パフォーマンスを確認できます。
この回答がお役に立てば幸いです。
