多重共線性は、従属変数の変動に対する各独立変数の寄与を決定できない、従属変数を推定するために使用されていると思われる独立変数間に非常に高度な相関が存在することです。データセットの多重共線性が高いということは、この問題を軽減する手法を使用しない限り、構築するモデルはほぼ確実に過剰適合することを意味します。多重共線性を制限することで、優れた予測モデルを構築する可能性を高めるために使用できるモデリング手法がいくつかあります。これらには、主成分分析と偏最小二乗法が含まれます。これらは両方とも JMP で使用でき、一般化回帰は JMP Pro でモデルの適合オプションとして使用できます。
次の方法を参照してください。
- 主成分分析 (PCA) を実行して、変動性を制限し、多重共線性を軽減することにより、少数の成分を使用して一連のデータをモデル化します
- PCA 分析に最適なデータ セットは、高さまたは幅のいずれかです。 両方かもしれない
- 変数を入力または出力として解釈しない - 単一の行列で処理する
- できるだけ多くの変動性を説明する変数の線形結合を抽出する
- これはすべて、第 1 主成分とアルゴリズムは、バリエーションの 100% が説明されるまで続行されます。 うまくいけば、これは元の変数セットよりもはるかに小さい数値です
- 連続する各 PC は、可能な限り多くの変動を説明し、以前に抽出された負荷ベクトルに直交しています。
- 要約プロットと固有値の調査と解釈
- 主成分をデータ テーブルに保存し、[グラフ] > [プロファイラー] を使用して主成分回帰を実行します (注意: [中間値を展開する] チェックボックスをオンにします)
- 部分最小二乗法を使用して、要因、つまり説明変数 (X) の線形結合に基づいて線形モデルを適合させます。
- これらの要因は、X と 1 つまたは複数の応答 (Y) との間の共分散を最大化しようとする方法で取得されます。
- PLS は、X と Y の間の相関関係を利用して、根底にある潜在的な構造を明らかにします。
- PLS は、通常の最小二乗法 (OLS) を使用しても満足のいく結果が得られない状況でうまく機能します。これには、観測よりも X 変数が多い場合が含まれます。相関の高い X 変数。多数の X 変数。いくつかの Y 変数と多くの X 変数。
- PLS は、予測変数が観測値を上回る場合に使用できます
- PLS は、分光法、ケモメトリックス、ゲノミクス、心理学、教育、経済学、政治学、環境科学などの分野で高次元データのモデリングに広く使用されています。
- モデル フィッティングに JMP PLS を使用する方法を参照してください。次の 2 つのアルゴリズムが利用可能です。
- 単一の応答の場合、両方の方法で同じモデルが得られます。複数回答の場合、若干の違いがあります
- PLS は van der Voet T2 検定と相互検証を使用して、抽出する因子の最適な数を選択できるようにします。
- Root Mean PRESS (予測残差二乗和) プロットを解釈します。これは、最小の PRESS 値を持つ因子の数を示します。そのモデルは、データに対して得られるより良いモデルの中で最小のものです。
- 分散重要度プロット (VIP) を使用して、削除する要因を特定します
- パーセント変動プロットの解釈
- van der Voet T2 統計量は、因子の数が異なるモデルが PRESS 値が最小のモデルと有意に異なるかどうかを判断する検定です。
- 一般的な方法は、van der Voet 有意水準が 0.10 を超える最小数の因子を抽出することです。
- JMP Pro Generalized Regression の高度なペナルティ付き回帰手法を使用する
- LASSO モデルを構築し、結果を解釈し、その制限の一部を理解します。
- Elastic Net モデルを構築し、相関性の高いデータを解釈して、LASSO のメリットを理解する
- 高次元スペクトルデータにはJMP Proの一般化回帰を使用
- PCA モデル主導の多変量管理図、相関サマリー プロットおよび固有値に関する PCA の調査と解釈
- PLSの結果を調べて解釈する
- 一般化 R-2 乗を含む Elastic Net 一般化回帰の解釈
- 非常に幅広いデータにJMP Proの一般化回帰を使用し、結果を解釈する
注: 添付の .jmpprj ファイルには、デモから分析を実行するためのスクリプトが含まれています。
ビル・ウォーリーが回答した質問@Bill_Worleyとスコット・アレン@スコット・アレンライブウェビナーで：
Q: Pred Formula Y1 は PCA 回帰によるものですか?
A: はい、Y1 と Y2 の予測式は、主成分の回帰分析によって生成されました。 これらの予測式を使用してプロファイラーを作成する場合、主成分ではなく個々の効果を表示できるボックスをオンにできます。
Q: PCA の例で変数を除外する主な基準は何ですか?
A: 1 つのアプローチについては、以下のビデオを参照してください。
Q: PLS では、交互作用を指定する必要がありますか、それとも変数間の関係は基礎となるモデル (NIPALS など) に含まれていますか?
A: PLS の場合、交互作用またはその他の項をテストするモデル効果を指定する必要があります。 標準の JMP では、主効果のみで PLS 分析を実行できます。 JMP Pro では、モデルの適合で PLS パーソナリティを使用して、相互作用や多項式などの他のモデル効果で PLS を実行できます。
Q: グルテン データセットも多くの多重共線性に関連付けられていますか?
A: はい。 各波長は次の波長に依存しているため、波長ごとに多くの共線性があります。
Q: PLS または一般化回帰は、自己相関の高いデータで一般的に優れているのか、それとも単純にデータセットに依存しているのかを言うことは可能ですか? PLSの方が良いと思っていましたが、必ずしもそうとは限りません。
A: 状況によって異なりますが、多少データに依存する可能性があります。 どちらも、互いに非常に近い優れたモデルを提供します。
Q: 逆予測に最適なモデリング オプションはどれですか?
A: ワイド データでは、適切な設定を取得するのに問題が生じる可能性があります。 逆予測では、すべてのオプションで問題ありません。
Q: PCA 式をテーブルに保存する方法について説明していただけますか。 座標自体を保存する方法しか知りません。
A: 赤い三角形から、数式をデータ テーブルに保存します。
Q: Prediction Profiler での最適化に PLS モデルを使用する場合、最適化は変数間の相関関係を考慮しますか? 外挿制御がオンになっている場合、変数間の相関関係は処理されますか?
A: PLS では、変数の選択を行い、結果を使用して重要な変数でモデルを構築できます。 次に、VIP を使用して Make Model を使用し、再実行します。 これらのモデルをデータ テーブルに保存すると、モデルは大きくなり、すべての変数が含まれます。
Q: モデルスクリーニングは役に立ちますか?
A: はい。 時間がかかります。 追加の方法を選択します。それを選択すると、Elastic Net を経由することに注意してください。 また、Ridge Regression も通過し、K-folds と cross validation がある場合は時間がかかります。 また、一般化回帰と PLS モデル スクリーニングでは、双方向の交互作用を追加でき、双方向の交互作用の有無にかかわらず適合します。
資力
