ビデオは2024年8月に更新されました。
多重共線性とは、従属変数を推定するために使用されている独立変数とされる変数間の相関関係が非常に高いため、各独立変数が従属変数の変化にどの程度寄与しているかを判断できない状態を指します。データ セット内の多重共線性が高いということは、この問題を軽減する手法を使用しない限り、構築するモデルがほぼ確実に過剰適合になることを意味します。多重共線性を制限することで、優れた予測モデルを構築する可能性を高めるために使用できるモデリング手法がいくつかあります。これには、JMP で使用できる主成分分析と部分最小二乗法、および JMP Pro の適合モデル オプションとして使用できる一般化回帰が含まれます。
方法をご覧ください:
- 主成分分析（PCA）を実行し、変動性を制限し、多重共線性を軽減することで、少数のコンポーネントを使用してデータセットをモデル化します。
- 部分最小二乗法を使用して、因子、つまり説明変数（X）の線形結合に基づいて線形モデルを適合します。
- これらの要因は、X と応答 (Y) 間の共分散を最大化するように取得されます。
- PLSはXとYの相関関係を利用して潜在的な構造を明らかにする。
- PLS は、通常の最小二乗法 (OLS) を使用しても満足のいく結果が得られない状況で適切に機能します。これには、観測値よりも X 変数が多い場合、X 変数の相関性が高い場合、X 変数の数が多い場合、および Y 変数がいくつかあり、X 変数が多数ある場合が含まれます。
- PLSは予測変数が観測変数より多い場合に使用できる。
- PLS は、分光学、ケモメトリクス、ゲノミクス、心理学、教育、経済学、政治学、環境科学などの分野で高次元データのモデリングに広く使用されています。
- JMP PLSの使用方法については、非線形反復部分最小二乗法（NIPALS）と「統計的にヒントを得たPLSの修正」（SIMPLS）の2つのモデルフィッティングアルゴリズムが利用可能であることを確認してください。
- 単一の回答の場合、どちらの方法でも同じモデルが得られますが、複数の回答の場合は若干の違いがあります。
- PLS は、van der Voet T2 テストとクロス検証を使用して、抽出する最適な要素数を選択できるようにします。
- ルート平均PRESS（予測残差平方和）プロットを解釈します。これは、PRESS値が最も低い因子の数を示します。このモデルは、データに対して得られる最も優れたモデルのうちの最小のモデルです。
- 分散重要度プロット（VIP）を使用して、削除する要因を特定します。
- パーセント変動プロットの解釈
- ファンデルヴォートT2統計は、異なる因子数を持つモデルが最小PRESS値を持つモデルと有意に異なるかどうかを判定する検定である。
- 一般的な方法は、ファンデルヴォートの有意水準が0.10を超える最小数の因子を抽出することである。
- JMP Proの一般化回帰の高度なペナルティ付き回帰手法を使用します。これは、相関性が高く、正規分布していないデータや変数の選択に特に適しています。
- LASSO モデルを構築し、結果を解釈し、その制限のいくつかを理解します。
- Elastic Net モデルを構築し、相関性の高いデータを解釈して、LASSO に対する利点のいくつかを理解する
- 高次元スペクトルデータにはJMP Proの一般化回帰を使用する
- PCA モデル駆動型多変量管理図、相関サマリー プロットおよび固有値に関する PCA の調査と解釈
- PLSの結果を調べて解釈する
- 一般化R二乗を含む弾性ネット一般化回帰の解釈
- 非常に幅広いデータにJMP Proの一般化回帰を使用して結果を解釈する
注: 添付の .jmpprj ファイルには、デモから分析を実行するためのスクリプトが含まれています。
ライブ ウェビナーで Bill Worley @Bill_Worleyと Scott Allen @scott_allenが回答した質問:
Q: PCA に好ましいデータは縦長で幅が広いと彼が言ったのはどういう意味ですか?
A: 「縦長」データは、行が多く列が少ないデータ テーブルと考えることができます。一方、「横長」データは、列が多く行が少ない (観測値が少ない) データ テーブルです。一方、PLS は、因子の数が観測値の数より多い場合によく使用されます。
Q: 相関性の高い変数があり、アルゴリズムの 1 つが他の変数よりも 1 つの変数を推奨している場合、どの変数を保持するか、またはどの変数を使用しないかをどのように選択するのでしょうか。
A: 分散膨張係数 (VIF) は、どの値が高い相関関係にあるかを調べる方法です。VIF は、他の変数と実際にどの程度高い相関関係にあるかを示すものです。相関関係の高い要因を見つけて、その要因を削除すると、VIF に影響します。次に、多変量解析を使用して、どの変数が高い相関関係にあるかをさらに理解します。ビデオをご覧ください:
Q: 一般化回帰では AIC よりも BIC を使用する方が良いでしょうか?
A: モデルの目的によって異なります。BIC は、AICc よりも多くのパラメータを持つモデルにペナルティを課します。そのため、通常はパラメータの少ないモデルになります。
Q: JMP が選択したモデルではなく、どのモデルを使用するかを選択するオプションがユーザーにはありますか?
A: モデル比較を実行して、最良の検証またはテスト結果を調べることができます。また、ツールを使用することもできます - Elastic Net Alph を削除すると、JMP は 3 つのオプションを調べて、3 つのモデルのうち最適なものを表示します。データが大量にある場合は、実行に時間がかかることがあります。
Q: 時系列データにこれらのテクニックをどのように使用しますか?
A: 時系列データは、JMP の時系列ツールまたは FDE ツールを使用して分析するのが最適です。 時系列に関する情報と曲線データの分析に関するビデオをご覧ください。
このトピックに関する以前のウェビナーで回答された質問:
Q: Pred Formula Y1 は PCA 回帰から得られますか?
A: はい、Y1 と Y2 の予測式は主成分の回帰分析によって生成されました。これらの予測式を使用してプロファイラーを作成するときに、主成分ではなく個々の効果を確認できるボックスをチェックできます。
Q: PCA の例で変数を排除するための主な基準は何でしょうか?
A: 1 つの方法については、以下のビデオをご覧ください。
Q: PLS では、相互作用を指定する必要がありますか、それとも変数間の関係は基礎となるモデル (NIPALS など) に適応されていますか?
A: PLS の場合、相互作用やその他の項をテストするモデル効果を指定する必要があります。標準の JMP では、主効果のみで PLS 分析を実行できます。JMP Pro では、モデルの適合で PLS パーソナリティを使用して、相互作用や多項式などの他のモデル効果で PLS を実行できます。
Q: グルテンデータセットも多くの多重共線性と関連していますか?
A: はい。各波長は次々に依存しているため、波長ごとに多くの共線性があります。
Q: 自己相関の高いデータの場合、一般的に PLS または一般化回帰のどちらが優れているか、あるいは単にデータセットに依存するかは言えますか? PLS の方が優れていると思っていましたが、必ずしもそうではないようです。
A: 状況によって異なり、ある程度データに依存する場合があります。どちらも非常に近い優れたモデルを提供します。
Q: これらのモデリング オプションのうち、逆予測に最適なものはどれですか?
A: データが広範囲にわたる場合、適切な設定を行うのが難しい場合があります。逆予測の場合は、すべてのオプションが適切です。
Q: PCA 式をテーブルに保存する方法を詳しく教えていただけますか。座標自体を保存する方法しか知りません。
A: 赤い三角形から、数式をデータ テーブルに保存します。
Q: Prediction Profiler で PLS モデルを最適化に使用する場合、最適化では変数間の相関関係が考慮されるのでしょうか。または、外挿制御がオンになっている場合は、変数間の相関関係が考慮されるのでしょうか。
A: PLS では、変数選択を行い、その結果を使用して重要な変数を含むモデルを構築できます。次に、VIP でモデルの作成を使用して再実行します。これらのモデルをデータ テーブルに保存すると、モデルは大きくなり、すべての変数が含まれます。
Q: モデルスクリーニングは役に立ちますか?
A: はい、時間がかかります。[追加の方法] を選択します。これを選択すると、Elastic Net が実行されることに注意してください。また、リッジ回帰も実行され、K 分割とクロス検証がある場合は時間がかかります。また、一般化回帰と PLS モデル スクリーニングでは、2 元相互作用を追加でき、2 元相互作用の有無にかかわらず適合します。
リソース
