相関性の高い高次元データのための予測モデルの構築
動画は2024年8月に更新されました。
多重共線性とは、従属変数を推定するために使用される、本来独立変数であるはずの変数間に非常に高い相関関係が存在するため、各独立変数が従属変数の変動にどの程度寄与しているかを判断できない状態を指します。データセットに高い多重共線性がある場合、この問題を軽減する手法を用いない限り、構築するモデルはほぼ確実に過学習を起こします。多重共線性を抑制することで、優れた予測モデルを構築できる可能性を高めるために使用できるモデリング手法がいくつかあります。これには、JMPで利用可能な主成分分析と偏最小二乗法、およびJMP Proの「モデルの適合」オプションとして利用可能な一般化回帰が含まれます。
以下の手順をご覧ください。
- 主成分分析（PCA）を実行すると、少数の成分を使用してデータセットをモデル化し、変動性を制限し、多重共線性を軽減できます。
- 部分最小二乗法を用いて、因子、すなわち説明変数（X）の線形結合に基づく線形モデルを当てはめる。
- これらの要因は、Xと応答（Y）との間の共分散を最大化するように取得されます。
- PLSはXとYの間の相関関係を利用して、潜在的な構造を明らかにする。
- PLSは、通常の最小二乗法（OLS）では満足のいく結果が得られない状況、例えば、X変数の数が観測数よりも多い場合、X変数間の相関が高い場合、X変数の数が多い場合、Y変数が複数ありX変数が多い場合などに優れた性能を発揮します。
- PLSは、予測変数の数が観測変数の数より多い場合に使用できます。
- PLSは、分光法、ケモメトリクス、ゲノミクス、心理学、教育学、経済学、政治学、環境科学などの分野における高次元データのモデリングに広く用いられている。
- JMP PLS の使用方法については、2 つのモデル適合アルゴリズム（非線形反復部分最小二乗法 (NIPALS) と「統計的に着想を得た PLS の改良版」である SIMPLS）を参照してください。
- 単一の応答の場合、どちらの方法も同じモデルを与えるが、複数の応答の場合はわずかな違いがある。
- PLSは、ファン・デル・ヴォートT2検定と交差検証を用いて、抽出する最適な因子数を選択するのに役立ちます。
- 二乗平均平方根PRESS（予測残差平方和）プロットを解釈してください。このプロットは、PRESS値が最も低い因子の数を示しており、そのモデルは、データに対して得られる最良のモデルの中で最も劣るモデルです。
- 分散重要度プロット（VIP）を使用して、削除する要因を特定します。
- 変動率プロットの解釈
- ファン・デル・ヴォートT2統計量は、因子の数が異なるモデルが、PRESS値が最小のモデルと有意に異なるかどうかを判断するために検定を行う。
- 一般的な方法としては、ファン・デル・ヴォート有意水準が0.10を超える因子の最小数を抽出するという方法がある。
- JMP Proの一般化回帰の高度なペナルティ付き回帰手法は、相関性の高いデータや正規分布に従わないデータ、および変数選択に特に適しています。
- LASSOモデルを構築し、結果を解釈し、その限界を理解する。
- Elastic Net モデルを構築し、相関性の高いデータに対して解釈を行い、LASSO と比較した場合の利点を理解する。
- 高次元スペクトルデータにはJMP Proの一般化回帰を使用してください。
- PCAモデル駆動型多変量管理図、相関関係に基づくPCA要約プロット、および固有値の調査と解釈
- PLSの結果を調べて解釈する
- エラスティックネット一般化回帰（一般化R二乗を含む）の解釈
- 非常に広範囲のデータにはJMP Proの一般化回帰を使用し、結果を解釈してください。
注：添付の.jmpprjファイルには、デモの解析を実行するためのスクリプトが含まれています。
ライブウェビナーでビル・ウォーレイ氏（@Bill_Worley ）とスコット・アレン氏（@scott_allen）が質問に答えます。
Q：彼が「PCAに適したデータは縦長で横幅が広い」と言ったのはどういう意味ですか？
A: 「縦長」データとは、行数が多く列数が少ないデータテーブルを指し、「横長」データとは、列数が多く行数が少ない（観測値が少ない）データを指します。一方、PLSは、因子数が観測値数よりも多い場合によく用いられます。
質問：相関性の高い変数があり、あるアルゴリズムが一方の変数を他方よりも推奨している場合、どちらの変数を残すか、あるいはどちらの変数を使用しないかをどのように選択すればよいでしょうか？
A：分散膨張係数（VIF）は、どの値が高度に相関しているかを調べる方法です。VIFは、それらの値が他の変数とどの程度相関しているかを示す指標です。高度に相関している因子を特定し、そのうちの1つを削除すると、VIFに影響が出ます。その後、多変量解析を使用して、どの変数が高度に相関しているかをさらに詳しく理解します。
Q: 一般化回帰分析において、AICよりもBICを使用する方が良いのでしょうか？
A：それはモデルの目的によります。BICはAICcよりもパラメータ数の多いモデルに対してペナルティを課すため、通常はパラメータ数の少ないモデルにつながります。
Q: ユーザーは、JMPが選択したモデル以外に、使用するモデルを選択するオプションを持っていますか？
A: モデル比較を実行して、最適な検証結果またはテスト結果を確認できます。また、ツール「Remove Elastic Net Alph」を使用すると、JMPが3つのオプションを順に表示して、3つのモデルの中から最適なものを提示します。データ量が多い場合は、これらの実行に時間がかかる場合があります。
質問：これらの手法を時系列データにどのように適用しますか？
A: 時系列データは、JMP の時系列ツールまたは FDE ツールを使用して分析するのが最適です。詳細については、以下を参照してください。 時系列 分析に関するビデオ 曲線データ。
このトピックに関する過去のウェビナーで回答された質問：
Q: Pred Formula Y1はPCA回帰によるものですか？
A：はい、Y1とY2の予測式は主成分回帰分析によって生成されました。これらの予測式を用いてプロファイラを作成する際に、主成分ではなく個々の効果を表示するチェックボックスをオンにすることができます。
Q: PLSでは、相互作用を指定する必要がありますか、それとも変数間の関係は基礎となるモデル（例：NIPALS）に組み込まれていますか？
A: PLS分析では、相互作用やその他の項など、テストしたいモデル効果を指定する必要があります。標準のJMPでは、主効果のみでPLS分析を実行できます。JMP Proでは、「モデルの適合」にあるPLSパーソナリティを使用することで、相互作用や多項式などの他のモデル効果でPLS分析を実行できます。
Q: グルテンのデータセットにも、多くの多重共線性が見られますか？
A：はい。それぞれの波長は次の波長に依存しているため、波長間には多くの共線性が存在します。
質問：PLSと一般化回帰のどちらが自己相関の高いデータに対して一般的に優れていると言えるのでしょうか？それとも、単にデータセットに依存するのでしょうか？私はPLSの方が優れていると考えていましたが、必ずしもそうとは限らないようですね。
A：状況によりますし、データにも多少左右されます。どちらの方法も非常に近い、優れたモデルを生成します。
質問：これらのモデリングオプションのうち、逆予測に最適なものはどれですか？
A：データ量が多い場合、適切な設定を見つけるのが難しいかもしれません。逆予測の場合は、どのオプションでも問題ありません。
質問：PCAの計算式をテーブルに保存する方法を教えていただけますか？私は座標自体を保存する方法しか知りません。
A: 赤い三角形から、「数式をデータテーブルに保存」を選択してください。
Q: Prediction ProfilerでPLSモデルを使用して最適化を行う場合、最適化は変数間の相関関係を考慮しますか？それとも、外挿制御をオンにすると、変数間の相関関係は考慮されますか？
A: PLSでは、変数選択を行い、その結果に基づいて重要な変数を含むモデルを構築できます。その後、「VIPを使用したモデル作成」を実行して再実行します。これらのモデルをデータテーブルに保存すると、サイズが大きくなり、すべての変数が含まれます。
Q：モデル選考は有効でしょうか？
A: はい、時間がかかります。追加の方法を選択してください。これを選択すると、Elastic Net が実行されます。また、リッジ回帰も実行され、K 分割交差検証がある場合は時間がかかります。さらに、一般化回帰と PLS モデルスクリーニングでは、2 方向の相互作用を追加でき、2 方向の相互作用の有無にかかわらず適合します。
ゲイル_massari_1-1731005860636.jpeg
リソース
