相関変数による重回帰こんにちは、みんな、
重回帰に関して助けが必要なので、助けていただければ幸いです。 よろしくお願いします ：）
簡単に言えば、問題は次のとおりです。
- 連続する Y と 16 個の X があります
- 多変量解析を実行すると、いくつかの項が相関していることがわかります。 たとえば、X1 と X2 は関連付けられており、そのうちの 1 つしか使用できません。
- ただし、X2 ではなく X1 を任意に選択したいと考えています。 したがって、私が現在行っていることは、最初に X1 で回帰を実行し、次に X2 で回帰を実行することです。 次に、これらの用語を使用してモデルを比較します。 しかし、実行する必要がある組み合わせの数が多すぎるため、手動で実行すると非常に時間がかかり、間違いが発生しやすくなります。
- これを解決するより賢い方法があるかどうかを確認したいと考えていました。
- これをある種のループで実行し、基礎となる最適なモデルを強調表示するスクリプトを作成すれば、この問題を解決できることはわかっています。
- ただし、スクリプトを作成する知識はありません。
- その他のヒントやコツもあれば幸いです。 (JMP Proを持っていません)
ご連絡をお待ちしております。
よろしくお願いします、
ヴィプル
自動化とスクリプト作成実験計画法Re: 相関変数を使用した重回帰どうもありがとう@David_Burnham ！ 貴重なご意見をいただき、大変助かりました。 とても有難い。
よろしくお願いします、
ヴィプル
Re: 相関変数を使用した重回帰ありがとう@スタットマンあなたの考えを共有するために。 これはとても役に立ちました。 とても有難い ：）
よろしくお願いします、
ヴィプル
Re: 相関変数を使用した重回帰もう一度ありがとう、ビクター。 とても役立つフィードバックでした。 私は段階回帰と PCA アプローチを試しましたが、それはすでに非常に役に立ちました。
改めて感謝申し上げます。
よろしくお願いします、
ヴィプル
Re: 相関変数を使用した重回帰こんにちは@vipul 、
モデルが異なれば、多重共線性に対するアプローチや対処方法も異なります。
X1 と X2 が他の予測子の中で相関性の高い予測子のペアであると考えると、モデルの反応は異なります。
- 段階的回帰アプローチ (またはデシジョン ツリー) を使用すると、モデルは相関性の高い予測変数をモデルから削除し、最も有益な予測変数のみを保持します。 あなたの場合、最終的には X1 または X2 のみになります (どちらが最適なモデリング/パフォーマンスを提供するかによって異なります)。
- ランダム フォレスト (または JMP の予測子スクリーニング) アプローチでは、各ツリーの予測子のサブセットを使用して、いくつかの決定木が構築されます。 つまり、X1 と X2 は同じ数の予測子サブセットでテストされるため、モデル内で同じ確率で検出されることになります。 どちらがより多くの情報をもたらすかに応じて、2 つの予測子の一方の特徴重要度 (モデル寄与度) が他方よりも高くなりますが、モデルでは 2 つが考慮される場合があります。
- PLS/PCA アプローチでは、予測子の数を相関のない予測子のより小さなサブセットに減らすため、ほとんどの予測子の情報が保持されます (保持する主成分の数に応じて)。 入力は変換/結合され、相関関係はありません (新しい X' は X1 と X2 の組み合わせとして作成される可能性があります)。
選択する方法は、モデルで得られるパフォーマンスによって決まりますが、さらに重要なのは、そのトピックに関して持っている専門知識によって決まります。 モデリングが異なると、異なる予測子の有意性または重要性について異なる説明や異なる仮説が生じる可能性があるため、ドメインの知識に基づいて、最も適切/合理的なモデルを選択する必要があります。
お役に立てば幸いです。
Re: 相関変数を使用した重回帰デビッドは試してみるべきプラットフォームをいくつか挙げました。 結合は統計的な手順ではなく、工学的/科学的な手順です。
仮説的な例を挙げてみましょう。
ゴムバンドを使用して発射体を発射できる距離 (Y=距離) にどのような要因が影響するかを判断しようとしていると想像してください。 関心のある多くの変数 (発射体の質量、発射体の形状、発射角度、周囲の気流、発射技術など) のうち 2 つは次のとおりです。
1. X1 = ゴムバンドが伸びた長さ
2. X2 = ゴムバンドの幅を変えることで変化する「バネ定数」
これら 2 つの変数はデータセット内で相関しているように見え、両方ともシステムに供給されるエネルギー量に直接影響します (仮説) それらが共線的であると考えてみましょう。 実験においてそれらを独立変数として扱う代わりに、次のレベルで構成される 1 つの因子に結合することもできます。
- = ストレッチの長さが短く、バンドの幅が狭い
+ = ストレッチの長さが長く、バンドの幅が厚い
そして、この「複合要素」を実験で他の多くの要素と比較しました。 この要因が重要であると思われる場合は、その後の実験を実行して、最も効果的に管理する方法をさらに理解することができます。システムへのエネルギー(これは新しい応答変数になります)。
Re: 相関変数を使用した重回帰参考までに、すべての X に一度に 1 つずつ適合させるために説明した手順は、反応スクリーニングプラットフォームは、「分析」>「スクリーニング」の下にあります。
Re: 相関変数を使用した重回帰こちらもご覧ください。クラスター変数[分析] > [クラスタリング] の下にあるユーティリティ。相関関係のある X は同じクラスターに配置されます。次に、クラスターごとに、回帰に含める「代表変数」を選択できます。赤い三角形からは「Launch Fit Model」オプションもあります。
Re: 相関変数を使用した重回帰こんにちは@スタットマン、
あなたの視点を共有するために時間を割いていただきありがとうございます。 複数の相関関係のある X をどのように組み合わせるかについて詳しく説明していただけますか?
改めてよろしくお願いいたします。
よろしくお願いします、
ヴィプル
Re: 相関変数を使用した重回帰こんにちは@Victor_G
ご回答いただきありがとうございます。 予測子スクリーニング モジュールをすぐに使用するつもりです。 それが何らかの手がかりになることを願っています。
しかし、(たとえば) X1 と X2 が再び最も可能性の高い予測子として現れるため、これで多重共線性の問題が解決すると思いますか?
Re: 相関変数を使用した重回帰私の考えは次のとおりです。統計的な手順はありません。選ぶ多重共線性が存在する場合に研究にどの要素を含めるべきか。 決定は SME (主題の専門家) によって行われなければなりません。 これに影響を与える可能性のあるものは次のとおりです。
1. X の管理の容易さまたはコスト
2. 含まれるかどうかの科学的根拠 (仮説) (データを取得した後に展開するのではなく、予測することをお勧めします)
3. 他の Y への影響
他にも次のようなことができます。
1. 相関関係のある x を 1 つの X に結合します。
2. 代替応答変数を開発する
3. 科学的関係が曖昧になる可能性がありますが、別の変換 (PCA など) を試してください。
4. 要因について実験を実行する
Re: 相関変数を使用した重回帰こんにちは@vipul 、
JMP は最小の BIC/AICc または p 値しきい値を持つモデルを作成する傾向にある変数を使用しようとするため、プラットフォーム「モデルの適合」で「ステップワイズ」パーソナリティを使用することはおそらくニーズに対応するでしょう。 プラットフォームの赤い三角をクリックすると、「可能なすべてのモデル」をテストするオプションもあり、モデル内の項 (因子) の最大数と、表示する最適なモデルの数を指定する必要があります。 次に、JMP はテストされたすべてのモデルと各モデルの項数 (R²、RMSE、AICc、BIC) を含むテーブルを提供します。十分に興味深いモデルが見つかった場合は、テストされたモデルのいずれかを実行できます。
ただし、データセット内の多重共線性の問題を考えると、これは良いアイデアではないと思います。 JMP と相関性の高い変数を含むデータセットがある場合は、説明可能性や予測可能性に興味があるかどうかに応じて、次のオプションを試すことができます。
- 「予測子スクリーニング」(「分析」 -> 「スクリーニング」) を使用して、応答にとって最も重要な変数を見つけます。 最も重要なものを n 個選択し (しきい値 n、保持したい重要な変数の数は、ドメインの専門知識または「上位 5 つの予測子が必要」などの任意のしきい値に応じて変更できます)、「選択したものをコピー」をクリックします。コピーした変数を使用して回帰モデル (モデルの適合) を実行します。
- 主成分分析を使用して、最初の 16 個の X を、初期情報のほとんどを含む、より低い独立変数のセットに減らします。 次に、元の X の代わりに主成分を使用した回帰モデルを試してください。
- 部分最小二乗法 (分析 -> 多変量 -> 部分最小二乗法) を使用して、相関変数を含むモデルを作成します。
これらのオプションは、考えられるすべてのモデルに適合させようとしたり、R² やその他のメトリクスに応じて最適なモデルを選択したりするよりも、より堅牢/信頼性が高いと思います。なぜなら、あなたが言及した元のアプローチでは、まだ貴重な値が含まれている可能性がある相関関係のある X の一部が削除されるためです。情報。
他にも多くのオプションが可能ですが、JMP Pro で利用できます (たとえば、ペナルティ付き回帰モデル手法を使用)。
これらの最初の 3 つのオプションはすでに役立つと思います 
