段階的回帰による混合 DOE の分析混合ケーススタディ (ウェブキャストおよび JMP ドキュメント ライブラリ) では、結果の分析に後方回帰が使用されていることに気付きました。 通常の (非 Pro) JMP では、段階的回帰が前方回帰やすべての可能なモデルとともに使用されないのはなぜですか? 混合モデルの特殊な性質により、ステップワイズは不可能ですか?
実験計画法Re: 段階回帰による混合 DOE の分析以下は私の考えですが、主に哲学的な性質のものです。
私が最初に考えたのは、実験計画を段階的に行うことは決してしないことです。実験は、因子とそれらの因子の予測モデル (たとえば、1 次、1 次と 2 次など) を調査するように設計されています。 モデルは事前に予測される必要があります。ステップワイズは、未知または予測されていない可能性のある関係を明らかにする手順です。
混合計画は、ほとんどの場合、最適化計画です。つまり、混合物の成分が重要であることがすでにわかっているので、操作に最適な表面の「領域」を見つけようとしているのです。モデルの条件をすでに理解しており、それらの条件を最適化しているはずです。もあるかもしれません混合計画ではかなりの量の共線性があり、段階的に困難になります。
Re: 段階回帰による混合 DOE の分析では、最適なモデル、つまり後方回帰を見つけるにはどうすればよいでしょうか? Stewize で考えられるすべてのモデル?...
Re: 段階回帰による混合 DOE の分析このアプローチは、知識の連続体のどこにいるか (たとえば、スクリーニング、最適化、説明しているか予測しているかなど) に大きく依存します。 スクリーニング段階で実験するときは、完全なモデル (可能であれば飽和状態) から始めて、そこから重要でない項を削除する (逆方向モデルまたは減算モデルの構築) ことを強くお勧めします。最適化する場合、質問は少し異なります (一般に、混合設計など)。1 次と 2 次の線形と非線形についてはすでによく理解しているはずです。統計的有意性はそれほど重要ではありません (すでに確立されています)。レベル設定を「微調整」しています。
Re: 段階的回帰を使用した混合 DOE の分析やあ@フランクデルイック、
私は「哲学的」な観点に同意します。 @スタットマン段階的回帰に関しては、アプリオリ モデルが存在しない場合のいくつかの要因と効果を明らかにするために、「非設計」データセットをより指向しています。p 値を使用した従来のモデル選択手法は、混合には役に立ちません。推定された効果間の多重共線性 (効果間のエイリアス) により、推定値の標準誤差が非常に大きくなり、誤解を招き、歪んだ p 値が生じます。
(モデルベースの) 混合計画の場合、順方向ステップワイズ回帰が可能な場合がありますが、安全策と注意が必要です (たとえば、モデル内の主効果を強制し、切片は使用しません)。 混合物の設計に関して検討すると興味深い 2 つのオプションがあり、フィリップ J. ラムジー博士がプレゼンテーションの 1 つで強調しています。 JMP Pro 14 を使用した拘束混合物および混合プロセス実験の分析戦略" :
- Miller の擬似因子法を使用した従来のフォワード選択
- 部分的に重み付けされたブートストラップと自動検証を使用した従来の前方選択: JMP Pro の SVEM、一般化回帰プラットフォーム (Gotwalt および Ramsey)
Ramsey 博士は、すべてのモデルで純粋成分項を強制する必要があることもあり、混合物に「可能なすべてのモデル」を使用することを推奨していません。 実用的かつ実用的な観点から見ると、効果間の階層や継承に関係なく、さまざまな数の効果を持つすべての可能なモデルが構築されるため、「可能なすべてのモデル」手法は計算の面で非常に要求が厳しくなる可能性があります (そしてあまり効果的ではありません)。 したがって、作成されたモデルのかなりの部分は、考慮するのにあまり興味 (および関連性) がないかもしれませんが、それでも不可知論的かつ「総当り」の方法で作成および評価されます。
モデルベースの混合計画には事前モデルが想定されているため、後方回帰は、AICc (JMP Pro の一般化回帰プラットフォーム、または JMP の Backward Stepwise) のような情報量基準に基づく検証手法と併用する方が安全です。
因子のスクリーニングよりも予測パフォーマンスに関心があるため、モデル (JMP、標準最小二乗法) から想定されるすべての効果を含む完全なモデルから開始して項を削除することで、後方回帰を「手動」で実行することもできます。モデルの RMSE (予測誤差) の減少に役立つ限り。
モデルに依存しない混合設計 (空間充填設計など) の場合、内挿において効率的かつ効果的な機械学習手法の使用は、均一に分布した点で予測モデルを構築するのに非常に役立つ可能性があります (ただし、過剰学習がすぐに発生する可能性があります) : SVM 、ニューラル ネット、k 最近傍法、ガウス過程、...
最後に、モデルの予測パフォーマンスを検証および推定するために、検証の実行が必要になる場合があります。
この追加の回答がお役に立てば幸いです。
Re: 段階回帰による混合 DOE の分析-logworth(p-value) パレート プロットが後方回帰に使用されることをウェビナーで見ました。 p値が混合物に適していない場合、これは正しいですか? 注: jmp プロ以外のユーザーにトレーニングを提供する必要があるため、一般化された機械学習は使用できません。
Re: 段階回帰による混合 DOE の分析完全 3 次シェッフェ モデルに基づいて、3 要素の FLA 1、FLA 2、および FLA 3 混合 DOE を解析しています。 標準的な最小二乗ボタンを押して、対数パレート (混合分析の P 値?) に基づく後方回帰を使用して効果の低いパラメーターを削除しようとすると、以下の結果が得られます。選択したすべての効果も削除する必要がありますか、それとも含まれていない効果のみを削除する必要がありますか?
また、Stepwise で「すべての可能なモデル」を使用して分析を行ったところ、AICC ランキングに基づいて非常に優れたモデルが得られました。おそらく間違ったモデル (P 値に基づく後方回帰によって正しいモデルが生成されるでしょうか...?) が得られましたが、指定するのに非常に役立ちました。最適な出力Y設定！
混合物分析には強い共線性があるため、検証カラムが必要であり、一般化回帰と実際の機械学習ツールを使用することが正しいアプローチであるということに私は間違いなく同意します。 SVEMについて詳しく見ていきます。 プロ以外のユーザーの DOE トレーニングに関しては、古典的な方法に頼る必要があります。上に示したように、「すべての可能なモデル」はそれほど悪くないように見えますか？ もちろん、より複雑なケースでは、3 つを超える混合コンポーネントのプロセス効果により生成されるモデルが多すぎるため、逐次的なアプローチが間違いなく必要です。ただし、共線性が強いため、パラメータを適切に選択して次の連続ステップに進むことは非常に困難です。
Re: 段階的回帰を使用した混合 DOE の分析やあ@フランクデルイック、
DoE が階乗であるか混合であるかに関係なく、演繹的に仮定されたモデルがある場合は、実験計画法の背後にある 3 つの原則を尊重する必要があります。
- 効果の希薄性: 効果の疎性原理とは、実際には、実験における少数の効果だけが統計的に有意であるという考えを指します。 応答の変動のほとんどは少数の効果によって説明されるため、要因実験では主効果 (単一因子) と二因子交互作用が最も重要な応答である可能性が最も高くなります。 パレートの法則とも呼ばれます。
- エフェクト階層: 階層原理では、相互作用の程度が高くなるほど、相互作用によって応答の変動が説明される可能性が低くなります。 したがって、主効果は 2 因子交互作用よりも多くの変動を説明し、2FI は 3FI よりも多くの変動を説明するため、低次の効果の推定を優先する必要があります。
- 効果の遺伝: 遺伝的遺伝と同様に、効果遺伝原理では、相互作用項は、相互作用に先行する順序付けされた項が重要である場合にのみ考慮できると仮定します。 この原則には 2 つの可能な実装があります。強いまた弱い遺伝。 強い遺伝これは、対応する主効果が両方とも存在する場合にのみ交互作用項をモデルに含めることができることを意味します。 弱い遺伝対応する主効果の少なくとも 1 つが存在する場合、交互作用項がモデルに含まれることを意味します。
あなたの場合、これらの効果を削除しようとすると、効果の遺伝原則と矛盾します。つまり、主効果 FLA1 と交互作用 FLA2xFLA3 は、これらの用語を含む他のすべての効果用語をすでに削除していない限り、削除できません。 したがって、ここではそれらを保管する必要があります。
前に述べたように、混合計画の p 値のみに基づいてモデルを作成することは、非常に誤解を招く可能性があります。
AICc (または BIC ?) 基準で試した 2 番目のオプションは、より合理的であると思われます。AICc (または BIC) は、モデルの複雑さとその精度の「バランス」をとろうとする情報基準 (低いほど良い) であるためです。
スクリーンショットに関しては、モデル番号 9 の RMSE と BIC が低いため、あなたのケースでは項数が多いモデルが役立つ可能性があるようです。 また、ある種の不均一分散性を示すように見える残差プロットを修正することもあります (フレーバー スコアが高いほど残差が大きくなります)。
この補足コメントがお役に立てば幸いです。
Re: 段階回帰による混合 DOE の分析こんにちは、Victor さん、私はあなたの遺伝原則に間違いなく同意します。それが、この場合、p 値に基づく後方回帰が機能しない理由です。そこで、AICC を前方選択してすべての可能なモデルを使用すると、非常に素晴らしい結果が得られました。 私は現在、プロセス変数とすべての可能なモデルを使用した別の混合ケースに取り組んでいます。この方法では、おそらく間違っていますが、非常に有用なモデルが生成されます。 プロ以外の JMP ユーザーには、混合 DOE 解析に可能なすべてのモデル法を段階的に使用することをお勧めします。
Re: 段階回帰による混合 DOE の分析うーん、1 つか 2 つの混合実験を行って結論を出します。」混合物 DOE 解析には可能なすべてのモデル手法を段階的に使用することをお勧めします。」この推奨事項には注意することをお勧めします。そうしないと、ダニアルが言うように、「時期尚早な一般化」に失敗することになります。
Re: 段階回帰による混合 DOE の分析少なくとも私が入手したモデルは、「間違っているが、目標を達成するには役立つ」という Cox の実際的な声明を満たしています。JMP プロ以外の通常のモデルでより良い代替品は何でしょうか? これらのモデルはさらに良くなるでしょうか?
Re: 段階回帰による混合 DOE の分析プロユーザーには、検証を伴う機械学習方法を強くお勧めします
Re: 段階的回帰を使用した混合 DOE の分析私の考えは以前この議論で表現されたかもしれませんが、明確に述べたいと思います。 まず第一に、主効果パラメータの推定値をテストしません。 なぜだめですか？ コンポーネントの比率の合計が 1 になるという制約は、線形モデルの数学を超えた影響を及ぼします。 効果とは、因子のレベルが変化したときの応答の変化です。 因子水準の変化は非混合実験では独立しているため、因子を変更した効果は適切に設計された実験では一意に決定されます。 1 つの混合成分を他のすべての成分から独立して変更することは不可能です。 したがって、混合実験の 1 つのコンポーネントに効果を一意に割り当てることはできません。
第 2 に、主効果パラメータの推定値をテストすることができません。 JMP は、パラメータがゼロであるという帰無仮説に対して、主効果のパラメータ推定値を誤ってテストします。 主効果パラメーターは平均応答と純粋なブレンドの応答の平均変化を加算したものであるため、帰無仮説はゼロではなく平均応答になります。 さらに、平均応答はすべての主効果パラメーターの一部であるため、共同テストは不可能です。
このシミュレートされたデータセットの真の平均応答は 20 です。 平均応答を含む真の主効果パラメータは、X1、X2、および X3 でそれぞれ 10、20、および 30 です。 パラメータは 0 とは大きく異なりますが、これは誤った帰無仮説です。 各主効果推定値には、検定が交絡しているという注記が付けられます。
主効果については尋ねませんが、高次の項については尋ねることができ、またそうすべきです。なぜなら、高次の項は表面の形状について教えてくれるし、テスト可能なからです。
Re: 段階回帰による混合 DOE の分析とても興味深いですね、マークさん、JMP プロ以外のユーザーに推奨する混合物 DOE 結果分析方法は何ですか? 上記の例では、対数ワース パレートを使用した後方回帰は機能しませんでした。 AICc は、Stuise を使用して、すべての可能なモデルが正常に動作しました。
Re: 段階回帰による混合 DOE の分析混合実験の線形モデルを選択するための特定の方法はお勧めしません。 繰り返しますが、 @スタットマンすべてを考慮するというアドバイスアプリオリ実験を計画するときに知識を獲得し、実験を分析するときにも知識を獲得します。
Re: 段階回帰による混合 DOE の分析これは、高次の項を推定するには、三値プロットの内部点に焦点を当てる必要があることを意味します。 では、空間充填 DOE は、双方向相互作用モデルを推定するよりも優れた選択肢なのでしょうか?
Re: 段階回帰による混合 DOE の分析私は完全に同意し、上記の例で私が行ったことです。私は正しいアプローチを使用しましたか?
Re: 段階回帰による混合 DOE の分析混合最適計画 (3 つの混合係数の場合) を使用するときに点がどのように生成されるかを明確にするために、次のようにします。
- 頂点の点は主効果パラメータの推定に役立ちます。
- エッジの中央にある点は、2 因子交互作用の推定に役立ちます。
- 中心のポイントは 3 次インタラクションに使用されます。
空間充填設計は、アプリオリ モデルが存在しない場合に、実験空間内にランダムかつ均一に分布した点を作成します。
使用するモデルのタイプ (双方向相互作用モデルなど) についてすでにアイデアがある場合は、点の生成が効果項のパラメーター推定用に最適化されるため、最適な設計がより便利で効果的になる可能性があります。 (空間充填設計点生成の「ランダム性」とは異なります)。
空間充填設計は、非線形応答曲面の可能性があり、可能なモデルに関する事前の知識が存在しない場合に役立ち、測定不可能な点 (安定性の問題) の場合のモデリングの可能性に関してより柔軟になります。 、非常に高い値または低い値、...)。
これにより、これら 2 種類の方法論の使用の違いが明確になることを願っています。Re: 段階回帰による混合 DOE の分析5 つの成分を含む混合物をテストし、どの成分が反応に影響を与えるかを知りたいとします。これらの有効な成分をどのように選別すればよいでしょうか? 交絡によりこのようなことが起こり得るのでしょうか？
Re: 段階回帰による混合 DOE の分析スペースを埋めるデザインでも審査は非常に難しいのではないでしょうか？
注: 私は非混合 DOE に関して幅広い経験があるため、上記の質問は混合の専門家にとっては素朴に見えるかもしれません。これまでのところ、私の結論は、混合 DOE には経験が必要であり、分析方法が非混合 DOE よりも明確ではないため、科学者にとって人工的とは思えないということです。 私は今後の DOE トレーニングで、定式化が重要である多くの質問に備えて準備しています。 皆さんのご意見ありがとうございます。とても助かります!
Re: 段階回帰による混合 DOE の分析空間充填設計は、実験空間の境界よりも内部と、最適化 (均一に分散された設計点と多種多様なモデリング/アルゴリズム オプションによる最適な予測モデルの適合) に重点を置く傾向があります。
混合計画は、特定の性能/応答に最適な配合比を見つけるための最適化戦略でよく使用されますが、混合因子を「スクリーニング」する (または少なくとも混合因子間の相対的な重要性を評価する) のに役立つ計画もあります。多重共線性のため、ここでは統計的有意性は効果をスクリーニングするのに適切ではないため)。
一般に、混合設計に詳しくない場合でも、インターネット上に利用可能なリソースがたくさんあります。 以下に役立つ例をいくつか示します。
https://reliawiki.org/index.php/Mixture_Design
https://online.stat.psu.edu/stat503/lesson/11/11.3
https://www.lexjansen.com/muro/sugi21/iv/138-21.pdf
この回答がお役に立てば幸いです、
Re: 段階的回帰を使用した混合 DOE の分析ありがとうビクター！
Re: 段階的回帰を使用した混合 DOE の分析高次モデルが「正しい」場合、空間充填設計が必ずしも「優れている」とは限りません。 もっと単純な状況、つまり単一の連続因子のみの一次効果を考えてみましょう。 10 回実行する最適なデザインは何ですか? 低設定で 5 回実行され、高設定で 5 回実行されます。 「スペース充填」設計では、実行が 3 つ以上のレベルに分散されるため、統計的に効率的ではありません。
混合物の空間充填設計は、応答が単体の狭い領域で急速に変化し、その領域が不明な場合に有利です。 混合実験用に工夫を凝らしたスクリーニングデザインです。
Re: 段階的回帰を使用した混合 DOE の分析私見ですが、他の人に方法論を教える前に、多くのアプリケーションに習熟する必要があります。 混合物を理解するための旅を始めるために、コーネルを読むことをお勧めします (コーネルは混合物に関する主要な専門家の一人です)。
ジョン・コーネル (1990)混合物の実験、設計、モデル、および分析”、ワイリー (SBN: 047152221X)
お気に入りの論文:
スニー、ロナルド・D、 混合実験の設計と分析、品質技術ジャーナル、 Vol. 3、第 4 号、1971 年 10 月
コーネル、ジョン、階乗実験内に混合実験を埋め込む、品質技術ジャーナル、 Vol. 22、No.4、1990 年 10 月
スニー、ロナルド・D、 ドナルド・マーコート混合物を用いた実験のコンセプトとデザインのスクリーニングさん、テクノメトリクス、Vol. 18、第 1 号、1976 年 2 月
および私たち自身の Dan Obermiller の: 混合実験への JMP の使用に関するヒント
Re: 段階回帰による混合 DOE の分析のコックス混合モデルは、実験者がこの質問に答えるのを助ける試みです。 参照ブレンドを指定する必要があります。 このモデルは、各コンポーネントの固有の効果を決定するために使用されます。
Re: 段階回帰による混合 DOE の分析これらのRefefenceミックスに心から感謝します! この難しいテーマを掘り下げていきます
Re: 段階回帰による混合 DOE の分析Louis Valente のプレゼンテーションで、混合デザイン ポイントを [ポイント タイプ] 列でラベル付けして色付けする優れた方法を見ました。以下を参照してください。 このポイント型列はどのように作成しますか?
Re: 段階回帰による混合 DOE の分析これを行うスクリプトが Sample Scripts フォルダー (\Samples\Scripts の下の JMP フォルダー内) にあります。スクリプトの名前は「LabelMixturePoints.jsl」です。
Re: 段階回帰による混合 DOE の分析詳細な回答をありがとうございました。それが配合作業について考えるきっかけになりました。
モデルの未知の項がある場合にどのように対処するかを提案してください。たとえば、効果、特に配合中の新しい成分による二方向相互作用を発見したいと考えています。研究の目的は最適化というよりはスクリーニングに近いですが、この場合は段階的に行うのが適切でしょうか?
Re: 段階的回帰を使用した混合 DOE の分析あなたの質問には困惑しています。 あなたは「モデルの未知の用語」と言い、次にその用語が既知の新しい成分であると言います。 私は、混合設計を使用して新しい成分を実験し、混合設計の分析を使用して新しい成分の効果と考えられる相互作用を評価します。 この場合、段階的には使用しません。 冗長で申し訳ありませんが、ステップワイズは、研究内の要因が既知である実験の分析ではなく、未確認の要因を明らかにするために使用されます（データマイニングなど）。
