Re: モデル選択のための決定的スクリーニングとステップワイズ (最小 AICC) の適合やあ@QW 、
「Fit Definitive Screening Design」は、DSD 用に設計された分析であり、効果の階層、効果の遺伝、および効果の希薄性の DOE 原則を強調およびサポートするためです。実験計画の原則とガイドライン (jmp.com)
- 最初のラウンドで、Fit DSD プラットフォームは重要な主効果を見つけ、特定された主効果に基づいてモデルを作成しようとします。
- 2 番目のラウンドでは、最初のモデルの残差を分析して、交互作用項やべき乗項などの 2 次項 (前に特定した主効果に依存し、効果遺伝の原則に従って) を見つけて検出します。
デフォルトでは、プラットフォームは「強い遺伝」の原則を使用します (例: 相互作用 A*B は、最初のラウンドで主効果 A と B の両方が特定され、有意である場合にのみ、2 番目のラウンドで分析および特定されます)。 「二次項は強い遺伝に従う」と「相互作用は強い遺伝に従う」のチェックを外すことで、モデリングの柔軟性を高めます。 これにより、弱い遺伝が可能になります。つまり、たとえば、主効果 A または主効果 B が特定され、最初のラウンドで有意である場合、交互作用 A*B が 2 番目のラウンドで分析される可能性があります。 あなたの場合、弱い遺伝性は同じモデルを提供します。 詳細はこちら： DSDの効果的なモデル選択 (jmp.com)
また、DSD は 2 次効果を検出するのに強力で興味深いものであっても、依然として計画をスクリーニングしているため、考えられるすべての効果を検出して推定することはできません。たとえば、主効果と比較して低いため、二次効果の検出がより困難になるのは「普通」のようです。
2 次効果の中で検出されなかった隠れた用語がまだあると思われる場合は、モデルの信頼性を高めるために (「Augment Design」プラットフォームを使用して) より多くの実行で計画を拡張することを強くお勧めします (および新しい二次効果および/または相互作用効果を検出する可能性があります)。
「ステップワイズ」選択アプローチは異なり、「モデルにとらわれない」分析のようにより指向性が高く、項の選択は必ずしも DoE 原則の一部に従うとは限りません (主効果などのいくつかの項を尊重するように「ロック」できたとしても)。効果の遺伝/階層) が、基準 (AICc、BIC、...) の最適化に焦点を当てています。 これにより、「Fit DSD」などの他のプラットフォームからの「セーフガード」が存在しない可能性があるため、モデルがより複雑になる可能性があります。 Stepwise プラットフォームを使用して境界を押し広げ、他のデザインを検討したい場合は、赤い三角形をクリックして、「可能なすべてのモデル」を試すこともできます。 モデル内の項の数を指定できます。JMPは、項のすべての可能な組み合わせを試行して、指定された項の数を持つすべての可能なモデルを提供します。 モデリングに「インスピレーション」を与えることができますが、統計的有意性を持たない項がモデルに入力される可能性があるため、結果には注意が必要です (そのため、後で微調整が必要になる場合があります)。
最初のモデルの場合 (デフォルトでいくつかの項が追加されますが、それらの p 値は 0.05 のしきい値を超えています):
さまざまなモデリング オプションを試して比較することは常に興味深いものであり、その過程でドメインの専門知識が役立つ場合はなおさらです。 重要な用語についてのアイデアを得るのに役立ち、想定されるモデルに基づいて、新しい実行で DoE を強化する方法を定義するのに役立つ場合があります。
ここに正しい答えも間違った答えもないと思います。重要なのは、さまざまなモデルを比較して評価し、ケースをよく理解することです。 一部の方法は他の方法よりも保守的ですが、さまざまなモデリングをドメインの専門知識と組み合わせることで、何が最も重要かについてより広い視野を持つことができます。 それから、次の実験を計画してモデルを改良し、モデルを評価できるようにいくつかの検証ポイントを準備します。
この（長い）回答がお役に立てば幸いです。
PS : さまざまな推定方法 (ベスト サブセット、プルーニング/2 ステージ/フォワード選択など) を使用した一般化回帰など、さまざまなプラットフォームで実行された他のモデルを比較することもできます。
Re: モデル選択のための決定的スクリーニングとステップワイズ (最小 AICC) の適合これらのアプローチやその他のアプローチは、役立つツールのベースですが、特定の方法や答えを指示するものではありません。 Fit Definitive Screening アプローチは、あなたのケースに適したモデルを見つけることができませんでした。 JMP は無数のアプローチに基づく多数のツールを提供するため、最適なモデルを 1 つのアプローチだけに絞り込むために検索を制限する必要はありません。
すべてのケースで優れていることが示されているアプローチは存在しないため、JMP にはこれらすべてのツールが備わっています。
また、さまざまなアプローチでデータを分析することで、同意を得たときに自信を持つことができます。 意見が一致しない場合は、意見が一致しない理由を調査し、選択したモデルが最適である理由を理解できます。
何よりも、モデルを検証する必要があります。 元の実験に含まれていない設定での応答を予測するために使用します。 望ましい結果を予測する設定と、望ましくない結果を予測する設定を検討する必要があります。 モデルは、実験の範囲内ですべての応答を正確に予測する必要があります。
モデル選択における最終的スクリーニングと段階的 (最小 AICC) の適合4 つの因子を使用して 17 実行の DSD にモデルを当てはめようとしています。 私はそのための 2 つの方法を評価しています。1 つは JMP ドキュメントで推奨されている「Fit Definitive Screening」プラットフォーム、もう 1 つは最小 AICC を基準とする古い前方選択方法です。
ドメイン知識に基づいて、私は、比較的類似しているはずの中/高レベルよりも低レベルが大幅に悪化する、プラトーのように見える因子 B の二次効果を期待していました。 「Fit DSD」アルゴリズムの結果を見ると、因子 B の主効果残差プロットは実際に次のようになります。 ただし、fit DSD アルゴリズムは二次効果を出力しません。 ステージ 2 の比率を 1 から 0.1 に変更してみましたが、違いは見つかりませんでした。
同じデータセットを使用し、最小限の AICC で順方向モデル選択を使用すると、項として B^2 が含まれる次のモデルが得られます。
最後に、Fit DSD とステップワイズで作成したモデルを実際に実行すると、ステップワイズ導出モデルの全体の p 値と調整された R^2 が優れた適合を示していることがわかります (適合の p = 0.0144 および r^2 = 0.438)。 DSD、p = 0.0030、ステップワイズの r^2 = 0.615)
他のいくつかの出力パラメーターに対してこれを繰り返したところ、一般に、2 次項に関しては、fit DSD が段階的選択よりもはるかに保守的であることがわかりました。 これは本当ですか？ その場合、たとえモデルの適合性が低下したとしても、適合 DSD のモデルを使用することが推奨されますか?
匿名化されたデータを添付しました。
ありがとう。
データのブレンディングとクリーンアップ実験計画法
