検証が DOE に含まれていないのはなぜですか?皆さん、こんにちは。私は今オンラインコースを学んでいます。 予測モデリング部分では、検証を使用して新しいデータに対するモデルのパフォーマンスを評価し、過剰適合モデルの選択を防ぎます。
検証には追加のデータが必要です。 ただし、DOE 部分には、この追加データは含まれません。 収集されたすべてのデータは、モデルのトレーニングに使用されます。 中心点もモデルの二次効果を評価するために使用されます。
応答曲面 DOE を例に挙げます。 この DOE の目標は、最適なポイントを見つけることです。通常、これは (DOE 内のポイントと比較して) 「新しいデータ」です。 この場合、検証セットが含まれていないのはなぜですか? それは重要ではないでしょうか？
分析エネルギー省Re: 検証が DOE に含まれていないのはなぜですか?さて、バイロン。 あなたが非常にうまくやったので、私は検証を区別することを怠っていました。
Re: 検証が DOE に含まれていないのはなぜですか?おそらく、誰もが「検証する」ということが何を意味するのかを確認することが重要です。
一般に、アドホック データをモデリングする場合、ホールドアウト データ セットを使用してモデルを検証することは非常に良いアイデアです。 ホールドアウト データの適合統計は、トレーニング データからモデルの品質を評価するために使用されます。 アドホック データのモデリングでは、基礎となる母集団に関する推定値を構築しようとしていますが、小規模なデータ セットを扱うとモデルのトレーニングと評価の能力が損なわれます。 より適切な推定を行うには、モデル化しているシステムに関する観測値の数を最大化することが重要です。
DOE のデータは、分析前に非常に注意深く計画され、収集されます。 この設計は、評価されるまでどの項をモデルに含めることができるかわからない可能性がある偶然データのモデリングとは対照的に、アプリオリに指定されたモデル項の包含/使用をサポートします。
DOE の場合、設計によりモデル係数を推定するにはすべてのデータが必要であるため、モデル検証のために保持されるデータはありません。 DOE の主な目標は、物理現象をモデル化するために必要な最小限のデータを生成することです。 DOE の場合の「検証」という用語は、実験の完了後に追加の実行が完了することを意味します。 「検証」の実行は予測値と比較され、DOE モデルの予測の品質が評価されます。 多くの場合、検証の実行数は少なく、おそらく 1 ～ 3 回だけです。 これらの実行は、同じ入力設定で多くの実行/観測を生成する物理システムへの変更をサポートする証拠を提供します。 このモデルは、将来、物理システム/プロセスを調整するために使用されます。
DOE World は Modeling World と同様の手法を使用しますが、アプローチは大きく異なります。
Re: 検証が DOE に含まれていないのはなぜですか?Mark と Pete の両方のコメントに同意します...実験の結果と、分析の結果として作成されたモデル (これを行うために使用する統計や実際的な判断は何であれ) は、実験の推論空間の関数です。 実験が将来の状況を表していない場合、分析においてどれほど「統計的に有意」であるかがわかっていても、モデルは有用な再現可能な結果を生成しません。
「残念ながら、将来の実験（将来の試験、明日の生産）は、この実験に影響を与えるものとは異なる環境条件（温度、材料、人）の影響を受けることになります…それは主題の知識によってのみ影響されます。おそらくさらなる実験によって助けられる(斜体追加)より広い範囲の条件をカバーすることで、将来の環境条件が現在の環境条件と十分に近くなり、手元にある結果を使用できるかどうかを、誤るリスクを伴いながら判断できるようになる。」
デミング博士
Re: 検証が DOE に含まれていないのはなぜですか?少し付け加えると、 @Mark_Baileyのアドバイスに私は同意します...哲学的には、問題解決方法としてのDOEは、基本原則として知識収集の効率を持っています。 1980 年代の私の DOE 講師の 1 人は、「DOE の効率」を、リソースの支出を最小限に抑えて必要な情報を入手したいという願望と定義しました。 今日では、モデル主導の最適 DOE 戦術では、モデルが「必要な情報」であると言えます。 したがって、最適な DOE 法はその効率を実現し、あらゆる単一の治療の組み合わせが必要になります。 追加の実行は必要ありません。
しかし、Mark が示唆するように、すべての健全な DOE 実務者が通常従うのは、モデルを入手したら、追加の実行を行って、そのモデルが実際に当面の実際的な問題に役立つことを検証することです。 したがって、DOE プロセスには必須のステップとして検証 (確認または検証と呼ぶ人もいます) が含まれています。それは、最初の実験後の別の時点で行われるだけです。
Re: 検証が DOE に含まれていないのはなぜですか?モデルの検証は重要なステップです。 選択したモデルを使用して、関心のある因子水準を見つけます (たとえば、それらは望ましい応答と望ましくない応答を与えると予測されます)。その後、いくつかの実行 (5 ～ 6 回) を設定し、新しい実行の平均応答を予測された応答と比較します。意地悪な反応。 差異の検定ではなく、同等性の検定を使用することをお勧めします。
モデル項の推定値を改善したい場合は、独自に検証されたこのデータを元の実験と組み合わせることができます。
