各DOEの努力こんにちは、
これまで何度か実験計画法（DOE）を実施してきましたが、常に課題となるのは、必要な試験回数の多さです。例えば、7回の実験ランを含むスクリーニング計画を用いる場合、再現性を評価するために、通常、1回のランにつき4～6回の反復試験を実施します。つまり、DOEあたり合計28～42回の試験が必要になります。
しかし、これらすべての試験を実施した後でも、モデルの性能はしばしば不十分で、R²値が0.55～0.59程度にとどまります。さらに、信頼区間が広く、パラメータ推定値が一貫していないため、信頼性が高く再現性のあるモデルを特定することが困難です。多くの場合、Yデータが管理された条件下で収集されたとしても、モデルは一貫性を欠き、決定的な洞察を提供できません。そのため、各実験から大量のプロセスデータを収集する必要があります。
ますますイライラさせられます。この問題に効果的に対処し、無駄な労力を削減しながらモデルの信頼性を向上させるにはどうすればよいでしょうか？
実験計画法各DOEの取り組みについてあなたへのいくつかの考え:
1. スクリーニングモードでは、モデルの性能にこだわりすぎないようにしてください。スクリーニングモードでは、モデルとその予測における有効性よりも、有効な効果や要因を特定することが主な目標です。「追加調査の価値のある要因を特定できたか？」と自問自答してみましょう。もしそうであれば、それに応じた手順に進みます。そうでない場合は、他の質問をしてみましょう。例えば、
a. 信号がノイズを上回るほど広くないレベルを選択しましたか?
b. 私たちの対応に影響を与える潜在的なノイズ変数はありますか？もしそうなら、将来どのように対処しますか？ブロックしますか？
c. 他に考慮すべき要素はありますか?
2. これだけの繰り返し実験を行えば、純粋誤差の良好な推定値が得られるはずです…ただし、誤差が大きすぎると、信号を圧倒してしまいます。測定システムの応答に対する変動について、どのような知見をお持ちですか？もし変動が大きすぎる場合は、測定システムのノイズを低減する作業が必要かもしれません。
他の人も参加してくれると思います...そしていつものように、実験を共有していただければ、私たちはもっとお手伝いできるかもしれません。
各DOEの取り組みについてこんにちは、 @Statexplorerさん、
@P_Bartell さんから多くの有益な情報とアドバイスをいただきました。比較的ノイズの多い環境で実験されているようですので、いくつか補足させていただきたいと思います。
ノイズ／高い不確実性の考えられる原因を分析しましたか？モデルの不適切さ（交互作用項や二次効果の欠落など）、高い測定誤差、不要な変数（日次、オペレータ、プロセス変動など）などが考えられます。ノイズの発生源を評価することは、適切な緩和戦略の実施を推奨する上で役立ちます。
- モデルが不十分な場合、スクリーニングモード（主効果のみ）ではどのようなモデルをよく使用しますか？残差や不適合度検定において、何らかの問題を示唆する特定のパターンはありますか？
強い相互作用効果や多項式効果、非線形効果が期待できますか？他の（非線形）モデリング手法を試しましたか？例えば、データセットのサイズと複雑さに適した機械学習アルゴリズム（ブートストラップフォレストやSVMなど）などです。
- 測定誤差が大きい場合、因子の範囲を拡大することは可能でしょうか（シグナルがノイズよりも相対的に高くなるように）。また、反復測定を追加することも可能ですか？反復測定に加えて、独立した反復実行回数を減らし、反復測定で補正し、各実行における反復測定の応答平均と分散をモデル化することは可能でしょうか？
- 既知の不要変数が存在する場合は、オペレータ、日々の変動、測定機器の変更などの影響を回避するために、ブロック化などの安全策を設計生成時に追加できるかもしれません。ランダムブロック変数を使用することで、この不要変数の変動を実験全体の変動から捉えることができ、この変動によって潜在的な有効効果が「隠蔽」されるのを防ぐことができます。不要変数が処理／変更可能で、既知の場合（例えばプロセス変数）、 タグチデザインを用いてロバストな設計を作成したり、カスタムデザインプラットフォーム「ロバストなプロセスおよび製品設計のための実験」を使用したりすることもできます。
この回答が議論に貢献できれば幸いです。
各DOEの取り組みについて残念ながら、状況が不十分なため、具体的なアドバイスを提供することはできません。これらの問題は世界規模で解決できるものではありません。私の最初の考えは以下のとおりです。
1. 7回のスクリーニング設計は知りません。8回（2^7-4 ResIII）という意味でしょうか？
2. 反復回数の意味が分かりません。まず、これは反復（同じ処理の組み合わせを独立して実行すること）であって、繰り返しではないですよね？実験設計において「犠牲に」するものの一つは安定性です。安定性の問題を理解したいのであれば、サンプリングとCOV研究が最適なツールでしょう。そもそも4～6回の反復では、安定性を得ることは不可能です。
3. ノイズが多いようですね。ノイズに対処するためのより良い戦略（例：RCBD、BIB、分割法）が必要かもしれません。
4. 状況に関する知識がほとんどないので、DOE の前に COV/サンプリングから始めることをお勧めします。
4. R^2 は、モデルを評価するために使用すべき統計値の 1 つにすぎません (最適なものではありません)。
各DOEの取り組みについてありがとう@P_バーテル
しかし、スクリーニング設計の一部として必要な最小 Rsq はいくらでしょうか。
a. 信号がノイズを上回るほどの幅のないレベルを選択しましたか? - これを見つけるにはどうすればよいでしょうか?
b. 私たちの反応に影響を与える潜在的なノイズ変数は存在しますか？もしそうであれば、今後どのように対処しますか？ブロックしますか？ - どのようにそれらを見つけるのでしょうか？
c. Are there other factors we need to think about?- これらをどうやって見つけるのでしょうか?
2. これだけの反復実験を行えば、純粋誤差の良好な推定値が得られるはずです…ただし、誤差が大きすぎると、信号を圧倒してしまいます。測定システムの変動が応答に与える影響について、どのような知見をお持ちですか？ 変動が大きすぎる場合は、測定システムのノイズを低減する作業が必要かもしれません。 - MSAの基本と応答への影響については理解しています。では、これらをDOEレベルでどのように活用すればよいのでしょうか？
各DOEの取り組みについてありがとう@スタットマン
申し訳ありませんが、7 回ではありませんでした。カスタム デザインを使用して 10 回実行し、7 回のうち 2 つの連続変数のみが変更されました。
3. ノイズが多いようですね。ノイズに対処するには、RCBD、BIBD、分割法など、より効果的な方法が必要かもしれません。JMP DOEでこれらをどのように活用すればよいでしょうか？
4. 状況に関する知識がほとんどないため、DOEの前にCOV/サンプリングから始めることをお勧めします。DOEの前にCOV研究を実施し、適切なサンプル数を選択するにはどうすればよいでしょうか？通常、DOE全体（つまりDOE全体で実施するセル数）のサンプル数は38～52としています。
4. R^2は、モデルを評価するために使用すべき統計量の一つに過ぎません（そして、最適な統計量ではありません）。 -では、モデルを評価するための他の最適な統計量は何でしょうか？教えてください。私は常にパターン、信頼区間（CI）、適合度の欠如、パラメータ推定値、そして場合によっては正規化RMSEに注目します。
各DOEの取り組みについてありがとうビクターG
いいえ、最終的なセルを作成する前に非常に多くのプロセスが関係していたため、ノイズの原因を評価しようとしたことはありません。
残差には特にパターンはありません。
このプロセスでは初めてのDOE（私の経験ではない）なので、多項式効果や相互作用効果は期待していません。機械学習手法は使用していません。
ブロッキングはまだ完全には完了していませんが、すべてのセルを同じ日に、同じ器具で、同じ人が、同じ材料を使用して実行する場合、ブロッキングによってどのような利点が追加されるでしょうか。
各DOEの取り組みについて私の考えでは、どんな分析設計であっても、R^2の最小値は存在します。R^2は、特定のモデルによって説明される変動性を明確に示すのに役立つ数値の一つに過ぎません。分析の目的は「良い統計値」を得ることではなく、実験の目的と目標を満たすことです。ですから、もしそれらの目的と目標が達成されない、あるいは満たされないのであれば、R^2やその他の統計値などどうでもいいのです。「どうすればこれらを見つけられるのか」という他の3つの質問については、専門知識、実験の実施方法、過去の経験、そして問題解決に活用できるあらゆる基本原理の知識によって解決できます。それでは、まずは私がお手伝いさせてください。
1. レベルに関して言えば、もし本当にレベル設定の方法がわからないのであれば、DOEは時期尚早と言えるでしょう。お勧めはしませんが…もし全くわからないのであれば、まずはタイムトライアルで一つずつレベルを設定してみて、適切なレベルを見つけられるかどうか試してみるのが良いかもしれません。
2. 潜在要因…ここでは専門知識が大きな役割を果たします。例えば、2つの異なる「マシン」で実験を行う必要があるとします。これらは同じであることを期待しますが、応答への影響に関しては同一ではないという状況に備えたいと考えます。ここで何らかのブロッキングが役立ちます。あるいは、容器内の温度のように変更が難しい要因がある場合、温度のランダム化を制限し、低い値をすべてまとめて実行し、次に高い値を実行するようにしたいとします。このような状況では、「分割実験」設計（ブロッキングの一形態）が推奨されます。実験とその周囲の状況について考え、専門知識を活用して、これらの潜在要因を防いだり、少なくとも考慮に入れたりしてください。また、私は実験が行われている間は常に立ち会い、疑わしい点がないか「監視」するように努めました。
3. 実験を計画していた頃、影響を与える可能性のあるすべての要因についてブレインストーミングを行いましたか？できれば「はい」と答えて、リストを作成し、保管しましたか？分析が終わったら、そのリストを見直し、他の要因も試してみるのも良いかもしれません。
4. 測定システムの変動については、私たちがよく用いる経験則では、測定システムの変動は、求めようとしている信号変動の1/4以下であることが望ましいとされていました。しかし、お客様の状況は全く異なる可能性があります。
これが役に立つでしょうか?
