導入
空間充填DOEシリーズの最終回へようこそ！前回の記事でフレームワークと評価方法論を確立した後、今回は比較研究の包括的な結果を発表します。この結果は、特定の用途に最適な空間充填設計をいつ、どのように選択すべきかについて明確な指針を提供します。
主な調査結果の概要
4種類の設計タイプ、3つの次元設定、および各要因に対する3つのサンプルサイズ条件にわたる分析により、設計性能と計算時間に関していくつかの興味深い知見が明らかになった。
前述のとおりこのシリーズの前回の記事では結果の分析は、2つの異なる方法論で行われます。1つは、異なる次元とサンプルサイズ設定にわたる設計タイプのランキング（図1）、もう1つは、応答の不一致、MaxPro、および時間応答が要因に応じてモデル化されるモデリングアプローチ（図2）です。
図1：すべての回答に対するランキング結果。
図2：予測プロファイラと、すべての応答に対する変数の重要度。
予想通り、テストした様々な構成において、普遍的に最適な空間充填設計は存在しませんでした。最適な選択は状況によって異なり、特に次元数と要素ごとの点数は、設計性能と必要な計算時間に大きな影響を与えます。
高速で柔軟な充填は、投影特性（MaxPro基準）において最適な設計です。
均一な設計は、空間被覆率／均一性（不一致基準）という点では最適ですが、計算に必要な生成時間が最も長く、すぐに実用的ではなくなる可能性があります。
興味深いことに、設計の性能はサンプルサイズと次元の相互作用に大きく依存しており、特定の数の因子に対する実行回数の総数によって相対的な性能が変化する可能性がある。
デザインタイプのランキング結果
本シリーズの2番目の記事で紹介したスクリプトを使用すると、連続的な応答をランキングに変換できます。各次元とサンプルサイズのシナリオにおける4つの設計のパフォーマンスは、1（最良の設計）から4（最悪の設計）までの段階で評価されます。
- 空間被覆率（差異）特性の比較：
- 均一なデザインは、すべての次元とサンプルサイズの設定において、最高の空間カバレッジ性能を示します。均一なデザインは、点を可能な限り均一な分布に近づけるように配置することを考えると、これは驚くべきことではありません。このシリーズの最初の投稿でご覧いただいたとおりそのため、差異指標に関する彼らのパフォーマンスは良好であると予想される。
- 点を均一に分布させるラテン超立方体設計は、優れた空間被覆性能で2位にランクインした。
- 最後に、空間カバー率と投影特性のバランスをとる高速で柔軟な設計と、設計領域内にできるだけ多くの点を分散させる球体パッキング設計は、それぞれ3位と最下位にランクインしました（図3）。
図3：次元数とサンプルサイズのすべてのテスト構成における設計の不一致ランキング（数値が低いほど良い）。
- 投影（MaxPro）プロパティの比較：
- 迅速かつ柔軟な充填設計により、あらゆる状況で最高の投影性能を発揮します。
- 中規模（因子あたり20回の試行）および大規模（因子あたり100回の試行）のサンプルサイズでは、均一デザインはラテン超立方体デザインよりも優れた性能を示す。
- 球体充填設計では、点が1つの次元で同じ値を持つ可能性があるため、MaxPro統計が定義されず、ランキングに表示されません（図4）。
図4：次元数とサンプルサイズのすべてのテスト構成におけるMaxProによる設計のランキング（数値が低いほど優れている）。
- 設計時生成の比較：
- ラテン超立方体設計は、ほぼすべての次元数とサンプルサイズの設定において、最も速い設計生成時間を示す。
- 中規模（因子あたり20回の試行）から大規模（因子あたり100回の試行）のサンプルサイズの場合、高速で柔軟な設計は、設計生成のスピードの点で非常に競争力のある選択肢となります。
- 球体充填設計は一般的に計算に時間がかかり、均一設計は最も計算に時間がかかる設計である（図5）。
図5：次元数とサンプルサイズのすべてのテスト構成における設計生成時間のランキング（数値が低いほど優れている）。
モデリング結果
本シリーズの2番目の投稿で紹介した修正モデルスクリプトを使用して、3つの応答変数「不一致」、「MaxPro」、「時間」に対してモデルを起動します。これらの応答変数それぞれについて、モデルの適合が適切ではないことがわかります（図6）。
図6：初期応答の不一致モデルにおける、実際の値と予測値の比較グラフ。
さらに、残差には非正規分布かつ非ランダムなパターンが見られる（図7）。
図7：非ランダムかつ非正規分布のパターンを示す残差の可視化。
残差値はゼロを中心にランダムに分布しているはずであり、モデルに含まれる効果によって応答の変動が完全に説明されるはずです。非ランダムなパターンが存在する場合、そのパターンの性質はモデルの潜在的な問題を示唆する可能性があります。この場合、曲率効果、残差の非正規性、および不均一分散（非均一分散）は、これらの問題に対処するためにデータ変換が推奨されることを示している可能性があります。データは非常に異なるスケール範囲をカバーしているため（図8）、対数変換（またはλ=0のBox-Cox変換）が適切であると思われます。
図8：不一致応答に対する適合対数正規分布の結果。
この評価は、JMPが提供するBox-Cox変換評価によっても裏付けられており、λの推奨値は0に非常に近い値であることが示されています（図9）。
図9：不一致反応に対するBox-Cox変換パネルの結果。
Box-Cox変換の赤い三角形（ 「因子プロファイリング」>「Box Cox Y変換」の「応答」の横にある赤い三角形）で、 「変換で置換」を選択し、ラムダ値に0を指定すると、モデル適合が、データにログ変換が適用されたモデルに自動的に置き換えられます。これで、実験データの分析に適したモデルが得られたようです。
- 不一致対応のモデリング結果：差異応答の変動の大部分は、因子比 exp/因子と設計タイプによって説明されます。次元（因子の数）も重要な因子ですが、前述の 2 つの因子に比べると重要度は比較的低くなっています（図 2）。交互作用効果は検出されますが、差異の変動に対する影響は主効果に比べて比較的小さいです。因子比 exp/因子については、非常に重要な二次効果が検出されています（図 10）。
図10：不一致反応に対する効果量プロット。
設計タイプの選択が差異値に与える影響は、DOEで分析された各因子数シナリオについて、比率exp/factorsで測定された差異値を表示するだけで簡単に視覚化できます（図14）。
- MaxPro応答のモデリング結果：MaxPro応答の変動の大部分は、因子比exp/因子と設計タイプによって説明されます。次元（因子の数）も重要な因子ですが、前述の2つの因子に比べると重要度は比較的低くなっています（図2）。モデルでは中程度の相互作用効果が検出され、3つの因子が関与しています。因子比exp/因子については、非常に重要な二次効果が検出されています（図11）。
図11：MaxPro応答に対する効果量プロット。
設計タイプの選択がMaxPro指標に与える影響は、DOEで分析された各因子数シナリオについて、比率exp/factorsで測定されたMaxPro値を表示するだけで簡単に視覚化できます（図14）。
- 設計生成時間のモデリング結果：設計タイプ、因子の数、および比率 exp/因子の 3 つの要因は、設計生成時間応答に対して同様に高い重要性を持っています (図 2)。3 つの要因間には重要な相互作用が検出され、ポイント生成方法タイプの違いが設計生成時間にどのように影響するかを示しています (図 12)。ラテン超立方体設計タイプは、高次元かつ高サンプルサイズ (因子あたりのポイント数) のシナリオに特に適しているようですが、均一設計は低次元かつ低サンプルサイズのシナリオにより適している可能性があります。
図12：時間応答に対する効果量プロット。
設計タイプの選択が設計生成時間に与える影響は、DOEで分析された各因子数シナリオについて、比率exp/factorsで測定された設計生成時間を表示するだけで簡単に視覚化できます（図13）。
図13：設計タイプ、要因の数、および比率exp/要因に応じて設計生成時間が変化する様子。
重要な洞察
サンプルサイズが大きくなるにつれて、設計固有の強みがより顕著になります。サンプルサイズが増加すると、各因子の分布におけるギャップが少なくなり、不一致が減少します。しかし、ポイント数が増加すると、ポイント間の距離が縮まり、MaxPro基準値が増加します。興味深いことに、因子ごとの実行回数に応じて、不一致とMaxPro基準の間には妥協点があります。この妥協点は、不一致とMaxPro指標の間で設計パフォーマンス基準の優先順位付けを行う必要がある60～80の領域で明確に確認できます（図14）。
MaxProモデル化の場合、ラテン超立方体と高速柔軟充填設計の性能に関して、次元（因子の数）に関して変化が見られます。因子あたりの実験数の比率が約70の場合、これらの設計の両方でMaxPro値が因子の数とともに増加します。
図14：設計要因に応じた差異とMaxPro値の変化。
均一な設計は、高次元やサンプルサイズが大きい場合、計算コストが高すぎて適用できません。パフォーマンスと速度のトレードオフを考慮すると、シナリオごとに異なる設計が有利になります。各設計の長所と短所をまとめた表を以下に示します（表1）。
実践的な選考ガイドライン／意思決定フレームワーク
ステップ1：実験環境を評価する
- 因子空間の次元（因子の数と種類）
- 期待される応答特性（ノイズレベル）
- サンプルサイズ制約
- 利用可能な計算リソース
ステップ2：選択ルールを適用する
- 高次元性：均一なデザインは避ける
- 複数の要因タイプおよび／または制約の存在：素早く柔軟な充填設計を使用する
- ノイズの多い応答:球体充填設計を優先するか、まずスクリーニング/モデルベースのDOEを使用する
- サンプルサイズが小さい: 作成均一またはラテン超立方体デザイン
- 設計生成時間を短縮する必要がある: 生成ラテン超立方体または高速で柔軟な充填デザイン
概要：空間を埋めるデザインの比較
表1：空間充填設計タイプ別の結果概要。
計算時間が長かったため、完全要因計画（9つの要因と各要因につき100回の試行による均一計画）の処理のうち1つは実行できなかったことに注意してください（図15）。
図15：9つの因子と各因子につき100回の実験からなる組み合わせ均一設計に対して表示されたJMPメッセージ。
この構成では、設計計算が完了する前に中断されました。たとえこの実験が完全要因計画に含まれていなかったとしても、解析は問題なく実施できたはずです。
限界と今後の方向性
研究の限界
- 計算上の制約により、最高次元のテストは制限された。
- 複数の設計タイプのテストを可能にするため、制約のない連続的な要素に焦点を当てる。
今後の研究
- アクティブラーニング戦略（ベイズ最適化）との統合
- 異なる機械学習モデルとの性能比較
- 応答におけるノイズに対する堅牢性／感度
結論と提言
我々の包括的な評価は、空間充填設計の選択は、既定の選択肢ではなく、特定の実験特性に基づいて行うべきであるという明確な証拠を示している。
主なポイント
- 万能な勝者は存在しない。最適な選択は状況によって決まる。
- 次元性は極めて重要である。
- 迅速かつ柔軟な充填設計は、投影特性にとって最適な設計です（MaxPro基準）。
- 応答の種類は重要です。滑らかな表面と複雑な表面では、異なるアプローチが必要です。
- サンプルサイズ間の相互作用。実行回数に応じて相対的なパフォーマンスが変化する。
最終勧告：意思決定フレームワークを出発点として活用してください。ただし、可能な限りパイロットスタディによって設計上の選択を検証してください。
これで、空間充填型実験計画法に関する3部構成のシリーズは終了です。
- 一般的な空間充填デザインの種類の紹介
- 比較枠組みと評価指標
- 結果、分析、および設計選択ガイドライン（この記事）
このシリーズをご覧いただき、ありがとうございます！これらの考察が、皆さんがご自身の作品における空間活用デザインについて、より的確な判断を下すのに役立つことを願っています。
参考資料および関連文献
- 本研究で使用した構成：
- プロセッサー：第11世代インテル(R) Core(TM) i9-11900H @ 2.50GHz (2.50 GHz)
- 搭載RAM：64.0GB（使用可能容量：63.7GB）
- システムの種類：64ビットオペレーティングシステム、x64プロセッサ
- 設計生成および評価のためのJMPスクリプト
- 拡張された結果表と視覚化
- 参考文献：
こんにちはビクターG 、
あなたの記事に感謝します。本当に役に立ちました。
コンピューター シミュレーション用にラテン ハイパーキューブ設計と高速フレキシブル設計のどちらを選択するかに関して質問があります。
以下の要素を考慮してください。
A: 範囲: 0 -1 (連続値)
B: 範囲: 1～100 (範囲内のすべての整数値)
C: 範囲: 1～5 (範囲内のすべての整数値)
質問：JMPでは離散因子にはFFF計画の使用を推奨しています。しかし、因子Bと因子Cは技術的には離散因子ですが、その範囲（1、2、3、4、...、100）にはすべて整数点が含まれるはずです。シミュレーションではこれらの因子に小数値を取らせたくないのですが、どちらの計画を使用すればよいでしょうか？
JMPには因子値の幅を設定するオプションがあり、ラテン超方格の小数点を除去できます。これが分析に何らかの影響を与えるかどうかはわかりません。
LHD で因子を連続として扱い、幅を調整したり、何らかの丸めを使用して整数値を取得したりできますか?
ラテンハイパーキューブに関する JMP ドキュメントでは連続入力を考慮していますが、最終的な設計テーブルには整数値が含まれます。
https://www.jmp.com/support/help/en/19.0/index.shtml#page/jmp/example-of-creating-a-latin-hypercube-design.shtml#
こんにちは@Divya123ramaさん、
親切なコメントをありがとうございます。
あなたの質問に関して、私の考えは次のとおりです。
このブログシリーズのパート1「空間充填計画の探求 パート1：一般的な空間充填計画の概要」で既にお読みいただいたように、ラテンハイパーキューブ計画では、最終計画で必要な実行回数と同じ数のビンが作成されます。最終計画で必要な実行回数に応じて、因子のビンの数と、値の「切り上げ」が計画にどの程度影響するかが決まります。JMPヘルプで示した例では、計画には因子範囲1～8の実行が8回含まれているため、ラテンハイパーキューブでは幅1のビンが作成され、8つのビンのそれぞれが計画で使用されます。因子範囲が実行回数と同じ場合、ビンは離散的な整数値になります。
あなたのケースでは、因子範囲が2つ大きく異なります。通常、離散範囲が狭い因子（1～5）の場合、ビンの数は、その範囲から選択できる値の数（5）よりも常に多くなります。そのため、この因子には離散数値因子を使用することをお勧めします。なぜなら、計画内の値を切り上げると、重複する値が多くなり、計画の網羅性と射影特性に影響を与える可能性があるからです。
30 回の実行と連続因子のみを含むラテン ハイパーキューブ設計の例 (B と C は設計生成後に切り上げられ、整数値のみになります)。
30 回の実行、A および B が連続因子 (B は設計生成後に切り上げられる)、C が離散数値である高速フレキシブル充填設計の例:
30 回の実行 (A は連続、B および C は離散数値) を伴う高速フレキシブル充填設計の例:
2番目と3番目の状況における実行の再分割は非常に類似しているように見えます。どちらも少なくとも1つの離散数値因子が存在するため、Fast Flexible Filling計画を使用しています。最初の状況は、連続因子のみでLHD生成を強制し、それらを切り上げることで得られます。この状況は、点の分布が密集しているように見え、実験空間の境界にギャップがあるため、最適ではないようです。
この場合、オプション 2 または 3 のいずれかを使用して、Fast Flexible Filling 設計を使用することをお勧めします。
この回答がお役に立てれば幸いです。
Victorさん、Space Filling Designs に関する 3 部構成のシリーズはわかりやすくて役に立ちました。
多くのアプリケーションでは、自己検証アンサンブル モデルなどの ML メソッドを使用して応答データを前向きに分析する FFF 設計は、応答サーフェスが複雑であることがわかっている、または複雑であると予想されるプロセスに最適な選択肢のように見えます。
空間充填設計の大きな利点は、設計空間内のボイドが比較的小さいため、予測モデルのテストの必要性が低いことです。典型的なCCD設計や最適設計におけるボイドは、空間充填設計におけるボイドと比較すると、ルブ・アル・ハリ砂漠のように見えます。この利点は、DOEワークフローの簡素化とDOEの経済性向上を意味します。
ありがとう！
Stephen Czupryna、Pyzdek Institute、プレスコット バレー、アリゾナ州、米国
こんにちはスティーブCz 、
親切なコメントとフィードバックをありがとうございます！
私も同意します。Fast Flexible Filling 設計は、投影と差異のパフォーマンスが優れており、複数の要因タイプと制約を処理することでさまざまな用途に使用でき、計算生成時間が短いため、優れた選択肢です。
はい。空間充填設計と機械学習モデリングでは、設計点間を（選択したアルゴリズムと応答挙動の仮定に応じて）スムーズに補間できるモデルを見つけることを目指します。適合されたモデルの妥当性と有用性を検証するには、Leave-One-Outモデルや自己検証アンサンブルモデルなどの特定の検証手法を使用できます。ランダムフォレストやサポートベクターマシンなどの単純なモデルでは、主要なハイパーパラメータ値（RFの場合はツリーの深さ、SVMの場合はペナルティと曲率）をチェックして、過剰適合のリスクを防止・評価し、適切なハイパーパラメータ値を選択することもできます。
最後に、検証の実行に勝るものはありません。興味深い場所 (最良/最悪の結果、設計ポイントまでの距離が長い領域など) で新しい実験を実行して、モデルの有効性を確認することをお勧めします。
最高、
SF 設計分析に関する追加の洞察に感謝します。
全く同感です。バリデーションランは非常に良いアイデアであり、ワークフローの一部に組み込むべきです。しかし、経験上、時間的プレッシャーやリソースの制約により、製品開発中にバリデーションランを実施することは非常に困難であることが多いです。このような場合、空間を埋める設計を事前に選択することで、バリデーションランの回数を減らすというビジネス上の意思決定に伴うリスクを全体的に軽減できます。
スティーブ
