導入
空間充填型実験計画法（DOE）を探求する3部構成のブログシリーズの第1部へようこそ。機械学習、計算機実験、シミュレーションが研究開発においてますます重要な役割を果たす時代において、従来の実験計画法では、複雑で連続的な因子空間を効率的に探索することが困難な場合があります。そこで真価を発揮するのが、空間充填型実験計画法です。
空間を埋めるデザインとは何ですか？
空間充填設計は、モデルに依存しない実験計画法（DOE）の一種であり、実験領域全体に設計点を均一に配置し、任意の2点間の距離を最大化し、限られた回数の実験で設計空間を網羅することを目的としています。結果の分析には、複雑で非線形な応答をモデル化および近似できる単純な機械学習モデル（ガウス過程、サポートベクターマシン、ランダムフォレストなど）がよく用いられます。
空間充填設計は、もともと数値実験に用いられてきた手法で、実験が不可能、複雑、高価、あるいは時間のかかる分野で使用されます。そのため、現象はしばしば数値シミュレーションを用いて研究されますが、モデルの複雑さと精度が増すにつれて計算時間が非常に長くなることがあります。ランダムなシミュレーションの実行を避け、シミュレーション空間を十分にカバーするために、空間充填設計を用いてコンピュータの実行を研究対象空間全体に均等に分散させます。数値シミュレーションは決定論的であり、同一の入力に対して同一の出力を生成するため、変動性を推定するための繰り返し実行は不要となり、空間充填設計には通常、繰り返し実行は含まれません。空間充填設計は、石油、天文学、光学、原子力など、さまざまな産業で用いられています。
空間充填設計と機械学習モデルのおかげで、シミュレーションモデルの正確な近似（「サロゲートモデル」またはメタモデリングと呼ばれる）を迅速に行うことができます。サロゲートモデルは、複雑なシミュレーションモデルの結果を表現および近似するために使用され、そのようなモデルと比較して、よりシンプルでコンパクトであり、通常は計算コストが低くなります。サロゲートモデルはより複雑なシステムの挙動を近似するため、複雑なシステムの設計空間を探索し、洞察を得て、最適化し、検証シミュレーションを実行する時間をはるかに短縮できます。
主な特徴
空間充填デザインは、点の配置とその用途に関して重要な特徴を示します。
- 設計空間全体にわたって点が均一に分布している。
- 基礎となるモデル形式に関する仮定は一切ありません。
- 低ノイズ実験やコンピュータ実験における予測目的に非常に適している。
- 複雑な非線形応答に最適です。
従来のDOE（設計エネルギー）ではなく、空間を埋めるデザインを選ぶ理由とは？
図1：実験計画法のアプローチ
従来のDOEの制約
- 特定のモデル項（主効果、交互作用、二次効果など）を前提としています。
- 設計空間の広大な領域が未開拓のまま残される可能性がある。
- 特定の統計的目的（効果推定によるスクリーニングおよび定量的分析、多項式応答曲面モデル予測）に最適化されています。
空間を埋める利点
- モデルに依存しない探索。
- 複雑な反応挙動に関する、より優れたグローバルな理解と予測。
- コンピュータシミュレーション、メタモデリング、予測モデリング（機械学習）に最適です。
しかし、空間充填設計では、関連性があり予測力のあるモデルを得るために、モデルベースの実験計画法に比べてより多くの点が必要となる場合が多い。
一般的な空間充填デザインの概要
空間充填設計プラットフォームは、さまざまな要因タイプを持つさまざまな状況に対応する複数の設計タイプを提供します。連続要因の場合、空間充填設計には次の2つの目的があります。
- 任意の2つの設計点間の距離を最大化する。
- 点を均等な間隔で配置してください。
空間充填設計は、JMPのDOE>特殊用途>空間充填設計（図2）で見つけることができます。
図2：空間充填デザインメニュー
空間充填設計のオプションには、球体充填、ラテン超立方体、均一充填、最小ポテンシャル、最大エントロピー、ガウス過程IMSE最適、および高速柔軟充填が含まれます。
| デザイン |
均一 |
球体充填法（最大最小値法） |
ラテン超立方体 |
迅速で柔軟な充填 |
| 強み |
優れた空間カバー率、数学的に最適な均一性 |
最適な点分離 |
優れた一次元投影、生成が容易 |
空間カバー率と投影特性のバランス |
| 弱点 |
計算時間 |
投影特性が悪い |
制約処理なし |
空間カバー率と投影特性の間の妥協点 |
| 最適 |
精密な宇宙探査 |
ノイズのある応答を伴う連続因子空間 |
初期スクリーニング、コンピュータ実験 |
多様な要因タイプ、バランスの取れた探索、制約の処理 |
| 要因の種類 |
連続的な数値因子のみ |
連続的な数値因子のみ |
連続的な数値因子のみ |
連続的および離散的な数値因子、カテゴリ因子、および混合因子 |
設計点がパラメータ空間をどの程度均一にカバーしているかを評価するために、不一致度指標は、それらの分布を理論的な一様分布と比較します。
一様分布とは何ですか？
一様分布とは、与えられた範囲内のすべての可能な値に対して、等しい確率で出現することを意味する。
0から1までの均一分布では、すべての値が発生する確率は全く同じであり、特定の領域やクラスターは存在しません。グラフで表すと、確率密度が一定に保たれる平坦な長方形の形状になります（図3）。
図3：1000個の点から生成されたランダムな一様分布
点の数が多いほど、一様分布を近似しやすくなる。
空間充填設計において、均一分布を用いることで、パラメータ空間全体にわたって点が等間隔に配置されます。これにより、特定の領域に集中して探索されないままになるのを防ぎ、最小限の計算回数で情報カバレッジを最大化できます。この分布を用いることで、偏りのないサンプリングが保証されます。設計空間内の各位置が選択される確率が等しくなり、問題領域の体系的かつ効率的な探索が可能になります。
一般的な空間充填デザインの種類
-
ユニフォームデザイン
原理基本原理は、各因子の点分布が可能な限り一様分布に近づくような設計を作成することです。これにより、設計点（経験的に一様分布に従う）と理論的な一様分布との差が最小化される設計が作成されます。この設計と理論的な一様分布との差は、不一致と呼ばれます。
- 強み優れた空間カバー率、数学的に最適な均一性。
- 弱点計算時間。
- 最適精密な宇宙探査。
図4：20回の実験による2因子均一設計の表現。
ポイントの再配分によって、各要素のポイントが均一に分布するようになる点に注目してください。
図5：ユニフォームデザインの設計診断。
隣接する2点間の最小距離は不均一である。この設計では、差異は小さく、MaxPro（最大投影）指標は高い。
-
球体充填設計（マキシミン設計とも呼ばれる）
原理これは、設計点間の最小距離を最大化する設計を作成します。この最大化の効果は、設計領域内で点をできるだけ広く分散させることです。視覚的に説明すると、これは、同じ体積の球を、指定された体積内に最も効率的に積み重ねる問題を表しています。
- 強さ最適な点分離。
- 弱点投影特性が劣る。
- 最適: ノイズの多い応答を伴う連続因子空間。
図6：2つの因子を用いた20回の実験における球体充填設計の表現。
点の再配置によって、設計点が隣接する点間の距離を一定に保ちながら分散されることに注目してください。
図7：球体充填設計の設計診断。
隣接する2点間の最小距離が最大化され、かつ類似している。この設計では、1つの次元において点が同一の値を持つ可能性があるため、MaxProメトリック評価は利用できない。
-
ラテン超立方体デザイン（LHD）
原理: 基本原則は、実行回数と同じ数のビンを作成し、各設計点が各因子につき 1 つのビンにのみ属するようにすることです。このような生成をもたらす組み合わせは多数存在するため、点の再分割によって因子間に相関が生じないようにし、良好な投影特性を確保するために、別の基準 (MaxPro) が適用されます。この方法は、設計点間の最小距離を最大化する設計を作成しますが、各因子のレベルは均等な間隔で配置する必要があります。各因子には、設計の実行回数と同じ数のレベルがあります。この方法は、均一分布を模倣した設計を生成します。LHD 法は、球体充填法と均一設計法の中間的な方法です。
- 強み: 優れた一次元投影図で、生成も容易です。
- 弱点： なし。
- 最適初期スクリーニング、コンピュータ実験。
図8：2つの因子を用いた20回の実験におけるラテン超立方体計画の表現。
点の再分割によって、各要因について点がほぼ均一に分布するように、20個の等間隔のビンが作成されることに注目してください。
図9：ラテン超立方体設計の設計診断。
隣接する2点間の最小距離はほぼ同じです。この設計では、誤差は小さく、MaxProメトリック値は高くなります。
-
迅速で柔軟な充填設計
原理：高速フレキシブル充填（FFF）アルゴリズムを使用して設計を作成します。このアルゴリズムは、指定された設計領域内に多数のランダムな点を生成することから始まります。これらの点は、高速ウォード法を用いて、指定した実行回数と同じ数のクラスターにクラスタリングされます。最終的な設計点は、MaxProのデフォルトの最適性基準を使用するか、重心基準を選択することで取得できます。
- 強さ空間カバー率と投影特性のバランス。
- 弱点：空間カバー率と投影特性のトレードオフ。
- 最適：複数の要因タイプ、バランスの取れた探索、制約の処理。
複雑そうに聞こえますか？ご安心ください。FFFアルゴリズムの手順を後ほど詳しく解説します！
図10：20回の実験における2因子の高速かつ柔軟な充填設計の表現。
図11：高速フレキシブル充填設計の設計診断。
隣接する2点間の最小距離は不均一である。この設計では、MaxProのメトリック評価値はかなり高くなる。
ボーナス：高速で柔軟な充填アルゴリズムの解説
このセクションでは、高速かつ柔軟な充填アルゴリズムの手順を再現し、その仕組みをより深く理解します。
- 要因の列を作成する:この例では、2 つの連続要因に対して 2 つの列を作成します。各列には 100,000 行があり、ランダムな一様分布が設定されます (図 12)。
図12：因子列の作成。
設計空間は、式で生成されたランダムな均一点によって完全に覆われる必要がある（図13）。
図13：10万個のランダムな均一点によって覆われた設計空間。
- クラスタリング: [分析] > [クラスタリング] で、 階層型クラスタリングプラットフォームを選択し、Y の 2 つの因子X1とX2を指定し、方法としてファストワードを選択します (図 14)。
図14：階層型クラスタの起動ウィンドウ
階層的クラスタリングの横にある赤い三角形で、 「クラスター数」をクリックし、 20を指定します（20は、2つの連続数値因子を持つ空間充填設計に対してJMPが推奨するポイント数です）。次に、同じ赤い三角形で、 「クラスター平均を保存」を選択すると（図15） 、20個のクラスターの平均値を含む新しいテーブルが表示されます。
図15：クラスタ平均を保存するための階層的クラスタリングオプション。
また、元のテーブルにクラスターを保存し、クラスター平均テーブルからクラスター平均の行を追加することもできます。そうすることで、クラスターごとに分割された設計空間を視覚化できます（図16）。
図16：20個のクラスターに分割された設計空間。
- フィルタリング：次に、ランダムな点を除外し、クラスター平均点のみを残します。これで、高速かつ柔軟な充填設計（重心基準）が完成です！
これらの手順に従ってデザインを生成した結果と、重心基準を用いて20回の高速かつ柔軟な充填デザインを直接生成した場合に得られる結果を比較することができます（図17）。
図17：ワークフローを使用して手動で作成された高速フレキシブル充填設計（左）と、重心基準を使用してJMPで作成された設計（右）の比較。
2つのデザインは非常によく似ています！
デフォルトのMaxPro基準を用いた高速かつ柔軟な充填設計は、同じワークフローを使用して作成できますが、代表的なクラスタポイントの選択はクラスタの平均値ではなく、各クラスタに属し、MaxPro基準を最大化するポイントになります。素早く柔軟な充填設計の詳細
設計選定基準
空間を埋めるデザインを選ぶ際には、以下の点を考慮してください。
- 客観的：目的（スクリーニング、探索、精密な予測モデリングなど）や、幾何学的／分布的な生成の重点に応じて、特定の設計が好ましい場合がある。
- 設計空間の次元性：空間を埋め尽くすようなデザイン（均一なデザインなど）を生成するには、高次元の場合、膨大な計算時間が必要となる場合がある。
- 要因の種類：連続的な因子のみを扱う場合は、目的と次元に基づいて適切な設計を選択できます。その他のタイプの因子（離散的な数値、カテゴリ、混合など）を扱う場合は、迅速かつ柔軟な充填設計を使用するしか選択肢はありません。
- 応答特性モデリング手法との統合：応答における予想されるノイズ、および使用されるモデリング手法（ガウス過程、SVM、ツリーベースモデルなど）に応じて、異なる設計構成が適応される場合があります。
- 実行可能な回数：目的、分析対象となる応答、および利用可能な実験予算に応じて、制約条件に合った実験計画を選択することができます。例えば、連続因子のみを使用し、ノイズを含む可能性のある応答に対して高次元の実験空間を均一に探索したい場合は、球体充填（最大最小）計画が適切な選択肢となるでしょう。
- 設計生成の計算複雑性：実行回数と次元数によっては、生成の複雑さが低い設計を選択する場合があります。一般的に、均一充填設計や球体充填設計は、高速フレキシブル充填設計やラテン超立方体設計よりも生成が複雑です。
- 増強戦略連続実験の場合：任意のデザイン拡張空間充填アプローチを用いる場合は、迅速かつ柔軟な充填手法を使用します。
次は
次回の記事では、これらの空間充填デザインを比較するための枠組みを確立します。さまざまなシナリオにおける異なる空間充填アプローチの性能を体系的に評価するために、具体的な応答、要因、および評価指標を定義します。
これは、空間充填型実験計画法に関する3部構成シリーズの第1回目です。
- 一般的な空間充填デザインの種類の紹介（この記事）
- 比較枠組みと評価指標
- 結果、分析、および設計選択ガイドライン
ビクターG素晴らしい要約をありがとうございます。ユーザーから寄せられる多くの質問にお答えしているので、ぜひシェアしてリンクも貼っておきます！
こんにちは、 @gail_massari さん！
フィードバックをいただき、誠にありがとうございます。近日公開予定の残りの 2 つの部分でも、ユーザーが自分のニーズに合ったスペース充填デザインをよりよく理解し、選択できるよう説明し、役立つことを期待しています。
ビジュアルとアルゴリズムのウォークスルーは特に素晴らしかったです!
