介紹
歡迎閱讀我們三篇系列部落格文章的第一篇，探討空間填充實驗設計 (DOE)。在機器學習、計算實驗和模擬在研發中扮演越來越重要的角色的時代，傳統的實驗設計方法有時無法有效地探索複雜且連續的因子空間。這時，空間填充設計便大放異彩。
什麼是空間填充設計？
空間填充設計是一種與模型無關的實驗設計 (DOE)，旨在將設計點均勻分佈在整個實驗區域，最大化任意兩點之間的距離，並在有限的運行次數內擴大設計空間的覆蓋範圍。結果分析通常需要使用簡單的機器學習模型（例如高斯過程、支援向量機和隨機森林），這些模型能夠對複雜的非線性響應進行建模和逼近。
空間填充設計最初用於數值實驗，適用於實驗難以進行、實驗複雜、成本高和/或耗時的領域。因此，人們通常使用數值模擬來研究現象，但由於模型的複雜性和精度不斷提高，計算時間可能非常長。為了避免運行隨機模擬並能夠很好地覆蓋模擬空間，人們使用空間填充設計將電腦運行均勻分佈在所研究的空間中。空間填充設計通常不包含重複實驗，因為數值模擬是確定性的，對於相同的輸入會產生相同的輸出，因此無需重複運行來估計變異性。空間填充設計廣泛應用於石油、天文學、光學、核能等各產業。
由於空間填充設計和機器學習模型，可以快速對模擬模型進行精確近似（稱為「代理模型」或元建模）。代理模型用於表示和近似複雜模擬模型的結果，與此類模型相比，代理模型更簡單、緊湊，並且通常計算成本更低。由於代理模型能夠近似更複雜系統的行為，因此它們能夠探索複雜系統的設計空間，深入了解其特性，對其進行最佳化，並在更短的時間內運行驗證模擬。
主要特徵
空間填充設計提供了有關點的重新劃分及其預期用途的關鍵特徵：
- 設計空間中點的均勻分佈。
- 不假設底層模型形式。
- 非常適合低噪音實驗和計算機實驗中的預測目的。
- 最適合複雜的非線性響應。
為什麼選擇空間填充設計而不是經典的 DOE？
傳統 DOE 的局限性
- 假設特定的模型項（主效果、交互作用、二次效應等）。
- 可能會留下大片未開發的設計空間。
- 針對特定的統計目標進行最佳化（透過效果估計、多項式響應曲面模型預測進行篩選和定量分析）。
空間填充優勢
- 與模型無關的探索。
- 更好地整體理解和預測複雜的反應行為。
- 非常適合電腦模擬、元建模和預測建模（機器學習）。
然而，與基於模型的 DOE 相比，空間填充設計通常需要更多的點才能獲得相關的預測模型。
常見空間填充設計類型概述
「空間填充設計」平台提供多種設計類型，適用於包含各種因子類型的不同情況。對於連續因子，空間填充設計有兩個目標：
可以在 JMP 中的 DOE>特殊用途>空間填充設計中找到空間填充設計：
空間填充設計選項包括球體填充、拉丁超立方體、均勻填充、最小位能填充、最大熵填充、高斯過程 IMSE 最適填充和快速靈活填充。
| 設計 |
制服 |
球體堆積（Maximin） |
拉丁超立方體 |
快速靈活灌裝 |
| 優勢 |
優異的空間覆蓋率，數學上最優的均勻性 |
最優點分離 |
良好的一維投影，易於生成 |
空間覆蓋和投影屬性之間的平衡 |
| 弱點 |
計算時間 |
投影性能差 |
無約束處理 |
空間覆蓋和投影特性之間的折衷 |
| 最適合 |
精準太空探索 |
具有雜訊響應的連續因子空間 |
初步篩選、計算機實驗 |
混合因素類型、平衡探索、限制處理 |
| 因素類型 |
僅限連續數值因子 |
僅限連續數值因子 |
僅限連續數值因子 |
連續和離散數值、分類和混合因子 |
為了評估設計點如何實現參數空間的均勻覆蓋，差異度量將它們的分佈與理論上的均勻分佈進行比較。
什麼是均勻分佈？
均勻分佈意味著給定範圍內所有可能值的機率相等。
在0到1之間的均勻分佈中，每個值出現的機率完全相同：沒有偏好的區域或聚類。圖形上看，它呈現為一個扁平的矩形，機率密度保持不變。
點的數量越多，越容易近似均勻分佈。
對於空間填充設計，均勻分佈可確保點在整個參數空間中以相等的間距分佈。這可以防止在某些區域聚類而其他區域未被探索，從而以最少的計算次數最大化資訊覆蓋率。使用這種分佈可確保無偏採樣：設計空間中的每個位置都有相同的被選中機會，從而實現對問題域的系統而高效的探索。
常見的空間填充設計類型
-
制服設計
原則：其基本原理是創建一個設計，使每個因子的點分佈盡可能接近均勻分佈。該設計旨在最小化設計點（具有經驗均勻分佈）與理論均勻分佈之間的差異。設計點與理論均勻分佈之間的這種差異稱為差異。
- 優勢：出色的空間覆蓋率，數學上最佳的均勻性。
- 弱點：計算時間。
- 最適合：精確的太空探索。
Illustration of a uniform design for two factors with 20 runs. Note how the repartition of points creates a uniform distribution of points for each factor.圖示為雙因素均勻設計，共運行20次。請注意，重新分配樣本點會為每個因素建立均勻的樣本分佈。
Design diagnostic of uniform design. The minimum distance between two neighboring points is heterogeneous. Discrepancy is low and MaxPro (maximum projection) metric is high with this design.均勻設計的設計診斷。兩個相鄰點之間的最小距離不均勻。此設計差異較小，MaxPro（最大投影）指標較高。
-
球體填充設計（也稱為最大最小設計）
原則：它創造一個最大化設計點對之間最小距離的設計。這種最大化的效果是將設計點盡可能分散到設計區域內。直觀地講，這表示在指定體積內以最高效率堆疊相同體積的球體的問題。
- 力量：最優點分離。
- 弱點：投影性能較差。
- 最適合：具有雜訊響應的連續因子空間。
Illustration of a sphere packing design for two factors with 20 runs. Note how the repartition of points spreads out design points with a constant distance between neighboring ones.雙因子球形填滿設計（共運行20次）的示意圖。請注意，重新分配點的方式使設計點分佈均勻，相鄰點之間的距離保持恆定。
Design diagnostic of sphere packing design. The minimum distance between two neighboring points is maximized and similar. No MaxPro metric assessment is available with this design.球體填充設計的設計診斷。兩個相鄰點之間的最小距離最大化且相似。此設計沒有可用的 MaxPro 指標評估。
-
拉丁超立方體設計（LHD）
原則：基本原則是創建與試驗次數相等的箱體數量，並確保每個設計點對於每個因子僅屬於一個箱體。由於許多組合都可以提供這種生成，因此強制執行另一項標準 (MaxPro)，以確保重新劃分點不會在因子之間產生相關性，並確保良好的投影屬性。它會創建一個最大化設計點之間最小距離的設計，但要求每個因子的水平間距均勻。每個因子的水平數與設計中的試驗次數相同。此方法產生的設計模仿均勻分佈。 LHD 方法是球體填充方法和均勻設計方法之間的折衷。
- 優勢：良好的一維投影，易於生成。
- 弱點： 沒有任何。
- 最適合：初步篩選，計算機實驗。
Illustration of a Latin hypercube design for two factors with 20 runs. Note how the repartition of points creates 20 equidistant bins, approximating a uniform distribution of points for each factor.圖示為雙因子拉丁超立方設計，共運行20次。請注意，重新劃分資料點會建立20個等距區間，從而近似每個因子的點分佈均勻。
Design diagnostic of Latin hypercube design. The minimum distance between two neighboring points is similar. Discrepancy is low and MaxPro metric is high with this design.拉丁超立方體設計的設計診斷。相鄰兩點之間的最小距離相似。此設計差異較小，MaxPro 指標較高。
-
快速靈活的填充設計
原理：它使用快速靈活填充 (FFF) 演算法創建設計。演算法首先在指定的設計區域內產生大量隨機點。然後，使用快速 Ward 演算法將這些點聚類成多個簇，簇數等於您指定的運行次數。最終的設計點可以透過使用預設的 MaxPro 最優標準或選擇質心標準來獲得。
- 力量：空間覆蓋和投影屬性之間的平衡。
- 弱點：空間覆蓋和投影特性之間的妥協。
- 最適合：混合因素類型、平衡探索、限制處理。
聽起來很複雜嗎？別擔心，稍後我們將逐步講解 FFF 演算法！
Illustration of a fast flexible filling design for two factors with 20 runs.圖示為具有 20 次運行的兩個因素的快速靈活填充設計。
Design diagnostic of fast flexible filling design. The minimum distance between two neighboring points is heterogeneous. MaxPro metric assessment is quite high with this design.快速靈活填充設計的設計診斷。相鄰兩點之間的最小距離不均勻。 MaxPro 指標評估結果對此設計相當高。
獎勵：快速靈活填充演算法演練（集成為“代碼”以在部落格文章中實現最大化/最小化）。
在本節中，我們重現快速且靈活填充演算法的步驟，以便更好地理解其機制。
- 為因素建立列：在這個例子中，我們為兩個連續因子建立兩列，每列有 100,000 行和一個隨機均勻公式分佈。
設計空間應該完全被用公式創建的隨機均勻點覆蓋。
- 聚類：在Analyze>Clustering中，我們選擇層次聚類平台，指定 Y 中的兩個因子X1和X2 ，並選擇快速病房作為方法。
在「層次聚類」旁邊的紅色三角形中，點擊「聚類數」並指定20 （20 是 JMP 建議的用於任何包含兩個連續數值因子的空間填充設計的點數）。然後，在同一個紅色三角形中，選擇「儲存聚類平均值」後，將出現一個包含 20 個聚類平均值的新表格。
我們也可以保存原始表中的聚類，並從「聚類均值」表中新增聚類均值行。然後，我們就可以視覺化按聚類劃分的設計空間。
- 過濾：接下來，過濾掉隨機點，只保留聚類平均值點。我們的快速靈活填充設計（基於質心準則）就完成了！
然後，我們可以將按照這些步驟產生的設計與直接產生具有質心標準的 20 次快速靈活填充設計所獲得的結果進行比較。
這兩種設計看起來非常相似！
可以使用相同的工作流程創建具有預設 MaxPro 標準的快速靈活填充設計，但代表性聚類點的選擇不會是聚類的平均值；它們將是屬於每個聚類並最大化 MaxPro 標準的點：快速靈活填充設計細節
設計選擇標準
在選擇空間填充設計時，請考慮：
- 客觀的：根據目標（篩選、探索、精確預測模型等）和幾何/分佈產生重點，某些設計可能更受歡迎。
- 設計空間維度：一些空間填充設計（如均勻設計）的生成可能需要高維度的大量計算時間。
- 因素類型：如果您只使用連續因子，則可以根據目標和維度選擇合適的設計。當使用其他類型的因子（離散數值、分類、混合等）時，您唯一的選擇是使用快速靈活填充設計。
- 反應特徵並與建模方法結合：根據回應中的預期雜訊以及所使用的建模方法（高斯過程、SVM、基於樹的模型等），可以採用不同的設計配置。
- 可用運行次數：根據目標、待分析的回應和可用的實驗預算，您可以選擇符合限制條件的設計。例如，如果您希望僅使用連續因子在高維度上均勻探索實驗空間，並且響應可能存在噪聲，那麼球體填充（極大極小）設計可能是一個不錯的選擇。
- 設計生成的計算複雜度：根據運行次數和維度，您可以選擇產生複雜度較低的設計。均勻填充設計和球形填充設計的生成通常比快速靈活填充設計和拉丁超立方體設計更複雜。
- 增強策略對於連續實驗：任何設計增強使用空間填充方法將採用快速靈活填充方法。
接下來
在下一篇文章中，我們將建立一個比較這些空間填充設計的框架。我們將定義具體的反應、因素和評估指標，以系統地評估不同空間填充方法在不同場景下的表現。
這是關於空間填充實驗設計三篇系列文章的第一部分：
- 常見空間填充設計類型介紹（此貼文）
- 比較框架和評估指標（即將推出）
- 結果、分析和設計選擇指南（即將推出）
