介紹
歡迎閱讀我們三篇系列部落格文章的第一篇，本系列文章將探討空間填充實驗設計（DOE）。在機器學習、計算實驗和模擬在研發中扮演日益重要的角色，傳統的實驗設計方法有時難以有效地探索複雜且連續的因子空間。而空間填充設計正可彌補這一不足。
什麼是空間填充設計？
空間填充設計是一種與模型無關的實驗設計（DOE），旨在將設計點均勻分佈在整個實驗區域內，在有限的實驗次數內最大化任意兩點之間的距離和設計空間的覆蓋率。結果分析通常需要使用簡單的機器學習模型（例如高斯過程、支援向量機和隨機森林），這些模型能夠對複雜和非線性響應進行建模和近似。
空間填充設計最初用於數值實驗，尤其適用於實驗不可行、複雜、昂貴和/或耗時的領域。因此，人們通常會使用數值模擬來研究各種現象，但由於模型的複雜性和精確度不斷提高，計算時間可能非常長。為了避免運行隨機模擬並確保模擬空間的良好覆蓋，空間填充設計用於將電腦運行均勻分佈在所研究的空間中。空間填充設計通常不包含重複實驗，因為數值模擬是確定性的，對於相同的輸入會產生相同的輸出，因此無需重複運行來估計變異性。空間填充設計廣泛應用於石油、天文、光學、核能等各產業。
由於空間填充設計和機器學習模型，可以快速實現對模擬模型的精確近似（稱為「代理模型」或元建模）。代理模型用於表示和近似複雜模擬模型的結果，與此類模型相比，它們更簡單、更緊湊，且通常計算成本更低。由於代理模型能夠近似更複雜系統的行為，因此可以更快地探索複雜系統的設計空間，深入了解系統特性，對其進行最佳化，並運行驗證模擬。
主要特徵
空間填充設計在點的重新分配及其預期用途方面具有關鍵特徵：
- 設計空間內各點的均勻分佈。
- 對底層模型形式不做任何假設。
- 非常適合用於低噪音實驗和計算機實驗中的預測目的。
- 適用於複雜、非線性響應。
為什麼選擇空間填充設計而不是傳統的實驗設計？
圖 1：實驗設計方法
傳統能源部限制
- 假設存在特定的模型項（主效果、交互作用、二次效應等）。
- 可能導致設計空間的很大一部分未被探索。
- 針對特定統計目標進行了最佳化（透過效應估計進行篩選和定量分析，多項式響應曲面模型預測）。
空間填充優勢
- 與模型無關的探索。
- 更了解和預測複雜的反應行為。
- 非常適合電腦模擬、元建模和預測建模（機器學習）。
然而，與基於模型的 DOE 相比，空間填充設計通常需要更多的點才能獲得相關的預測模型。
常見空間填充設計類型概述
空間填充設計平台針對不同情況和各種因子類型提供了多種設計類型。對於連續因子，空間填充設計有兩個目標：
可以在 JMP 中找到空間填滿設計，路徑為DOE>特殊用途>空間填滿設計（圖 2）。
圖 2：空間填充設計選單
空間填充設計選項包括球體堆積、拉丁超立方、均勻、最小位勢、最大熵、高斯過程 IMSE 最適和快速靈活填充。
| 設計 |
制服 |
球體堆積（最大最小） |
拉丁超立方 |
快速靈活填充 |
| 優勢 |
極佳的空間覆蓋率，數學上最優的均勻性 |
最佳點分離 |
良好的一維投影，易於生成 |
空間覆蓋範圍和投影性能之間的平衡 |
| 弱點 |
計算時間 |
投影性能差 |
無約束處理 |
空間覆蓋率和投影性能之間的折衷方案 |
| 最適合 |
精確的太空探索 |
具有雜訊響應的連續因子空間 |
初步篩選，計算機實驗 |
混合因素類型、均衡探索、限制處理 |
| 因素類型 |
僅連續數值因子 |
僅連續數值因子 |
僅連續數值因子 |
連續和離散數值、分類和混合因子 |
為了評估設計點在參數空間中實現均勻覆蓋的程度，差異度量將它們的分佈與理論上的均勻分佈進行比較。
什麼是均勻分佈？
均勻分佈是指在給定範圍內所有可能值的機率相等。
在 0 到 1 之間的均勻分佈中，每個值出現的機率完全相同：不存在優先區域或聚集區。從圖形上看，這呈現為一個平坦的矩形，其機率密度保持不變（圖 3）。
圖 3：由 1000 個點產生的隨機均勻分佈
資料點越多，就越容易近似服從均勻分佈。
對於空間填充設計，均勻分佈確保點在整個參數空間中均勻分佈。這可以防止某些區域出現聚集而其他區域未被探索的情況，從而以最少的計算次數最大化資訊覆蓋率。使用這種分佈可以確保無偏採樣：設計空間中的每個位置都有相同的被選中機率，從而實現對問題域的系統高效探索。
常見的空間填充設計類型
-
制服設計
原則基本原則是設計一個方案，使每個因素的點分佈盡可能接近均勻分佈。此方案旨在最小化設計點（具有經驗均勻分佈）與理論均勻分佈之間的差異。這種設計均勻分佈與理論均勻分佈之間的差異稱為偏差。
- 優勢：空間覆蓋範圍廣，均勻性達到數學上的最優水準。
- 弱點需要計算。
- 最適合：精準的太空探索。
圖 4：20 次試驗的雙因子均勻設計表示。
請注意，重新分配點數如何為每個因素建立均勻分佈的點數。
圖 5：均勻設計的設計診斷。
相鄰兩點間的最小距離並不均勻。設計下，差異較小，最大投影（MaxPro）指標較高。
-
球體堆積設計（也稱為最大最小設計）
原則它創建的設計旨在最大化設計點對之間的最小距離。這種最大化的效果是將這些點盡可能地分散在設計區域內。形像地解釋，這相當於在指定體積內以最高效率堆疊體積相同的球體。
- 力量：最佳點分離。
- 弱點投影性能差。
- 最適合：具有雜訊響應的連續因子空間。
圖 6：雙因子球體堆積設計 20 次試驗的表示。
注意點的重新劃分是如何使設計點以相鄰點之間恆定的距離分散開來的。
圖 7：球體堆積設計診斷。
兩個相鄰點之間的最小距離最大化且相似。由於點在一個維度上可能具有相同的值，因此該設計無法進行 MaxPro 指標評估。
-
拉丁超立方設計（LHD）
原則基本原則是建立與試驗次數相等的箱數，並確保每個因子的每個設計點僅屬於一個箱。由於產生此設計點的組合方式多種多樣，因此強制執行另一個準則（MaxPro），以確保重新分配點不會在因子之間產生相關性，並確保良好的投影特性。此方法創建的設計最大化了設計點之間的最小距離，但要求每個因子的水平間距均勻。每個因子的水平數與設計中的試驗次數相同。此方法產生的設計模擬了均勻分佈。 LHD 方法是球形填充法和均勻設計法之間的一種折衷方案。
- 優勢：良好的一維投影，易於生成。
- 弱點： 沒有任何。
- 最適合初步篩選，計算機實驗。
圖 8：雙因子 20 次運行的拉丁超立方設計表示。
注意點的重新劃分如何建立 20 個等距的區間，近似於每個因素的點的均勻分佈。
圖 9：拉丁超立方設計的設計診斷。
相鄰兩點間的最小距離相近。在這種設計下，偏差較小，MaxPro 指標較高。
-
快速靈活的填充設計
原理：該演算法使用快速靈活填充 (FFF) 演算法生成設計。演算法首先在指定的設計區域內產生大量隨機點。然後，使用快速 Ward 演算法將這些點聚類成若干個簇，簇的數量等於您指定的運行次數。最終的設計點可以透過使用預設的 MaxPro 最優性準則或選擇質心準則來獲得。
- 力量：兼顧空間覆蓋範圍和投影性能。
- 缺點：空間覆蓋範圍和投影性能之間的妥協。
- 最適合混合因子類型、均衡探索、約束處理。
聽起來很複雜嗎？別擔心，稍後會一步一步講解 FFF 演算法！
圖 10：快速靈活填充設計示意圖，包含兩個因素，共 20 次運行。
圖 11：快速柔性填充設計的設計診斷。
相鄰兩點間的最小距離並不相同。採用此設計，MaxPro 指標評估結果相當高。
額外內容：快速靈活的填充演算法詳解
在本節中，我們將重現快速柔性填充演算法的步驟，以便更好地理解其機制。
- 建立因子列：在本例中，我們為兩個連續因子建立兩列，每列有 100,000 行，並採用隨機均勻公式分佈（圖 12）。
圖 12：建立因子列。
設計空間應完全被公式產生的隨機均勻點所覆蓋（圖 13）。
圖 13：由 100,000 個隨機均勻點所涵蓋的設計空間。
- 聚類：在「分析」>「聚類」中，我們選擇層次聚類平台，指定 Y 中的兩個因素X1和X2 ，並選擇快速 Ward作為方法（圖 14）。
圖 14：分層叢集啟動視窗
在「層次聚類」旁邊的紅色三角形中，按一下「聚類數」 ，並指定20 （20 是 JMP 建議的用於任何具有兩個連續數值因子的空間填充設計的聚類點數）。然後，在同一個紅色三角形中，選擇「儲存聚類平均值」 （圖 15）後，將出現一個包含 20 個聚類平均值的新表格。
圖 15：儲存聚類平均值的層次聚類選項。
我們也可以儲存原始表格中的聚類結果，並從「聚類平均值」表中新增對應的聚類平均值行。然後，我們可以將設計空間按聚類劃分後進行視覺化（圖 16）。
圖 16：設計空間被 20 個聚類劃分。
- 過濾：接下來，濾掉隨機點，只保留聚類平均值點。我們快速靈活的填充設計（基於質心準則）就完成了！
然後，我們可以將按照這些步驟產生的設計與直接產生具有中心準則的 20 次運行的快速靈活填充設計所獲得的結果進行比較（圖 17）。
圖 17：使用工作流程手動建立的快速柔性填充設計（左）與使用 JMP 和中心點準則建立的設計（右）的比較。
這兩個設計看起來非常相似！
使用相同的工作流程，可以創建一個具有預設 MaxPro 準則的快速且靈活的填充設計，但代表性聚類點的選擇不會是聚類的平均值；它們將是屬於每個聚類並最大化 MaxPro 準則的點：快速靈活的填充設計細節
設計選擇標準
在選擇空間填充設計方案時，請考慮以下因素：
- 客觀的：根據目標（篩選、探索、精確預測建模等）和幾何/分佈產生重點，可能會優先選擇某些設計。
- 設計空間維度：對於高維空間，某些空間填充設計（如均勻設計）的產生可能需要較長的計算時間。
- 因子類型：如果只有連續因子，您可以根據目標和維度選擇合適的設計。如果使用其他類型的因子（離散數值因子、分類因子、混合因子等），則只能選擇快速靈活填充設計。
- 回應特徵與建模方法的整合：根據響應中的預期雜訊以及所使用的建模方法（高斯過程、SVM、基於樹的模型等），可以採用不同的設計配置。
- 可用運行次數：根據實驗目標、待分析的反應變數以及可用的實驗預算，您可以選擇符合限制條件的實驗設計。例如，如果您希望僅使用連續因子，且響應變數可能存在噪聲，在高維實驗空間中進行均勻探索，那麼球體堆積（極大極小）設計可能是一個不錯的選擇。
- 設計生成的計算複雜度：根據運行次數和維度，您可以選擇產生複雜度較低的設計。均勻堆積和球形堆積設計通常比快速靈活填充和拉丁超立方設計更複雜。
- 增強策略對於順序實驗：任何設計增強採用空間填充方法時，將使用快速且靈活的填充方法。
接下來
在下一篇文章中，我們將建立一個比較這些空間填充設計的框架。我們將定義具體的反應、影響因素和評估指標，以便系統地評估不同空間填充方法在各種場景下的表現。
這是關於空間填充實驗設計的三篇系列文章的第一篇：
- 空間填充設計常見類型簡介（這篇文章）
- 比較框架和評估指標
- 結果、分析和設計選擇指南
@Victor_G感謝您提供的精彩總結。它解答了我們從用戶那裡收到的許多問題，我會廣為傳播並分享連結！
嗨@gail_massari ！
非常感謝您的回饋，我希望即將推出的另外兩部分也能起到澄清和幫助用戶更好地理解和選擇適合他們需求的空間填充設計的作用。
