實驗設計（DOE）是一種統計方法，它指導實驗的執行，分析實驗結果以識別相關變量，並優化所研究的過程或現象。在產品開發中使用DOE可以使產品更易於製造、成本更低，並提高產品的性能和可靠性，同時縮短產品設計和開發週期。
如今，隨著大型複雜資料集的日益普及，機器學習（ML）已被廣泛用作資料分析工具。然而，並非所有應用都能承受大數據所帶來的挑戰。例如，在製藥和化學工業，由於成本限制和產生有價值數據所需的時間，實驗數據集通常較小。儘管如此，將機器學習融入實驗設計已被證明是一種有效方法，能夠利用成本更低、速度更快的小型數據集來優化配方。
本次報告分為三個部分。首先，簡要概述了機器學習輔助實驗設計的相關文獻。其次，以黏合劑為例，說明將實驗設計與機器學習結合，如何有效減少確定優化催化劑組合設計空間所需的實驗次數。第三部分針對工業密封劑應用，利用響應面數據，比較了響應面模型（RSM）與各種機器學習演算法（隨機森林、支持向量回歸、Lasso、支持向量機和XGBoost）模型的預測誤差，驗證數據分別在設計空間內外運行。
大家好，我是漢高公司的程石（Stone Cheng）。今天，我的演講主題是機器學習輔助的配方優化實驗設計。首先，我會簡單介紹機器學習及其在實驗設計（DOE）的應用。我將透過兩個案例研究來闡述這種應用。案例一是利用主動學習來尋找設計空間；案例二是利用機器學習來提升實驗設計預測的效能。
關於我的公司漢高。漢高是一家年營業額達220億歐元的化工企業。我們有兩個業務集團。一個是消費品牌集團，涵蓋洗滌劑、家居和美容護理領域。另一個是黏合劑技術集團，我所在的部門就是其中之一。我們是全球黏合劑市場的領導者，為800多個產業提供超過2萬種產品。
機器學習是一個非常蓬勃發展的領域，正如過去 4 年發表的許多評論文獻所表明的那樣，它涵蓋了廣泛的工業應用，包括方法論、製藥、化學和許多 3D 列印，以及在品質、創新和製造方面的應用。
典型的機器學習使用大型資料集，這與實驗設計（DOE）的理念截然相反，後者旨在用最少的實驗次數學習到最多的資訊。如今，廣義上講，DOE 與機器學習結合的方式主要有兩種，正如這篇 2021 年的綜述文章所述。一方面，機器學習用於分析 DOE 數據。另一方面，它被稱為主動學習，即利用機器學習建模步驟的結果來建議下一步的實驗配置。在我的報告中，我將展示這兩種情況的範例。
案例 1 採用目標導向的機器學習實驗設計 (DOE) 方法來研究黏合劑的設計空間和配方最佳化。目標導向是一個比較專業的術語，在本案例中也可以理解為監督學習。案例 1 的目標是透過在配方中添加兩種穩定劑來提高黏合劑的貨架穩定性。穩定性透過兩個指標來監測：一是流動性，二是黏合保持率。
現在，化學對漢高來說是一個全新的領域，對這個化學團隊來說也是如此。他們決定將添加劑 1 的初始範圍設定在 0.1 到 0.5 之間，然後添加劑 2 的初始範圍設定在 0.5 到 3 之間。化學團隊一次只使用一個因素，並採用了各種 DOE 方法，包括因子設計、反應曲面法和空間填充法，試圖找到能夠滿足兩個目標規格的設計空間。
在22次實驗中，化學分析篩選出2次實驗方案，這些方案同時滿足流動性和黏附性要求。問題是，是否有更有效的方法來識別設計空間？
我們的方法旨在提高配方設計的效率，該方法分為兩個階段。第一階段，利用主動學習來辨識設計空間。第二階段，建立用於黏合劑優化的主要預測模型。在第一階段，空間進料設計將選取5次運行作為初始試驗。然後，透過支援向量回歸（SVR）對兩種回應進行建模。
然後，根據模型產生控製圖，並將其與模型圖重疊，以顯示滿足兩個規格要求的理想白色區域。接著，基於重疊輪廓圖所建議的該區域，對空間填充設計進行增強。這被視為一個循環。
然後，這個階段循環重複兩次，最終總共進行 15 次運行。在第二階段，我們精心挑選了建模的設計空間以及用於驗證的運行。步驟 5、6 和 7 涉及化學輸入。這就是我們所說的目標導向步驟。
JMP空間填滿設計提供了七種選擇運行位置的選項。以下是一個雙因子系統的範例。我使用拉丁超立方抽樣，因為它在公開文獻中被廣泛使用。這裡展示的是第一階段或第一周期的運作情況。圖1是運行資料和SVM預測列。圖2顯示了兩個回應的SVM模型擬合結果。圖3是模型的等高線圖。
圖 4 顯示了兩個等高線圖的重疊部分，其中白色區域符合兩個響應的設計目標。放大鏡中顯示的白色區域尖端是一個新的設計上限，在步驟 5 中用於增強特定設計，以要求再進行 5 次運行。
在主動學習階段 2 的第二個循環中，我們使用 10 次運行進行建模。與階段 1 的流程相同，這裡建議使用新的設計邊界，專門用於增強階段 3 的模型。這是階段 3 的最後一個階段，我們總共有 15 個數據點用於進一步建模。
圖 13 總結了右側的設計空間和左側的響應圖，其中左上角區域（即本區域）是目標設計，它同時滿足黏附性和流動要求。每個階段的資料都以顏色編碼，例如藍色代表階段 1，紅色代表階段 2，綠色代表階段 3。滿足兩個設計目標的運行結果以實心圓圈表示，而滿足其中一個或兩個反應目標的運行結果以空心圓圈表示。
在總共 15 次運行的 3 個階段中，有 5 次運行滿足設計目標，效率約為 33%。這比之前討論的非主動學習 DOE 方法在 22 次運行中僅有 2 次滿足目標要好得多，後者的效率僅為 9%。機器學習僅需 10 次運行（即合併第一階段和第二階段），而 DOE 方法則需要 22 次運行才能找到 2 到 3 次可接受的目標運行，這表明主動學習的效率至少提高了兩倍。
在預測建模中，如果資料集包含更多滿足目標規範的運行結果，則其效能可能會更好。我們之前說過，我們預期主動學習方法會在哪一年或哪一年取得更好的結果，因為我在一個空間中擁有五個運行結果，而在常規的DOE中只有兩個。這個主動學習範例只有15個運行結果，我們希望避免任何可能導致資料偏差的潛在異常值。
我們決定對未同時滿足兩個設計目標的運作（即運行 1.2 和 1.3）進行調整。調整後，我們的建模空間中僅剩下 13 個運行，如圖中紅色三角形所示。在模型驗證中，我們希望了解模型在同時滿足兩個設計目標的區域內的預測效果如何。
我們對邊界處的預測不感興趣。我們選擇的是目標設計空間中的偵測點。這些點以橘色圓點標記，還有一個靠近邊界的點，即此處所示的第 3.2 次運行點。這樣，就有 10 次運行作為訓練集，3 次運行作為驗證集。
化學領域在選擇模型空間和進行驗證運行時的決策均以目標為導向。這兩個步驟以及特定設計中的論證，我們稱之為目標引導步驟。我在此處複製了 R10 中的回應列。驗證運行後，資料已移除。此列用於與機器學習模型進行比較，從而為參數調優提供驗證選項。以下是使用此預測模型的機器學習模型清單。
除了兩個模型外，我們可以對所有模型應用驗證列：一個是高斯過程回歸，另一個是 Predictum Inc. 提供的 SVEM 神經網路。每個演算法的模型都已執行，其預測公式已保存在此列中。
模型比較採用了兩種方法：一種是使用 JMP 模型比較平台，另一種是自行計算均方根誤差 (RMSE)。為此，我強制堆疊了預測公式列，然後手動清空了均方根誤差列。左邊是 JMP 模型比較的結果，右邊是我自己計算的結果，而不是 JMP 的 18 個結果。透過比較兩張表格中紅色和綠色方框內的數據，我確認自己計算的均方根誤差是正確的。
透過模型驗證，如果我們看一下右側的表格，可以看到均方根誤差最低的前三名機器學習演算法分別是：提升神經網路、提升支持向量機和響應面模型，它們依序排名。但是，如果沒有驗證來幫助調整超參數，提升神經網路和提升支持向量機的均方根誤差會高於它們的對應模型：分別為 1.7、0.27 和 0.936。
然而，圖中藍色圓圈所示的 SVEM_Lasso 模型的 Gen_R 值似乎並未受到驗證與否的太大影響：分別為 1.397 和 1.427。同樣，在沒有驗證的情況下，GPR（高斯處理回歸）以及此處預測的 SVEM（也是神經網路）在黏附預測方面均不如其他模型，儘管 SVEM 被強烈推薦用於小型資料集，而本例中的資料集確實很小。
總之，本文展示了一個以目標為導向的黏附主動學習實例。利用支援向量機（SVM）機器學習輔助的空間填充設計，透過三次迭代識別設計空間。結果表明，主動學習在識別設計空間方面的效率是非主動方法的兩倍。
我們比較了多種機器學習模型，結果顯示其中一些模型表現更優，預測效果優於最小平方法模型。目標引導步驟涉及以下三個面向。化學家指導了這些步驟，旨在增強針對小型資料集的主動學習和預測能力。本案例展示了 JMP 的高階預測功能。這是案例 1。
接下來是案例二。我們應用機器學習分析密封劑應用的響應曲面法（RSM）實驗數據，以提高預測能力。背景如下：本案例涉及一種含有5種關鍵成分和3個反應變數的密封劑。此密封劑採用28次運轉的面心中心複合設計進行最佳化。其中一個反應變數Y3的R²調整值為0.86，均方根誤差為7.9，屬於合理範圍。
這種優化的Y3響應實際上接近目標邊界。化學家們做了兩件事。第一，在28次運行的基礎上再增加4次運行，這樣他們就佔據了DOE因子區域。第二，增加六個星點以涵蓋更廣闊的設計空間。
隨後客戶更改了專案目標。化學家被迫調整原料配比，並增加了 10 次實驗，希望能涵蓋新的設計目標。由於這 10 次實驗與最初的 20 次實驗（位於同一空間）偏差較大，因此被認為超出了設計空間。這裡展示的是這 10 次實驗的結果。中心複合區域內的四個點和六個目標星點都在這裡。
我們的目標是將機器學習應用於此RSM資料集，以了解各種機器學習模型在該資料集上的預測效能。這些測試資料集位於設計空間內、附近或設計空間外，即此處所示的三個資料集。
下圖展示了響應曲面法（RSM）模型及其R²值，並突出顯示了均方根誤差。模型項簡化後，有三個主效果X2、X3和X4，以及X2和X5的兩個交互作用，還有一個X1的二次效應。所有這些效應均顯著。
我們的機器學習流程分為兩個階段。首先，我們使用 7 折交叉驗證進行模型篩選，快速評估模型效能。然後，針對選定的機器學習方法，我們進行超參數調優以提升預測效果。驗證過程中，我們使用 JMP 模型比較平台中的兩種方法：一種是固定比例驗證（75/25 劃分），另一種是 7 折交叉驗證。
在第二階段，需要測試未見過的資料集。此測試資料集已新增至 JMP 表中。這些資料集分別位於原始 28 次運行設計空間之內、附近和之外，它們的預測公式列被保存並堆疊在一起。然後，建立均方根誤差列，用於最終模型比較。
此處顯示的是 JMP 模型篩選的結果，該篩選透過新增雙向交互項和二次項選項，以及選擇 7 折 K 折交叉驗證完成。每個模型的微調透過選擇並點擊「運行所選模型」進行。如果損失函數可用，則會執行超參數調優和提升操作。每個模型的預測公式都設定在表格的一列。對於神經網絡，我們使用其參數調優插件。在該插件中，我們選擇了三個協定。協定 2 用於兩層網絡，協定 12 和 16 用於單層網路。
這是我的 JMP 表格。第 1 部分是 RSM 原始的 28 次運行資料和反應變數 Y3。第 2 部分是兩個驗證列，用於模型比較。第 3 部分是每個模型保存的預測公式列。第 4 部分是測試資料集，包含三個測試資料集。第 5 部分是預測結果，來自每個機器學習模型。
在模型對比中，我們關注驗證方法的影響，因為訓練集、驗證集的數量以及平均過程都存在差異。在 75/25 的資料集劃分下，固定驗證集包含 21 次訓練運行和 7 次驗證運行。而在交叉驗證中，則對 7 折 K 折交叉驗證的資料進行平均，每折資料包含 24 次訓練運行和 4 次驗證運行。如果使用固定驗證集，JMP 會直接輸出一個表格供使用。但對於 K 折交叉驗證，我們需要進行一些資料處理。
JMP 輸出七個表格，依資料夾編號分隔。我們使用一個名為「建立合併資料表」的腳本將這七個表格合併成一個表格。然後，可以在表格平台上建立它們的平均統計數據，以便進行比較。
左側是模型對比總結。它採用固定驗證方法進行固定驗證。右側則使用了來自 K 折交叉驗證的總表。為了方便比較，我們使用圖表產生器來展示結果。在這個長條圖中，Y 軸表示均方根誤差，X 軸表示模型名稱。模型名稱末尾帶有連字符“t”表示模型參數已進行調優。帶有“B”的模型名稱表示模型已進行提升。
圖中藍色曲線所示的固定驗證的平均平方根誤差通常高於紅色曲線所示的K折交叉驗證。左側為響應曲面模型（RSM）。圖中也標示了幾個預測誤差小於RSM的機器學習模型，它們分別是XGBoost、兩個SVM模型、兩個神經網路以及一個增強型神經網路。這些模型按平均平方根誤差值的大小順序排列。
這個結論基於 DOE 28 運行數據，每次運行數據要么用於訓練，要么用於驗證。用於驗證的運行資料用於調整模型的超參數，以獲得更佳的預測效果。模型的真實預測能力將透過使用未用於訓練或驗證的未觀測運行資料進行測試，這將在下文中進行展示。
機器學習的第二階段是使用未見過的資料測試模型。這三個資料集被複製到此處的 JMP 表格中，運行值會自動顯示在預測公式列中。所有公式列都被加入到一個新表格中。此外，還建立了一個計算均方根誤差列。接下來的兩張投影片將使用堆疊表格、平板電腦和圖形建構器來示範模型測試功能。
我們先來看看模型在內部資料集和星形資料集（位於附近）上的表現。它們分別進行了 4 次和 6 次運行。如您所見，右側表格或左側圖表中突出顯示的就是這個區域。內部資料集中有 9 次運行（此處突出顯示）表現出相似的預測結果，均方根誤差在 5.6 到 7.7 之間。
那麼，這裡展示的星形測試資料集就接近設計空間。有七個模型的平均平方根誤差在 18.2% 到 21.7% 之間，平均值為 20.3%。 XGBoost 和圖中綠色箭頭所示的調優 SVM 在 DOE 資料集上表現最佳。它們在 DOE 資料集（即此處所示資料集）上表現最佳。這只是一個 DOE 資料集，將其放置在 DOE 資料集周圍。當然，與 RSM 相比，它們表現最佳，但預測誤差也更高。
如果我們看一下這邊的這個模型或這邊的這個模型，它們在內部資料集和星狀資料集上的預測誤差都高於頂部的響應面模型（RSM）。這表示模型存在過擬合現象。但整體而言，如藍色箭頭所示，單層調優增強神經網路在DOE資料集、內部測試資料集以及星狀資料集上的表現最佳。正如您從表格或圖中看到的那樣，這是最佳方案。
對於左側的圖表，我們現在正在查看設計空間之外的測試資料集。在左側的圖表中，y 軸分別繪製了觀測值和預測值。請注意此處顯示的三個測試資料集的測試運行 ID。紅色代表觀測值，藍色代表預測值。外部測試資料集的點位於此處綠色虛線的右側。
圖中突出顯示的四個模型表現非常出色。它們分別是 RSM 和兩個 G_R 前向傳播模型（分別採用剪枝或 SVEM）。第四個模型是這個兩層調優神經網路。這四個模型都表現極佳。還有一些模型，它們的預測結果平淡無奇或非常糟糕，例如圖中所示的 SVM 模型。
然後是經過調優的神經網絡，以及基於決策的方法，例如 XGBoost 或這種自助森林。如果我們考慮所有四個測試場景，即 DOE 資料集和三個測試資料集，那麼 RSM 模型和這種 G_R 剪枝前向模型，以及這兩種模型。顯然，它們在所有四個不同場景下都具有最佳的均衡預測效能。
我們需要謹慎對待這項發現。這些發現不應被推廣。它們是針對特定響應 Y3 的特徵。儘管如此，對於化學家來說，了解 Y3 反應仍然是一個有用的信息。這意味著在特殊情況下，例如專案時間非常緊迫，且沒有資源進行更多實驗時，響應面法 (RSM) 模型可能可以用於預測設計空間以外的資料。當然，在第二步驟中，驗證性實驗是不可或缺的。
綜上所述，對於DOE資料集以及在設計空間內部和附近運行的兩個測試資料集，我們發現幾種機器學習模型的效能優於響應面法（RSM）。其中表現最佳的是單層未調優的增強神經網路。對於設計空間以外的測試資料集，有四種模型表現非常出色，分別是響應曲面法（RSM）、兩種Gen_Reg前向傳播方法以及這種兩層調優神經網路。
如果考慮所有四個場景，RSM 和 Gen_Reg 剪枝前向模型整體表現最佳。正如這兩個案例研究所示，機器學習顯然為傳統的 DOE 方法增添了額外的功能，從而能夠更有效地進行模型建構。
在此，我要感謝我的同事戴博士和杜先生，感謝他們在這兩個案例研究和漢高AMI管理系統方面的合作；同時，我也要感謝JMP漢高支持團隊的Nick、Jon和Mark，感謝他們提供的出色培訓和支持。感謝您的收聽和觀看。
