756841_zh-TW

liliconcom

利用空間填充混合設計、神經網路和 SVEM 加速創新 (2021-US-45MP-807)

菲利普‧拉姆齊 (Philip Ramsey)，北海文集團和新罕布夏大學資料科學家兼教授
Marie Gaudard，Predictum 資料科學家
Predictum 老闆 Wayne Levin

儘管約束混合和混合製程設計對製程/產品開發和改進至關重要，但它們的生成和分析卻頗具挑戰性。經典混合和混合製程設計通常無法充分覆蓋設計空間，會將過多的設計點分配到邊界區域。此外，經典混合製程設計通常規模過大，難以實施。此外，約束混合設計固有的大量部分混疊效應使其難以分析，尤其是在預測建模方面。

在本報告中，我們將基於 JMP 中快速且靈活的空間填充設計，提出一類新的高效約束混合和混合製程設計。這些設計能夠顯著提高設計空間的覆蓋率，並且無需預先指定模型即可產生。

透過模擬和案例研究，我們將展示這些新設計如何與自驗證整合建模 (SVEM) 結合，從而擬合神經網絡，並產生有效的預測模型。這些模型為製程表徵和最佳化奠定了基礎，從而確保了模型在放大和縮小過程中的表現更佳。我們將示範如何使用 JMP 16 產生設計並進行 SVEM 分析。

自動產生的成績單...

揚聲器	抄本
菲利普·J·拉姆齊	大家好，我是新罕布夏大學和 Predictum 的 Phil Ramsey。與我一起主持節目的還有 Predictum 的 Wayne Levin 和 Marie Gaudard，
	新罕布夏大學和 Predictum 的榮譽教授，我們將就現代混合設計發表演講。
	本次演講的議程是，我們將討論機器學習和實驗設計，簡要介紹什麼是混合設計，
	討論一種用於 DOE 的新型機器學習方法，稱為自動驗證，它與整合建模相結合，創建了我們稱之為自驗證整合建模方法的東西。
	然後我們會討論 SVEM，即自驗證集成模型，我們會用混合實驗進行演示，然後我們會討論
	SVEM 方法和空間填充設計。 Wayne Levin 將講解 Predictum 開發的 SVEM 的插件，並進行尿素實驗的演示。
	我想指出的是，最近，實際上僅今年一年，我們就已經有三篇論文被發表在期刊上，主題是
	DOE 和機器學習，因此人們發現傳統上應用於大數據的機器學習方法
	它可能在實驗設計（DOE）中具有廣泛的適用性，我們當然同意這一點。我們將展示如何在混合實驗中有效地運用它們。但機器學習在應用上的一個傳統限制是
	人們通常認為，像美國能源部這樣的小型資料集必須擁有非常大的資料集。但事實並非如此。
	正如你將看到的，SVEM 方法已經由許多人開發，包括我自己和 JMP 的 Chris Gotwalt 博士，
	實際上，我們可以將這些傳統的大數據方法應用於我們透過實驗設計發現的較小的數據。
	而且機器學習實際上都是關於預測的，所以我們將統計建模分為兩種方法，一種方法稱為解釋方法，這是經典的，它側重於假設檢定和 P 值和參數。
	這通常不會產生好的預測模型，但機器學習完全專注於預測。
	這就是我們的觀點，也是我們今天要運用的，並將其應用於混合實驗。我們將使用機器學習
	用於預測。我們的重點不是解釋，正如你將看到的，我們將能夠將這些預測機器學習方法應用於小型實驗設計
	數據集。傳統上，我們評估預測模型的方法是使用一部分資料進行訓練，所以我們稱之為訓練集，這是一種非常常見的方法。
	我們還有另一組在某種程度上有所保留的策略。有很多策略。我們只討論其中一種，叫做「保留」。
	我們先把資料放在一邊，用訓練集擬合模型，然後用保留集（或驗證集）來評估預測能力。換句話說，我們預測的是那些沒有用來擬合模型的數據。
	然而，這種策略不適用於實驗設計。實驗設計非常高效，並且以資訊為中心，
	而且通常沒有足夠的資源或預算來開發驗證集。很少有人能夠進行額外的運行來用於驗證。
	因此，這似乎是使用機器學習進行預測建模的障礙，但正如我們將要展示的，這種 SVEM 方法可以幫助我們解決這個限制。
	在討論SVEM之前，我想先快速討論一下混合設計。我知道你們有些人熟悉它，有些人則不熟悉。
	這是一類特殊的實驗設計。它們並不像人們想像的那麼常見，因為人們並不了解它們。它指的是用某種配方或方法進行的實驗，而這些配方的成分可以是液體、氣體或固體。
	其中一個重要概念是，對反應的影響僅取決於各組成部分的相對比例。
	所以我們非常關注食材的比例，就像食譜裡說的。我們不關注數量。如果總量很重要，那就需要進行另一種叫做混合量的實驗，這超出了今天的範圍。
	但因為這些都是配方的組成部分，所以這些因素是有限制的。換句話說，總量必須受到限制；有時這是自然而然發生的。
	但比例也必須受到限制。因此，與因素實驗不同，混合實驗中你不能獨立地改變因子。
	因此，在許多人熟悉的傳統DOE中，對因子的聯合設定沒有任何限制。在某些情況下有，但通常沒有。
	另一方面，在混合實驗中，由於它們是某種配方的成分，因此總量必須為 1 或 100%。因此，如果我有 Q 因子，那麼每次試驗中這些 Q 因子的設定總和必須為 1。此外，
	任何單一組件的設定都必須在 0 到 1 之間。我還要指出的是，我們今天沒有時間討論這個問題，
	混合設計的一個重要變體稱為混合過程實驗，其中我們將混合因子與過程因子結合。
	我們這樣做是因為混合的行為。例如，想像一下三組分黏合劑，其行為會隨著加工條件的變化而發生巨大變化。因此，我們可能會考慮固化黏合劑的壓力和溫度，以及最佳
	配方通常會根據這些製程因素而變化。這超出了今天的討論範圍，但它是混合物的一個重要方面。
	因此，從歷史上看，當人們分析混合物甚至創造它們時，重點是解釋目標，即
	對參數、P值和信賴區間進行假設檢定。然而，從混合物的角度來看，這通常是一個問題，因為混合物本身就有很多
	因素和效應之間存在多重共線性或相關性。它們必須存在，因為總量受到限制，而且它們總和必須為1，因此它們不可能在設計上是獨立的。然而，
	我們不同意這種傳統的關注點，並且憑藉我們在混合實驗方面的豐富經驗，坦白說，我們的目標始終是預測。
	這不是解釋。我們試著預測混合物或配方的性能，這才是科學家或工程師感興趣的。
	因此，科學家的需求與我們分析混合物的方式之間存在著巨大的脫節。此外，許多傳統的設計就是我們所謂的邊界點設計。
	如果你熟悉「D 最優」這個術語，它們往往非常 D 最優，也就是說，
	大多數點都分佈在邊界周圍，我們幾乎沒有內部資訊。點很少，有時甚至沒有
	在設計區域的內部。為什麼這很重要？嗯，混合系統，特別是在化學和生物應用中，
	往往非常複雜。其中有非常複雜的動力學過程，而這些響應面的形狀也非常複雜。
	如果我們沒有大量關於設計區域內部的信息，那麼很可能我們就無法提出真正代表系統行為的模型。
	事實上，在混合設計的應用歷史上，這種情況經常發生。同樣，我們今天沒有時間討論這個問題。
	過去分析或建模的經典方法就是我所謂的 Scheffe 多項式，
	這些是專為混合模型設計的多項式。它們有很多變體，但這些模擬多項式（尤其是在其經典形式下）通常不足以模擬這些響應面。
	那我們該如何解決這個問題呢？我們認為，我們需要從空間填充設計的角度來處理混合設計。
	為什麼要進行空間填充設計？這本身就可以單獨討論，但這些設計是為了在給定數量的設計點的情況下盡可能地覆蓋設計空間而創建的。
	以及設計點的數量
	是用戶的一種選擇。這實際上可以讓我們利用更小的設計，
	這些經典設計覆蓋了整個設計區域。因此，這可以提供我們更準確、更實用的預測模型。我們可以獲得關於整個設計區域的更完善的資訊。
	在我們的混合方法中，一切都基於太空拍攝設計的使用，這是我們近年來在行業中註意到的趨勢。
	我現在想換個話題來談談......好吧，既然我們已經創建了混合物，我們已經運行了它，那麼，我們如何分析它？
	我之前提到過，機器學習應用於能源部的一個問題是，我們實際上沒有一個自然的驗證集。 Gotwalt 和 Ramsey，也就是我和 Chris Gotwalt 博士，實際上提出了一種我們稱為自動驗證的驗證方法。
	關於這個問題的第一次討論實際上是在幾年前的探索歐洲會議上進行的。
	這看起來不太直觀，但請聽我說完。我們可以用原始數據，也就是原始實驗來訓練和驗證。換句話說，我們獲取原始數據，並創建它的副本或克隆，
	我們稱之為自動驗證集。因此，訓練集中的每個觀察值在自動驗證集中都有一個對應的值。
	就其本身而言，這似乎毫無意義。既然自動驗證集與訓練集的觀測值相同，它如何提供對預測能力的獨立評估？嗯，它本身做不到。
	自動驗證思想的關鍵在於我們對觀察結果應用加權方案，該方案基於從伽馬分佈產生權重。
	順便說一下，Gamma 分佈在統計應用中通常用於加權。 Gamma 權重很多…很多優良特性，我們今天就不細說了。
	我們的做法是產生一組權重，但採用一種特殊的方式。如果訓練集中的某個觀測值獲得高值，那麼它的權重也就高，
	自動驗證集中的觀察值（雙胞胎）的權重較低。我們為什麼要這樣做？這會導致兩個資料集之間出現負相關性。
	換句話說，我們嘗試使用加權方案來消除資料集之間的相關性。過去幾年，我們已經對此進行了大量研究。結果表明，這種方法非常有效。
	很快就會有一篇論文公佈所有這些結果。我們的想法是使用這個加權方案，所以我們取
	訓練集，我們分配伽馬權重，我們有自動驗證集，我們為每個雙胞胎分配相應的權重，所以如果訓練集的權重很高，
	自動驗證集中的雙胞胎權重較低，這導致了這種反相關行為。然後我們只需重複此策略一定次數，次數由使用者指定。在下一張投影片中，我將展示一個簡單實驗的範例。我們有三個因素。注意
	運行 1-7 是訓練集，即原始資料。運行 8-14 是克隆資料或副本。請注意，這兩個資料集的觀測值完全相同，然後請注意名為
	配對的FWB重量。我稍後會解釋FWB。
	請注意，如果一個觀測值，例如觀測值 1 獲得較高的權重，那麼它的孿生觀測值 8 就會獲得較低的權重。所以觀測值 8 被納入驗證集。
	所以分數加權的概念很重要，所以分析是透過對回應應用分數權重來完成的。然後我們重複這個策略
	我們會進行一定次數的訓練（具體次數取決於使用者和場景），每次訓練都會適合模型。換句話說，我們基本上就是所謂的分數加權引導法。
	那麼分數加權自舉法是什麼呢？它本質上是一種自舉法，也被稱為廣義自舉法。
	我們不會對觀測值進行引導。我們採用引導權重應用於觀測值。這是一種眾所周知的方法，我們正在應用它。
	不同的是，我們重複應用這個方法，正如我所說，可能是數百次、數千次，這完全取決於使用者。
	每次我們擬合一個模型，最後都會取平均值或集合。這被稱為……這就是我們得到這個術語的原因
	自我驗證，或者說自動驗證，是自我驗證整合模型。我們取平均值
	順便說一下，整合建模在機器學習和深度學習中非常常見，因為它往往能夠產生更穩定、更好的預測模型。
	因此，SVEM 進行分數加權引導來產生一系列模型，然後使用模型平均值來得出最終的預測模型。
	那麼，這個方法是如何運作的呢？嗯，你選擇一個演算法來建立你的預測模型。在我們的例子中，我們將重點放在神經網絡
	混合設計，但你也可以選擇其他方法。 SVEM 對於它使用的演算法相當敏感，並且它對許多演算法都適用。因此，我們建立了訓練集和自動驗證集。我們分配了相應的分數權重。
	然後我們擬合模型，根據使用者定義的次數進行引導，最後取平均值。好的，現在我將把時間交給我的同事 Wayne Levin，他將演示 SVEM，並介紹一個插件來實現它。
韋恩	我只是在這裡做切換
	並分享螢幕。
	只需切換 PowerPoint。
	非常感謝，菲爾。我們將使用這個例子，這個尿素數據，所以實驗的目的是優化清潔劑的溶液。
	這種混合物的三種成分是水、酒精和尿素。這就是這三列。我們只關註一個響應，那就是黏度。我們的目標是達到100，但是，正如我們下面所看到的，
	我們希望黏度在95到105之間。因此，我將切換到JMP。
	好的，這是我們的尿素數據。我剛剛打開它，注意只有15次運行，所以我直接進入下一步。下一步是
	流程是建立自動驗證表，所以當我點擊它時，你會看到幾件事發生。首先，我們會得到一個新表，裡面有前15次運行的數據，這和我們這裡的情況完全一樣。然後，對於每次運行…例如，如果我專注於第一行 (52, 29, 19)，
	您可以看到它在下面重複出現，即 52、29、19。
	同樣，第二行將是 57、23、19。我當然不會把這些數字都重複一遍，但我想你應該要明白了。這只是重複這些組合而已…
	在下面的第二組中，第一組是訓練集…用於訓練，然後第二組，如這裡所示，用於驗證。現在，中間是 Phil 提到的成對分數加權列。所以
	我們傾向於看到...當我們傾向於在這裡看到較高的數字時，我們會在下面得到相應的較低數字，並且它非常遵循...
	嗯，就是菲爾提到的伽瑪分佈。我先展示一下。我先在這裡畫出權重，就像
	在螢幕上定位。所以每次迭代時，我們都會…刷新權重。所以，看看這裡的權重，然後觀察
	這列在這裡，這列在這裡。我先運行一下，這樣你就能看到。每次迭代，我們都會得到一組新的
	分數…在訓練集和驗證集上進行分數加權對。好的。接下來我要
	做一個擬合模型。所以，如果你願意的話，我會做一次迭代。
	所以黏度就是響應。請注意，頻率角色有成對的分數…分數加權的引導權重，所以它就是這樣被納入模型的。好了，我們開始吧，如果你願意的話，這是一個迭代，
	好的，基於這些特定的權重。嗯，
	如果我們想要一個整合模型，就必須反覆進行這樣的操作。所以我現在要做的是用新的權重來運行它，如果你願意的話，
	留意……你得同時留意三個不同的地方，這可能有點挑戰性。我只是試著把這些東西擺好位置，好嗎？
	所以接下來會發生什麼事呢？當我點擊這裡使用新的權重運行時，你會看到這裡的權重發生了變化，一個模型被創建，並且預測模型將被保存
	上來。我打算在這裡做一個。試試看。砰，它改變了生成模型的方式。
	保存模型。此列也已添加；這是 Phil 提到的集成，這是平均值。當然，我只進行了一次迭代，所以平均值如下
	一樣。所以我在這裡再做一次迭代，我們得到一組新的權重，一個新的模型，並且保存了一個新的模型，現在這裡的集成模型是這兩個的平均值
	就在這裡。所以我要再做幾次，哦，我不知道。這並不難，我們可以看到這些
	隨著我們的進展而改變。我現在有六個，我們為什麼不快速瀏覽這六個
	模型…個體模型，以及平均模型、整體模型，這些都顯示在分析器中。這正好顯示了不穩定性
	Phil 之前提到過，因為如果，如果你只做一次……現在我知道這裡有分數加權，但正如 Phil 提到的，你知道，任何一點的移動我都可以
	如果你願意的話，可以擾亂模型，你最終會得到一些實際上並不重要的特徵...
	也許它們並不真正屬於那裡。它們只是特定設計點的產物。但只要看看這裡，就能明白
	每個單獨的模型看起來...嗯，它們在這裡有一些不同的特徵。但在下面，平均模型在某種意義上是...嗯，它是上面所有模型的平均值。
	你大概看得出，這邊那個大卷邊已經被撫平了。你在下面能看到一點點。
	現在這僅進行了六次迭代，並且使用插件後，我們建議實際進行 50 次迭代。
	但我還要做的是，讓我們看看實際數據和預測數據。現在這個結果相當…
	相當一致。這些線的斜率基本上都是1。通常當我們這樣做的時候，我們確實會看到更多的變化，但你會注意到
	普通模型，在這個例子中有點難看清，但它是一條實線，基本上穿過了其他線的質量。所以我要把它們移到一邊，接下來要做的就是
	我實際上會在這裡進行多次運行。我想在這個演示中，我們會進行 25 次迭代。你可以看到模型的變化，也可以看到權重的變化
	這裡修改了。這裡沒有添加任何新內容。所以我們只是過一遍。砰，完成了，現在我們來看看報告。我直接打開它。
	最初，我們在這裡得到了實際值與預測值的比較圖，以及殘差圖。在這裡看看
	分析器。
	我喜歡這個分析器。它
	非常適合混合物，因為你們可以看到，當我換水，當我增加水量時，其他兩個就下降了。這就是
	混合物的固有性質，當然，它們都必須包含或加起來等於 1。好的，如果你願意的話，這就是平均模型。
	好的，這是涵蓋了 25 例發作的整合模型。如果可以的話，我將
	現在只需快速看一下混合物分析器。
	我們在這裡看到這個。
	實際上，如果可以的話，您可以從中看到…
	注意這些點。你看到這些點是如何完美契合的嗎？這就是設計的空間填充特性，你也會注意到這個設計其實有一些限制。
	因此，我們不會以任何方式覆蓋水 0-1 或尿素 0-1 等的整個空間，所以我們在這裡有這些限制。
	我現在要做的就是把限制加進去，這樣我就能想像... 95 到 105。所以它在這裡的空白處向我展示了我可以...
	如果願意的話，哪些組合可以滿足那些條件......這裡的規格限制。
	好的，這就是
	SVEM 方法，方法論，如果你願意的話，
	我可能...我只是。
	所以 SVEM 和空間填充設計。所以，再次強調，這方面的一大動機是它們本質上是不穩定的。
	因此，數據的微小變化都可能導致預測的巨大變化，最終導致單一的預測模型不穩定。你知道，最終會出現一些問題，你知道，
	通常看起來相當令人不安，因為動力學通常不會這樣發生。
	因此，我們需要穩定性和多個模型的集成，基於分數加權引導法可以實現這一點。
	另一個……另一個重要問題是，在這些情況下，多重共線性是固有存在的。混合物是複雜的系統。
	它們不是組件行為的總和。它們實際上是互動的產物，這就是為什麼我喜歡分析器，因為它們描繪了
	這些相互作用非常完美。這些動態表現得非常好。因為我們得到了所有這些多重共線性，所以它在某種程度上減輕了這種影響，並提供了一個穩定、更準確的預測模型。我們現在一直在運行這個…
	事實上，這可以追溯到幾年前，但是
	自從我們創建了 SVEM 插件（我稍後會談到它）以來，自今年早些時候以來我們已經運行過很多次了，它的表現確實非常出色。
	我們的客戶對此非常滿意。正如我所說，使用 SVEM 進行模型平均並非自動化，也不是 JMP 標準版或 JMP Pro 的版本，但我們確實有一個插件，如果您訪問我們的網站 Predictum.com，可以了解更多資訊以及如何獲取它。
	是的，SVEM 有一個專門的頁面。我們還有現代混合設計課程，你可以看到，那是 Marie、Phil 和我一起上的。
	您可以在 Predictum 網站的培訓頁面上看到這些內容。我們確實涵蓋了經典混合設計的部分，但課程的三分之二到四分之三的內容都涉及 SVEM。
	而且這個插件是可用的，SVEM 插件是課程的一部分。所以在本次演講中，我們已經了解如何從資料建立預測模型…
	數據受限於進行驗證試驗來控製過度擬合的可行性。你知道，在經典設計實驗中，我們根本無法進行
	訓練和驗證都很重要，所以我們建議使用空間填充設計，尤其是對於混合實驗設計 (DOE)，但實際上也更普遍地適用於其他實驗設計 (DOE) 情況。我們也描述了基於自動驗證和分數加權引導法 (FRB) 的 SVEM。
	我們也討論了 SVEM 如何實現 DOE 資料的預測建模，而無需進行單獨的驗證運行。
	並利用尿素實驗數據對SVEM進行了論證。
	我想讓你們知道，如果你下載投影片，你會發現一大堆參考資料。這裡有幾個，還有一些其他的，我喜歡這個的原因之一是
	它實際上可以追溯到 1996 年。所以這是醞釀了一段時間的事情，我鼓勵你看看這些參考資料。
	我們將回答大家的提問。

進階統計建模基礎資料分析與建模消費者與市場研究實驗設計大規模客製化預測模型和機器學習品質與工藝工程可靠度分析分享和交流成果