756636_zh-TW

liliconcom

重新思考實驗的設計與分析？ （2021-EU-30MP-776）

Phil Kay，JMP資深系統工程師，SAS
Peter Hersh，SAS JMP 技術支援工程師

科學家和工程師設計實驗是為了理解其流程和系統：找出關鍵因素，並利用實用模型進行最佳化和控制。實驗的統計設計能夠確保您能夠利用實驗成果取得更多成果，並更快解決問題。但這些方法的實際實施通常需要接受某些假設（包括效應稀疏性、效應遺傳性以及主動或被動效應），而這些假設並不總是與該領域的知識和經驗相符。機器學習方法能否克服其中的一些挑戰，並在不增加額外成本的情況下，從實驗中獲得更豐富的理解？這會是實驗設計和分析領域的革命嗎？

本次演講將探討使用 Chris Gotwalt 和 Phil Ramsey 開發的自動驗證技術分析工業實驗的潛在優勢。演講將透過案例研究，比較傳統工具與自動驗證技術在篩選重要效應以及建立預測和最佳化模型方面的表現。

我們無法回答問答中的所有問題，因此...

我看到權重不在 0-1 之間，它們是如何產生的？

它們是「分數加權」的。這是啟用該方法的關鍵技巧。在 JMP Pro 的 Gen Reg 中，我們在 Freq 角色中使用了這一點。您可以使用 JMP Pro 15 的這個外掛程式產生帶有權重的重複表。我們推薦Chris Gotwalt 和 Phil Ramsey 的演講，其中詳細解釋了加權的統計細節。

當你複製行時，它們會以相同的輸出結果重複嗎？這種複製的目的是什麼？

是的，它們有相同的回應。如果只是這樣做並繼續進行分析，那就糟糕了。這裡的關鍵創新在於，它們被分數加權，使得它們在驗證集的一部分中權重較低，而在另一部分中權重較高。例如，在「訓練」中權重較低的運行將產生一個在「驗證」中權重較高的重複對。一些重複對在訓練和驗證中的權重會更均等。

我們使用這些權重來擬合一個模型，以確定每次運行中有多少用於訓練，有多少用於驗證。然後，我們重新繪製權重並擬合另一個模型。我們重複這個過程數百次。然後，我們將結果應用於所有這些模型，要么從非零比例中篩選出重要的效應，要么透過對所有單一模型進行平均來建立一個有用的模型。

是否可以在普通的非專業版 JMP 15 中運行該插件？

很有可能。您可以運行插件，但需要 JMP Pro 才能在分析中使用驗證列——這很關鍵。

它如何與分類變數一起工作？

我們僅展示了連續變數的範例。它的一個優點是適用於任何模型和任何變數類型。

這是目前公認的方法嗎？

簡而言之，還沒有。我們的目的是讓人們了解這種方法，並激勵有興趣的人探索它並提供批判性回饋。正如我們在演示中明確指出的，我們不建議您將此方法作為實驗的唯一分析工具。如果您喜歡這個想法，請嘗試一下，看看它與其他方法相比如何。

話雖如此，模型平均和保留驗證的概念在大數據情況下仍然有效。這似乎在設計實驗的小數據領域也應該有益。

您是否手動執行重複步驟？

不，這是透過外掛程式或 JMP Pro 16 平台的自動驗證設定的一部分完成的。您可以輕鬆自行建立重複行。更難的部分是設定分數加權，否則分析將無法進行。

貝葉斯也使用了大量模擬（MCMC），它也適用嗎？整合先驗分佈與後驗分佈？
很有可能。使用引導模型平均法進行分數加權驗證的整體想法很可能適用於許多其他領域。

自動產生的成績單...

揚聲器	抄本
菲爾·凱	好的，我們將討論如何重新思考實驗的設計和分析。我是 Phil Kay，全球技術支援團隊的學習經理，Pete Hersh 也和我一起。
彼得·赫什	是的，我也是全球技術支援團隊的成員，很高興談論 DOE 以及我們今天正在探索的一些新技術。
菲爾·凱	首先要說的是，我們非常支持美國能源部。它太棒了。長期以來，它在科學和工程領域中一直發揮著巨大的作用。
	話雖如此，為了長時間使用 DOE，我們必須接受一些假設。
	作為科學家或工程師，他們並不總是感到無比自在。例如稀疏性效應，以及你觀察到的並非全都重要的想法。
	事實上，在你實際實驗的東西中，只有少數東西最終被證明是重要的。或者說，影響遺傳是另一個假設。
	所以這意味著我們只期望看到以更簡單形式活躍的因素的複雜行為或高階效應。
	而且，由於這種活性效應和非活性效應的概念，通常，實驗設計的順序過程是從非活性效應中篩選出活性效應。
	有時候，這感覺太像二元決策了。很多時候，我覺得這種想法有點瘋狂，因為我們在完全不活躍的環境中實驗一些東西，
	但實際上，我認為我們知道一切都會產生一些影響。這可能不那麼重要，但
	它仍然會產生一些影響。這些主要是我們用來
	當你無法承擔大量運行次數時，如何應對實驗設計過程中的一些挑戰？ Pete，我不知道你是否也想從你的角度對此發表一下看法。
彼得·赫什	是的，我完全同意。我認為像溫度這樣的東西不活躍的想法是…我很難想像溫度對實驗沒有影響。
菲爾·凱	是的，這有點荒唐，不是嗎？所以，
	是的，如果這是在你的實驗中，那麼它總是會以某種方式活躍，但可能不如其他事情那麼重要。
	所以我直接跳到結果
	我們已經研究過的內容。我們一直在研究 Chris Gotwalt 和 Phil Ramsey 發明的自動驗證技術
	並將其應用於設計實驗的分析中，結果確實令人難以置信。我們之前根本沒想到這些結果會發生。
	所以，首先，我研究了一個包含13個活躍效應的系統，並分析了一個進行了13次確定性篩選設計，由此我能夠確定有13個效應處於活躍狀態，也就是…我們所說的飽和狀態。我們不會…
	我們通常認為，當效應稀疏時，也就是只有少數效應真正重要或活躍時，確定性篩選設計能夠有效地辨識出活躍效應。但在這個例子中，我成功地辨識出了所有13個活躍效應。
	不僅如此，我們實際上能夠透過這 13 次最終篩選設計來建構一個包含所有 13 種活性效應的模型。
	所以，這又有點令人難以置信；我們並不期望能夠擁有一個具有與我們所建立的資料行一樣多的活躍效應的模型。
	皮特，你研究了一些其他的東西並得到了一些非常有趣的結果。
彼得·赫什	是的，絕對是如此。菲爾的成績非常令人印象深刻。我認為
	我們嘗試的下一步是製作一個超飽和設計，它比運行效果更活躍，我們嘗試了
	非常小的DOE。因此，六次運行的DOE有七個有效效應，如果我們用標準的DOE技術來做，就沒辦法分析
	沒錯。我們也比較了8次和10次運行的DOE，看看它們能為我們帶來多少收益。所以我們得到了相當有用的模型，即使是6次運行的DOE，也
	比我預期的要好。
菲爾·凱	是的，這確實比你期望的要好，不是嗎？
	因此，我們獲得了這些令人印象深刻的結果，並能夠從少量樣本中識別出大量的活性效應
	最終的螢幕設計，並實際建立包含所有主動效應的模型。在 Pete 的案例中，我能夠從非常小的
	設計實驗。
	那麼，我們是怎麼做到的呢？自動驗證方法是如何運作的？它藉鑒了機器學習的概念，而機器學習中一個非常有用的工具就是驗證。因此，保留驗證是一種非常好的方法，可以確保你建立的
	最有用的模型。所以它是一個穩健的模型。所以我們保留一部分數據，用它來測試我們建立的不同模型，然後
	基本上，對我們所持有的數據做出最佳預測的模型就是我們所採用的模型，而該模型經過了真正的嘗試和測試。
	這其實是建構最實用模型的黃金標準，但對能源部來說，這可是個更大的挑戰，不是嗎，Pete？顯然，它不太適合。
彼得·赫什	是的，是的，DOE 背後的理念就是盡可能有效率地探索設計空間。如果我們開始拖延試驗或拖延
	分析運行，那麼我們就會錯過部分設計空間，
	我們確實無法使用許多 DOE 技術（例如確定性篩選設計）來做到這一點。
菲爾·凱	好的，好的，所以如果有什麼技巧能讓我們既能享受保留驗證的好處，又不至於因為保留關鍵數據而受到影響，那就太好了。所以，這就引出了自動驗證。
	想法，還有，皮特，你想描述一下這是如何運作的嗎？
彼得·赫什	絕對的，這是 Chris 和 Phil Ramsey 提出的一個非常聰明的想法，他們基本上從 DOE 獲取原始數據，然後重新採樣，所以你
	重複結果。所以，如果你注意到投影片底部的表格，灰色的運行結果與白色的運行結果相同。它們只是重複了而已。
	他們解決這個問題的方法是將權重列配對起來。所以基本上，如果一個人的權重很高，
	重複運行的速率很低…權重等等。這……這……使我們能夠使用經過驗證和加權的數據，我們將更詳細地介紹如何做到這一點。
菲爾·凱	是的，我們示範的時候你大概就能明白是怎麼回事了。我們基本上有兩個模擬案例，用來說明這個方法。我要講的第一個案例是，
	我強調這是一個模擬的例子。從某些方面來說，它有點不切實際，但我認為它很好地展示了這種方法的力量。
	我們有六個因素，為了讓它看起來更真實一些，我們從案例研究中選擇了一些真實的因素，他們試圖培育一些生物體，並優化它們輸入系統的營養物質，以優化生長率。
	我們已經確定了這六種不同的營養物質，這些就是我們要考慮的因素。我們可以添加不同量的營養物質，所以我設計了一個包含13個試驗的確定性篩選設計，以探索這些因素對生長率的影響。
	反應數據完全由我模擬，模擬結果顯示有 13 個強活性效應。所以
	我對其進行了模擬，因此所有主要效應，所有六個主要效應，都處於活躍狀態。
	然後，對於每一個因素，二次效應也起作用，所以我們得到了六個二次效應。
	另外，我們還有一個始終需要估計的截距，因此總共有 13 個活躍的效應，這些效應對於理解系統非常重要。
	1 信噪比，但對於標準方法來說，這仍然是一個真正的挑戰，以便對其進行建模，我們將在演示中討論這個問題。
	所以，真正的問題是，我們能否辨識出所有這些重要的效應？如果可以，我們能否建立一個包含所有這些重要效應的模型？正如我所說，這將是非常了不起的成就。
	與我們用標準方法所能做的相比。
	然後是案例研究#2，皮特？
彼得·赫什	是的，絕對是如此。和菲爾的案例研究非常非常相似。我們給生物體餵食不同濃度的不同營養物質，並監測其生長速度，思路是一樣的。在這個案例中，我簡化了菲爾的做法，將其分解為三個營養因素。這就是
	建構不同類型的設計，即 I 最優過飽和設計，其中我們關注的是完整的響應面
	以超飽和的方式，我們觀察了六、八和十次運行
	設計。同樣的想法。
	該該
	效果非常非常
	信噪比很高，所以如果這些效應有效的話，我真的希望能夠辨識出來。和菲爾一樣，我保留了二次函數中的主效應以及截距，我們正在嘗試識別它們。
	同樣的想法，那麼我們需要運行多少次才能看到這些活躍的效果，以及我們能從這些非常小的設計中得到多麼精確的模型？
菲爾·凱	是的，因為你知道，就像我說的，你真的沒有權利期望能夠從如此小的設計中建立出一個好的模型。
彼得·赫什	是的，沒錯。好的。
菲爾·凱	現在我將介紹案例研究#1 的示範。
	我透過 JMP 專案來展示這一點，所以這是一種非常好的展示結果的方式。我建議你試試看。
	這就是我們的
	設計，這是我們進行了13次確定性篩選設計，其中我們改變了這些營養因素，並模擬了生長率反應。正如我所說，這是模擬的，
	主要影響，所有這些因素的二次函數都非常活躍，另外我們還必須估計這個截距。
	現在，透過確定性篩選設計，我通常建議您使用適合確定性篩選作為查看結果的一種方式，作為您可以進行的分析之一。
	當效應稀疏原理成立時，它的效果非常好。所以，只要只有少數效應強烈活躍…其餘的效應不重要，
	然後它會找到那些…少數重要的影響並將它們與不重要的影響區分開來。
	但這次我沒想到它會有效，結果也確實沒那麼好。它沒能辨識出所有六個因子都處於活躍狀態。事實上，它只識別出其中一個因子處於活躍狀態。
	所以這並不奇怪，對於這種類型的分析來說，這種情況太困難了，太具挑戰性了。
	如果我們知道所有這些活躍效應都是活躍的，並且我們嘗試用所有六個主要效應、所有六個二次效應和截距來擬合一個模型，
	那麼這就是一個飽和模型。我們需要估計的參數和資料行數一樣多，所以我們勉強可以擬合這個模型，但我們不會得到任何統計數據。
	無論如何，你知道，除了我模擬了這些數據之外，在現實生活中，我們不知道哪些是活躍的，所以我們甚至不知道適合哪個模型。
	現在，使用自動驗證方法，我實際上能夠非常令人信服地識別出活性效應，我將討論我們是如何做到這一點的。
	這只是我的結果的可視化。你不一定需要這樣視覺化。這只是為了演示目的。
	首先，我能確定攔截是有效的。我已經得到了所有六個主要效應，
	以及我的二次效應，然後是雙因子交互作用，我模擬的結果是零效應。你可以看到它們都下降了
	與其他因素相比。實際上，我們在這裡使用了一個零因子…也就是虛擬因子。任何小於零因子的因素，我們都可以聲明為不重要或無效的，如果你願意的話。
	我們實際上…我們這裡關注的指標是“比例非零”，我會在講解過程中解釋它的含義。這是我們在這裡用來辨識效應強度和重要性的指標。
	我先簡單說一下我是怎麼完成的。我採用了最初的13次確定性篩選設計，然後設定了自動驗證，這樣我們現在就有了26行重複資料。
	有一個插件可以實現這一點，我們的一位同事 Mike Anderson 創建了一個插件，您可以在 JMP 15 中使用它來實現這一點。
	在 JMP 16 中，他們實際上在驗證列平台的預測建模工具中添加了該功能。
	這樣做的目的是，我們得到這組重複的數據，然後得到這個權重，正如 Pete 所說，我們有...每一行都在訓練集和驗證集中。
	如果一個樣本在訓練集中的權重較低，那麼它在驗證集中的權重就會較高。所以，如果一個樣本在訓練集中的權重較高，那麼它在驗證集中的權重就會較低。
	我們實際上所做的是，我們閱讀......這些基本上是隨機分配的。
	我們重新分配了這些參數，並能夠進行數百次迭代，每次都擬合模型，然後查看匯總…多次模擬運行的匯總結果。那你會怎麼做呢？
	是為了擬合模型，我在 JMP Pro 中使用 GenReg。
	無論如何您都需要 JMP Pro，因為您需要能夠指定此驗證角色，所以我們將...訓練驗證列放入驗證中。
	權重會作用於頻率，然後我們像平常設定響應一樣設定其他所有參數。這樣我就得到了一個模型，也就是包含所有這些效應的響應曲面模型，然後點選「運行」。
	它會擬合一個模型，我們可以使用前向選擇或套索。在這裡，我使用了套索。
	在這種情況下，這並不是很重要。
	實際情況是，我們只確定截距在這種情況下是重要的，所以我們在模型中實際上只得到了截距。
	但是如果我們改變權重，如果我們回到資料表重新模擬這些權重，我們可能會從模型中得到不同的結果。
	我們對不同行的資料、實驗中的不同運行進行加權，這會改變擬合的模型。所以我們要重複數百次，我實際上要用的是 JMP Pro 中的類比功能。
	我們的做法是，把加權列換成重新計算後的加權列。你可以重複幾百次。我這次實際上做了250次。我不會讓它一直運行，因為那會花一兩分鐘。
	完成之後，您將得到如下所示的表格。
	現在我已經得到了這 250 個模型中每個效應的參數估計值。所以
	在我運行的第一個模型中，這是檸檬酸主效應的參數估計值。在下一個模型中，當我們重新取樣權重時，
	檸檬酸的主效應沒有進入模型，因此在這種情況下它為零。
	實際上，你可以對所有這些參數估計進行分佈。你可以做的一件事是
	自訂這個統計數據，也就是總結統計數據，來查看非零的比例。所以你可以在這裡看到截距。
	我們對截距的估計。你可以看到，對於檸檬酸來說，很多時候它被估計為零，所以這些模型是，
	檸檬酸的主要效果不在模型中，很多時候它被估計為大約 3，這也是我模擬的結果。
	所以我們要看的是非零次數的比例，然後我們可以用這些資料建立一個合併資料表。我已經這樣做了，只是做了一點點…
	這裡有一些額外的增強。我剛剛添加了一列，表示它是主效應還是其他什麼，然後我就這樣創建了
	這張視覺化圖表。所以你看到的是每個效應不為零的次數比例，也就是每個效應在我們的模型中出現的次數佔所有效應的比例。
	我們進行了 250 次模擬，重新模擬了分數加權。這就是我們用來識別
	活性效應，而且…它做得非常出色。它做到了我們標準方法無法做到的事情。它在13次運行中識別出了13種活性效應。
	確定性篩選設計。
	現在，你接下來想做什麼？我們或許想用所有這些效應來擬合這個模型，我已經做到了。我正在比較我擬合的模型
	與真實的模擬響應相比，你可以看到它們是多麼接近。所以我能夠建立一個包含所有這些主效應、二次函數和截距的模型。
	所以我這裡有一個 13 參數模型，我可以將其適配到這個 13 次運行的最終螢幕設計中，這再次令人驚嘆。
	我不會詳細解釋我是如何走到這一步的。現在我把時間交給Pete。他會更詳細地講一下自我驗證整合模型的概念。
彼得·赫什	當然。謝謝你，菲爾。我看看。我會在這裡分享我的螢幕，然後我們一起看看這個項目。所以
	你可以在這裡看到
	在同一個
	就像菲爾一樣，我們正在看一個項目，我
	從六次運行過飽和 DOE 開始，你可以看到，我有三個因素，
	我的實際基礎模型成長率是多少，然後成長率...模擬成長率是多少，然後就像菲爾提到的那樣，
	我創建了這個自動驗證列，可以使用 Mike Anderson 在 JMP 15 中開發的插件來完成。或者在 JMP 16 中，它內建在軟體中，您可以在分析預測建模平台下存取它，建立驗證列。
	正如菲爾所展示的，他提供了一個絕佳的例子，展示瞭如何找到哪些因子是活躍的，也就是因子篩選。這通常是我們DOE的主要目標，但如果我們想更進一步，以此為基礎建立一個模型，
	我們會經歷同樣的過程，對吧。所以我們建立了實驗設計 (DOE)，並在該實驗設計中添加了自動驗證，然後我們建立了模型，就像 Phil 展示的那樣，使用廣義回歸和其中一種
	變數選擇技術。 Phil Ramsey 和 Chris Gotwalt 研究過許多不同的技術，它們似乎都運作良好。所以，無論你使用 Lasso 還是兩階段前向選擇，它們似乎都有類似的結果，
	效果相當好。所以一旦你設定好並啟動它，你就會得到一個模型，就像菲爾展示的那樣，你知道其中一些模型會有

進階統計建模基礎資料分析與建模消費者與市場研究資料混合與清理數據探索與視覺化實驗設計大規模客製化預測模型和機器學習品質與工藝工程可靠度分析分享和交流成果