756637_zh-TW

liliconcom

大型 DOE：循序漸進、穩定地推進才能贏得勝利？ （2021-EU-45MP-775）

David Wong-Pascua，CatSci 資深科學家

Phil Kay，SAS JMP 全球學習經理
Ryan Lekivetz，JMP首席研究統計師、SAS開發人員

SAS JMP 系統工程師 Ben Francis

想像一下一個實驗設計（DOE）問題，其中包含大量可能的處理方案：5個分類因子，分別具有3、4、4、8和12個水平。完整的因子實驗需要運行4608次。您擁有一個高通量系統，因此可以同時進行48次運行。或許第一個實驗顯而易見：使用JMP客製設計平台產生一個48次運行的設計來估計主效果。根據反應（產量）擬合模型，您發現所有因子都顯著，正如預期的那樣。那接下來該怎麼做呢？有什麼高效且有效的方法可以找到最優結果並對結果充滿信心呢？

這不是典型的先篩選後最佳化的順序實驗設計 (DOE) 情況，因為在初步篩選設計之後，沒有可以捨棄的不重要因子。此外，二階（及更高階）交互作用可能很重要，但估算這些模型需要數百次運行。

在本文中，您將了解我們如何利用順序方法在極其龐大的可能性空間中尋找最優區域，同時又能實現學習最大化，從而解決這個問題。我們將此方法與其他方案進行比較，包括使用客製化設計方法來表徵整個系統。您會發現，我們找到的解決方案之所以能夠實現，完全得益於 JMP 獨特的互動和視覺化特性，以及 JMP 16 版本中新增的協變量/候選運行功能。

您可以在此 JMP 公共貼文中找到我們使用的範例資料和參考。

自動產生的成績單...

揚聲器	抄本
大衛黃-帕斯誇	好的，那麼。
	循序漸進、穩紮穩打才能贏得比賽。大家好，我是 David，CatSci 的高級科學家。那麼，CatSci 是什麼呢？
	CatSci 是一家專注於端到端化學製程、研發的創新合作夥伴。我們與 JMP UK 等機構合作，確保所有決策均以數據為驅動。
	對我們來說，關鍵在於第一次就把事情做好，並且每次都把事情做好；為每個專案製定量身定制的完美解決方案；我們的絕對重點是滿足客戶的期望。
	我們業務涵蓋多個領域，包括早期和後期開發。我們擁有製程專業知識和豐富的催化經驗（這始終是我們的核心特徵），並且在分析化學和材料科學方面擁有卓越的能力。
	因此，在 CatSci，我們面臨的挑戰之一是流程優化上游的分類變數的選擇。
	這項困難在我們的催化劑篩選工作中表現得最為突出。
	在投影片上的影像中，我們可以看到進行催化劑篩選所依賴的一些設備和儀器。
	左側是預製催化試劑盒，其中包含 24 種預先配製的金屬前驅物和配體組合。
	中心是一個氫化器，裡面有一個 48 孔板，可以在右側看到。
	這樣就可以同時進行 48 個獨立實驗。
	這些儀器專為高通量和小規模而設計，我們為客戶運行 10 個或更多這樣的板的情況並不少見，總計近 500 個實驗。
	那為什麼我們需要進行比較大量的實驗，對於提高效率有什麼好處呢？
	所以，首先，需要探索的化學空間是極為巨大的。
	對於任何反應，任何化學反應，都有許多因素會產生影響，例如溫度、濃度和化學計量。
	然而，催化反應的探索尤其具有挑戰性，因為有許多重要的分類因素；這些包括金屬前驅物、配體、試劑、溶劑和添加劑。
	催化反應的另一個特點是經常存在高階相互作用，這意味著，對於催化劑系統（金屬前驅物和配體的特定組合），
	需要進行大量的溶劑和添加劑篩選來衡量性能。
	僅僅因為某種金屬前驅體和配體的組合在某種溶劑中表現不佳就將其排除在外，這是不對的。可能是因為你沒有合適的溶劑或合適的添加劑。
	最後，解釋更有效的篩選方法的好處的最簡單方法之一就是看材料的價格。
	我們的許多催化項目都涉及貴金屬，例如鉑、鈀、釕、銥和銠。其中一些金屬是地殼中最稀有的元素，這反映在其價格上。
	只要在 Google 上快速搜尋它們的價格，你就會發現銠的價格比黃金貴一個數量級以上。
	催化篩選的另一大成本是配體。雖然存在一些廉價的配體，但許多用於不對稱合成的頂級配體都是專有配體，例如 Solvias 的 Josiphos，
	最常見、最便宜的 J001 價格仍然是黃金的兩倍。
	因此，減少實驗次數可以降低消耗品的成本，但當我們為具有多噸製造流程的客戶找到最佳解決方案時，會產生最大的影響。
	在這些情況下，將催化劑用量減少十倍或發現一種替代的更便宜的催化劑，例如用釕催化劑代替銠催化劑，每年可以節省數百萬美元。
	現在交給 Ben，他將討論 JMP 英國團隊如何解決這個問題。
本·弗朗西斯	非常感謝，大衛。
	所以很明顯
	CatSci 和許多其他與 CatSci 類似的公司面臨著巨大的配方空間挑戰，
	它可能包含非常高階的相互作用。所以這門科學非常非常複雜，而我們透過實驗來解開這種複雜性至關重要。
	不幸的是，由於 David 列出的成本，僅測試每個組合的選擇實際上並不是一個明智或可行的選擇。
	最終，我們需要採取某種方法，利用數據科學來從數字上理解這些關係。
	因此，為了繼續將所選配方應用於製造......多種製造場景，我們需要知道它每次都會起作用，正如大衛所說的那樣。
	因此我們查閱了文獻，因為在 JMP 我們對 DOE 的應用非常感興趣，並且我們認為這是 DOE 的一個特殊情況。
	正如我們恰如其分地命名它，它是一個大型的DOE。因此，我們尋找一個可以應用大型DOE方法的案例研究，並找到了Perera等人的論文，
	他們在2018年發表了一篇論文，研究了這種反應篩選的平台。有趣的是，他們有五個分類因子。
	這聽起來可能不算多。他們必須研究反應物1和2、配體、試劑和溶劑，但這篇論文所呈現的複雜性在於每個因素的程度。
	分別為四級、三級、十二級、八級和四級，全部組合起來就有 4,608 種不同的組合。
	現在，在 Perera 等人的論文中，他們對每一個方法都進行了測試，這顯然不是對世界上每家公司都可行的解決方案，他們只是測試了每一種組合，正如 David 之前概述的那樣。
	你可以在熱圖上看到，他們能夠了解一些高產地區
	有些產量較低，有些產量也很低。因此，我們進行了大量測試，但最終對製程的理解並不深入。
	且實驗成本非常高。
	所以最終他們找到了一種組合，他們得到了一個組合，然後他們可以在論文中處理它，然後說，看，這就是一般的
	第一次測試是正確的，但從那以後，如果將其應用到多噸級生產場景中，每次測試都正確嗎？它還能持續滿足所需的規格要求嗎？
	大型 DOE 解決方案是否會減少資源需求？
	它第一次就能正確嗎？每次都能正確嗎？我們衡量這些問題的方式以及我們的表現如何
	首先，為了減少資源需求，我們只允許設計一個總共執行 480 次的實驗。這模擬了 10 個 48 個工作板，約佔論文中運行次數的 10%。
	它是否第一次就正確，是透過查看論文中確定的 80 個高收益組合中有多少是經過測試或預測的來衡量的
	透過生成的模型。最終，在10%的運行中，我們預計至少能從我們的…DOE中獲得8個高產量組合。
	（這裡的高產量是指產量超過 95% 的產量）。
	最後，也是至關重要的一點是，透過查看模型的通用診斷指標——R平方，它每次測量的結果是否正確。最終，我們能否透過觀察這些指標，看看我們是否擁有流程洞察力？關係是否合理？組合和互動是否合理？
	因此，為了使自己能夠達到標準，我們在這裡也採取了同樣的措施，即使用 4,608 個完整資料集，我們發現它的 R 平方為 0.89，這是使用提升樹方法得出的。
	現在我將把時間交給菲爾，他將概述我們採取的第一個大型 DOE 方法。
菲爾·凱	謝謝本，謝謝大衛，你把場景安排得這麼好。所以我們研究了三種不同的方法
	解決這個問題的方法是看看我們是否可以減少論文中實際測試的次數，同時仍然可以獲得與 Ben 概述的相同的有用資訊。
	所以我將討論這三種方法中的兩種，這兩種方法比較極端。一種是保守方法，一種是貪婪方法，然後 Ryan 會討論一種更混合平衡的方法，我們認為這種方法最終可能是最有效的。
	所以，按照保守的方法，這是標準的DOE方法。我們設計了一個包含10個區塊的客製化設計，可以運行480次，這代表了David向我們展示的催化劑篩選設備中的10塊板。
	主要結果是，透過 480 次實驗，我們能夠正確預測 13 個最高產量組合將是高產量組合。
	我們能夠從 480 次運行的資料集中建立一個模型，當我們使用該實驗中未使用的資料進行測試時，
	R平方大約是0.73，實際上相當不錯。從那個小型實驗到後來發表的大型實驗，我們得到了一個相當不錯的模型，對整個系統有了相當好的理解。
	我們從中得到了一些非常有趣的見解：我們需要使用機器學習從這些數據中建立有用的模型，這對我們來說有點意外。我稍後會更詳細地討論這一點。
	我們從使用這種保守方法收集的數據中獲得了很好的理解。它讓我們很好地了解整個因素空間，以及為什麼某些組合會有效。
	它使我們能夠找到替代區域，因此如果我們找到高產量組合，但由於成本太高而不切實際，
	如果催化劑太貴，或者它們很危險或有毒，不適合工業生產，那麼我們就會有很多替代方案，因為我們對整個領域都有所了解。
	那麼，我們是如何做到的呢？
	JMP 中的客製化設計。我們
	我設計了480次運行，在這個例子中，我進行了最優設計，分成10個區塊。所以，這10個區塊代表了David向我們展示的10個48孔板。
	值得注意的是，我們在客製化設計中指定了一個用於主要效果的模型。
	對於二階交互作用和三階交互作用。對於三階交互作用以及所有這些分類因子的水平，
	需要估計的參數數量實在太多，我們實際上無法設計一個實驗來明確地估計所有這些參數。如果可能的話，我們需要將三階交互作用考慮進去，所以這是一個480次運行的貝葉斯I最優設計。
	您可以從這個視覺圖中看到，我們只是在查看不同輪次的實驗，不同的......10 個不同的板塊。
	您可以看到，透過在實驗中添加下一個盤子，我們正在擴大對整個因子空間的探索。
	我們並不關注任何特定的區域；我們只是填補我們對整個因素空間的知識空白。
	這就是我們在實驗中使用的 480 次運行，以及我們從已發布資料集中獲得的剩餘 4,128 行。我們可以使用這些測試資料來測試我們的模型在保留資料集（也就是測試資料）上的比較效果。
	現在，根據我們所有的 DOE 背景和經驗，我們預計
	當我們為某個模型設計實驗時，標準迴歸技術將為我們提供最有用的模型。
	因此，我們在這裡使用 JMP Pro，並使用廣義迴歸來擬合完整的三階模型。
	現在我們實際上使用了β分佈，它的預測值在0到1之間波動，所以我們將百分比收益率轉換為0到1的區間。這只是一個小技巧，當你像這樣建模收益率資料時，如果你有JMP Pro，你可能會想要用到它。
	我們使用前向選擇，以 AICc 作為驗證方法，這樣就可以選出重要的效應。
	我們在每一輪之後都重複此操作，因此第一輪有 48 次運行，第二輪有 96 次運行，第三輪有 144 次運行，一直到第十輪，我們得到了完整的 480 次運行。
	在這裡您可以看到在 gen reg 上設置的過濾器，只是為了查看前三輪。
	因此，對於前三輪，這是我們使用 gen reg、前向選擇、AICc 驗證所得到的模型。
	我認為，從我們對化學反應的直觀理解來看，這並非一個很好的模型。我們只看到了模型中涉及的兩個因素，因此只選擇了兩個主要效應作為顯著因素。
	因此，我們可以將該模型保存到資料表中，然後我們可以看到該模型對保留資料（我們的測試集）的預測效果如何，
	剩下的 4128 行不在實驗範圍內。我們可以在每一輪都這樣做。我們每一輪都這樣做，所以我們用 gen reg 建造了 10 個模型。
	現在，作為替代方案，我們認為值得研究一些機器學習方法。這裡，我們再次回顧前三輪。
	作為查看大量不同建模技術的一種非常快速的方法，我們使用 JMP 16 Pro 中的模型篩選。
	我們只需填寫收益率以及 Y 和 X 中的因子。我們設定了保留驗證列，隨機保留 25% 的資料進行驗證。
	點擊“確定”，它會運行所有這些不同的建模技術，所以我們現在會得到一份報告，告訴我們
	這些...所有這些不同的建模技術，包括一些通用調節模型、神經網路和不同的樹方法，效果如何。
	我們選出了其中最好的兩個。事實上，在所有實驗輪次中，我們發現增強神經網路模型和引導森林模型是表現最好的模型。
	因此，我們可以再次儲存預測公式，並使用未參與實驗的測試資料集上的公式來比較它們，看看我們的不同模型針對該測試資料集的表現如何。
	我們在這裡使用模型比較和 JMP Pro，因此我們比較了所有的 gen reg 模型、神經網路模型和引導森林模型。
	現在，你看到的是與測試資料集的 R 平方的視覺化結果。這些模型與保留測試資料集的適合程度如何。
	你可以看到，使用紅色前向選擇的標準回歸模型，從
	在第一輪，這實際上是最好的模型，但並沒有真正改進，然後在第五輪左右突然變得非常糟糕，然後在下一輪再次變得非常好。所以非常不穩定，而且到最後變得更糟，可能是過度擬合。
	另一方面，機器學習方法是，
	第三輪之後，它們的表現最好，比我們標準的回歸技術更好，而且它們一直在進步。事實上，
	您可以看到，神經網路在綠色部分開始時表現較好，而到最後，引導森林的表現優於增強神經網路模型。
	因此，這裡的要點是，即使在您可能認為相對簡單的情況下，您仍然需要 JMP Pro 中的機器學習方法來獲得最佳模型，即針對此類系統或流程的最可靠模型。
	現在我們只需查看已發布的 4,608 次運行的實際產量結果與第 10 輪結束時（即全部 480 次運行之後）我們最佳模型的預測結果的圖表。右邊的圖表就是一個引導森林模型。
	效果還不錯，你看得出來，它正在捕捉重要的行為。它正在識別低產區域和高產區域。所以，
	特別是在右上角，他們使用碘（？）反應物和硼酸和硼酸酯
	那裡的反應物。
	那麼，我們將其與另一種極端方法進行比較。第一輪的48次運行結果完全相同；我們從同樣的48次運行開始。然後我們建立一個模型，並使用該模型找出在剩餘的運行結果中，
	在剩下的全部 4,560 次運行中，模型預測哪一次的收益最高，然後我們在接下來的所有輪次中繼續這樣做，直到 10 次。
	在這種情況下，我們正確地預測了更多的高收益和組合，但當我們在 10 輪之後得到最終模型並將其與數據進行比較時
	我們在實驗中沒有用到的那個，R平方值很糟糕，只有0.33。所以我們得到的模型其實對整個系統並沒有做出很好的預測。
	所以，我們對一個高產地區有了很好的了解，找到了一些組合，找到了一些有效因素的設置，但這並不能真正幫助我們理解整個系統。我們沒有…
	我們並沒有減少對整個系統的理解的多樣性。
	為了向你展示這個系統、這個方法是如何運作的，這是我們的全部 4,608 次運行，所有可能的組合，正如我在第一輪中提到的，這與使用保守方法的第一輪相同，所以這是一個最佳
	那裡有一組點，你可以看到它們均勻分佈在因子空間中。
	我們根據這 48 次運行的數據建立了一個模型。
	我們用這個模型來預測所有其他可能組合的報酬率，然後從中選出 48 個收益率最高的預測，
	就是那些。所以你可以看到，他們專注於收益更高的區域……我們……我們不再探索全部因子空間了。
	如果我們從第1輪、第2輪、第3輪一直到第10輪，你可以看到，每次我們都在添加…我們添加的運行恰好位於左上角高收益區域。所以我們其實只關注因子空間的一個區域。
	如果我們將實際值與預測值進行比較，您會發現它在左上角的區域中表現相當不錯。
	但正如我們所預料的那樣，它在其他地方的預測相當糟糕；這可能並不奇怪。我們還沒有在整個系統上進行試驗。我們實際上只是專注於那個高產地區。
	如果你將它與左側的保守方法進行比較（所以你已經看到了左側的圖表），如果你看看模型
	透過第一輪到第十輪不斷改進，然後每一輪我們都會再次使用模型篩選平台來找到最佳模型。
	事實證明，在每個階段，增強神經網路都是最佳模型。嗯，你又能看出它有點不穩定，就像保守方法中的生成調節器一樣。
	有時候，這是可以的，但它永遠無法與我們保守實驗中的最佳模型相提並論。
	這是兩個極端，我將把話題交給 Ryan，他將討論解決這個問題的更平衡或混合的方法。
瑞安·萊基維茨	謝謝你，菲爾。
	剛才還在做演示，得感謝 Phil、Ben 和 David 允許我參與。身為開發人員，稍微動手其實還挺有趣的。我是 JMP 中 DOE 平台的開發人員。
	正如 Phil 在這裡提到的那樣，我在這裡研究的方法是一種混合方法。
	好的，這裡的想法是我們將研究優化與探索的想法。
	所以，如果你想想菲爾提到的貪婪方法，那其實就是優化。我只會追求最好的結果，這是我唯一關注的。而保守方法，則只關心探索。
	所以這裡的想法是，我們能否找到一個中間點來
	也許可以進行優化，同時還可以稍微探索一下空間？
	我會說說我在這裡做了什麼……我實際上是從提前設置好的三個孔板開始的，對吧。所以我做了三個大小為 48 的區塊，然後我用「如果可能」的 2FI 做了主效應分析。
	原因是，有時候，我不太相信只運行了48次的模型。我說，好吧，讓我們再磨合一下。試試144孔板，或是三孔板，這樣我或許就能更信任這個模型了。
	因為從某種意義上說，即使你考慮到貪婪的方法，如果你的模型很糟糕，你也會進入糟糕的區域。這對你沒有太大幫助。
	再次如此...所以和以前一樣，我最終仍然會做總共 10 個孔板或總共 10 個塊。
	我會在以後的幻燈片中稍微討論一下，但實際上我一直在使用 XGBoost。我預測的方式是使用 XGBoost，我接下來會講到
	這樣做。
	但是，這裡的想法本質上是取預測值。所以我說，我不會嚴格追求最好的48個，而是要設定一個門檻。
	對，所以在前三個之後，我從 50 開始。所以我說，給我大於 50 的預測值，並且隨著我繼續在更多的孔板上進行操作，我將在每一輪中增加 5。
	我的意思是，這非常隨意；部分原因是我們知道我們總共只有 10 輪，也是因為我可以根據預測看出這個集合有多大。
	是的，所以根據數據，如果看起來該集合仍然很大，預測值約為 50，那麼您可以對其進行修改。
	因此，這裡的想法實際上只是慢慢開始探索有望實現更高產量的地區。
	那麼，我們的預測對了嗎？嗯，實際上，在 80 個收益最高的組合中，我們得到了 27 個，也就是高於 95 個的組合，這與貪婪方法的預測相差不遠。
	如果你再想想R平方，再說一遍，考慮到所有保留數據，最終的測試R平方是0.69，這和保守方法的R平方其實相差不遠。所以…
	我的意思是，你現在可能會…你可能要謹慎一些，光看這兩個數字就夠了，但基於此，這種混合型產品確實看起來是兩全其美的。我的意思是，你雖然有所取捨，但你也得到了一些好處。
	以上只是對這種方法的一些見解。實際上，我想說，最終我們確實對與高收益相關的因子空間有了更好的理解。
	我認為貪婪，如果你能回想起那些點在哪裡，它們實際上集中在左上角，所以它實際上並沒有對那個空間進行更多的探索。
	你可以想像一下如果...
	如果那裡某些東西的價格一夜之間突然上漲了四倍，那麼現在你對該地區其他地方的情況就一無所知了。
	是的，透過這種混合方法，我們可以得到更多關於如何和為什麼的信息，以及一些組合，這為我們提供更好的選擇
	再說一次，也許如果您要考慮其他因素，您願意犧牲一點收益，因為根據其他測量結果，還有更好的選擇。
	所以，實際上，這裡的想法……是的，所以讓我來解釋一下這在定制設計中是如何實現的，對吧。我採取的方法是
	在自訂設計器中使用協變量，我認為它有時有點被低估了。
	但是，我的想法是，我拿走了完整的資料集，也就是全部 4,608 次運行，
	每一輪…所以你可以想像，一開始我選擇了那些…我選擇了144次運行的設計，然後我說，好吧，我要從整個資料集中取一個子集。如果我已經在先前的設計中選擇了它，那麼我需要確保它包含在內。
	然後，再給我高於該特定值的預測產量，因此，對於第四個設計，從 50、55、60 等開始。
	因此在數據表中
	現在，我要做的是選擇先前實驗中用過的設計點。確保這些點被突出顯示。然後，在自訂設計中，當你在「新增因子」下時，有一個選項叫做「協變數」。再說一次，我認為…
	很多人以前從未真正見過協變量，我在這裡提到，因為我認為我可能要花一整個演講來談論協變量，
	但實際上會有一些部落格文章（如果您在觀看此影片時它們還沒有發布，那麼在您觀看此影片的幾天內可能會發布）
	我接下來會稍微談談如何真正運用協變數。不過，你可能之前也聽說過“候選集”，所以這個想法是…
	這是先前選擇的資料集的子集以及諸如此類的所有內容，它告訴自訂設計師您只能選擇這些設計點。
	你不能用標準的方式，我們會不斷嘗試切換座標等等。它會告訴 JMP 自訂設計器，你必須在設計中使用這些運行，特別是，
	使用協變數的一個選項是，你可以強制使用先前選擇的設計點，這實際上就像在進行設計增強
	使用協變量後使用候選變數。
	當然，因為在這種情況下……在這種情況下，我真的不能放棄那些我之前試驗過的設計點。實際上，我們只想選出接下來的48個。
	不過，如果您考慮客製化設計，我也應該在這裡提一下…
	因此，在每一個方面，我所做的是...所以如果可能的話，兩個因素相互作用，然後是三個因素相互作用。
	但……那其實更像是一種探索設計空間的機制，對吧。我當時擬合的模型
	事後使用了 XGBoost，所以我的意思是設計並沒有針對 XGBoost 模型或類似的東西進行最佳化。
	這更像是一種替代方法，探索預測收益率看起來不錯的設計空間，尤其是因為這涉及分類因子，所以它會確保達到一個良好的平衡。還有一件事要提一下，
	如果你想…再說一次，因為它沒有使用底層模型，像是XGBoost之類的，你可以使用回應。所以在這個例子中，他們預測收益率是另一個協變量，這樣做的目的是試圖在高收益率和低收益率之間取得更好的平衡。
	在嘗試進行設計時做出回應。
	所以我們在這裡沒有探討這個問題，但我認為這在未來會是一件有效的事情。
	所以，預測收益率。正如我之前提到的…所以我認為當菲爾談到他嘗試過的其他機器學習技術時
	對於我的???，我實際上主要關注 XGBoost。
	如果你看看左邊，我這麼做的原因之一是想嘗試
	使用 K 折交叉驗證，但我使用設計編號，也就是每個附加折的孔板編號。因此，不是隨機選擇不同的 K 折，
	它會說，我要去檢查孔板，然後試著把每個孔板都拿出來。所以，你可以想像一下，對於第一個孔板，當我只有三個孔板時，
	它會取出每個孔板，將其取出，然後根據剩餘的兩個孔板，看看它的預測效果如何。所以，當我拿到第十個……第十個孔板時，結果其實差不多是十倍了。
	因此，我這樣做的原因之一是考慮嘗試使模型對於您尚未見過的下一個孔板具有穩健性。
	事實上，如果某個孔板出了問題，這也許可以保護你，
	那麼，也許也能得到一點保護。
	我對 XGBoost 做的另一件事是，當您啟動 XGBoost 平台時，例如透過插件，您會看到頂部有一個小複選框，我們稱之為調整設計。
	因此，透過這種調整設計，
	它實際上是在封面後面安裝一個空間填充設計，並針對不同的超參數運行所有這些。
	所以我每次做這個的時候都做了什麼，
	我會選擇一個50次運行的調優設計，但只是探索超參數空間。所以我每輪都會選一個
	是驗證集 R 平方最好的那個。所以，在這種情況下，驗證集 R 平方實際上只使用了我已有的設計點，對吧？所以這是用…做 K 折。
	用不同的孔板。所以在這種情況下，驗證集的R平方不是…我不會使用那些還沒見過的數據，因為實際上我還沒有這些數據。
	但這只是是說使用那種驗證技術，我用的是孔板。所以，這也是我大部分時間使用 XGBoost 的原因，我只是嘗試了一些不同的東西
	使用 K 折疊技術，而且，當涉及 XGBoost 時，我真的很喜歡使用空間填充。
	我們來看看。這些是連續幾輪中被選中的點數。現在，
	如果您想想貪婪方法中發生了什麼，我的意思是，它實際上集中在左上角。
	是的，但是現在，如果你看到這種混合方法，
	隨著比賽開始進入下一輪，你會看到它會稍微填充這些點，但我們也會得到更好的......更好的點採樣，特別是在左側。
	對，如果從這個角度考慮，現在對於那些高產地區來說，你有很多更好的選擇。
	我認為是這樣...如果我們現在看看實際情況與預測情況，
	我實際上認為這也有一定的說明作用，因為我們做了更好的探索。
	在那些高產地區，也許
	我認為沒有達到那麼高的水平，如果你看左下角，我認為我們在混合模型中做得更好，挑選出了一些可能可行的替代方案。
	這種方法的其中一個好處是，我可以關注的不僅僅是產量。
	好的，所以如果你認為...
	我可能會有第二種反應，無論是某種毒性，還是成本，諸如此類，
	當我查看這些預測值時，我可以關注的不僅僅是收益率。所以，如果你想到貪婪方法，
	如果你開始加入次要的…你想要考慮的次要標準，那麼開始進行平衡就會困難得多。而使用這種子集方法，加入次要回應其實一點也不難。
	我想我現在就把它交給本來得出結論。
本·弗朗西斯	所以，
	非常感謝 David、Phil 和 Ryan 向我們介紹了我們處理這個問題的背景，並最終為我們提供了兩三個非常好的解決方案和方法
	看看我們如何解決這個問題。在所有這些方法中，JMP 顯然都在為科學家創造價值。因此，我們直接、直接地將實驗資源減少了十倍。我們只使用了 10% 的運行次數。而且
	最終，我們在每種情況下所實現的目標是滿足規範並透過實驗提供高收益的解決方案。
	但除此之外，我們也展示瞭如何根據採用這種方法的公司的目標和策略，實現不同層次的深度流程理解。
	現在，你可能注意到了，我們JMP的三位成員對CatSci如何解決這個問題非常感興趣。我們不一定要
	把問題從 CatSci 轉移到我們自己身上；我們提供工具，以便從 DOE 的角度解決這個問題。這是一次非常棒的合作，客戶 David 和
	我和 Phil 負責技術銷售，Ryan 負責產品開發，關鍵在於我們都從不同的角度看待這個問題
	為了實現這種解決方案，正如我之前所說，我們可以根據需要實現的目標，以不同的方式看待深度流程理解。
	我們在過程中發現了一些問題，這讓我們 JMP 非常興奮，並將推動產品改進，然後我們將這些改進回饋給你們
	作為客戶。我們了解到機器學習方法適用於這種大型DOE情況，而且如您所知，使用JMP可以輕鬆應用它們。我們也了解到在驗證方法方面需要謹慎，我們可以進一步研究。
	因此，最終，我們在這裡展示了大量針對 DOE 重大挑戰的工作，並且我們確信有很多公司，類似於 CatSci，正在解決這類問題。
	因此，我們邀請大家進一步探索我們所做的這項工作，我們在社區方面有兩個鏈接，我們將在其中發布資源和視頻，
	以及一篇 JMP 公開文章，方便您親身體驗我們在過程中使用的數據。因此，我們代表所有參與本次演示的人員，衷心感謝大家的觀看。

進階統計建模基礎資料分析與建模消費者與市場研究資料混合與清理數據探索與視覺化實驗設計大規模客製化預測模型和機器學習品質與工藝工程可靠度分析分享和交流成果