349244_zh-TW

liliconcom

SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

等級：中級

 

Philip Ramsey，諾斯黑文集團和新罕布夏大學教授
韋恩·萊文 (Wayne Levin)，Predictum 總裁兼首席執行官
特倫特·萊姆庫斯博士新罕布夏大學候選人
Christopher Gotwalt，JMP 統計研發總監，SAS

 

多年來，DOE 方法不斷發展，實驗者的需求和期望也不斷發展。 從歷史上看，重點強調分離效應，以減少效應估計的偏差並最大化假設檢定能力，這在很大程度上反映了當時的方法論和計算工具。 工業中的 DOE 通常是為了預測可能變化下的產品或製程行為。 我們引入了自驗證整合模型 (SVEM)，這是一種用於分析 DOE 的固有預測演算法方法，概括了分數引導，使機器學習和裝袋成為 DOE 中常見的小型資料集的可能性。 與經典的 DOE 方法相比，SVEM 的預測精度高出幾個數量級。 我們取得了顯著而深刻的結果，證明 SVEM 能夠擬合具有比行更多的活躍參數的模型，有可能永遠改變自由度等經典統計概念的作用。 我們使用案例研究來解釋和演示 SVEM，並描述我們的研究模擬，將其性能與經典 DOE 方法進行比較。 我們也示範了 JMP 中的新候選集設計器，它可以輕鬆評估 SVEM 在您自己的資料上的效能。 借助 SVEM，人們可以使用比以往更小的資料集來獲得準確的模型，從而加快上市時間並降低創新成本。

 

 

自動產生的成績單...

 

揚聲器	成績單
韋恩·萊文	自我驗證整合模型，因為我們將其視為實驗設計等方面的典範轉移。
	只是要……我們走吧。 我們的議程是…我們將…簡單介紹一下演講者。
	那麼，SVEM 是什麼、為什麼以及如何使用。 因此，我們將快速概述 DOE 和機器學習，描述將它們混合到 SVEM 中，分析一些現實世界...現實世界 SVEM 實驗，我們將
	回顧一些目前的研究並演示 JMP 的新候選集設計器（JMP 16 中的新功能），然後我們將以通常的後續步驟和問答等結束。
	SVEM 是一種非凡的新方法，可以透過更少的實驗週期提取更多見解，並從包括 DOE 在內的小資料集建立更準確的預測模型。
	使用 SVEM，我們預計，我們保證您的成本將會更低，您將更快進入市場，更快地解決問題。 隨著我們的前進，我們將探索這一切。
	在會議中。
	I'm Wayne Levin and I'm the president of Predictum and joining me is Chris Gotwalt, who's the chief data scientist at JMP, and also joining us is Phil Ramsey who's a senior data scientists here at Predictum and associate professor at the University of新罕布夏州.
	所以讓我們只是
	在這裡盤點一下。 JMP 對資料科學的貢獻是巨大的，所以我們都知道，在 20 多年前的 DOE 領域，它會...JMP 4，具有坐標交換演算法。
	然後大約八年前、九年前，我們看到了明確的篩選設計出現。 我們認為 SVEM，我們簡稱為自驗證整合建模（嘗試說快三次），我們認為這是另一個貢獻。
	機器學習和實驗設計。
	它克服了有限數據量的限制，對吧。 有了少量數據，你就無法進行機器學習，通常必須擁有大量數據才能實現這一點。
	現在，我們一直在該領域嘗試 SVEM，並且有許多公司就此問題與我們接洽，我們已經提供了 SVEM 的試用版。 我們在，在
	Predictum是第一個在這個領域創造產品、將產品推向市場的公司，我只想與大家分享我們迄今為止學到的一些東西。
	其中之一是 SVEM 運行得非常好。 我的意思是，當你有更多的參數和運行次數時，它可以很好地工作
	高階模型。 它確實提供了更準確的預測，也有助於從損壞的 DOE 中恢復。 因此，舉例來說，如果您有明確的篩選設計
	無論出於什麼原因無法以合適的方式運行，我們已經收到了一些歷史 DOE 發送給我們的訊息
	缺乏力量。 他們只是，你知道，沒有找到任何東西，但使用 SVEM，實際上找到了。 它能夠做到。 你知道，我們曾經遇到過一些缺失或有問題的運行的情況。
	我們還了解到，它不會幫助您進行有理階乘，所以類似的事情。 我們對這裡的預測模型感興趣
	分數階乘確實不能給出預測模型；它們不是為此而設計的。 所以它不會提供你數據無法提供的東西，
	至少沒有到那個程度。 我們了解到的另一件事是，我們尚未測試 SVEM 的全部潛力。 為此，我們確實需要
	一開始就考慮到 SVEM 來設計實驗，這意味著要考慮更多因素。 我們不想只考慮三、四個因素。 10 個、15 個甚至更多怎麼樣？
	我們從研究中了解到，Chris 和 Phil 將討論貝葉斯 I 最優設計是最好的…與 SVEM 和混合設計一起使用的最佳方法
	對於 SVEM 特別有用，稍後我會對此多說一些。 就 SVEM 而言
	如果您想嘗試一下，在克里斯和菲爾討論之後我們會在最後提供一些資訊。 話雖如此，我要把它交給你，克里斯，你會
	深入了解 SVEN 的內容、原因和方式。 那就交給你了，克里斯。
克里斯·戈特瓦爾特	好的，很好，謝謝你，韋恩。 喔等等，我正在分享我的螢幕嗎？
韋恩·萊文	還沒有。
	我們開始吧。
克里斯·戈特瓦爾特	好吧，好吧，謝謝你，韋恩。
	所以現在我要介紹自我驗證整合模型或 SVEM 的想法。
	我將保持它相當基本。 我假設您有一些實驗設計和分析的經驗。
	最重要的是，您應該了解統計建模過程歸結為將函數擬合到數據
	此預測反應變數作為輸入變數的函數。 從高層次來看，SVEM 是使用大數據應用程式的機器學習演算法之間的橋樑
	和實驗設計，這通常被視為一個小而好的分析問題。 機器學習和能源部都有著悠久的歷史，但直到現在，它們還是相對獨立的傳統。
	我們的研究表明，使用 SVEM，您可以使用更少的觀測值來獲得更準確的模型。
	這意味著可以使用更少的資源和更低的成本在更短的時間內實現產品和流程的改進。 所以如果你身處在一個競爭激烈的行業
	如果率先進入市場至關重要，那麼 SVEM 應該會引起您的極大興趣。
	特別是，我們相信 SVEM 特別...在製藥和生物技術行業中具有巨大的前景，
	半導體製造等高科技及消費性產品的開發。
	在 JMP 的工作中，我對許多產業和應用領域的資料處理方式有了一定的了解。
	我開發了用於建立最佳設計實驗的演算法以及相關的分析程序，例如混合模型和概括模型。
	另一方面，我也是 JMP Pro 神經網路演算法以及產品中其他一些機器學習技術的開發人員。
	在過去的 20 年裡，我看到機器學習在對大型觀測資料集進行建模並看到許多新的結果時變得更加突出
	已開發的演算法。 同時，設計實驗的分析也發生了變化，但在過去 20 年中變化幅度更大。
	任何在 20 世紀 70 年代末讀過 Box、Hunter 和 Hunter 的人都可以認識到工業實驗的總體統計方法。
	機器學習和實驗設計通常應用於工業領域，以解決本質上具有預測性的問題。
	我們使用這些工具來回答問題，例如感測器是否指示有缺陷的批次，或者我們如何調整流程以最大限度地提高產量，同時最大限度地降低成本。
	儘管它們本質上都是預測性的，但機器學習和實驗設計通常適用於不同類型的資料。
	我現在要做的是快速概述兩者，然後描述我們如何將它們混合到 SVEM 中。
	我將分析來自真實實驗的一些數據，以展示它是如何運作的以及為什麼我們認為它總體上表現得很好。
	我會總體上...我會去...我將回顧新罕布什爾大學博士生特倫特·林普基斯（Trent Limpkiss）（？）所做的模擬結果，這讓我們相信該方法非常有效有希望。
	然後我將透過範例來示範如何使用 JMP 16 中的新候選集設計來尋找現有資料集的最佳子集，以便您可以自己嘗試 SVEM。
	我將強調我們的一些觀察結果，我提到了一些我們希望回答的未來問題，然後我將其交給 Phil，他將進行更深入的案例研究和 SVEM 附加演示 -在。
	考慮螢幕上的簡單資料。 這是來自冶金過程的數據，我們希望預測加工步驟結束時的收縮量。
	我們想用左側的三個變數來預測收縮率。 建模相當於找到一個連接壓力、時間和溫度的函數，該函數可以預測此處的反應（收縮）。
	希望這個模型能夠產生......將來能夠推廣到新數據。
	在機器學習環境中，執行此操作的標準方法是將資料分割為兩個不相交的行集。 一個稱為訓練集，它用於擬合模型以確保我們不會過度擬合數據，
	這導致模型對於新的觀察結果不準確。 我們還有另一個資料子集，稱為驗證集，用於測試我們已經測試過的各種模型...
	已適合訓練集。 這裡需要權衡，太簡單的函數不太適合訓練和驗證集，因為它們不能解釋足夠的變化。
	而過於複雜的模型在訓練集上幾乎可以完美擬合，但在驗證集上卻非常不準確。
	我們使用驗證 R 平方等措施來找到既不太簡單也不太複雜的金髮女孩模型。
	這個金髮女孩模型將是驗證集上驗證 R 平方最高的模型。
	當您有一個引用或取消引用相當多的行時，這種保留樣式模型選擇是一種非常好的方法，
	通常有數億行或更多。 相當大的語句是故意含糊不清的，並且取決於手邊的任務。 也就是說，您在這裡看到的 12 行確實太小了，這裡僅用於說明。
	在 DOE 中，我們通常處於時間和/或資源嚴重受限的情況。
	設計實驗的核心思想，特別是作為 JMP 關鍵功能的最優設計實驗，是圍繞著獲得打包到盡可能少的行數中的最高品質資訊。
	多年來，許多傑出人士創建了統計工具，如 F 檢定、半正態圖和模型選擇標準，如 AIC 和 BIC，
	幫助我們做出 DOE 資料模型的決策。 這些指南都可以幫助我們確定應該使用哪種模型來作為科學、工程和製造決策的基礎。
	不常做的一件事是將機器學習模型選擇應用於設計的實驗。 為什麼會這樣呢？
	一個重要原因是資訊被如此緊密地包裝在設計中，即使刪除一些觀察結果也會導致主要效應和交互作用崩潰
	這樣我們就無法再將它們分成獨特的可估計的效果。 如果您嘗試這樣做，您可能會看到軟體報告警告，例如模型報告中新增了自由度遺失或奇點詳細資訊。
	現在我們要做一個小小的思想實驗。 如果我們嘗試作弊一點怎麼辦？
	如果我們複製原始表中的所有行（X 和 Y），並將一個副本標記為“訓練”，將另一個副本標記為“驗證”，會怎麼樣？ 現在我們有足夠的數據了，對吧？ 錯誤的。 我們不會用這個來愚弄任何人，這是一個瘋狂的計劃。
	這很瘋狂，因為如果您嘗試使用這種方法進行建模並查看擬合優度指數的任何圖，您會發現使它們更複雜會導致更好地擬合訓練集，但因為訓練和驗證
	在這種情況下，集合是相同的，該方法總是會導致過度擬合。
	因此，讓我們將機器學習模型選擇備份並重新建構為根據相同資料計算的兩個加權平方和的故事。
	我們可以將其視為兩列權重，而不是根據兩個資料分區來考慮模型選擇。
	訓練集中的行的訓練權重等於 1，否則為零，驗證列
	對於訓練行，該值等於 0；對於驗證行，該值等於 1。
	因此，從機器學習模型選擇中，我們可以認為每一行都有自己的一對權重值，其中兩個權重都是二進位零和一。
	以這種方式設定它們可以讓我們對模型擬合進行獨立評估。
	透過尋找使使用訓練權重加權的誤差平方和最小化的參數值來擬合模型，並使用使用驗證列權重加權的誤差平方和來測量泛化性能。
	如果我們將這些權重對繪製在散佈圖中，我們當然會看到訓練驗證權重…訓練和驗證權重是完全反相關的。
	現在，如果我們不強迫自己使用完全反相關的二進位值對，而是放寬值只能採用零和一值的要求，會怎麼樣？
	並允許權重取任何嚴格的正值？
	為此，我們必須放棄一些東西，特別是據我所知，為了在數學上發揮作用，我們不能再擁有完全反相關的權重對，但我們可以以一種仍然有大量反相關權重對的方式做到這一點。相關性。
	有很多方法可以做到這一點，但一種方法是使用與分數加權引導程式相同的方案來建立權重，其中我們使用平均值為 1 的指數分佈
	創建權重。 使用均勻分佈的屬性有一個小技巧，我們可以使用它來創建指數分佈但高度反相關的權重對。
	當將此用作兩列加權驗證方案時，我們稱之為自動驗證。 菲爾和我已經就這個想法發表了幾篇探索論文。
	使用這種方法就像擁有方差平均值為 1 的權重訓練列和具有相同屬性的驗證列。
	在此自動驗證方案下，如果一行對訓練平方和的貢獻大於平均權重，則該行對驗證平方和的貢獻將較小，反之亦然。
	Mike 有一個插件...我想指出的是，Mike Anderson 創建了一個插件，可以將資料集設定為 JMP Pro 建模平台可以使用的這種格式。
	最近，菲爾和我聘請了特倫特作為我們的博士生。
	在春季和秋季，特倫特進行了大量模擬，嘗試了許多不同的方法來將模型與能源部資料擬合，包括整個基於自動驗證的方法。 我將展示他的一些結果
	稍等一下。 可以說，就獨立測試集的最小平均誤差而言，始終效果最好的方法是應用自動驗證
	與變數選擇程序（例如前向選擇）結合，但我們不會重複該過程數十或數百次，
	每次保存預測公式，並最終對所有這些自動驗證的迭代中的模型進行平均。 我們將這個一般過程稱為自驗證整合模型或 SVEM。
	因此，為了讓事情更具體一些，我將給出一個簡單的例子來說明這一點。 我們首先初始化自動驗證權重。
	我們應用模型選擇程序，例如套索或前向選擇，然後將預測公式儲存回表中。
	這是第一個預測公式。 在本次迭代中，僅選擇了兩個線性主效應。
	然後我們重新初始化權重，使用新的權重集再次擬合模型，並保存該預測公式。
	這是第二個自動驗證的預測公式。 請注意，這次選擇了一組不同的主效應和交互作用，它們的迴歸係數也不同。
	我們多次重複這個過程。
	最後，SVEM 模型只是所有預測公式的平均值。
	這是一個簡潔的圖表，以圖表形式說明了 SVEM 演算法。 因此，將引導程式與模型平均結合的想法
	一次又一次地發生，因為我們......在我們重新初始化權重之後。 我們保存該迭代的預測公式。
	我們儲存...這裡我儲存參數...這裡插圖顯示了參數，但與公式是一樣的。 只需將它們全部保存下來，然後在一天結束時，最終模型只是所有迭代的平均值。
	完成後，我們可以在圖形分析器中使用該 SVEM 模型，並開啟擴展中間公式，以便我們可以視覺化結果模型並對流程進行最佳化等。
	現在我要回顧特倫特論文研究的結果。
	a Box Behnkens 和 DSD 有四個和八個因素。 每個模擬包含 1,000 次模擬重複，且每個模擬都有自己的二次響應曲面模型的真實參數值集。
	活性參數呈雙指數分佈，我們探索了從 50% 到 100% 的不同百分比的活性效果。
	對於 1,000 次模擬代表中的每一次，在獨立測試集上相對於真實模型評估 SVEM 預測，該測試集由因子空間上的 10,000 次運行空間填充設計組成。
	我們研究了大量不同的經典單次建模方法，以及所有驗證的許多變體。
	但只看最有趣的結果會更容易，因為有太多東西需要比較。 這個故事在我們調查的所有情況下都非常一致。
	這是其中基礎設計是最終篩選設計的模擬之一，有 8 個因素和 21 次運行。 在這種情況下，50% 的影響不為零。
	這意味著模型的非零參數數量與運行次數差不多。
	左側是 Lasso、Dantzig 選擇器、前向選擇和修剪前向選擇的對數均方根誤差的箱線圖，全部使用 AICc 進行調整，AICc 在這些方法中表現最佳。
	此外，接下來是來自擬合確定平台的方法的最佳性能，然後是將 SVEM 應用於不同的建模......右側是幾種不同的建模程序。
	當我們將測試集 RMSE 與 SVEM 預測進行比較時，獨立測試集均方根誤差顯著降低。
	請注意，這是對數刻度，因此預測效能有顯著差異。
	這是一個更有趣的結果。 這才是真正讓我震驚的情節。 這是相同的模擬設置，只不過此處所有效應均非零。
	因此，真正的模型不僅在設計矩陣中而且在參數本身中都是過飽和的。
	在過去，我們不得不假設活動效果的數量是所有效果的一小部分，並且肯定小於行數。
	在這裡，儘管活動參數的數量大約是行數的兩倍，但我們仍然獲得了相當準確的模型，這確實非常了不起。
	現在我將快速瀏覽範例
	SVEM 展示如何將其應用到您自己的歷史 DOE。 我將使用發酵過程中五因素 DOE 的真實範例，其中感興趣的反應是透過 pDNA 滴度測量的產物產量。
	SVEM 的巨大優勢是我們可以用更少的運行次數來獲得更準確的模型。 這意味著我們可以利用現有的資料集，
	使用 JMP 16 中的新候選集設計器來識別形成原始設計的引用非引用預測核心的行子集。
	我將採用 36 行的原始數據，將五列作為協變量加載，並告訴定制設計人員為我提供原始設計的 16 行子集，該子集可在該大小下提供最佳的預測性能。
	然後，我將隱藏並排除所有不在該子集設計中的行，以便它們稍後可以用作獨立的測試集。
	我將運行 SVEM 模型，並將 SVEM 模型的性能與應用前向選擇等標準程序以及 AICc 擬合相同的 16 次運行所獲得的性能進行比較。
	我確實想說，JMP 16 中的新候選集設計器是......也是一項了不起的貢獻，我只想指出Brad 的團隊在創建這個新工具方面是多麼令人難以置信，這將產生深遠的影響在許多方面都很有用，包括 SVEM。
	為此，我們可以將資料集轉到自訂設計器。
	我們選擇協變數行，因此這是 JMP 16 中的新大綱節點。
	然後我們選擇五個輸入因子。
	單擊繼續。
	我們將按下 RSM 按鈕，它將自動將最優標準轉換為 I 最優或預測類型設計。
	我們選擇所有非截距因子並右鍵單擊模型中的...
	選擇此處的清單並建立...將所有非攔截效果設為可能的效果。 這就是我們可以擁有模型的原因
	其中的參數比我們的基本設計運行的參數更多，因為設計標準現在將是貝葉斯 I 最優設計。 現在我們可以將運行次數設定為 16。
	點選進行設計。
	完成此操作後，優化器就會發揮其魔力，貝葉斯 I 最優子集設計中的所有行現在都會在原始表中選擇。
	我們可以轉到表中，然後使用指示器或轉換列來記錄當前的行選擇。
	我繼續將該專欄重新命名為一個有意義的名稱，以便以後使用。
	我們可以透過選擇新指標列等於零的所有行來選擇不在子集設計中的點。
	然後我們可以隱藏和排除這些行，以便它們不會包含在我們的模型擬合過程中。
	Phil 將演示 SVEM 插件，因此我將跳過建模步驟，直接對未包含在貝葉斯 I 最優子集設計中的行進行前向選擇加 AICc 和 SVEM 模型的模型比較。 所以你可以看到紅色的比較...
	在報告的紅色輪廓部分。 我們看到 SVEM 在
	獨立測試集為 0.5，而經典程式的 R 方為 0.22，因此我們得到的變異量基本上是用 SVEM 解釋的變異量是經典程序的兩倍。
	當我們將 SVEM 應用於所有 46 個觀測值時，我們也可以比較兩個模型的輪廓軌跡。
	很明顯，當我們將 SVEM 應用於所有 46 次運行時，我們基本上得到了相同的模型，因為我們在 SVEM 下只得到了 16 次運行。
	但是基於前向選擇的模型缺少曲率項，不要錯過…更不用說缺少很多交互。 這是一個相當簡單的過程...您可以使用它來根據您自己的歷史資料測試 SVEM。
	所以整體來說SVEM
	提出了很多問題。 其中許多都圍繞著設計實驗中自由度的作用，因為我們現在能夠擬合參數多於行的模型，這意味著如果存在這種情況，實際上將存在負自由度。
	我認為這將促使我們重新考慮基於 P 值的思維在工業實驗中的作用。
	我們必須努力建立分析中不確定性的新方法，例如預測…預測的置信區間。
	Phil 和我正在做一些工作，試圖了解我們可以使用的最佳基本模型系列是什麼。 因此，這可能是二次 RSM，我們也在研究很久以前提出的這些部分三次模型，但現在我們認為值得重新考慮。
	我們應該使用什麼樣的設計？ 作為我們使用的基本模型中因子數量的函數，什麼樣本量是適當的？ 篩選實驗的作用是什麼？ 一大未知數是分塊實驗和裂區實驗的作用是什麼
	在這個框架內？
	所以現在我要把它交給菲爾。 他將進行更深入的案例研究，並示範 Predictum 的 SVEM 外掛程式。 把它拿走，菲爾。
菲利普·拉姆齊	好的，謝謝你，克里斯。 我要做的是討論一個案例研究，所以讓我把它放進去
	幻燈片放映，我會做一些
	正如克里斯所說，預測的插圖
	實際上可以自動執行大量 SVEM 分析的插件。 我們正在嘗試研究生物技術產業中使用的分析方法。
	這個是為了表徵治療性蛋白質的醣譜分析，基本上就是成為抗體的蛋白質。
	許多在該行業工作的人都知道糖蛋白確實是一種非常豐富的治療來源，您也知道如果您致力於查看 GMP，則必須證明測量系統的可靠性。 實際上對於糖譜分析來說，
	快速、易於使用的分析方法尚未真正成熟。 因此，這個實驗的想法是提出一種相當快速且簡單的方法，人們可以使用它來準確評估不同的
	（我不是這裡的化學家）糖
	轉錄後附著在基礎蛋白上。
	為了給你一個想法，使用色譜的想法，我假設你對它有一定的熟悉，基本上這是你可以使用的方法。
	有了一些溶液，您將其通過色譜柱，然後，當不同的化學物質通過色譜柱時，
	它們往往會在不同時間分離並從色譜柱中出來。 所以基本上是一種形式，所謂的色譜圖，其中峰
	是濃度的函數，峰值出現的時間實際上對於辨識物種的實際情況很重要。 因此，在這種情況下，我們將考慮一些
	糖。我只是將它們稱為糖型，而從事這項工作的科學家們開發了一種校準解決方案。
	我們確切地知道校準溶液中的成分。 我們確切地知道應該洗脫哪些峰值以及大致在哪裡。
	然後我們可以將實際的人類抗體樣本與校準樣本進行比較。 其中一些糖型是帶電荷的。 他們很難讓他們通過專欄。
	他們往往會堅持下去，因此我們使用有時稱為梯度洗脫的程序。
	我不會詳細介紹。 我們在這裡所做的，我們使用的是一種稱為高效陰離子交換色譜的東西。 我不是這方面的專家，但與我共事的科學家已經做到了
	開發這種校準非常出色，這也是我們需要歷史上的校準解決方案的原因
	從人類抗體樣本中洗脫的糖不能完全預測它們將從色譜柱中流出的位置，因此我們有一些可以用於校準的東西。
	所以。
	完成這項工作的人，我稍後會提到她，設計了兩個單獨的實驗。 一種是 16 次運行的三級設計。
	後來她回來做了一個更大的 28 次運行、三級設計。 因此，一個可以用作訓練集，另一個可以用作驗證集，但為了演示 Chris 談到的協變量選擇器和貝葉斯 I 最優策略，
	兩種設計合併為一個 44 次試驗的設計。 然後我們
	使用協變量選擇器將該設計納入客製化設計，然後創建各種貝葉斯 I 最優設計。
	我們本來可以做更多的組合，但我們只有這麼多時間來討論這個。 所以就有了三種設計。 一個有 10 次運行，記住五個因素，我們要做 10 次運行。
	13 次試驗的設計和 16 次試驗的設計，我們可以做得更多。 所以，我們想做的就是來看看這些
	設計在我們使用風扇擬合模型後執行，順便說一句，正如Chris 提到的，在每個設計中，未從44 個設計中選擇的運行將用作驗證或測試集，以查看模型的表現如何執行。
	好的，這些是初始因素，乙酸鈉的初始量，氫氧化鈉的初始量。 然後發生三個獨立的梯度洗脫步驟
	處理時間約 40 分鐘。 這些是實驗中使用和操作的設定。
	實際上，在這個實驗中，我們可以看到 44 種不同的反應。 因此，鑑於我們有可用的時間，我將考慮其中兩個。
	一是糖型 3 的保留時間，這是關鍵，也是校準色譜的基礎。
	我們希望它在八分半鐘左右就可以出來，因為它與人類抗體樣本非常吻合。
	實際上建模相當容易。 第二個反應是糖型 10 的保留時間。 它是一種帶電荷的糖型。 它洗脫得很晚，並且往往與其他帶電糖型聚集在一起，更難區分。 好的，這就是我要查看的兩個回應。
	對於那些不熟悉色譜的人，這裡有一些所謂的色譜。 這些基本上是回應，
	回應的圖片，在這種情況下，如果您查看圖片，我們將查看保留時間，即何時
	巔峰3出來了？ 峰 10 何時出現並出現在色譜圖中？ 順便說一句，注意兩者之間
	我展示的色譜圖顯示了配置的不同之處。 所以在這個實驗中當我們操縱那些實驗因素時
	（順便說一句，我們有 44 個這樣的色譜圖；我向您展示其中兩個），您會發現這些峰的形狀、保留時間等以及分辨率存在許多差異。 所以無論我們在做什麼，我們顯然都是在操縱
	色譜圖，對於那些好奇的人來說，是的，我們將來會將其視為功能數據以及如何使用功能數據分析。
	但這通常是未來，但這絕對是我們非常感興趣的事情。 色譜圖最終確實是功能數據。 但我只是要提取兩個特徵並嘗試對它們進行建模。 好的。 我也想讚揚
	Cytovance Biologics 的 Eliza Yeung 博士是一位好朋友和出色的科學家。 她完成了所有的實驗工作，並且是她提出建造…的想法的人。
	她稱之為葡萄糖梯，校準溶液。 而 Eliza，除了是個好人之外，她還喜歡 JMP。 所以我們在很多方面都喜歡伊麗莎，好吧。 優秀的科學家。 可以，然後呢
	在我進入之前
	SVEM，我只想提一下...Chris 提到了自 1950 年以來一直使用的完整二次模型作為最佳化的基礎。
	基本上，所有的主效果、兩個因素的交互作用和平方項。 事實上，對於許多複雜的物理系統來說，動力學對於該模型來說實際上太複雜了。
	康乃爾大學和蒙哥馬利在 1998 年發表的一篇非常好的論文中指出了這一點，並建議在許多情況下，
	他們所說的交互模型，我們稱之為部分立方模型，可能效果更好。 根據我的經驗，使用 SVEM 並將該模型應用於大量案例研究，他們是對的。 它確實提供了更好的預測模型，但存在一個問題。
	這些部分三次模型可能非常龐大，對傳統建模策略來說是一個巨大的挑戰，正如克里斯所提到的，傳統建模策略中的過飽和模型是一個大問題。
	有多少個潛在的術語？ 好吧，取 K 平方，乘以該值的兩倍，並為截距加一。 因此，對於五個因素，完整的
	部分三次模型有 51 項。 順便說一句，我將使用這些模型，但我只會使用 40 個通常最重要的術語。
	然後我們將使用自驗證整合建模來擬合模型，正如 Chris 所說，SVEM 對於過飽和模型沒有問題。
	順便說一句，在機器學習文獻中，過飽和模型始終是擬合的。
	使用正確的機器學習技術，您實際上可以......它們實際上可以向您展示，您可以獲得更好的預測性能。
	這在傳統統計中很大程度上是未知的，好吧。 因此，我們將使用 SVEM 插件，我提到過，如果您想了解它，您可以聯繫 Predictum 的 Wayne Levin，他已經在 Predictum 上發表過講話，我相信 Wayne 很樂意與您交談。
	讓我們簡單回顧一下 JMP。
	我將向您展示該插件的實際工作原理，所以讓我介紹一下 JMP。
	所以我安裝了該加載項，因此它有自己的選項卡。 所以我點選 Predictum。 順便說一句，這是我們創建的貝葉斯 I 最優設計之一，該設計有 16 次運行。 選擇自我驗證的整合建模。
	因此，您會看到典型的擬合模型啟動對話。 我將選擇我的五個因素。
	我現在要做一個響應曲面模型來進行說明，我想建模
	糖型3的保留時間。 請注意在後台，此設置，自動驗證表，因此有一個等待功能。
	還有一個自動驗證部分。 這一切都在後台，你不需要看到它。 但是鋸子......但是加載項創建了它，然後它基本上隱藏了它，但是如果您願意，您可以查看它，但它被隱藏了，因為看到它並不是非常重要。
	現在我們打開GenReg，這就是GenReg
	控制面板。 順便說一下，為了說明這一點，SVEM 對於模型建構的使用方法來說確實是不可知的。 因此，事實上，您可以使用 GenReg 中不存在的方法，但這正是我們今天的主要關注點。 所以我們要進行前向選擇。
	因為我們的時間有限，所以我只會做 10 次。
	點擊“開始”，我們將建立模型。
	因此，這裡是僅 10 次重複的輸出，您將得到實際的預測圖。 但這真正的好處是它實際上為您創建了整體模型平均值。
	所以我點選自驗證整合模型，儲存預測公式。 所以我要繼續關閉這個顯示。
	過來。
	這是我的模型。
	我現在可以採用這個模型，然後將其應用到驗證資料中。 因此，我們選擇了 16 次運行，因此還有另外 28 次可用可用作驗證集，以了解我們實際的表現。 所以現在我要回到
	順便說一句，如果沒有 SVEM 插件，這可能會有點困難，特別是如果您不是特別精通 JMP 腳本編寫的話
	實際創建這些模型。 因此，該加載項可能看起來並沒有在後台完成大量工作，好吧。 那我們做得怎麼樣呢？ 讓我把它放回幻燈片上。
	所以我做了三種設計，16 次運行的設計，13 次運行的設計，然後我選擇了 10 次運行的設計。 我們確實挑戰極限。
	正如我所說，有兩種反應，糖型 10 洗脫較晚，而且往往很吵雜，並且可能難以解析。 因此，對於 16 次試驗的設計，我實際上擬合了 40 項部分三次模型。 請記住，16 次運行。 我適合 40 項模型。
	然後關鍵是驗證集上的均方根誤差，好吧。 所以
	我適合我的第六個...我的 40 學期模型，然後是
	驗證集上的均方根誤差很低，驗證 R 平方實際上接近 98，因此它非常非常適合。
	請注意，即使對於吵鬧的人來說
	gluform 10，我們仍然得到了一個相當好的模型。 我將向您展示一些實際的預測圖。 所以我們這樣做了13次，再次進行了13次，我們得到了非常好的結果。
	然後最後到了10。 順便說一句，對於 10，我只適合標準的完全二次模型，我覺得我真的在碰運氣。
	但我本來可以繼續嘗試部分三次方。 再次注意，即使運行 10 次，對糖型 3 保留時間進行建模，我也得到 R 平方 0.94。
	對我來說，這確實令人印象深刻，我再次建模......我的模型的預測因子是觀察值的兩倍，即使糖型 10 難以建模，我們也做得很好。
	所以，這裡有一些實際的預測圖，我再次選擇糖型 10，因為它真的很難建模。
	所以我不想過度玩弄這個系統。 根據我的經驗，我知道建模很難。 所以有一個實際的預測情節。 對於 10 次運行的設計，還有另一個實際的預測圖，它仍然表現得很好
	當你考慮我們在這裡嘗試做什麼。
	最後，我們的整體表現如何？
	這是我整理的一個小表，我以 16 次運行的設計為基準，然後我所做的是比較當我們擬合 10 次運行時發生的情況
	項模型和 G10 保留時間的第 13 項。
	您會注意到，13 的誤差相當大，而 10 的誤差則小得多。 我不知道為什麼。 我選擇只展示結果。 這有點神秘，我還沒回去探索。
	但對於保留時間 3，請注意我從 16 降至 10。 是的，我的均方根誤差增加，但你知道如果你透過預測圖查看實際情況，
	它在驗證集上的預測方面仍然做得很好。 所以這件事的重點是，我知道這是，我與生技公司有很多合作，
	您在實驗設計中可能實現的實際效率，我知道對於你們中的許多人來說，這些實驗的成本很高。
	更重要的是，它們需要花費很多時間。 這確實可以縮短您的實驗時間並減少您的實驗預算並獲得更多資訊。
	所以只是對此做出一個快速的結論。 這個 SVEM 程式和這個，正如 Chris 所展示的，我們已經在模擬和案例研究中對此進行了研究。
	SVEM 非常適合過飽和模型。 我不會詳細介紹它，但從機器學習實踐來看，已知過飽和模型的表現非常好。 他們一直用深度學習當例子。
	基本上，正如 Chris 所說，SVEM 將機器學習與實驗設計結合。
	更重要的是，一旦您開始沿著 SVEM 的道路前進，這反過來又會告訴您如何看待實驗。
	因此，基本上使用 SVEM，我們可以開始思考高效的實驗，這些實驗可以真正加快創新的步伐，並真正減少實驗的時間和成本。 並花時間開發產品和流程
	變得……交貨時間越來越短，這不是一個小問題，我知道生物技術領域的許多人也面臨嚴重的預算限制。
	然後（順便說一句，大多數人都是這樣）最後一個有前途的領域是貝葉斯 I 最優設計。
	我要再次提及的是，Brad Jones 和他的團隊在 JMP 中引入這些方面做得非常出色。 這是我所知道的唯一能夠真正進行貝葉斯 I 最優設計的軟體包。
	我們認為 SVEM 將為許多可能性打開一扇窗。 基本上，這就是我的故事，我將把它交給韋恩·萊文。
韋恩·萊文	非常感謝，
	菲爾和克里斯。 我希望每個人都能看到，這方面有大量的工作、大量的研究，包括一些
	你可能會說，我在第一線工作，我已經從事這個遊戲 30 多年了，我不介意告訴你我對在這裡看到的一切感到非常興奮。
	我認為這確實具有變革性，真正改變了工業實驗在這裡進行的方式。 我以前對超飽和設計感到非常興奮，那就是
	訂製設計師的協助，現在…這是設計方面的。
	東西的。
	現在，當您將 SVEM 引入分析方面時，我的意思是這是兩個很棒的品味
	你可能會說，這兩者配合得很好。 無論如何，最後我要滑入這裡
	Phil、我自己和 Marie Goddard，我們正在製作一門點播課程（應該會在下個季度推出，例如四月）
	混合設計實驗，我們將在課程中將大量時間集中在 SVEM 上。 因此，如果您對此感興趣，請告訴我或願意...以便我們可以讓您知道或在 LinkedIn 或其中之一上關注我們。
	對於 SVEM 插件，如果可以的話，我很高興我們第一個將其推向市場。
	我們為此努力了好幾個月。 我們大約每個月都會發布一個新版本，因此隨著我們從現場獲得反饋，它正在不斷發展，我非常感謝菲爾
	領導這件事。 他一直在與我們的一位開發人員合作（？？？），這確實是一項了不起的努力，很多艱苦的工作
	為了達到這一點，我們希望向您提供這一點。 正如菲爾之前提到的，實際上有兩種方法可供您嘗試。 一是嘗試加載項本身，
	它適用於 14 和 15。 隨著《16》的推出，我想我們也會讓它適用於《16》。 它確實需要 JMP Pro，因此如果您沒有 JMP Pro，這裡有一個鏈接，您可以在其中申請...以獲得 JMP Pro 試用許可證。
	當然，您可以透過下載本簡報的幻燈片來獲取此連結。 這就是您獲取它的方式，這是您可以親自嘗試的一種方法。
	另一種方法是聯繫我們，我們可以在概念驗證的基礎上與您合作，好吧。
	我們可以做一些比較分析等等，當然，也可以跟你一起回顧這個分析。 所以你知道我們會準備好必要的文件，並且
	我們不介意嘗試一下。 Wwe 已經為許多公司做到了這一點，這對你來說可能是最簡單的方法，無論什麼對你有用。 好吧，現在我想做的是
	此時打開它以提出任何問題或意見。 我謹代表克里斯和菲爾感謝您加入我們。 好的，歡迎提問和評論。

高峰會精選爆發美國能源部預測建模回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

任何想要下載 SVEM 外掛程式的人只需訪問此頁面：

https://predictum.com/products/svem/

 

您會看到一個請求試用許可證的連結。

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

@ahmedmohamed ，沒有開發SVEM插件。我們確實有一個簡單的腳本，您可以從我們的 Discovery 演講中使用它，您可以修改該腳本，這將有助於 SVEM 分析。重新思考實驗的設計與分析？ (2021-EU-30MP-776)

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

我是說SVEM 插件好嗎？

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

@ahmedmohamed ，你指的是設定插件嗎？可以在這裡找到。支援自動驗證工作流程的插件

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

請問我可以嘗試這個插件嗎？

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

你好@philramsey和@chris_gotwalt1 。 我最近安裝並嘗試了用於自動驗證的插件這裡這對於透過使用零因子思想來選擇變數很有用。 由於模型平均，此連結中提供的插件似乎更完整或更全面。 它是免費的插件嗎？

 

無論如何，自動驗證插件的模擬參數估計是否用於模型平均？ 如果是這樣，我怎麼能擺脫最終平均模型中的空因子參數？

 

謝謝。

 

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

你好@philramsey ， 謝謝回覆。抱歉我沒有說清楚，我指的是重複的 k 倍交叉驗證，它可以在 DOE 環境中輕鬆實現，並且還可以根據設計大小和 k 的選擇提供數百到數千個模型進行整合。在大多數情況下，我遇到少量重複 k 次效果很好的情況，通常模型總運行次數少於一百次。  

 

使用目前 SVEM JSL 程式碼進行的一項初始簡單測試是更改分數加權公式，根據控制保留大小的某個閾值將權重轉換為 0 或 1。嚴格來說，這不再是完整的 k 倍，而是一系列隨機的單一保留。我猜這仍然可以正常工作並提供合理的結果。更有效的方法是建立一個設定為正交的 k 折疊分區集合，如 XGBoost 插件附帶的 Make K-Fold Columns 實用程式中提供的那樣。

順便提一下，XGBoost 外掛程式處理其驗證列的方式與其他 JMP Pro 平台不同，以便輕鬆適應重複的 k 倍。當保存其預測公式時，它還會自動整合所有單獨的 k 重模型，就像 SVEM 末尾的所有預測列的平均值一樣。不需要重複行。  

 

重複 k 折疊在文獻中已經很成熟，並在 Python sklearn、model_selection.RepeatedKFold、R 套件插入符號等地方實現，現在也在 XGBoost 插件中實現。說實話，我覺得如果你想說服認真的用戶採用 SVEM 和重複 k 折，那麼就確實需要對 SVEM 進行公平且令人信服的比較。

 

我目前對 SVEM 的解釋是重複 k 倍的平滑版本。或者如上所述，可以將其翻轉以將 k 倍視為分數權重的離散分箱。我的猜測是，在大多數情況下，誠實評估的樣本外表現將是相似的，但肯定希望看到比較。   

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

有一個關於 p 值的作用的問題。 我們的感覺是，很大一部分工業實驗本質上都是預測性的：最大化產量、最小化浪費、製造符合規格的產品等。 通常使用的工具包括大量關於假設檢定的內容，以確定活躍因素，並評估常態性和非自相關誤差等建模假設。 我們將 SVEM 視為直接從資料到預測模型的過程。 由於我們不再受到自由度的約束，因此在未來幾年中確定「顯著」影響（在假設檢定意義上）可能不再那麼重要。 問題轉移到“哪些因素重要，哪些因素可以忽略？”，使人們能夠避開20世紀以來許多笨拙的統計機制，直接專注於解決手頭的問題。

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

@J_Asscher

 

感謝您的提問。 以下是我的回覆：

 

 

1）自動驗證演算法可以考慮重複對嗎？我們還沒有探索如何合併重複。 不過，這樣做很容易。 您只需調整權重方案，以便當一個重複項位於「訓練集中」時，另一個重複項將被排除在外。 有如此多有趣的擴展和修改，以至於研究中很難保持焦點、剝離其本質並提交發表。

 

2）我們是否還可以利用所有這些計算來確定某些運行是否對模型選擇、模型參數或預測有很大影響？是的，一個有趣的診斷是查看迴歸係數與特定觀察值的散佈圖。 如果係數和權重之間的相關性絕對值很大，則該運行對該效果的影響很大。 這是我們還沒有時間去實現的另一個好主意！

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

@eharoon謝謝——我們對迄今為止的結果感到非常興奮，而且這次行業與學術界的互動還有很多成果。 我們希望在下週提交論文發表，這應該是我們希望在 9 月之前發表的三篇論文中的第一篇。

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

嗨，拉斯，

順便說一句，我喜歡 XGBoost 插件。我認為 SVEM 的性能可能會優於 K 倍，因為它可以為您提供潛在的數百或數千個模型來整合。在我們的案例中，我們專注於 DoE，因此不可能使用諸如留一（實際上總是一個壞主意）或 k 折疊之類的技術。對於未來的工作，我認為您是正確的，需要進行比較，並且您對過程的基本概述是有意義的。 對於 pDNA 數據，如果我們將其結合起來，那麼我們可能可以按照您的建議進行操作，也許我們應該更多地討論這一點，希望 Chris Gotwalt 能夠加入討論

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

不錯的創新研究！資料科學界驗證模型的黃金標準是 k 倍交叉驗證。 看到 SVEM 和 k-fold 在樣本外性能方面的一些公平比較將會很有趣。來自一次或多次 k 次運行的模型也可以被集成，事實上，這就是在JMP Pro 的 XGBoost 插件。我對 pDNA 數據的想像如下：

 

1. 外循環包括運行 DOE Custom Designer 來提取一個小的目標訓練子集，例如 46 個中的 16 個，就像您在演講中所做的那樣。我的理解是這個子集是隨機的，因此像這樣的外循環是有意義的，並且還可以避免由於單一保留而導致的潛在偏差。
2. 對於每次迭代，使用隱藏/排除完全擱置非訓練觀察，或建立一個包含保留資料缺失值的新回應。在訓練資料上執行 SVEM 和 k 折集成，並保存重要結果，例如僅基於訓練資料的預測公式和估計的泛化效能。
3. 將公式應用於保留集合並收集性能統計數據，例如連續響應 R 方、均方根誤差和 Pearson 相關性。

 

一個有趣的附帶問題是，是否有任何 k 重個體擬合因小訓練集中的尺寸減小而崩潰或表現不佳，這種情況將加強 SVEM 的情況。我也很好奇驗證效能的樣本內估計值與上述經驗所獲得的樣本外估計值相比如何。

 

另一個聯繫是具有協變量的自訂 DOE 也可用於建立 k 折疊，但使用 Y 變數而不是 X 作為協變數。JMP Pro XGBoost 外掛程式附帶了一個補充例程 Make K-Fold Columns 來執行此操作。 這是優化一組 k 重分區的資訊增益的好方法，並且是上述實驗中推薦的方法。

 

最後，我有興趣嘗試以 XGBoost 作為基本模型的分數加權 SVEM 方法。看起來，透過重新評估定義權重的列中的公式的巧妙技巧，這很容易在循環中實現。

偉大的工作，期待 SVEM 的進一步開發和應用。

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

很有意思！

兩個問題：

1) 範例中使用的 12 次運行的設計（從 9:51 開始）包括四對重複。 自動驗證演算法可以考慮重複對嗎？ 例如，可以為重複對賦予 (0,1)、(1,0) 權重或 (a, b)、(b, a) 權重。 會有什麼不同嗎？ 當然，pDNA 範例中 16 行的「預測心臟」設計可能不包括重複，儘管 36 行的整個設計包含重複。

2）除了求SVEM模型之外，我們是否還可以利用所有這些計算來確定某些運行是否對模型選擇、模型參數或預測有很大影響？ 例如，我們可以在這些條件下再次運行該過程。 如果使用具有少量運行的初始設計，則很自然會考慮此選項。 更廣泛地說，我們可能想要增強初始設計，但這是一個單獨的問題。

謝謝 - 期待下週二的討論！

 

回覆：SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

透過持續努力開發這一領域，戈特瓦爾特和拉姆齊為生物醫學和生物技術研究領域提供了巨大的服務，而這些領域經常受到小樣本的困擾。 儘管機器學習方法已應用於這些領域，但這項努力有望成為遊戲規則的改變者。 感謝您完成這項工作，並讓我們了解 JMP 和 Predictum 令人興奮的進展。 有趣的是，這也代表了數據分析領域學術界與工業界合作的重大成功。