756634_zh-TW

liliconcom

SVEM：實驗設計與分析的典範轉移 (2021-EU-45MP-779)

菲利普‧拉姆齊（Philip Ramsey），北黑文集團和新罕布夏大學教授
韋恩·萊文 (Wayne Levin)，Predictum 總裁兼首席執行官
特倫特·萊姆庫斯（Trent Lemkus），新罕布夏大學博士生
Christopher Gotwalt，SAS 統計研發總監

多年來，實驗設計 (DOE) 方法不斷發展，實驗者的需求和期望也隨之改變。歷史上，重點強調分離效應以減少效應估計中的偏差，並最大化假設檢定的效力，這在很大程度上反映了當時方法論和計算工具的局限性。工業界的 DOE 通常用於預測產品或製程在可能變化下的行為。我們引入了自驗證整合模型 (SVEM)，這是一種用於分析 DOE 的固有預測演算法方法，它推廣了分數引導法 (fractional bootstrap)，使機器學習和 bagging 演算法能夠應用於 DOE 中常見的小型資料集。與經典 DOE 方法相比，SVEM 的預測精度提高了幾個數量級。我們取得了顯著而深刻的成果，證明 SVEM 能夠擬合具有比行數更多的活動參數的模型，這可能永遠改變自由度等經典統計概念的作用。我們透過案例研究來解釋和演示 SVEM，並描述我們的研究模擬，將其性能與經典 DOE 方法進行比較。我們也示範了 JMP 中全新的候選集設計器，它讓您輕鬆評估 SVEM 在您自己的資料上的效能。借助 SVEM，您可以使用比以往更小的資料集獲得精確的模型，從而加快產品上市時間並降低創新成本。

自動產生的成績單...

揚聲器	抄本
韋恩·萊文	自我驗證整合模型，因為我們將其視為實驗設計等方面的典範轉移。
	就這樣吧……就這樣吧。我們的議程是…我們…簡單介紹一下演講嘉賓。
	那麼，SVEM 是什麼？為什麼？以及如何使用？我們將快速概述 DOE 和機器學習，描述如何將它們融入 SVEM，分析一些現實世界的 SVEM 實驗，然後我們將
	回顧一些目前的研究並演示 JMP 的新候選集設計器（JMP 16 中的新功能），然後我們將以通常的後續步驟和問答等結束。
	SVEM 是一種卓越的新方法，它可以用更少的實驗週期提取更多的見解，並從包括 DOE 在內的小數據集中建立更準確的預測模型。
	使用 SVEM，我們預期並保證您將降低成本，加快產品上市速度，並更快解決問題。我們將在未來不斷探索這一切。
	在會話中。
	我是 Wayne Levin，也是 Predictum 的總裁，和我一起參加演講的還有 JMP 的首席資料科學家 Chris Gotwalt，同樣參加演講的還有 Predictum 的高級資料科學家兼新罕布夏大學副教授 Phil Ramsey。
	所以讓我們
	總結一下。 JMP 對數據科學的貢獻巨大，這一點眾所周知。早在 20 多年前的 DOE 領域，它就…JMP 4，以及它的座標交換演算法。
	大約八、九年前，我們看到了一些確定性的篩選設計。我們認為 SVEM，也就是我們所謂的自驗證整合建模（試著快速念三次），也算是一種貢獻。
	機器學習和實驗設計。
	它克服了數據量有限的局限性，對吧。資料量少的話，機器學習是無法進行的，通常需要大量的資料才能實現。
	目前，我們已經在實際應用中試用 SVEM，並且已經有多家公司就此與我們接洽，我們也提供了 SVEM 的試用版。目前，我們
	Predictum 是第一家在這個領域創造產品並將產品推向市場的公司，我只想與大家分享我們迄今為止學到的一些東西。
	一是 SVEM 表現非常好。我的意思是，當你有更多參數和運行次數時，它表現得非常好。
	高階模型。它確實能提供更準確的預測，也有助於從失敗的實驗設計中恢復。例如，如果你有明確的篩選設計，
	無論出於什麼原因，無法進行最終測試，我們收到了一些歷史 DOE
	缺乏權威。他們什麼都沒發現，但SVEM確實發現了。它能夠做到。你知道，我們也遇到一些缺失或可疑運行的情況。
	我們也了解到，它對有理階乘之類的東西沒有幫助。我們感興趣的是預測模型
	部分因子分析實際上並不能提供預測模型；它們不是為此而設計的。所以它不會提供資料結構無法提供的資訊。
	至少還沒有達到那個程度。我們也了解到，我們還沒有測試SVEM的全部潛力。要做到這一點，我們真的需要
	首先要考慮 SVEM 來設計實驗，這意味著要考慮更多因素。我們不想只考慮三、四個因素。 10 個、15 個甚至更多怎麼樣？
	我們從研究中了解到，Chris 和 Phil 將會討論貝葉斯 I 最優設計是最好的…這是與 SVEM 和混合設計結合的最佳方法
	對 SVEM 特別有用，我稍後會再詳細講一下。至於 SVEM
	如果你想嘗試一下，Chris 和 Phil 討論完之後，我們會提供一些資訊。好了，現在我把這個任務交給你，Chris，
	深入探討 SVEN 是什麼、為什麼以及如何實現。克里斯，就交給你了。
克里斯·戈特沃特	好的，太好了，謝謝你，韋恩。哦，等等，我是不是在分享我的螢幕？
韋恩·萊文	還沒有。
	好了。
克里斯·戈特沃特	好的，好的，謝謝你，韋恩。
	現在我將介紹自驗證整合模型或 SVEM 的概念。
	我會盡量講得比較基礎。我假設你有一些實驗設計和分析的經驗。
	最重要的是，你應該明白，統計建模過程可以歸結為資料函數擬合
	預測反應變數作為輸入變數的函數。從高層次來看，SVEM 是機器學習演算法與大數據應用之間的橋樑
	以及實驗設計，這通常被視為一個小而好的分析問題。機器學習和實驗設計（DOE）各自有著悠久的歷史，但迄今為止，它們仍然是相對獨立的傳統。
	我們的研究表明，使用 SVEM 可以透過更少的觀察獲得更準確的模型。
	這意味著產品和流程改進可以在更短的時間內、更少的資源和更低的成本完成。所以，如果你身處在一個競爭激烈的行業，
	如果率先進入市場至關重要，那麼 SVEM 應該會引起您的極大興趣。
	特別是，我們相信 SVEM 在製藥和生物技術行業有著巨大的前景，
	半導體製造等高科技領域以及消費性產品開發領域。
	在 JMP 工作期間，我對許多產業和應用領域的資料處理方式有了大致的了解。
	我已經開發了建立最佳設計實驗的演算法以及相關分析程序，如混合模型和概括模型。
	另一方面，我也是 JMP Pro 神經網路演算法以及該產品中一些其他機器學習技術的開發人員。
	在過去的 20 年裡，我看到機器學習在對大型觀測資料集進行建模時變得更加突出，並且看到許多新的
	已經開發的演算法。同時，設計實驗的分析也發生了變化，但在過去20年裡變化得更為漸進。
	任何讀過 20 世紀 70 年代末 Box、Hunter 和 Hunter 著作的人都會熟悉工業實驗的整體統計方法。
	機器學習和實驗設計通常應用於工業領域，以解決本質上具有預測性的問題。
	我們使用這些工具來回答問題，例如感測器是否指示批次有缺陷，或者我們如何調整流程以最大限度地提高產量同時最大限度地降低成本。
	儘管它們本質上都是預測性的，但機器學習和實驗設計通常適用於不同類型的資料。
	我現在要做的是快速概述這兩者，然後描述我們如何將它們整合到 SVEM 中。
	我將分析一些來自真實實驗的數據，以顯示它是如何運作的以及為什麼我們認為它總體上表現得非常好。
	我會整體來說...我會...我會看一下新罕布夏大學博士生特倫特林普基斯（Trent Limpkiss）所做的模擬結果，這讓我們相信這種方法非常有前景。
	然後，我將透過範例展示如何使用 JMP 16 中的新候選集設計來尋找現有資料集的最佳子集，以便您可以親自嘗試 SVEM。
	我將重點介紹我們的一些觀察結果，並提到我們希望回答的一些未來問題，然後我將把它交給 Phil，他將進行更深入的案例研究和 SVEM 插件的演示。
	考慮一下螢幕上的簡單數據。這是來自冶金過程的數據，我們想要預測加工步驟結束時的收縮量。
	左邊有三個變量，我們想用它們來預測收縮率。建模其實就是找到一個連結壓力、時間和溫度的函數，來預測這裡的反應（收縮率）。
	希望這個模型能夠產生...將來能夠推廣到新的數據。
	在機器學習中，標準的方法是將資料分成兩組不相交的行。一組稱為訓練集，用於擬合模型，以確保資料不會過度擬合。
	這會導致模型在新的觀測資料上不準確。我們還有另一個資料子集，稱為驗證集，用於測試我們之前建立的各種模型…
	已經擬合到訓練集了。這裡需要權衡一下，如果函數太簡單，那麼它在訓練集和驗證集上的擬合效果會很差，因為它們無法解釋足夠的變異。
	而過於複雜的模型在訓練集上可能幾乎完美擬合，但在驗證集上卻非常不準確。
	我們使用驗證 R 平方等方法來找到既不太簡單也不太複雜的金髮姑娘模型。
	這個金髮女孩模型將是驗證集上驗證 R 平方最高的模型。
	當你有相當多的行時，這種保留樣式模型選擇是一種非常好的方法，
	通常有數億行甚至更多。 「相當大」的語句是故意搞混的，取決於目前的任務。話雖如此，您在這裡看到的 12 行實際上太小了，這裡僅用於說明。
	在 DOE 中，我們通常面臨時間和/或資源嚴重受限的情況。
	設計實驗的核心思想，特別是作為 JMP 關鍵功能的最佳設計實驗，是圍繞獲取盡可能少的行數中包含的最高品質的資訊。
	多年來，許多傑出人士創造了統計工具，如 F 檢定、半正態圖和模型選擇標準，如 AIC 和 BIC，
	這有助於我們根據 DOE 資料模型做出決策。這些指南可以幫助我們確定應該使用哪種模型來作為科學、工程和製造決策的基礎。
	有一件事很少被提及，那就是將機器學習模型選擇應用於設計實驗。為什麼呢？
	一個重要的原因是，資訊被緊密地打包到設計中，即使刪除一些觀察值也會導致主效應和交互作用崩潰
	這樣我們就無法再將它們分離成唯一可估計的效應。如果你仍然嘗試這樣做，你可能會看到軟體報告警告，例如自由度丟失或奇點細節被添加到模型報告中。
	現在我們來做一個小小的思考實驗。如果我們稍微作弊一下會怎麼樣？
	如果我們複製原始表中的所有行，包括 X 和 Y，並將其中一個副本標記為“訓練”，另一個副本標記為“驗證”，結果會怎樣？現在我們就有足夠的數據了，對吧？錯了。我們騙不了任何人，這簡直是瘋了。
	這很瘋狂，因為如果你嘗試使用這種方法建模，並查看擬合優度指數的任何圖，你會發現，使它們更複雜會導致訓練集的擬合度更好，但因為訓練和驗證
	在這種情況下，集合是相同的，這種方法總是會導致過度擬合。
	因此，讓我們回過頭來重新定義機器學習模型選擇，將其視為對相同資料計算兩個加權平方和的故事。
	我們可以將模型選擇視為兩列權重，而不是從兩個資料分區的角度來考慮。
	訓練集的行的訓練權重為 1，否則為 0，驗證列的訓練權重為
	對於訓練行，它等於零；對於驗證列，它等於一。
	因此，從機器學習模型選擇來看，我們可以認為每一行都有自己的一對權重值，其中兩個權重都是二進位零和一。
	透過這種方式進行設置，我們可以獨立評估模型的適合度。
	透過尋找最小化使用訓練權重加權的平方誤差和的參數值來擬合模型，並且使用使用驗證列權重加權的平方誤差和來衡量泛化性能。
	如果我們在散點圖中繪製這些權重對，我們當然會看到訓練驗證權重......訓練和驗證權重是完全負相關的。
	現在，如果我們不強迫自己使用完全反相關的二進位值對，而是放寬值只能取零和一的要求，結果會怎麼樣呢？
	並允許權重取任何嚴格的正值？
	為了做到這一點，我們必須放棄一些東西，特別是，據我所知，為了使其在數學上起作用，我們不能再擁有完全反相關的權重對，但我們可以以一種仍然具有顯著反相關性的方式來做到這一點。
	有很多方法可以做到這一點，但其中一種方法是使用與分數加權引導相同的方案來創建權重，其中我們使用平均值為 1 的指數分佈
	來創建權重。這裡有一個小技巧，利用均勻分佈的性質，我們可以創建指數分佈但高度負相關的權重對。
	當將其用作兩列加權驗證方案時，我們稱之為自動驗證。我和菲爾就此發表了幾篇關於這個……正是這個想法的發現論文。
	使用這種方法就像擁有一個具有方差平均值為 1 的權重訓練列和具有相同屬性的驗證列。
	在這種自動驗證方案下，如果某一行對訓練平方和的貢獻超過平均權重，則該行對驗證平方和的貢獻就會較小，反之亦然。
	有一個插件，Mike...我想指出的是，有一個插件是 Mike Anderson 創建的，它可以將資料集設定為 JMP Pro 建模平台可以使用的這種格式。
	最近，菲爾和我已招收特倫特為我們的博士生。
	春秋兩季，Trent 做了大量的模擬實驗，嘗試了各種不同的方法將模型擬合到 DOE 數據中，其中包括各種基於自動驗證的方法。我將展示他的一些結果。
	稍微解釋一下。可以這麼說，就獨立測試集上的最小平均誤差而言，始終效果最好的方法是應用自動驗證
	與前向選擇等變數選擇程序結合，但我們不是重複這個過程幾十或幾百次，
	每次保存預測公式，並最終在所有這些自動驗證迭代中對模型進行平均。我們將這種通用過程稱為自驗證整合模型（SVEM）。
	為了讓事情更具體一些，我將舉一個簡單的例子來說明這一點。我們首先初始化自動驗證權重。
	我們應用模型選擇程序，例如 Lasso 或前向選擇，然後將預測公式儲存回表中。
	這是第一個預測公式。在這次迭代中，只選擇了兩個線性主效應。
	然後我們重新初始化權重，使用新的權重集再次擬合模型，並保存該預測公式。
	這是第二個自動驗證的預測公式。請注意，這次我們選擇了不同的主效果和交互作用集，它們的迴歸係數也不同。
	我們重複這個過程很多次。
	最後，SVEM 模型只是所有預測公式的​​平均值。
	下面是一個簡潔的圖表，以圖表的形式展示了 SVEM 演算法。將引導程式與模型平均結合的想法
	一遍又一遍地發生，因為我們…在我們重新初始化權重之後。我們保存了那次迭代的預測公式。
	我們保存……這裡我保存的是參數……圖示顯示的是參數，但公式也是一樣的。把它們都保存下來，最終得到的模型就是所有迭代的平均值。
	完成後，我們可以在圖形分析器中使用該 SVEM 模型，並打開擴展中間公式，以便我們可以視覺化生成的模型並優化我們的流程等等。
	現在我將回顧特倫特的論文研究成果。
	a Box Behnkens 和四因素和八因素的 DSD。每次模擬包含 1,000 次模擬重複，且每次模擬都有一組各自的二次響應曲面模型的真實參數值。
	活動參數呈現雙指數分佈，我們探討了從 50% 到 100% 的不同活動效應百分比。
	對於 1,000 次模擬中的每一次，SVEM 預測都會在獨立測試集上相對於真實模型進行評估，該測試集由因子空間上的 10,000 次運行空間填充設計組成。
	我們研究了大量不同的經典單次建模方法，以及所有驗證的多種變體。
	但由於比較的對象太多，只看最有趣的結果會比較容易。在我們調查的所有情況下，結果都非常一致。
	這是一個以確定性篩選設計為基礎的模擬，包含8個因子和21次運行。在這種情況下，50%的效應不為零。
	這意味著模型的非零參數數量與運行次數差不多。
	左側是 Lasso、Dantzig 選擇器、前向選擇和剪枝前向選擇的對數均方根誤差的箱線圖，全部使用 AICc 進行調整，AICc 是這些方法中表現最好的。
	此外，接下來是來自擬合確定平台的最佳方法，然後是應用於不同建模的 SVEM……右側是幾種不同的建模程序。
	當我們比較測試集 RMSE 與 SVEM 預測時，獨立測試集均方根誤差顯著減少。
	請注意，這是對數尺度，因此預測性能的差異非常顯著。
	這是一個更有趣的結果。這張圖真的讓我大吃一驚。這是相同的模擬設置，但這裡所有的效應都不為零。
	因此，真正的模型是過飽和的，不僅在設計矩陣中，而且在參數本身。
	過去，我們不得不假設活躍效應的數量是所有效應的一小部分，並且肯定小於行數。
	儘管活動參數的數量大約是行數的兩倍，但我們仍然獲得了相當準確的模型，這確實非常了不起。
	現在我將快速地展示一下
	SVEM 的介紹，將向您展示如何將其應用於您自己的歷史 DOE。我將使用一個真實的發酵過程五因素 DOE 範例，其中感興趣的反應是透過 pDNA 滴度測量的產品產量。
	SVEM 的一大優點在於，我們可以用更少的運行次數來獲得更精確的模型。這意味著我們可以利用現有的資料集，
	使用 JMP 16 中的新候選集設計器來識別構成原始設計預測核心的行子集。
	我將獲取包含 36 行的原始數據，將其中 5 列作為協變量加載，並告訴自訂設計器給我原始設計的 16 行子集，以便在該大小下提供最佳預測效能。
	然後我將隱藏並排除不在該子集設計中的所有行，以便它們以後可以用作獨立的測試集。
	我將運行 SVEM 模型，並將 SVEM 模型的性能與應用標準程序（如前向選擇）加上 AICc 擬合相同的 16 次運行所獲得的性能進行比較。
	我確實想說，JMP 16 中的新候選集設計器…也是一個了不起的貢獻，我只想說布拉德的團隊在創造這個新工具方面有多出色，這個新工具將在很多方面發揮極其重要的作用，包括 SVEM。
	為此，我們可以取得資料集，然後轉到自訂設計器。
	我們選擇協變數行，因此這是 JMP 16 中的一個新的大綱節點。
	然後我們選擇五個輸入因素。
	單擊繼續。
	我們將按下 RSM 按鈕，它將自動將最優標準轉換為 I 最優或預測類型設計。
	我們選擇所有非截距因子，然後在模型中按一下右鍵...
	在這裡選擇列表並建立...將所有非截距效應設為“可能”效應。這樣我們就可以得到模型
	其參數數量大於我們基準設計的運行次數，因為設計標準現在將是貝葉斯 I 最優設計。現在我們可以將運行次數設定為 16。
	點選進行設計。
	一旦我們完成了這些，優化器就會發揮它的魔力，並且原始表中貝葉斯 I 最優子集設計中的所有行都會被選中。
	我們可以轉到表格，然後使用指示器或轉換列來記錄目前的行選擇。
	然後我繼續將該列重命名為一個有意義的名稱，以供以後使用。
	我們可以透過選擇新指示列等於零的所有行來選擇不在子集設計中的點。
	然後我們可以隱藏和排除這些行，以便它們不會包含在我們的模型擬合過程中。
	Phil 將演示 SVEM 插件，因此我將跳過建模步驟，直接進行前向選擇加 AICc 模型與 SVEM 模型在貝葉斯 I 最優子集設計中未包含的行上的比較。您可以在這裡用紅色部分看到比較結果…
	報告的紅色輪廓部分。我們看到 SVEM 的 R 平方在
	獨立測試集為 .5，而經典程式的 R 平方為 .22，因此我們得到的 SVEM 解釋的變化量基本上是經典程式的兩倍。
	當我們將 SVEM 應用於所有 46 個觀測值時，我們也可以比較兩個模型的輪廓軌跡。
	很明顯，當我們將 SVEM 應用於所有 46 次運行時，我們得到的模型與在 SVEM 下僅運行 16 次時得到的模型基本相同。
	但是基於前向選擇的模型缺少曲率項，更不用說還有很多交互項也缺失了。這是一個相當…相當簡單的過程，你可以用它來在自己的歷史資料上測試SVEM。
	所以總的來說
	這引發了許多問題。其中許多問題都集中在自由度在設計實驗中的作用上，因為我們現在能夠擬合參數多於行數的模型，這意味著如果存在負自由度，那麼它實際上就是負自由度。
	我認為這會讓我們重新考慮基於 P 值的思維在工業實驗中的作用。
	我們將努力建立新的方法來分析不確定性，例如預測…預測的置信區間。
	我和 Phil 正在努力尋找最適合我們工作的基礎模型系列。這可能是二次響應曲模型 (RSM)，我們也在研究很久以前提出的部分三次模型，但現在我們認為這些模型值得重新考慮。
	我們應該使用什麼樣的設計？根據我們所使用的基礎模型中的因子數量，多少樣本量適合？篩選實驗的作用是什麼？還有一個很大的未知數：區塊實驗和裂區實驗的作用是什麼？
	在這個框架中？
	現在我要把時間交給菲爾。他會做一個更深入的案例研究，並示範 Predictum 的 SVEM 外掛程式。菲爾，請講。
菲利普·拉姆齊	好的，謝謝你，克里斯。我接下來要討論一個案例研究，所以讓我把這個放在
	幻燈片放映，我會做一些
	正如克里斯所說，這是預言的例證
	這個插件實際上可以自動化很多SVEM分析。我們想要研究的是生物技術產業所使用的分析方法。
	這個是用來表徵治療性蛋白質的糖基分析，基本上就是成為抗體的蛋白質。
	你們當中許多從事該行業的人都知道，糖蛋白是治療藥物的豐富來源，你們也知道，如果你們要達到GMP標準，就必須證明測量系統的可靠性。實際上，對於糖譜分析來說，
	快速、易用的分析方法尚未真正成熟。因此，本實驗的目的是開發一種相當快速簡便的方法，讓人們能夠準確地評估不同的
	（我不是化學家）糖
	轉錄後附著於基礎蛋白質。
	給你一個概念，關於使用色譜法，我假設你對它有一定的了解，基本上它是一種方法，你
	有一些溶液，你把它通過一個柱子，然後，當不同的化學物質通過柱子時，
	它們往往會分離，並在不同的時間從色譜柱中流出。所以基本上是一種叫做色譜圖的形式，其中峰
	是濃度的函數，峰值出現的時間對於辨識物種實際上很重要。所以在這種情況下，我們將研究一些
	糖。我簡單地稱它們為糖型，這裡發生的事情是，從事這項工作的科學家們開發了校準解決方案。
	我們確切地知道校準溶液裡面有什麼。我們確切地知道哪些峰值應該被洗脫，以及大致在哪個位置。
	然後，我們可以將實際的人體抗體樣本與校準樣本進行比較。其中一些糖基形式帶電荷，很難通過色譜柱。
	它們傾向於堅持下去，因此我們使用有時稱為梯度洗脫程序的方法。
	我就不細說了。我們這裡用的是高效能陰離子交換層析法。我不是這方面的專家，但我合作過的科學家做過
	開發這種校準工作做得非常好，我們需要一個校準解決方案的原因在於，
	從人類抗體樣本中洗脫出來的糖無法完全預測它們會從柱子中出來的位置，所以我們可以用它來進行校準。
	所以。
	做這項工作的人（我稍後會提到她）設計了兩個獨立的實驗。其中一個是16次運行的三級設計。
	後來她又做了一個更大的28次三級設計。其中一個可以用作訓練集，另一個可以用作驗證集。但為了展示Chris提到的協變量選擇器和貝葉斯I-最優策略，
	兩種設計合併成一個 44 輪的設計。然後我們
	使用協變量選擇器將該設計納入客製化設計，然後創建各種貝葉斯 I 最優設計。
	我們本來可以做更多組合，但時間有限，沒辦法詳細討論。所以有三種設計。一種設計運行10次，記住那五個因子，我們運行10次。
	13次試驗設計和16次試驗設計，我們還可以做得更多。所以我們想看看這些
	在我們使用風扇來擬合模型之後，設計就會執行，順便說一下，正如克里斯提到的，在每一個設計中，未從 44 個中選擇的運行隨後會被用作驗證或測試集，以查看模型的執行情況。
	好的，這些是初始因素，乙酸鈉的初始量，氫氧化鈉的初始量。然後有三個獨立的梯度洗脫步驟
	整個過程大約需要40分鐘。這些就是實驗中使用和操作的設定。
	實際上，在這個實驗中，我們可以研究 44 種不同的答案。考慮到我們時間有限，我只想研究其中兩種。
	一個是糖型 3 的保留時間，這是關鍵，也是校準色譜的基準。
	我們希望它能在大約八分半鐘內出來，因為它與人類抗體樣本完美匹配。
	其實建模起來相當容易。第二個反應是糖型10的保留時間。它是一個帶電糖型。它洗脫得很晚，而且容易與其他帶電糖型混在一起，更難區分。好的，這就是我要研究的兩個回應。
	對於那些不熟悉色譜的人來說，這裡有一些所謂的色譜。這些基本上是響應，
	反應的圖片，在這種情況下，如果你看一下圖片，我們會查看保留時間，也就是說，什麼時候
	峰 3 出現了嗎？峰 10 是在什麼時候出現的？順便提一下，請注意這兩個峰值之間的
	我展示的色譜圖，這些特徵有多麼不同。所以在這個實驗中，當我們操縱這些實驗因素時
	（順便說一下，我們有 44 張這樣的色譜圖；我給你們看其中兩張），你們會看到這些峰的形狀、保留時間等等，以及分辨率方面都有很大差異。所以，無論我們做什麼，我們顯然都在操縱
	色譜圖，對於那些好奇的人來說，是的，我們將來會將其視為功能數據，以及如何使用功能數據分析。
	但這通常是未來，但這絕對是我們非常感興趣的事情。色譜圖最終確實是功能數據。但我只打算提取兩個特徵並嘗試對它們進行建模。好的。我還想感謝
	Cytovance Biologics 的 Eliza Yeung 博士，我的好朋友，也是優秀的科學家。她完成了所有的實驗工作，也是她提出了建造這個……的想法。
	她稱之為葡萄糖階梯，也就是校正溶液。 Eliza 除了人很好之外，也喜歡 JMP。所以我們在很多方面都喜歡 Eliza，對吧？她是一位優秀的科學家。好的，所以
	在我進入之前
	SVEM，我只想提一下…Chris 提到了自 1950 年以來一直用作最佳化基礎的完整二次模型。
	基本上，所有主效果、雙因子交互作用和平方項。事實上，對於許多複雜的物理系統來說，動力學對於該模型來說過於複雜。
	康奈爾和蒙哥馬利在 1998 年的一篇非常好的論文中指出了這一點，並指出在許多情況下，
	他們所謂的交互模型，我們稱之為偏三次模型，可能效果更好。根據我的經驗，我使用SVEM並將該模型應用於許多案例研究，事實證明他們是對的。它確實能提供更好的預測模型，但也存在一個問題。
	這些部分立方模型可能非常龐大，對傳統建模策略來說是一個巨大的挑戰，正如克里斯所提到的，過飽和模型是一個大問題。
	有多少個潛在項？好吧，取 K 的平方，乘以 2，再加上一個截距。所以，對於五個因子，完整的
	部分三次模型會有51項。順便說一下，我會使用這些模型，但我只會使用通常最重要的40個項目。
	然後我們將使用自我驗證整合建模來擬合模型，正如克里斯所說，SVEM 對過飽和模型沒有問題。
	順便說一句，在機器學習文獻中，過飽和模型始終是適合的。
	使用正確的機器學習技術，您實際上可以......它們實際上可以向您展示，您可以獲得更好的預測性能。
	這在傳統統計學中基本上是未知的。所以我們將使用 SVEM 插件，我之前提到過，如果你想了解它，可以聯繫 Predictum 的 Wayne Levin，他之前​​已經講過，我相信 Wayne 很樂意和你交流。
	讓我們簡單回顧一下 JMP。
	我將向您展示該插件的實際工作方式，因此讓我帶上 JMP。
	我已經安裝了插件，所以它有自己的選項卡。所以我點擊了「Predictum」。順便說一下，這是我們創建的貝葉斯 I 最優設計之一，這個設計運行了 16 次。選擇“自驗證整合建模”。
	所以你看到的是典型的適配模型啟動對話框。我將選擇五個因素。
	我現在要做一個響應曲面模型來說明，我想建模
	糖型 3 的保留時間。請注意後台的此設定、自動驗證表，因此有一個等待功能。
	還有自動驗證部分。這一切都在後台進行，你不需要看到它。但是鋸子……插件創建了它，然後基本上隱藏了它，如果你想的話，你可以查看它，但它被隱藏了，因為它不是那麼重要。
	現在我們打開 GenReg，這是 GenReg
	控制面板。順便說一下，為了便於說明，SVEM 對於用於模型建構的方法實際上是不可知的。所以，實際上，您可以使用 GenReg 中沒有的方法，但這是我們今天的重點。所以我們將進行前向選擇。
	因為我們的時間有限，所以我只做 10 次。
	點擊“開始”，我們將建立模型。
	這是僅 10 次重複的輸出，你得到了實際值與預測值的比較圖。但它真正好的地方在於，它實際上為你創建了整合模型平均值。
	我點擊“自驗證整合模型”，儲存預測公式。然後我要繼續並關閉此顯示。
	過來。
	這是我的模型。
	現在我可以把這個模型應用到驗證資料上。我們選了16次運行，所以還有28次可用運行可以作為驗證集，看看我們的實際表現如何。現在我要回到
	演示，順便說一句，如果沒有 SVEM 插件，這可能會有點困難，特別是如果你不是特別精通 JMP 腳本
	來實際創建這些模型。所以那個外掛看起來可能沒有在後台做很多工作，好嗎？那我們做得怎麼樣？讓我把這個放回幻燈片裡。
	所以我做了三個設計：一個16個循環的設計，一個13個循環的設計，最後我選了一個10個循環的設計。我們真的突破了極限。
	正如我所說，有兩個反應，糖型10洗脫較晚，而且往往噪音較大，難以分辨。因此，對於16次運行的設計，我實際上擬合了一個40項偏三次模型。記住，16次運行。我擬合了一個40項的模型。
	關鍵在於驗證集上的根均方誤差。所以
	我符合我的第六個...我的40個術語模型，然後
	驗證集上的平均平方根誤差很低，驗證 R 平方實際上接近 98，因此擬合度非常非常好。
	請注意，即使是噪音更大的
	糖型10，我們仍然得到了一個相當不錯的模型。我會給你們一些實際值與預測值的比較圖。我們對13也進行了同樣的操作，結果也同樣非常好。
	最後是 10。順便說一下，對於 10，我剛好符合標準的完整二次模型，我覺得我真的在挑戰自己的運氣。
	但我本可以嘗試部分立方。請注意，即使運行了10次，模擬糖型3的保留時間，我的R平方也達到了0.94。
	對我來說，這真的令人印象深刻，我再次建模......我的模型的預測因子數量是觀察值的兩倍，即使是難以建模的糖型 10，我們也做得很好。
	因此，這裡有一些實際的預測圖，我再次選擇糖型 10，因為它真的很難建模。
	所以我不想太鑽這個系統的空子。我從經驗中知道建模很難。所以有一個實際值與預測值的比較圖。還有另一個針對10次試驗設計的實際值與預測值的比較圖，效果仍然相當不錯。
	當你考慮我們在這裡試圖做的事情。
	最後，我們的整體表現如何？
	這是我整理的一個小表格，我以 16 次運行的設計作為基線，然後我做的是比較當我們擬合 10 次時發生的情況-
	項模型和 G10 的保留時間第 13 項。
	你會注意到，對於 13，我們的誤差相當大，而對於 10，誤差則小得多。我不知道為什麼。我選擇只展示結果。這有點神秘，我還沒有回頭去探究。
	但對於保留時間 3，請注意我從 16 降到了 10。是的，我的均方根誤差確實有所增加，但是如果你看實際預測圖，
	它在驗證集上的預測仍然很好。所以，這一點，我知道，我經常和生技公司合作，
	你們在實驗設計中可能實現的實際效率，我知道對你們中的許多人來說，這些實驗是昂貴的。
	更重要的是，它們會耗費大量時間。這確實可以縮短你的實驗時間，減少實驗預算，並獲得更多資訊。
	所以，我來快速總結一下。這個 SVEM 程序，正如 Chris 所展示的，我們已經在模擬和案例研究中對此進行了研究。
	SVEM 非常適合超飽和模型。我不會深入探討它，但從機器學習實踐來看，超飽和模型的表現非常出色。他們以所有時間和深度學習為例。
	基本上，正如 Chris 所說，SVEM 將機器學習與實驗設計結合。
	更重要的是，一旦你開始沿著 SVEM 的道路前進，它反過來告訴你如何看待實驗。
	所以基本上，使用 SVEM，我們可以開始思考高效的實驗，這可以真正加快創新步伐，並真正減少實驗的時間和成本。隨著時間的推移，我們可以開發產品和流程。
	變得…交貨時間越來越短，這不是一件小事，我知道你們中的許多人在生物技術領域也面臨嚴重的預算限制。
	然後（順便說一句，大多數人都是）最後一個有前途的領域是貝葉斯 I 最優設計。
	再次強調，Brad Jones 和他的團隊在 JMP 中引入這些功能做得非常好。據我所知，JMP 是唯一一款真正能進行貝葉斯 I 最優設計的軟體包。
	我們認為 SVEM 將開啟更多可能性。基本上，這就是我的故事，接下來我要把時間交給 Wayne Levin。
韋恩·萊文	非常感謝，
	菲爾和克里斯。我希望大家都能看到，我們為此付出了巨大的努力和研究，其中包括一些
	你可能會說，我在一線工作，我已經在這個行業工作了 30 多年，我不介意告訴你，我對在這裡看到的一切感到非常興奮。
	我認為這真的可以帶來變革，真的改變了…這裡進行工業實驗的方式。我以前對超飽和設計就很有興趣，但那
	由定製設計師協助，現在...這是設計方面。
	的事情。
	現在，當你把 SVEM 引入分析方面時，我的意思是，這是兩個很棒的體驗
	你可能會說，它們很搭。總之，最後我想補充一下
	Phil、我和 Marie Goddard 正在製作一門點播課程（預計下個季度推出，例如 4 月）
	混合設計實驗，我們將在課程中花很多時間討論SVEM。如果您對此感興趣，請告訴我，或者…這樣我們就可以通知您，或在LinkedIn或其他平台上關注我們。
	對於 SVEM 插件，如果可以的話，我很高興我們是第一個將其推向市場的。
	我們已經為此努力了好幾個月。我們幾乎每個月都會發布一個新版本，所以它一直在不斷改進，因為我們會不斷收到來自現場的回饋。非常感謝 Phil
	感謝他領導這個專案。他一直和我們的一位開發人員（？？？）合作，這真的是一項了不起的努力，付出了很多努力。
	說到這一點，我們希望讓你們也能使用它。正如 Phil 之前提到的，有兩種方法可以嘗試。一種是直接嘗試插件本身，
	它適用於 14 和 15。隨著 16 的發布，我想我們也會讓它適用於 16。它需要 JMP Pro，所以如果你沒有 JMP Pro，這裡有一個鏈接，你可以申請…獲取 JMP Pro 試用許可證。
	當然，您可以透過下載此簡報的幻燈片來獲取此連結。這就是獲取它的方法，您可以利用它親自嘗試。
	另一種方式是聯絡我們，我們可以在概念驗證的基礎上與您合作，好的。
	我們可以做一些比較分析等等，當然，我們會和你一起檢視這些分析。所以你知道，我們會準備好必要的文件，並且
	我們不介意嘗試一下。我們已經為許多公司做過類似的嘗試，這可能是對你來說最簡單的方法，無論哪種方法對你有效。好的，現在我想做的是
	現在歡迎大家提問或評論。我代表克里斯和菲爾感謝大家的參與。好的，歡迎提問和評論。

進階統計建模基礎資料分析與建模消費者與市場研究數據探索與視覺化實驗設計預測模型和機器學習品質與工藝工程分享和交流成果