756640_zh-TW

liliconcom

避免浪費時間調查假效應 (2021-EU-30MP-771)

Jose Goncalves，牛津生物醫學製程研發部上游科學家
Rebecca Clarke，牛津生物醫學製程研發部上游資深科學家
George Pamenter，牛津生物醫學下游製程研發科學家
Thomas Chippendale，Oxford Biomedica 製程研發部上游資深科學家

近年來，牛津生物醫學公司 (Oxford Biomedica) 的細胞培養生物過程資料生成量顯著成長。資料收集的成長不僅得益於密集的製程開發和特性研究，也得益於高通量生產系統的整合。在整個細胞培養過程中，許多線上和離線製程參數都會被記錄。然而，由於生物系統的複雜性，主要的挑戰之一是識別可能影響製程性能或產品產量的真正因素。保留驗證 (Holdback validation) 通常用於避免過度擬合並防止模型中包含非真實項，但使用單一驗證列可能無法有效預測最佳模型。本示範將示範如何使用多個驗證列重新擬合模型，從而識別出最簡單且最常出現的模型。本示範使用了 67 個生物反應器生產運作的數據，其中包含 20 個候選預測因子。使用 JMP® Pro 中的模擬功能隨機產生了 100 個驗證列。

自動產生的成績單...

揚聲器	抄本
麗貝卡·克拉克	大家好，我叫麗貝卡，今天和我一起的還有何塞和喬治，今天我們將和大家討論如何使用 JMP Pro 驗證方法來幫助我們不再浪費時間調查錯誤的影響。
	首先，我想先介紹一下我們公司以及我們的業務。我們為牛津生物醫學公司（Oxford Biomedica）工作。
	我們是基因和細胞治療業務的先驅，在慢病毒載體研究、開發和生物加工方面處於領先地位。
	我們在這個領域有超過20年的經驗。我們是第一家使用慢病毒載體療法治療人類的公司。其中一些
	我們合作的當地合作夥伴列在右下角，我們與諾華、索諾菲、勃林格殷格翰和 Orchard Therapeutics 合作，我們治療的一些疾病包括癌症、中樞神經系統疾病和囊性纖維化等等。
	因此，去年，牛津生物媒體公司也加入了英國疫苗聯盟，共同對抗 COVID-19。
	該聯盟由牛津大學詹納研究所運營，目標是快速開發 COVID-19 候選疫苗。
	透過加入該聯盟，牛津生物醫學公司允許該聯盟使用我們最先進的生產設施，從而擴大了疫苗的生產規模。此後，我們又與阿斯特捷利康簽署了臨床和商業供應協議。
	根據這項協議，我們同意如果阿斯特捷利康新冠疫苗在臨床試驗中取得成功，我們將向其供應疫苗。我相信大家都知道，疫苗確實取得了成功，牛津生物公司至今仍在繼續生產該新冠疫苗。
	因此，我也想簡單介紹一下我們在這裡以及在 OXB 使用的流程。
	生物過程是利用活細胞或其成分來獲得所需產品的過程，因此眾所周知
	這個過程的例子是酒精飲料的發酵。
	在這個過程中，酵母是活性成分，它和釀造啤酒所需的所有其他成分一起被放入生物反應器中，酵母會啟動一種稱為發酵的化學反應。在發酵過程中，葡萄糖會轉化為乙醇。
	然後，一旦發酵反應完成，生物反應器中的內容物就會被收集起來，並通過過濾進行淨化，然後我們就得到了最終產品——啤酒。
	我們在牛津生物醫學中心所採用的製程類似發酵。我們製程的活性成分是
	細胞培養，所以我們將生物反應器放入細胞培養中，並放入製造慢病毒因子所需的其他成分。
	在這個生產過程結束時，生物反應器的內容物被傳送到下游處理，產品被淨化，然後裝瓶並運出供患者使用。
	這張幻燈片展示了藥物研發的生命週期。左側最下方是研究階段。
	因此，在這個階段，我們要確定在疾病機制中重要的目標基因或蛋白質。
	而且，我們也針對這些目標開發藥物，並展示該藥物是否能夠成功針對該疾病。
	然後，在生命週期的最後，我們進行商業化生產，製造並裝瓶藥物供患者使用。
	所以我們的團隊，製程研發團隊，就位於這兩個階段之間。我們的工作是設計、優化和擴大生產流程。
	並將藥品從研究台轉移到生產環節。我們使用的一些製程包括小型搖瓶，以及高達50公升的生物反應器。
	因此，正如您所想像的，我們在工作過程中會產生大量數據，而生物反應器有許多我們需要監控和優化的輸入參數。
	由於我們產生的數據量龐大，因此很難辨別在優化過程中應該關注哪些參數。
	而且由於我們必須處理的參數數量龐大，單獨優化每個參數在商業上是不可行的，因此此時我們尋求統計建模。
	我們使用這些模型來嘗試縮小我們應該優化的潛在參數清單。
	因此，雖然這些模型很有用，但我們在工作過程中確實會產生很多隨機噪聲，這是由於生物處理的生命性質所致，所以沒有兩種培養物是相同的。
	因此，這種隨機雜訊顯然會被納入我們的統計模型中，這會導致我們在最佳化實驗中浪費時間研究非真實的影響。
	因此，我們考慮使用 JMP Pro，特別是它的驗證功能，
	這有望幫助我們進一步縮小要研究的參數範圍，從模型中去除不真實的影響，並且
	以避免我們的模型過度擬合。現在我將把時間交給 Jose，他將向大家講解整個資料驗證方法。
何塞·貢薩爾維斯	好的，我叫 Jose，我將講解整個最佳化方法，這是一種方法，一種僅在 JMP Pro 上可用的建模工具。我們感興趣的是探索如何使用…它在 OXB 中能發揮多大作用…
	我看到了它有多有用
	OXB 用於生物過程資料建模。正如 Rebecca 所說，
	我們在生產過程中使用這些 Steritank（？）反應器，基本上我們將細胞培養到這些生物反應器中，然後生產這些病毒載體，這是我們的
	主要產品。這是我們想要最大化和建模的，所以這實際上是我們的響應變數。
	生物反應器需要許多控制輸入，並在一個生產過程中產生大量數據，因此需要一個工具來幫助確定哪些輸入輸出值得研究，
	這對我們來說非常有價值。它將使我們能夠節省時間，釋放資源，並讓我們更有針對性地進行流程調查。
	因此，在開始建立模型之前，我們必須先從歷史批次中收集盡可能多的數據。
	因此，這些數據可以指示我們的生產流程運作情況，任何數據異常都可能預示著載體滴度會受到不利影響。在左側，您可以看到
	我們收集了 20 個變數的數據，不幸的是，我們無法顯示變數的實際名稱，我們必須將數據匿名化。
	因此，我們在這裡將它們從 X1 列到 X20。由於我們的過程是一個相當動態的過程，我們無法預期預測變數之間的共線性程度。所以
	總而言之，我們有一個包含 20 個變數或 20 個候選預測因子的資料集，我們已經收集了 67 個歷史批次的資料。
	因此，由於這是 JMP Pro 試驗的一部分，我們認為一開始就使用標準 JMP 建立模型，然後將其與使用保留公式方法建立的另一個模型進行比較，這將是一件很棒的事情。
	在這裡，為了建立不含驗證方法的模型，我們使用 JMP 上的標準建模平台和
	我們在這裡選擇了響應曲面模型，因為我們希望所有主效應、交互作用項和平方項都納入模型。這裡，在性格方面，我們選擇採取逐步遞進的方式。所以在右邊，
	我們有逐步回歸控制面板，我們使用停止規則作為我們的 P 值閾值，因此其餘參數我們保留預設值。
	然後，在運行逐步迴歸後，這就是產生的最終模型。
	大家可以看到，模型中有八個項，其中七個是顯著的。我想請大家注意這前三個因子，因為它們…它們在我們的模型中非常重要，而且它們會…
	在接下來的幾張投影片中，我將展示
	結果...結果
	當我們使用保留驗證方法時，這裡的舊模型很重要，可以解釋我們資料集中約 44% 的變化。
	這就是我們最初的方法。
	我們對生成的第一個模型感到滿意，但我們更感興趣的是了解更多有關驗證方法的資訊。
	因為研究所有這些預測因素需要花費大量的時間和實驗室資源，所以這是我們接下來採取的方法。
	以下是關於此保留驗證方法如何運作的概述。
	本質上，我們有資料集，資料集將被隨機分成兩組。所以在左邊，70% 的數據
	將會被分配到一個訓練集中，這是將用於專門建立模型的資料比例。
	右邊是我們將分配給驗證集的 30% 的數據，這是將要使用的數據比例
	當驗證集的 R 平方達到最大值時，停止模型建置流程。所以在底部，
	我們可以看到，這是逐步回歸平台的螢幕截圖，它本質上與我們之前使用的相同，但是有一個停止規則，這表明，
	最大驗證 R 平方，而不是我們的 p 值閾值。所以，底部的這張圖顯示
	我們有訓練集，我們有驗證集，標記為排除。
	所以，正如你所看到的，當我們開始在模型中輸入術語時，
	因為我們這裡有這個規則，這個正向規則，我們從零項開始進入模型，然後我們逐步地將項加入模型中。
	當我們開始加入這些項時，R 平方增加得相當快，直到我們在模型中加入五個項，之後 R 平方的改善就不多了
	當我們開始…當我們不斷添加越來越多的詞條時。因此，當我們使用這種方法時，一個重要的事情是驗證集會發生什麼，
	因為這和我們的停止規則有關。所以，當我們開始在模型中加入項目時，發生的事情基本上是一樣的。
	R 平方增加得相當快，直到達到最大 R 平方，然後在該點之後，隨著我們繼續添加越來越多的項，R 平方會減少。
	所以，驗證集的作用就是…我們想用這個驗證集來停止這個階段的模型建立過程，這樣我們就可以在這裡包含所有這些術語，它們可以解釋資料集中的大部分變化，並避免
	在模型中包含所有這些術語可能會導致模型過度擬合，或者它們可能根本不是真實的。
	運行逐步迴歸後，這就是最終生成的模型，如你所見，我們將顯著項從八到七個減少到了三個。你還記得，這些項目在我們不使用
	堅持驗證方法，所以在這裡它們看起來根本不重要。
	實際上，該模型只能解釋我們資料集中大約 4% 的變化。
	所以，這相當……我們認為模型中的術語數量急劇減少，我們開始想，好吧，也許我們在為……生成的驗證集上有點不走運。
	用於建立這個特定的模型，我們認為…JMP Pro 的一大優點是我們可以使用這個廣義回歸平台，它本質上…輸出本質上看起來與逐步回歸相同，但在這個
	廣義迴歸平台，我們可以用這個模擬函數。它的作用基本上就是重複運行模型，次數不限。
	然後將其用於生成的每個模型，它使用不同的驗證集。所以這是我們接下來採取的方法。
	而且因為
	我們無法列出我們產生的所有模型，本質上我們只是…我們嘗試產生了 100 個模型，或進行了 100 次模型模擬。所以我們無法在這裡全部列出。
	我們想要總結結果的方式是......我們嘗試計算在 100 次模擬之後選擇某個特定因素並將其納入模型的次數。
	這張圖顯示的正是這個。右邊……左邊
	我們剛才……這些只是參數估計值。這對於觀察資料的散度很有幫助。這裡，
	如你所見，我們有X13和X8，這些交互項在不使用這種方法時實際上是顯著的。這裡以X13為例，它只…只被拾取了46次。
	被納入模型或 46% 的時間被納入模型，所以，這是一個相當低的數字，正如我們預期的那樣，因為
	這些因素在我們不使用這種方法時非常顯著。所以
	我們使用保留驗證方法得出的結論是，它對科學家來說絕對是一個很好的工具，特別是當我們建立模型時
	我們有一些變數顯得很重要，但它們與我們的科學理解不太相符。所以，我們得出的另一個結論是
	這項研究的具體目標是，我們可以放心地假設，我們研究的製程屬性不會顯著影響我們的載體滴度。現在，我將把時間交給喬治。他將講解自動驗證。
喬治·帕門特	大家好，我叫喬治。我在牛津生物醫學公司的淨化組工作。我接下來會簡單聊聊這個自動驗證。
	JMP 提供的方法及其在實驗設計中的具體應用，例如資料結構。我將簡單介紹一下我們是如何利用該方法從病毒載體純化最佳化模型中移除一個變數的。
	好的，首先為那些不了解病毒載體純化的人介紹一些背景。
	因此，本質上我們從生物反應器中獲取這種細胞培養材料。
	而且這種材料是相當粗糙的材料，因此包括我們感興趣的治療藥物都是病毒載體，其中還包括數千種其他物種、污染物種。
	它們可以是任何東西，從不需要的蛋白質到細菌 DNA，有時甚至是無效的病毒。
	因此，純化的目的實際上是將純病毒載體產品與所有這些不同的污染物分開。
	但這些過程可能極為複雜，涉及色譜或酵素處理，以及許多影響其性能的不同因素。因此，我們需要一種有效率地選擇最佳條件以達到最佳純度的方法。
	我們很多時候的做法是利用實驗設計。實驗設計在整個生物製程開發過程中很常見，
	我們主要使用它們來篩選、優化和全面描述我們的生物過程。
	本質上，隨著我們沿著藥物開發時間表前進，隨著我們走向商業化生產，我們的實驗規模也在擴大。
	我們能做的實驗數量其實在減少，而且我們越接近商業產品，改變事物就越困難。
	因此，我們需要能夠在開發早期做出明智的決定，而我們這樣做的方式是
	開發有效的模型。如果我們早期就有一個有效的模型，它就能讓我們更有信心，在執行整個流程時選擇了最佳條件。
	我將詳細介紹我們如何在一個具體案例中使用這項自動驗證技術。我們進行了響應曲面實驗設計。
	在病毒載體純化步驟中，我們無法與您分享實際數據，但我們必須在此進行標準化。
	所以這是一個三因素設計空間，我們感興趣的輸出或反應變數是雜質等級。所以這個雜質含量可能是污染DNA蛋白的含量，類似這樣的描述。
	因此，這樣做的目的實際上是優化這些模型，以盡可能降低雜質水平。
	這就是我們在 JMP 設定中最初看到的情況，有三個輸入變數和這個響應雜質。
	因此，我們最初使用逐步回歸平台和套索回歸（這是 JMP Pro 的功能）建立了一些模型。
	實際上，一開始我們對所看到的結果非常滿意，因此我們解釋了相當多的數據。
	我們似乎解釋得很好，我們開始看到我們期望看到的變數。
	但有一個變數讓我們不太確定，那就是 X1 X3 交互，你可以看到我在這裡突出顯示了。
	如果你把注意力集中到螢幕的右上角，你會看到這個 X1 設定檔完全根據以下情況而變化
	X3 的值，所以當 X3 值較低時，老實說，我們沒有發現這種實際影響，而當 X3 值較高時，我們得到了這種正相關性。
	這其實讓我們感到困惑，也有點擔心，因為實際上這種 X1 X3 交互作用與我們從科學上理解的並不相符。
	這讓我們有點困惑，也有點像我們的模型是否真的正確地解釋了我們看到的數據。
	它也對流程開發具有重大的現實意義，因為這個 X3 變數實際上是已知的
	變化很大。所以我在這裡用的比喻是，如果我們正在開發兩種藥物的劑量，即X1和X2，
	我們發現，劑量實際上取決於患者的年齡，例如X3，這需要深入研究和研究。因此，探索這種相互作用實際上需要大量的額外實驗成本和時間。
	因此，我們想對此進行一些驗證方法，因此我們諮詢了 JMP 的同事，
	他們基本上告訴我們，不幸的是，他們無法在實驗資料結構的設計中使用這種保留驗證。
	原因是，你可以想像，我將 70% 的驗證集（即訓練集）分配給了設計空間中的數據，
	我們實際上建立了模型，但實際上完全缺失了部分設計空間。因此，這種保留驗證方法並不適用於 DOE 資料集。
	因此，JMP 的同事向我們提出了這種自動驗證方法。
	他們向我解釋的基本上是，你需要對整個資料集進行重新取樣。所以，你需要用整個資料集來訓練，用整個資料集來驗證。
	乍一看，這有點像作弊，對我來說確實如此，但據我所知，實現這一目標的公平方式是
	是透過應用這三個額外的列，實際上是透過這個削減的分數加權引導權重。
	本質上，我認為這裡的想法是，如果你在模型訓練中使用了一段數據，那麼你就會對其進行加權，這樣你就不會在驗證中過多地使用同一段數據，這就是你如何避免重複計算數據的方法。
	所以我們使用了這個方法。我們在我們的模型上運行了它。這裡您可以看到JMP中的設置，我們再次使用了廣義回歸平台，這是一個JMP Pro工具。
	這裡和 Jose 解釋的差不多，但不是模擬不同的
	在訓練和驗證任務中，我們實際上模擬了這種部分加權。我們模擬了多次，以產生不同的模型，實際上我們模擬了500次。
	再一次，我們現在的資料輸出就像 Jose 之前一樣，右邊是一個直方圖，顯示了特定變數的
	列在我們的模型中，左邊是來自不同模型的參數估計值。
	我實際上在這裡畫了一條紅線，我把它叫做零因子線。所以這個零因子變數有點像是假變數。
	所以我們知道這是一個無意義的變量，因為如果我們看一下左邊的零因子，你可以看到它的參數估計值在零附近分佈相當廣泛，所以它實際上不知道要去哪裡。
	因此，我們畫出這條線，並說任何......當零因素第一次出現時，任何低於該因素的因素我們都認為很可能是非真實的影響。
	所以，這算是一系列非真實術語。我用藍色高亮顯示了這個 X1 X3 相互作用，我相信你們一定看到了，這也是我們關注的那個。
	您可以在這裡看到，它出現的次數較少，並且有很多零因子效應，所以這是我們第一次發現這可能不是真正的效應。
	所以我們不想就此止步。我們用不同的
	自動驗證設置，我這裡生成了三個例子。你可以看到，在每個例子中，用藍色高亮顯示的 X1 X 3 交互作用總是低於這條紅線，也就是零因子線。
	因此，基於此，我們非常有信心我們所看到的可能不是真正的效果，因此我們能夠將其從我們想要的模型中消除。
	現在我們來比較一下最終結果。左邊是我們建構的初始模型，其中包含了 X1 X3 的相互作用。
	然後在右側，我們刪除了該自動驗證模型。
	我想，我們首先註意到的其實是R平方的減少。所以乍一看，你可能對數據的解釋力減弱了，但實際上，現在我們更確信我們所解釋的內容是真實的。
	您可以在這裡看到其輸出的最小化最佳化條件的差異。
	這實際上在處理方面為我們帶來了很多好處。記住，這些都是現實生活中的變量，它們背後都有真實的東西。
	所以這個X1變數其實對我們的流程來說是一個非常昂貴的變數。所以我們非常……很高興看到我們能夠降低這個變數。
	同樣，隨著這個 X2 變數的下降，從科學原因來看，這實際上也對我們的流程有很大好處，所以我們也能夠減少它，這對我們有好處。
	我想，這些都是幸運的巧合，但真正讓我們高興的是，
	您可以看到，刪除 X1 X3 互動後，我們看到 X1 和 X2 的輪廓實際上是恆定的，這實際上與
	我們獲得的科學理解與我們預期的一致，所以我們很高興觀察到這一點。顯然，我們現在已經離開了，並且透過後續實驗對這兩個模型進行了測試，只是為了看看哪一個表現最好。
	在所有情況下，這實際上......這個自動驗證的模型與我們在最後的實驗中看到的觀察結果一致。
	我現在就把它還給我，麗貝卡。
麗貝卡·克拉克	我只是想簡單總結一下我們之前討論的內容。我們知道，非真實效應對生物加工的開發時間和實驗成本都有實際影響。
	在這裡，我們研究了兩種驗證方法來幫助我們進行生物過程，以強調我們可以從最佳化實驗中消除的潛在非真實影響。
	因此，我們成功地使用了保留驗證工具從最佳化清單中刪除了許多參數，然後我們也在 DOE 類型實驗中使用了自動驗證。
	在這些情況下，產生的模型隨後也會透過實驗得到驗證。總的來說，我們對 JMP Pro 的使用非常滿意。
	特別是，我們生物過程中的驗證方法可以幫助我們節省大量時間和資源，而不會專注於不真實的效果。
	最後，我們要感謝 JMP 的 Robert Anderson 和 Anna Roper，他們在整個演示過程中為我們提供了幫助，演示就到這裡，謝謝大家的聆聽。

進階統計建模基礎資料分析與建模消費者與市場研究實驗設計預測模型和機器學習品質與工藝工程可靠度分析