349236_zh-TW

liliconcom

避免浪費時間調查虛假影響 (2021-EU-30MP-771)

等級：中級

Jose Goncalves，Oxford Biomedica 製程研發部上游科學家
Rebecca Clarke，Oxford Biomedica 製程研發部上游資深科學家
George Pamenter，Oxford Biomedica 下游製程研發科學家
Thomas Chippendale，Oxford Biomedica 製程研發部上游資深科學家

近年來，牛津生物醫學中心觀察到細胞培養生物過程資料的產生顯著成長。數據收集的增加不僅是由密集的製程開發和表徵研究驅動的，而且是由於高通量生產系統的結合。在整個細胞培養過程中，會記錄許多線上和離線過程參數。然而，由於生物系統的複雜性，主要挑戰之一是識別可能影響製程性能或產品產量的真正因素。保留驗證通常用於避免過度擬合並防止模型中包含非真實項，但使用單一驗證列可能無法有效預測最佳模型。本示範將示範如何使用多個驗證列重新擬合模型來識別最簡單且最常出現的模型。使用 67 個生物反應器生產運作的數據（包含 20 個候選預測因子）進行分析。 JMP® Pro 中的模擬功能用於隨機產生 100 個驗證列。

自動產生的成績單...

揚聲器	成績單
麗貝卡·克拉克	好的，大家好，我是 Rebecca，Jose 和 George 今天也加入了我的行列，今天我們將與您討論如何使用 JMP Pro 驗證方法來幫助我們停止浪費時間調查虛假效應。
	首先，我將介紹我們作為一家公司以及我們所做的事情。我們為牛津生物醫學公司工作。
	我們是基因和細胞治療業務的先驅，在慢病毒載體研究、開發和生物加工方面處於領先地位。
	因此，我們在該領域擁有 20 多年的經驗。我們是第一家使用基於慢病毒載體（？）的療法來治療人類的公司。一些
	右下角列出了與我們合作的當地合作夥伴，因此我們與諾華、索諾菲、勃林格殷格翰和 Orchard Therapeutics 合作，我們治療的一些疾病包括癌症、中樞神經系統疾病和囊性纖維化等幾個。
	去年，當我們與英國疫苗聯盟簽約時，Oxford Biomedia 也加入了對抗 COVID-19 的鬥爭。
	該聯盟由牛津大學詹納研究所運營，目標是快速開發 COVID-19 候選疫苗。
	透過加入這個聯盟，牛津生物醫學公司允許該聯盟使用我們最先進的技術，從而擴大了疫苗的生產規模？套房。接下來，我們與阿斯特捷利康簽署了臨床和商業供應協議。
	根據這項協議，如果阿斯特捷利康新冠疫苗在臨床試驗中取得成功，我們同意提供該疫苗。我相信你們都知道，該疫苗確實取得了成功，而 Oxford Biologica 至今仍在繼續生產 COVID-19 疫苗。
	所以我也想簡單介紹一下我們在 OXB 所使用的流程。
	因此，生物過程是利用活細胞或其成分來獲得所需產品的過程，因此眾所周知
	這個過程的一個例子是酒精飲料的發酵。
	在此過程中，酵母是活性成分，酵母加上釀造啤酒所需的所有其他成分被放入生物反應器中，酵母引發稱為發酵的化學反應。在發酵過程中，葡萄糖轉化為乙醇。
	然後，一旦發酵反應完成，生物反應器中的內容物就會被收穫並通過過濾純化，然後我們就得到最終產品，即啤酒。
	因此，我們在牛津生物醫學中心使用的過程類似於發酵。所以我們流程中最重要的部分是
	細胞培養物，因此我們將生物反應器放入細胞培養物中，以及製造慢病毒因子所需的其他成分。
	在該生產過程結束時，生物反應器的內容物被傳遞到下游加工，其中產品被純化，然後裝瓶並運出以供患者使用。
	所以這張幻燈片只是展示了藥物開發的生命週期。所以最底部的左側是研究階段。
	因此，在這個階段，我們確定了在疾病機制中重要的目標基因或蛋白質。
	而且，我們也開發針對這些標靶的藥物，並展示該藥物在標靶疾病方面是否成功。
	然後，在生命週期的最後階段，我們進行商業生產，生產藥物並裝瓶供患者使用。
	因此，我們的流程、研究和開發小組位於這兩個階段之間。我們的工作是設計、優化和擴大生產流程
	並將藥品從研究台轉移到製造業。我們使用的一些工藝包括小型搖瓶，並且我們可以使用最大容量為 50 公升的生物反應器。
	因此，正如您可以想像的那樣，我們在工作過程中產生了大量數據，而生物反應器有許多我們需要監控和優化的輸入參數。
	由於我們產生的數據量龐大，因此很難辨別在優化過程中應該關注哪些參數。
	僅僅因為我們必須處理的參數數量龐大，單獨優化每個參數在商業上是不可行的，所以在這一點上，我們尋求統計建模。
	我們使用這些模型來嘗試縮小我們應該優化的潛在參數的範圍。
	因此，雖然這些模型很有用，但我們在工作過程中確實會產生大量隨機噪聲，這取決於生物處理的生命本質，因此沒有兩種文化是相同的。
	因此，這種隨機雜訊顯然會被納入我們的統計模型中，這可能會導致我們在最佳化實驗期間浪費時間查看非真實效果。
	因此，考慮到這一點，我們希望使用 JMP Pro，特別是驗證功能，
	這有望幫助我們進一步縮小我們將要考慮的參數列表，消除模型中的非真實影響，並且
	以避免我們過度擬合我們的模型。現在我將把任務交給 Jose，他將向您介紹整個資料驗證方法。
何塞·貢薩爾維斯	對了，我叫Jose，我要講的是整個最佳化方法，所以這是一個方法，這是一個只有JMP Pro才有的建模工具。我們有興趣探索如何使用…它在 OXB 上有多大用處…
	我看到它有多有用
	OXB 用於生物過程資料建模。正如麗貝卡所說，
	我們在我們的過程中使用這些steritank（？）反應器，基本上我們將細胞培養到這些生物反應器中，我們生產這些病毒載體，這是我們的
	主要產品。這是我們想要最大化並且我們想要建模的東西，所以這確實是我們的反應變數。
	生物反應器需要許多控制輸入並在一個生產過程中產生大量數據，因此擁有一種工具來幫助確定哪些輸入輸出值得研究，
	這對我們來說非常有價值。它將幫助我們節省時間、釋放資源，並採用更有針對性的方法進行流程調查。
	因此，在開始模型建置之前，我們必須先從歷史批次中收集盡可能多的資料。
	因此，這些數據為我們提供了有關生產過程如何運作的指示，以及數據中的任何異常都可能表明對我們的載體滴度產生了不利影響。所以在左側，你可以看到
	我們收集了 20 個變數的數據，遺憾的是，我們無法顯示變數的實際名稱，我們不得不對數據進行匿名化處理。
	因此，我們在這裡從 X1 到 X20 列出它們，並且由於我們的過程是一個相當動態的過程，因此我們不能期望預測變數之間的共線性程度。所以
	總之，我們有一個資料集，其中包含模型的 20 個變數或 20 個候選預測變量，並且我們已經從 67 個歷史批次中收集了資料。
	因此，由於這是 JMP Pro 試驗的一部分，我們認為一開始使用標準 JMP 構建模型，然後將其用作與使用保持構建的另一個模型進行比較，這將是一件很棒的事情出配方方法。
	在這裡，為了在沒有驗證方法的情況下建立模型，我們使用 JMP 上的標準建模平台和
	我們在這裡選擇響應面模型，因為我們希望允許所有主效應、交互項和平方項進入模型。在這裡，在個性方面，我們選擇逐步推進。所以在右手邊，
	我們有逐步回歸控制面板，我們使用停止規則作為我們的 P 值閾值，因此其餘參數，我們預設保留它們。
	然後，在運行逐步迴歸後，這就是產生的最終模型。
	在這裡，您可以看到模型中有八項，其中七項實際上很重要。因此，我想提請您注意這裡的前三個因素，因為它們......它們在我們的模型中非常重要，並且它們將
	當我要展示時，在幾張投影片中非常重要
	結果...結果
	當我們使用保留驗證方法時，這裡的舊模型很重要，可以解釋我們資料集中大約 44% 的變化。
	所以，這就是我們最初的方法。
	我們對生成的第一個模型感到滿意，但我們更感興趣的是了解更多有關驗證方法的資訊。
	因為要研究所有這些預測因子需要花費大量的時間和實驗室資源，所以這就是我們接下來採取的方法。
	下面概述了這種保留驗證方法的工作原理。
	本質上，我們有我們的資料集，我們的資料集將被隨機分成兩組。所以在左邊，70% 的數據
	它將被分配到訓練集中，這是將用於專門建立模型的資料比例。
	在右側，我們有 30% 的資料將分配給驗證集，這是將使用的資料比例
	當驗證集的 R 平方達到最大值時，停止我們的模型建構過程。所以在底部，
	我們可以看到，這是逐步回歸平台的螢幕截圖，它與我們之前使用的基本相同，但是有一個停止規則，這表明，
	最大驗證 R 平方而不是我們的 p 值閾值。所以在這裡，底部的圖表顯示了
	我們有訓練集，這裡有驗證集，它被標記為排除。
	因此，正如您所看到的，當我們開始在模型中輸入術語時，訓練集
	因為我們這裡有這個規則，這個前向規則，我們從零項開始進入模型，然後我們逐步將項加入模型中。
	當我們開始添加這些項時，R 平方增加得非常快，直到我們在模型中添加了五個項，之後 R 平方的改進並沒有太大增加
	當我們開始...當我們不斷添加越來越多的術語時。因此，當我們使用此方法時，重要的事情之一也是驗證集中發生的情況，
	因為這與我們的停止規則有關。因此，當我們開始在模型中添加項目時，所發生的情況本質上是相同的，
	R 平方增加得非常快，直到我們達到最大 R 平方，然後在該點之後，隨著我們不斷添加越來越多的項，R 平方會減少。
	所以，這正是這個驗證集所做的……我們想使用這個驗證集來停止這個階段的模型構建過程，所以我們可以在這裡包括所有這些解釋最多的術語我們的數據集的變化並避免
	將所有這些項目包含在模型中可能會導致模型過度擬合，或者它們實際上可能根本不是真實的。
	因此，在運行逐步迴歸之後，這就是生成的最終模型，正如您所看到的，我們將重要項從八個或七個減少到只有三個。而且，正如您所記得的，當我們不使用這些術語時，它們非常重要
	保留驗證方法，因此在這裡它們似乎根本不重要。
	實際上這個模型只能解釋我們資料集中大約 4% 的變異。
	所以，這非常......我們認為模型中的項數顯著減少，我們開始思考，好吧，也許我們對為 生成的驗證集有點不幸
	為了建立這個特定的模型，我們認為... JMP Pro 的一大優點是我們可以使用這個廣義回歸平台，這本質上...輸出本質上看起來與逐步回歸中的相同，但在這個
	在廣義迴歸平台上，我們可以使用這個模擬功能。這基本上所做的就是一遍又一遍地重新運行模型，無論我們想要多少次。
	然後將它用於生成的每個模型，它使用不同的驗證集。這就是我們接下來採取的方法。
	並且因為
	我們無法列出我們產生的所有模型，本質上我們只是......我們嘗試產生 100 個模型，或者我們對模型進行了 100 個模擬。所以我們無法在這裡將它們全部列出。
	我們想要總結結果的方式是…我們嘗試計算在這 100 次模擬之後某個特定因素被選擇包含在模型中的次數。
	因此，這正是該圖所顯示的內容。所以在右邊...在左邊
	我們剛剛...這些只是參數估計。這對於觀察數據的分散性來說是很好的。而在這裡，
	正如您所看到的，我們有 X13、X8，當我們不使用此方法時，這些交互項實際上很重要。在這裡，如果我們以X13為例，它只是......它只被拾取了46次
	包含在模型中或 46% 的時間包含在模型中，因此，這是一個相當低的數字，正如我們自此以來所預期的那樣
	當我們不使用這種方法時，這些因素非常重要。所以
	我們使用保留驗證方法得出的結論是，它對科學家來說絕對是一個很好的工具，尤其是當我們建立模型和
	我們發現這些變數很重要，但它們不太符合我們的科學理解。所以另一個...我們得出的另一個結論是
	對於這項研究來說，我們可以有把握地假設我們研究的過程屬性不會顯著影響我們的載體滴度。所以我現在要把工作交給喬治。他將談論自動驗證。
喬治·帕門特	好吧大家好，我叫喬治。我在牛津生物醫學公司的純化小組工作。我將討論這個自動驗證
	JMP 提供給我們的方法及其在實驗設計（例如資料結構）中的具體用途。我將談談我們如何使用該方法來實際從病毒載體純化的最佳化模型中刪除變數。
	好的，首先為那些不知道的人介紹一些病毒載體純化的背景知識。
	所以本質上我們是從生物反應器接收細胞培養材料。
	這種材料是相當原始的材料，因此包括我們感興趣的治療藥物是病毒載體，還包括數千種其他物種、污染物物種。
	它們可以是任何東西，從不需要的蛋白質到細菌 DNA，有時甚至是無效的病毒。
	因此，純化的目的實際上是將我們的純病毒載體產品與所有這些不同的污染物分開。
	但這些過程可能非常複雜，而且您知道，涉及色譜或酶處理以及影響其性能的許多不同因素。因此，我們需要一種有效選擇最佳條件以達到最佳純度的方法。
	很多時候我們這樣做的方法是使用實驗設計。以及在整個生物製程開發時間表中常見的實驗設計，
	我們本質上是用它們來篩選、優化和充分錶徵我們的生物過程。
	從本質上講，隨著我們推進藥物開發時間表，隨著我們走向商業化生產，我們的實驗規模也將擴大。
	我們可以做的實驗數量實際上會減少，而且我們越接近商業產品，改變事情就變得越來越困難。
	因此，我們需要能夠在開發時間表的早期做出明智的決策，而我們做到這一點的方法是
	開發有效的模型。因此，如果我們儘早擁有一個有效的模型，它會讓我們有信心在我們進行程式規模時選擇了最佳條件。
	因此，我將詳細介紹我們如何在特定範例中使用此自動驗證技術。因此我們進行了實驗的響應曲面設計
	在病毒載體純化步驟中，我們無法與您分享實際數據，但我們必須在這裡標準化。
	所以這是一個三因素設計空間，我們的…我們感興趣的輸出或反應變數就是這個雜質水準。所以這個雜質含量可能是污染 DNA 蛋白質的數量，類似這樣的描述。
	因此，其目標實際上是優化這些模型，以盡可能降低雜質水平。
	這就是我們最初在 JMP 設定中的樣子，有三個輸入變數和這個響應雜質。
	因此，我們最初使用逐步回歸平台和 Lasso 回歸（這是 JMP Pro 的功能）來建立了一些模型。
	事實上，一開始，我們對所看到的非常滿意，所以我們解釋了很多數據。
	我們似乎很好地解釋了它，我們開始看到我們預期會出現的變數。
	但有一個變數讓我們不太確定，那就是 X1 X3 交互，你可以看到我在這裡強調了這一點。
	如果您將注意力吸引到螢幕右上角，您可以看到該 X1 設定檔完全根據以下情況而變化：
	X3 的值，所以說實話，在 X 3 的值較低時，我們得到了這個沒有實際效果的效果，而當 X3 的值較高時，我們得到了這種正相關性。
	這實際上讓我們感到困惑，並且有點令人擔憂，因為實際上 X1 X3 的交互作用確實不符合我們科學上的理解。
	所以這讓我們有點困惑，而且也有點像，我們的模型是否真的正確解釋了我們看到的數據。
	從這個 X3 變數其實是已知的意義上來說，它對流程開發也具有重要的現實世界意義
	改變相當多。因此，我在這裡使用的類比是，如果我們正在開發兩種藥物的藥物劑量，即 X1 和 X2，
	我們發現實際上劑量取決於患者的年齡，比如說X3，這是你真正需要深入挖掘和描述的東西。因此，探索這種交互作用實際上需要大量的額外實驗成本和時間。
	所以我們想對此運行一些驗證方法，因此我們諮詢了 JMP 的同事，
	不幸的是，他們本質上是對我們說，他們實際上不可能在實驗數據結構的設計上使用這種保留驗證。
	原因是，如果你能想像的話，我將 70% 的驗證集（即我的資料的訓練集）分配給了設計空間，
	我們實際上正在建立模型，但實際上完全缺少設計空間的一部分。因此，它並不真正適用於在 DOE 資料集上使用這種保留驗證。
	因此，我們 JMP 的同事向我們提出了這種自動驗證的要求。
	向我解釋的方式本質上是對整個資料集進行重新取樣。因此，您可以使用整個資料集進行訓練，並使用整個資料集進行驗證。
	乍看之下這可能有點像作弊，這對我來說確實如此，但我聽說公平實現這一目標的方式是
	是透過應用這三個額外的列，實際上是透過這個削減的分數加權引導權重。
	從本質上講，我認為這裡的想法是，如果您在模型訓練中使用一段數據，那麼您會認為這樣您就不會在驗證中使用同樣多的數據，並且這就是您如何繞過重複計算數據的想法。
	所以我們使用了這個方法。我們在我們的模型上運行了這個。在這裡您可以看到 JMP 中的設置，我們再次使用這個廣義回歸平台，它是一個 JMP Pro 工具。
	這裡與 Jose 所解釋的幾乎相同，但不是針對不同的情況進行模擬
	在訓練和驗證任務中，我們實際上模擬了這種部分加權。所以我們模擬了很多次來產生不同的模型，我們實際上經歷了 500 次。
	同樣，我們現在的資料輸出就像之前 Jose 的資料一樣，右邊是特定變數出現次數的直方圖
	已在我們的模型中列出，在左側，您可以從各種模型中獲得這些參數估計值。
	實際上，我剛剛在這裡畫了這條紅線，並將其稱為零因子線。所以這個空因子變數的運作有點像是假變數。
	所以我們知道這是一個無意義的變量，因為如果我們查看左側的零因子，您可以看到它的參數估計值廣泛分佈在零附近，因此它並不真正知道該去哪裡。
	因此，我們畫了這條線，我們說，任何......第一次出現零因子時，低於該值的任何東西我們都認為很可能是非真實效應。
	所以這是一系列非真實術語。我用藍色突出顯示，我相信您可以看到，這個 X1 X3 互動是值得關注的。
	你可以在這裡看到，它出現的次數更少，而且有很多零因子效應，所以這是我們得到的第一個跡象，表明這可能不是真正的效應。
	所以我們不想停在那裡。我們用不同的方法對此進行了多次迭代
	自動驗證設置，我剛剛在這裡生成了三個示例。但您可以看到，在每個以藍色突出顯示的範例中，此 X1 X 3 交互作用始終低於此紅線（此零因子線）。
	因此，基於此，我們非常有信心我們所看到的可能不是真正的效果，因此我們能夠從我們想要的模型中消除它。
	現在只是對我們得到的最終輸出進行比較。左邊是我們建立的初始模型，其中包括 X1 X3 交互作用。
	然後在右側，我們刪除了這個自動驗證的模型。
	我想，我們注意到的第一件事實際上是 R 平方的減少。因此，乍一看，您可能解釋的數據較少，但實際上現在我們更確信我們所解釋的內容實際上是真實的。
	您可以在這裡看到其輸出的最小化最佳化條件的差異。
	實際上，在處理方面，這實際上為我們帶來了許多好處。所以請記住，這些都是現實生活中的變量，它們背後都有真實的事物。
	所以這個 X1 變數其實對我們的流程來說是一個非常昂貴的東西。所以我們非常……很高興看到我們可以減少這個變數。
	同樣，當這個 X2 變數下降時，出於科學原因，這實際上對我們的過程也有很大好處，所以我們也能夠減少它，這對我們來說是有利的。
	我想，這些都是幸運的巧合，但我們真正感到高興的一件事實際上是，
	你可以看到刪除這個 X1 X3 交互作用，我們看到實際上 X1 和 X2 的輪廓是恆定的，並且實際上非常適合
	我們所期望的科學理解，所以我們很高興觀察到這一點。顯然我們現在已經離開了，我們透過後續實驗測試了這兩種模型，只是為了看看哪一個表現最好。
	在所有情況下，這實際上......這個自動驗證的模型與我們在最終實驗中看到的觀察結果一致。
	我現在就把它還給你，麗貝卡。
麗貝卡·克拉克	我只想快速總結一下我們所討論的內容。因此我們知道，非真實效應對生物加工的開發時間表和實驗成本都具有現實世界的影響。
	在這裡，我們研究了兩種驗證方法來幫助我們進行生物過程，以突出我們可以從優化實驗中消除的潛在非真實影響。
	因此，我們成功地使用保留驗證工具從最佳化清單中刪除了許多參數，然後我們也在 DOE 類型實驗中使用了自動驗證。
	並且，在這些情況下，產生的模型隨後也會透過實驗工作得到證實。總的來說，我們對 JMP Pro 的使用方式感到非常滿意，
	特別是，我們生物過程中的驗證方法可以幫助我們節省大量時間和資源，而不是專注於非真實效果。
	最後，我們要感謝 JMP 的 Robert Anderson 和 Anna Roper，他們在整個演示過程中為我們提供了幫助，我們的發言就到此為止，並感謝您的聆聽。

突破美國能源部預測建模