758516_zh-TW

liliconcom

使用增強全二次模型和 FWB+AV 來表徵生物過程 (2020-US-45MP-548)

菲利普·拉姆齊 (Philip Ramsey)，北海文集團和新罕布夏大學高級資料科學家、統計顧問/教授
Tiffany D. Rau 博士，Rau Consulting, LLC 所有者兼首席顧問

品質源自於設計 (QbD) 是一種設計和開發策略，旨在從一開始就將品質融入產品設計中，而不是事後再進行測試。 QbD 計劃主要與生物製藥有關，但其包含的概念也適用於許多行業。生物製程開發 QbD 的關鍵要素是必須對製程進行全面表徵和優化，以確保為患者提供一致的高品質生產和產品。表徵通常採用響應曲面型實驗設計，並結合完全二次模型 (FQM) 作為建立預測模型的基礎。自 Box (1950) 發表以來，FQM 就被廣泛用於製程表徵和最佳化。作為未知響應曲面的二階近似，FQM 足以用於最佳化。 Cornell 和 Montgomery (1996) 指出，鑑於生物系統固有的非線性行為，FQM 通常不足以表徵整個設計空間，而這正是 QbD 所要求的。他們建議使用高階交互項來增強 FQM，以便更好地逼近完整的設計區域。遺憾的是，附加項的數量龐大，通常無法透過傳統的迴歸方法估算。我們證明，Gotwalt 和 Ramsey (2017) 的分數加權引導法可以估算這些完全增強的 FQM。透過兩個生物製程開發案例研究，我們證明了增強 FQM 模型在表徵完整設計空間方面顯著優於傳統 FQM。我們將使用 JMP Pro 15 全面示範增強 FQM 和 FWB 的用法。

自動產生的成績單...

揚聲器	抄本
蒂芙尼	首先，感謝您今天加入我們。我們將討論如何表徵不同的生物處理…觀察…並真正關注質粒DNA，看看分數加權引導法如何真正發揮作用。
	新增到您的流程中。所以 Phil 將在演示的後半部分與我一起講解 JMP
	例如，並給出一些不同的技術。
	被使用。
	我將討論 CMC 策略、生物技術、如何將藥物推向市場以及如何使用 FWB 等新工具來實現我們的流程。
	那麼，讓我們開始吧。化學製造控制之旅。這是一個漫長的旅程，我們將持續討論。
	為什麼選擇DOE？為什麼選擇預測模型？藥物上市的過程非常複雜。這不僅關乎實驗，也關乎臨床。
	並讓所有東西都融為一體。所以我們也會研究系統思維方法。然後，當然，我們會描述生物加工過程，然後是菲爾將要進行的案例研究。
	討論一下。那麼CMC途徑是什麼樣的呢？這是一個通用的例子，我們從毒理學角度來探討。這樣就能看出它是否有效。它是否有效。
	在非人體試驗中。一直到商業化生產，這其中涉及許多環節，例如製程開發。
	但你也必須有一個目標產品概況。你希望你正在開發的藥物實際上有什麼作用？在研發過程中，要理解這一點很重要。當然，
	以及品質目標產品概況。這……為了讓分子依規定發揮作用，需要哪些方面？
	然後我們查看關鍵的品質屬性，然後進行整個過程，所以它是...它是一個...它是一個群組
	因為你需要進行製程開發、製程特性描述、製程認證和BLA（產品許可協議）。每個步驟都需要大量的工作。
	我們也想確保你在經歷不同階段時，實際上正在建立這些數據
	分組。因為當你進行工藝特性和工藝鑑定時，你要確保能夠充分利用過去的信息，這樣你實際上就縮短了
	你的時間表。你可能會說：「蒂芙尼，我負責整個工藝的工藝表徵。」我會說：「當然。」但從監管的角度來看，我們需要的是針對CMC途徑的工藝表徵。
	大家可能都聽過疫苗、細胞和基因療法。這是現在非常熱門的話題，而且
	為以前從未能夠治療的患者帶來新的治療方法。
	所以，在細胞療法和基因療法這兩大類中，存在著不同的面向。對。我們有免疫療法。我們有幹細胞療法。
	我們做的是再生醫學。想像一下，你的背部受傷了，還能再生。這真是太了不起了。
	重點關注這一群體。但基因療法也備受關注。病毒載體。我們使用細菌載體嗎？我們如何獲取DNA
	進入系統以便為患者提供治療？嗯，血漿DNA就是其中之一，菲爾有一個很棒的案例研究，他們做了優化。
	所以你可能會問，“pDNA 是什麼？它為什麼重要？除了它是基因治療領域的一部分，這現在非常有趣？”
	嗯，事實上，它可以用於...預防性疫苗、免疫劑，用於...製備...高免疫球蛋白的製備
	癌症疫苗、治療性疫苗、基因替換。或者你
	一個孩子，對吧，他有一個罕見的基因突變。我們能進去修復嗎？所有這些都圍繞著這個，隨著基因治療技術的不斷發展，
	隨著商業化進程的推進，法規不斷增加，資料量也增加。
	想像一下，基因療法和細胞療法就像我們 20 多年前一樣，使用細胞培養和單株抗體
	這是一個奇妙的世界，我們每天都在學習新事物，然後我們會說，「哦，
	這不是平台。 「我們需要新的設備。我們需要新的工作方式。我們需要能夠分析非常非常小的數據集，因為在細胞療法和基因療法中，患者數量通常比其他適應症要少。
	那麼，pDNA 的下一步是什麼？當然，隨著細胞治療和基因治療市場的持續增長，我們將繼續沿著這條道路前進。
	進入商業化階段。我們需要能夠與FDA合作，攜手合作，因為這是我們以前從未做過的事。我們正在使用我們從未使用過的原材料和其他
	……其他藥物適應症。所以有很多事情要做。能夠生產像質粒DNA這樣的產品也至關重要，所以我們在合適的
	數量，還有品質。所以，如果你擁有世界上最好的藥物，卻無法生產，那麼你就沒有藥了。對嗎？你無法把它送到病人手中。
	因此，我們也需要確保我們的流程得到充分描述。正如我之前提到的，許多適應症的規模都很小。因此，臨床試驗的規模也很小。
	同時，病人的病情通常非常嚴重。因此，能夠分析我們的數據並快速回應他們的需求至關重要。
	無論是在臨床階段，或是商業化階段。我們不想出現這種情況：你猜怎麼著，我生產不了這種藥，對吧？我希望能夠生產。
	製造業也非常重要。不知道你是否注意到新聞裡有很多
	宣布擴大產能。當然，人們正在擴大疫苗產能，但pDNA也是一大措施。人們正在投入數百萬美元，有時甚至數十億美元。
	增加這些生產基地。你可能會說，好吧，你增加你的生產基地。
	太好了。但現在我需要能夠將技術轉移到那個生產基地。我需要確保我的流程是穩健的……穩健的，而且它不僅
	可以轉移和擴大規模，但要確保我有統計能力來說明
	我知道我的流程是可控的。例如，我可能存在 2% 的變異性，但這個變異性始終存在，而且我已經對其進行了表徵。
	隨著越來越多的產能上線，而我們也遇到了短缺，那麼問題來了，我應該把我的產品帶到哪裡？考慮到這些問題，我們需要更早地進行製造設計。
	你的產品線中可能有多個產品。所以你要確保自己能夠學習並掌握這些信息，然後說，讓我對這個產品做一些預測模型，它可能不是完全相同的產品，但具有相似的屬性。
	因此，商業化的道路非常綜合，就像 CMC 策略採用臨床方面一樣，
	一切都結合在一起，使分子得以通過。我們還有
	思考它的系統層面。為什麼？因為如果我們在上游領域有所行動，我們可能會提高生產力，
	假設是 200%，我們會說，「是的，我達到了我的里程碑。我可以給我的病人送藥了。」但如果我的下游或我的細胞
	恢復實際上無法恢復產品，無論是細胞還是蛋白質治療劑，那麼我們就沒有產品了。所有這些工作都白費了。所以擁有這些系統
	方法，確保你讓來自業務、供應鏈、品質控制、發現等各個不同部門的人員都參與進來......每個人都有自己能夠帶到談判桌上的知識，以便最終將知識交付給患者，這是非常關鍵的。
	現在我要把時間交給菲爾了。我本來很想多講講我們是如何研發藥物的，但現在…我們先來看看如何分析一些數據。菲爾，現在就把時間交給你了。
菲利普·拉姆齊	好的，謝謝蒂芙尼的討論
	為接下來的案例研究打下基礎。我將用大部分時間在 JMP 上演示一些重要的工具。你可能甚至不知道 JMP 中有哪些工具，
	這對於製程開發實際上非常重要，特別是在 CMC 途徑、化學製造控制和品質設計方面。
	流程開發有兩個重要特徵，一般來說，
	就是你想設計一個流程，但你也需要描述它的特性。事實上，你必須描述整個操作區域的特性。
	當然，我們希望進行最佳化，以獲得理想的產量。我們經常沒有充分討論的是，這些活動本質上都與預測有關。
	我們必須建立強大的預測模型，以便預測未來的表現。這對監管機構來說非常重要，尤其是在後期開發階段。你必須證明
	確保能夠可靠地生產產品。關於過程表徵和預測這個問題，有一篇非常著名的論文，作者是 George Box 和他的
	同伴威爾遜是一名工程師。
	他們在那裡討論了什麼是響應面，正如人們今天所注意到的。
	這項研究的關鍵在於他們所謂的完全二次模型。那是什麼呢？這是一個包含主效果的模型，
	所有雙向交互作用和二次效應。這很可能仍然是建立流程模型的黃金標準，尤其是在生產領域。
	但人們可能沒有意識到，它們對最佳化非常有用。它們是這些未知響應函數的良好二階近似。較不為人所知的是，在整個設計區域內，它們通常對響應曲面的近似效果不佳。
	1996 年，已故的約翰·康奈爾 (John Cornell) 和許多人都知道的道格·蒙哥馬利 (Doug Montgomery) 發表了一篇真正被低估的論文。
	在那篇論文中，他們提出了一個事實，即完整的二次模型通常不足以描述設計空間。從科學家的角度思考這個問題，想想這些生化因素的動態變化。
	過程通常都是這樣的。換句話說，存在大量的非線性，導致響應曲面在不同區域具有明顯的複合曲率。
	完整的二次模型根本無法解決這個問題。所以他們建議增強這個設計，並且添加了諸如二次乘以線性、線性乘以二次，甚至
	二次函數與二次函數的相互作用。事實證明，這些模型比完全二次模型更能近似設計區域。我稍後會向你們示範這一點。
	但他們面臨一個問題。首先，傳統的統計學家不喜歡這種方法；而如今，這種情況正在發生巨大變化。
	但是有很多這樣的項目可以添加到模型中，這樣即使是一個大型中心複合設計
	變得過飽和。這是什麼意思？這意味著未知數 p 的數量比觀測值的數量要多，需要擬合模型。事實證明，在機器學習和預測建模新技術的時代，這不再是真正的限制因素。
	我們要做的是，使用一種叫做分數加權引導法的方法。這可以在 JMP Pro 中完成。
	使用所謂的模型平均來建立模型來預測響應面，我實際上將使用這些大型增強模型。
	好的，所以當你嘗試建立這些預測模型，例如說「品質源自於設計」模型時，你需要注意一些事情。首先，
	1996年，機器學習的先驅之一、已故的Leo Brieman寫了一篇論文，這篇論文同樣沒有得到應有的重視。他指出
	我們用於預測的所有這些模型建立演算法（包括前向選擇、所有可能的模型、最佳子集、套索）
	本質上是不穩定的。這是什麼意思？不穩定意味著資料中的微小擾動都可能導致模型發生巨大變化。
	所以他做了一些工作來指出這一點，並提出了一個策略，說，「好吧，如果你能以某種方式模擬，
	模型擬合，並以某種方式擾亂每次模擬運行中的數據，我們可以擬合大量模型，然後對它們進行平均。 」他證明了這種方法具有潛力。
	在那個年代，他沒有太多工具來實現這一點。但今天我將在 JMP Pro 中向大家展示，我們擁有很多工具，我們將向大家證明布里曼的想法其實非常好。
	現在，機器學習和深度學習普遍接受的是一種整合建模和模型平均的想法。
	順便提一下，幾年前，John Sall 在 JMP 的逐步分析平台中創建了模型平均方法。它是 JMP 中隱藏的瑰寶。它運行良好，並且 JMP 的兩個版本都支持，但我將提供一個更全面的解決方案。
	這可以在 JMP Pro 中完成。這個解決方案被稱為自動驗證的分數加權引導法，我將解釋它的意義。
	當我們建立預測模型時，我們面臨一個挑戰。我們需要一個訓練集來擬合模型，然後我們需要一個額外的
	或驗證集來測試模型，看看它的預測效果如何。能源部根本就沒有這些額外的試驗。事實上，布里曼在這一點上陷入了困境。
	根本無法真正產生驗證錯誤。 2017年，在法蘭克福Discovery，JMP統計研究主管Chris Gotwalt和我
	做了一個演講，我們稱之為分數加權引導和自動驗證。自動驗證是什麼意思？這意味著，這看起來不會
	直觀地說，我們會把訓練集也當作驗證集。你可能會說：“嗯，這太瘋狂了。數據都一樣。”
	但這項技術有個秘訣，讓它發揮作用。我們的做法是，取得原始數據，複製它，稱之為自動驗證集。
	然後我們用一種特殊的方式，給觀測值分配隨機權重，並進行加權
	這樣我們就可以在訓練集和自動驗證集之間實現負相關。我很快就會向你們解釋這一點。
	好的。順便說一下，我們一直在指導我的博士生特倫特·萊姆基斯（Trent Lempkis），他在過去一年中通過詳盡的模擬對這種方法進行了廣泛的研究。
	我們將發表一篇論文來證明這種方法實際上比從 DOE 建立預測模型的傳統方法產生了更好的結果。
	所以我接下來要繼續討論這個案例。這就是蒂芙尼提到的
	pDNA。這是一個非常熱門的話題，pDNA 製造被認為是一個巨大的成長領域，生物科技界預計會有巨大的成長，甚至可能達到 40%。
	由於所有新療法的出現，該技術將逐年應用。
	在這種情況下，這在生物技術領域非常常見，我們實際上沒有任何現有數據可以用來建立預測模型。
	所以這自然引導我們進行實驗設計。在本例中，我們將使用確定性篩選設計。
	這些是 JMP 的 Brad Jones 和明尼蘇達大學的 Chris Nachtsheim 的奇妙發明。
	效率很高，我一直強烈推薦它們給生物技術領域的人們，因為他們用於實驗的時間和資源有限。
	基本上，我只是向你們展示一個生物過程的示意圖。我們將重點放在發酵步驟。
	但在實踐中，正如蒂芙尼所暗示的，我們會審視這一過程的上游和下游兩個面向。
	pH值、溶氧百分比、誘導溫度。這是我們設定發酵槽的溫度，以達到
	基因改造大腸桿菌開始產生質粒。質粒是什麼？嗯，它們實際上是非染色體DNA。
	它們在治療中有很多用途，尤其是基因治療，而且它們與細菌中常見的染色體 DNA 是不同的。
	我們的目標是讓這些經過改造的大腸桿菌盡可能產生pDNA。所以我們做了這個試驗。這是一個真正的實驗。由於我們之前對DSD還不熟悉，我們也進行了一個更大規模、更傳統的中心複合設計。而且我們單獨進行了這項實驗。
	我今天的計劃是，我們將使用 CCD 作為驗證集，並使用 DSD 上的自動驗證來擬合模型。我們拭目以待。好的，我現在要切換到 JMP。
	我要開啟一個資料表。這是DSD數據。我們將在這個資料集上進行所有建模。哦，對了，我要用一個40個預測因子的模型來擬合一個15個預測因子的模型。
	使用機器學習技術運行設計。對很多人來說，你必須明白，這些事情是可以做到的，而且機器學習和深度學習實際上一直在做這些事情。
	我想向大家介紹幾個插件，讓這一切變得簡單。你需要 JMP Pro。其中一個插件可以幫你設定表格。這是由 JMP 的 Michael Anderson 開發的。
	我就示範一下具體是怎麼回事吧。這個插件可以在 JMP 社群上找到。
	請注意，它獲取了原始數據，
	建立了一個驗證集。正如我所提到的，
	我們也有這個加權方案，這些權重是隨機產生的，正如你稍後會看到的，我們做了一個模擬研究，我們不斷地改變每個
	運行。這會產生數千次建模迭代。正如Leo Brieman所警告的那樣，你還會看到，當你
	擾動響應（我們不改變資料結構），你會看到模型中出現巨大的差異。所以我接下來會快速地向大家示範一下。
	所以我要去適應模型。
	我們必須告訴 JMP 權重的儲存位置。我們將使用廣義回歸，強烈推薦。
	因為這是一個快速演示，所以我將使用前向選擇，但這是一個非常通用的SWB程序，具有自動驗證功能。你可以在許多不同的預測或建模場景中使用它。我將進行前向選擇。好的，我擬合了一個模型。
	然後我來到
	估算表。我要右鍵單擊並選擇“模擬”。
	我告訴它我想進行一定次數的模擬運行，每次試驗我都想交換權重。我想生成新的權重。順便說一下，因為這是一個演示，所以我只進行10次模擬。
	這就是結果。你可以看到我們有 10 個模型，它們都非常不同。
	所以，在實踐中，我會進行數千次這樣的迭代。然後我稍後會向你們展示，
	然後我們可以取這些係數並取平均值。順便說一下，如果你看到零，那就意味著轉彎沒有進入模型。好的，我現在要給你展示另一個插件。
	所以我要關閉其中的一些，以便保持螢幕整潔。
	我們在 Predictum 開發了另一個外掛程式。這個外掛不僅支援派系加權引導，還開發了模型平均。換句話說，
	我剛才給你示範的那個插件，如果你想做模型平均，你可以自己用。好的。只是需要大量的手動操作。
	所以我要使用 Predictum 外掛。它會建立表格，然後我很快就會找到一個模型來說明插件的工作原理，我將使用標準響應面模型。
	我們想要預測 pDNA。我們將使用 gen reg。
	因此，再次說明一下，我將繼續使用前向選擇。
	再說一次，我在實踐中做了數千次迭代，但我只會做 10 次。
	按一下“前往”。
	好的。
菲利普·拉姆齊	再次強調，這是一個簡短的演講，真的，抱歉，三個演講合併成一個，但所有部分在 QbD 框架下是相互契合的。所以我有一個模型。這些是平均係數。再說一次，我只做了 10 個。我會把預測公式保存到資料表中。
	我會盡量保持螢幕整潔。
	這就是我的公式；應用程式為您完成了所有平均計算，因此您不必自己動手。
	這是公式。你可能不知道一個小技巧，這個公式比較複雜，尤其是當你想把它部署到其他資料表時。在公式編輯器中，有一個非常簡潔的函數叫做「簡化」。
	你看，它簡化了方程，使其更容易部署到其他資料集。好的，這就是該方法的一個例子。
	我現在要做的是展示發生了什麼
	當我們完成整個過程。這是一張數據表。在這裡你會注意到DSD和CCD資料庫結合在一起。
	我使用了行狀態變數來消除或排除DSD數據，因為我想專注於模型在驗證數據上的表現。同樣，這些模型僅適用於DSD。
	這是我的第 41 個字
	模型。這是經過數千次迭代後，用模型平均法得到的增廣全二次函數。為了比較，我重複了相同的過程
	對於小得多的21項全二次模型。那我們的預測結果如何呢？讓我為你們展示幾張實際值與預測值的比較圖。
	所以請記住，我必須強調，這是一次真正的驗證測試。 CCD 是單獨進行的。使用了不同批次的原料，包括一批新的大腸桿菌菌株。
	有些發酵槽不同，操作人員也完全不同。所以，對於生技領域的各位來說，這幾乎是你們能遇到的最艱難的預測工作了。
	因此，再次，該模型適合 DSD，左側是 41 項模型，即增強模型，預測誤差的總體標準差約為 67。
	在右側，我再次使用了有助於提高效能的模型平均，我只擬合了 21 項全二次模型，您可以看到預測誤差約為 70。
	事實上，如果不使用模型平均，很多人不會使用完全二次型的有用二次模型，所以效能會明顯下降。好的。
	那我有了模型。我該怎麼處理它呢？我們的目標通常是最佳化和特性描述。那麼，讓我打開一個分析器。我會幫你完成這件事。
	我要去分析器和圖表選單。我要用我最好的模型。那就是使用 Predictum 外掛的模型。順便說一句，如果你對這個插件感興趣，甚至
	正在進行 Beta 測試，請聯絡 Predictum，發送電子郵件至 Wayne@predictum.com，我相信他會非常樂意與您溝通。所以我要…
	進入模型，然後利用可取性，
	我只是想找到能最大限度提高產量的設定。順便說一句，
	這比他們歷史上的產量有了很大的改進，它為我們提供了我們應該看到的設置，
	性能的提高，順便說一句，這些有點不直觀，但在複雜系統中通常都是這種情況。
	事情永遠不會像你想像的那麼直覺。此外，還有一些非常重要的事情，尤其是在CMC途徑進行後期開發時。
	也就是說，他們希望你評估輸入的重要性，哪些輸入是重要的。
	評估變數重要性。同樣，我不會深入討論所有技術細節。
	所以，它告訴你，就反應變化而言，進料速率是迄今為止最重要的。這對人們來說不一定直觀。其次是溶氧百分比。
	那麼，這告訴你什麼？嗯，它告訴你，第一，你最好控制好這些變量，否則你很可能
	變化很大。現在，在這個特定情況下，我沒有關鍵的品質屬性。沒有可用的。
	因此，我們擁有一個對業務至關重要的屬性，那就是質粒DNA的生產。但我們在JMP中還可以做更多的事情來全面表徵設計空間。我所做的只是優化，但這並不是表徵。所以，Profiler還有另一個很棒的工具。好的。
	它被稱為模擬器。但它並沒有得到應有的廣泛使用。所以我所做的就是為輸入定義了分佈。
	也就是說，我預期輸入會改變。這就像FDA想知道的那樣。當輸入變化很大時，你的製程性能會怎麼樣？沒有完美控制的工藝，尤其是在擴大規模之後。
	順便說一下，我想到這些更複雜的模型，這些增強的完全二次模型，
	根據經驗，我可以告訴你，它們比完全二次模型的擴展性更好。這也是擬合這些更複雜模型的另一個原因。
	模擬器裡有個很棒的工具叫做「模擬實驗」。它的作用就是進行我們所謂的空間填充設計。它會將點分佈到整個設計區域。所以我假設我想進行 256 次運行。
	它會進行5000次模擬，計算每個點的平均標準差和總體缺陷。對的。
	所以這其實進行得相當快。我只是向你們展示一下輸出結果。再說一次，我已經完成了。
	因此，為了節省時間，我將開啟另一個數據表。
	最小化另一個。
	這就是模擬研究的結果。
	我不會講到所有細節，但我根據主要內容擬合了一個模型，根據標準差擬合了一個模型，並且根據總體缺陷率擬合了一個模型。
	有些領域的缺陷率較低，有些領域則相對較高，這就是我們所說的高斯過程模型，通常用來模擬資料。那麼，我們該如何處理這些呢？
	模型和這些模擬結果如何？嗯，再次強調，特性描述很重要。我先簡單介紹一下。
	這是三維散點圖，我們關注的是進料速率和溶解氧百分比，因為它們非常重要。圖中的點以缺陷率加權；更大
	球體越大，缺陷率就越高。所以，如果你環顧四周，你會發現有些區域我們絕對不想操作。
	因此，我們正在描述我們的設計空間，並尋找更安全的操作區域。當然，我可以這樣做
	只需選擇一些其他變量，無論如何，它只會顯示你真正想要避開的其他區域。我們可以用它做更多，但我認為這說明了問題所在。我們還可以
	繼續並再次使用分析器，我將重新進行最佳化。
	但我要換個方法。這樣我就能最大化平均pDNA了。
	我想要採取雙重應對措施，並儘量降低整體缺陷率。
	因此，我將繼續使用可取性。
	這需要幾分鐘。我們正在優化這些非常複雜的模型。
	請注意，它出現並說
	高進料速率、高溶氧、
	接近中性pH值和誘導。順便說一下，誘導，如果你想知道誘導OD 600是多少，那是微生物質量的量度
	一旦達到一定質量（沒人知道具體是多少，所以我們才做這個實驗），物質的溫度就會升高。這實際上
	迫使大腸桿菌開始釋放質粒DNA或質粒，而它們天生就具備這種能力。所以我們稱之為誘導溫度。好的。請注意設置，
	雖然我們保證了較低的缺陷率，但整體優化響應並沒有那麼高。但請記住，我們也將採用一個更不容易產生缺陷的流程。
	好的，那麼現在，
	我就快速跳到結尾吧。
	幻燈片。所有內容都在這些投影片裡。它們都已上傳
	到
	JMP 社群。最後是一份執行摘要，我們主要向大家展示的是流程和產品開發
	使用CMC途徑（其中一部分是品質源於設計）需要一種整體或綜合的方法。這其中需要大量的系統思維。
	流程設計和開發本質上是一個預測問題，而這正是機器學習和深度學習的領域。它並非你所想的那樣；它並非建築業的常規業務。
	統計學中的模型，尤其是預測模型。我們已經向你展示了分數加權引導自動驗證和模型平均
	可以產生非常有效和準確的預測模型。我還要再次強調，康乃爾和蒙哥馬利這些更複雜的增強模型其實非常重要。
	它們確實擴展性更好，而且能提供更好的特性。謝謝大家，我的演講就此結束。

進階統計建模基礎資料分析與建模消費者與市場研究內容組織數據探索與視覺化實驗設計預測模型和機器學習品質與工藝工程可靠度分析分享和交流成果