756640_zh-CN

liliconcom

避免浪费时间调查虚假效应 (2021-EU-30MP-771)

Jose Goncalves，牛津生物医学工艺研发部上游科学家
Rebecca Clarke，牛津生物医学工艺研发部上游高级科学家
George Pamenter，牛津生物医学下游工艺研发科学家
Thomas Chippendale，Oxford Biomedica 工艺研发部上游高级科学家

近年来，牛津生物医学公司 (Oxford Biomedica) 的细胞培养生物过程数据生成量显著增长。数据收集的增长不仅得益于密集的工艺开发和特性研究，也得益于高通量生产系统的整合。在整个细胞培养过程中，许多在线和离线工艺参数都会被记录。然而，由于生物系统的复杂性，主要的挑战之一是识别可能影响工艺性能或产品产量的真正因素。保留验证 (Holdback validation) 通常用于避免过度拟合并防止模型中包含非真实项，但使用单个验证列可能无法有效预测最佳模型。本演示将演示如何使用多个验证列重新拟合模型，从而识别出最简单且最常出现的模型。本演示使用了来自 67 个生物反应器生产运行的数据，其中包含 20 个候选预测变量。使用 JMP® Pro 中的模拟功能随机生成了 100 个验证列。

自动生成的成绩单...

扬声器	抄本
丽贝卡·克拉克	大家好，我叫丽贝卡，今天和我一起的还有何塞和乔治，今天我们将和大家讨论如何使用 JMP Pro 验证方法来帮助我们不再浪费时间调查错误的影响。
	首先，我想先介绍一下我们公司以及我们的业务。我们为牛津生物医学公司（Oxford Biomedica）工作。
	我们是基因和细胞治疗业务的先驱，在慢病毒载体研究、开发和生物加工方面处于领先地位。
	我们在这个领域有超过20年的经验。我们是第一家使用慢病毒载体疗法治疗人类的公司。其中一些
	我们合作的当地合作伙伴列在右下角，我们与诺华、索诺菲、勃林格殷格翰和 Orchard Therapeutics 合作，我们治疗的一些疾病包括癌症、中枢神经系统疾病和囊性纤维化等等。
	因此，去年，牛津生物媒体公司也加入了英国疫苗联盟，共同抗击 COVID-19。
	该联盟由牛津大学詹纳研究所运营，目标是快速开发 COVID-19 候选疫苗。
	通过加入该联盟，牛津生物医学公司允许该联盟使用我们最先进的生产设施，从而扩大了疫苗的生产规模。此后，我们又与阿斯利康签署了临床和商业供应协议。
	根据这项协议，我们同意如果阿斯利康新冠疫苗在临床试验中取得成功，我们将向其供应疫苗。我相信大家都知道，该疫苗确实取得了成功，牛津生物公司至今仍在继续生产该新冠疫苗。
	因此，我也想简单介绍一下我们在这里以及在 OXB 使用的流程。
	生物过程是利用活细胞或其成分来获得所需产品的过程，因此众所周知
	这种过程的例子是酒精饮料的发酵。
	在这个过程中，酵母是活性成分，它和酿造啤酒所需的所有其他成分一起被放入生物反应器中，酵母会启动一种叫做发酵的化学反应。在发酵过程中，葡萄糖会转化为乙醇。
	然后，一旦发酵反应完成，生物反应器中的内容物就会被收集起来，并通过过滤进行净化，然后我们就得到了最终产品——啤酒。
	我们在牛津生物医学中心采用的工艺类似于发酵。我们工艺中的活性成分是
	细胞培养，所以我们将生物反应器放入细胞培养中，并放入制造慢病毒因子所需的其他成分。
	在这个生产过程结束时，生物反应器的内容物被传送到下游处理，产品被净化，然后装瓶并运出供患者使用。
	这张幻灯片展示了药物研发的生命周期。左侧最下方是研究阶段。
	因此，在这个阶段，我们要确定在疾病机制中重要的目标基因或蛋白质。
	而且，我们还针对这些目标开发药物，并展示该药物是否能够成功针对该疾病。
	然后，在生命周期的最后，我们进行商业化生产，制造并装瓶药物供患者使用。
	所以我们的团队，工艺研发团队，就位于这两个阶段之间。我们的工作是设计、优化和扩大生产流程。
	并将药品从研究台转移到生产环节。我们使用的一些工艺包括小型摇瓶，以及高达50升的生物反应器。
	因此，正如您所想象的，我们在工作过程中会产生大量数据，并且生物反应器有许多我们需要监控和优化的输入参数。
	由于我们生成的数据量巨大，因此很难辨别在优化过程中应该关注哪些参数。
	而且由于我们必须处理的参数数量庞大，单独优化每个参数在商业上是不可行的，因此此时我们寻求统计建模。
	我们使用这些模型来尝试缩小我们应该优化的潜在参数列表。
	因此，虽然这些模型很有用，但我们在工作过程中确实会产生很多随机噪声，这是由于生物处理的生命性质所致，所以没有两种培养物是相同的。
	因此，这种随机噪声显然会被纳入我们的统计模型中，这会导致我们在优化实验中浪费时间研究非真实的影响。
	因此，我们考虑使用 JMP Pro，特别是它的验证功能，
	这有望帮助我们进一步缩小要研究的参数范围，从模型中去除不真实的影响，并且
	以避免我们的模型过度拟合。现在我将把时间交给 Jose，他将向大家讲解整个数据验证方法。
何塞·贡萨尔维斯	好的，我叫 Jose，我将讲解整个优化方法，这是一种方法，一种仅在 JMP Pro 上可用的建模工具。我们感兴趣的是探索如何使用……它在 OXB 中能发挥多大作用……
	我看到了它有多么有用
	OXB 用于生物过程数据建模。正如 Rebecca 所说，
	我们在生产过程中使用这些 Steritank（？）反应器，基本上我们将细胞培养到这些生物反应器中，并生产这些病毒载体，这是我们的
	主要产品。这是我们想要最大化和建模的，所以这实际上是我们的响应变量。
	生物反应器需要许多控制输入，并在一个生产过程中产生大量数据，因此需要一个工具来帮助确定哪些输入输出值得研究，
	这对我们来说非常有价值。它将使我们能够节省时间，释放资源，并让我们能够更有针对性地开展流程调查。
	因此，在开始构建模型之前，我们必须首先从历史批次中收集尽可能多的数据。
	因此，这些数据可以指示我们的生产流程运行情况，任何数据异常都可能预示着载体滴度会受到不利影响。在左侧，您可以看到
	我们收集了 20 个变量的数据，不幸的是，我们无法显示变量的实际名称，并且我们不得不将数据匿名化。
	因此，我们在这里将它们从 X1 列到 X20。由于我们的过程是一个相当动态的过程，我们无法预期预测变量之间的共线性程度。所以
	总而言之，我们有一个包含 20 个变量或 20 个候选预测因子的数据集，并且我们已经收集了 67 个历史批次的数据。
	因此，由于这是 JMP Pro 试验的一部分，我们认为一开始就使用标准 JMP 构建模型，然后将其与使用保留公式方法构建的另一个模型进行比较，这将是一件很棒的事情。
	在这里，为了构建不带验证方法的模型，我们使用 JMP 上的标准建模平台和
	我们在这里选择了响应面模型，因为我们希望所有主效应、交互作用项和平方项都纳入模型。这里，在性格方面，我们选择采用逐步递进的方式。所以在右边，
	我们有逐步回归控制面板，我们使用停止规则作为我们的 P 值阈值，因此其余参数我们保留默认值。
	然后，运行逐步回归后，这就是生成的最终模型。
	大家可以看到，模型中有八个项，其中七个是显著的。我想请大家注意一下这前三个因子，因为它们……它们在我们的模型中非常重要，而且它们会……
	在接下来的几张幻灯片中，我将展示
	结果...结果
	当我们使用保留验证方法时，这里的旧模型很重要，可以解释我们数据集中约 44% 的变化。
	这就是我们最初的方法。
	我们对生成的第一个模型感到满意，但我们更感兴趣的是了解有关验证方法的更多信息。
	因为研究所有这些预测因素需要花费大量的时间和实验室资源，所以这就是我们接下来采取的方法。
	以下是关于此保留验证方法如何工作的概述。
	本质上，我们有数据集，数据集将被随机分成两组。所以在左边，70% 的数据
	将会被分配到一个训练集中，这是将用于专门构建模型的数据比例。
	右边是我们将分配给验证集的 30% 的数据，这是将要使用的数据比例
	当验证集的 R 平方达到最大值时，停止模型构建过程。所以在底部，
	我们可以看到，这是逐步回归平台的屏幕截图，它本质上与我们之前使用的相同，但是有一个停止规则，这表明，
	最大验证 R 平方，而不是我们的 p 值阈值。所以，底部的这张图显示
	我们有训练集，我们有验证集，标记为排除。
	所以，正如你所看到的，当我们开始在模型中输入术语时，
	因为我们这里有这个规则，这个正向规则，我们从零项开始进入模型，然后我们逐步地将项添加到模型中。
	当我们开始添加这些项时，R 平方增加得相当快，直到我们在模型中加入五个项，之后 R 平方的改善就不多了
	当我们开始……当我们不断添加越来越多的词条时。因此，当我们使用这种方法时，一个重要的事情是验证集会发生什么，
	因为这和我们的停止规则有关。所以，当我们开始在模型中添加项时，发生的事情基本上是一样的。
	R 平方增加得相当快，直到达到最大 R 平方，然后在该点之后，随着我们继续添加越来越多的项，R 平方会减小。
	所以，验证集的作用就是……我们想用这个验证集来停止这个阶段的模型构建过程，这样我们就可以在这里包含所有这些术语，这些术语可以解释数据集中的大部分变化，并避免
	在模型中包含所有这些术语可能会导致模型过度拟合，或者它们可能根本不是真实的。
	运行逐步回归后，这就是最终生成的模型，正如你所见，我们将显著项从八七个减少到了三个。你还记得，这些项在我们不使用
	坚持验证方法，所以在这里它们看起来根本不重要。
	实际上，该模型只能解释我们数据集中大约 4% 的变化。
	所以，这相当……我们认为模型中的术语数量急剧减少，我们开始想，好吧，也许我们在为……生成的验证集上有点不走运。
	用于构建这个特定的模型，我们认为……JMP Pro 的一大优点是我们可以使用这个广义回归平台，它本质上……输出本质上看起来与逐步回归相同，但在这个
	广义回归平台，我们可以用这个模拟函数。它的作用基本上就是反复运行模型，次数不限。
	然后将其用于生成的每个模型，它使用不同的验证集。所以这是我们接下来采取的方法。
	而且因为
	我们无法列出我们生成的所有模型，本质上我们只是……我们尝试生成了 100 个模型，或者进行了 100 次模型模拟。所以我们无法在这里全部列出。
	我们想要总结结果的方式是......我们尝试计算在 100 次模拟之后选择某个特定因素并将其纳入模型的次数。
	这张图显示的正是这个。右边……左边
	我们刚才……这些只是参数估计值。这对于观察数据的散度很有帮助。这里，
	正如你所见，我们有X13和X8，这些交互项在不使用这种方法时实际上是显著的。这里以X13为例，它只……只被拾取了46次。
	被纳入模型或 46% 的时间被纳入模型，所以，这是一个相当低的数字，正如我们预期的那样，因为
	这些因素在我们不使用这种方法时非常显著。所以
	我们使用保留验证方法得出的结论是，它对于科学家来说绝对是一个很好的工具，特别是当我们建立模型时
	我们有一些变量显得很重要，但它们与我们的科学理解不太相符。所以，我们得出的另一个结论是
	这项研究的具体优势在于，我们可以放心地假设，我们研究的工艺属性不会显著影响我们的载体滴度。现在，我将把时间交给乔治。他将讲解自动验证。
乔治·帕门特	大家好，我叫乔治。我在牛津生物医学公司的净化组工作。我接下来会简单聊聊这个自动验证。
	JMP 提供的方法及其在实验设计中的具体应用，例如数据结构。我将简单介绍一下我们是如何利用该方法从病毒载体纯化优化模型中移除一个变量的。
	好的，首先为那些不了解病毒载体纯化的人介绍一些背景知识。
	因此，本质上我们从生物反应器中获取这种细胞培养材料。
	而且这种材料是相当粗糙的材料，因此包括我们感兴趣的治疗药物都是病毒载体，其中还包括数千种其他物种、污染物种。
	它们可以是任何东西，从不需要的蛋白质到细菌 DNA，有时甚至是无效的病毒。
	因此，纯化的目的实际上是将纯病毒载体产品与所有这些不同的污染物分离。
	但这些过程可能极其复杂，涉及色谱法或酶处理，以及许多影响其性能的不同因素。因此，我们需要一种高效地选择最佳条件以达到最佳纯度的方法。
	我们很多时候的做法是利用实验设计。实验设计在整个生物工艺开发过程中很常见，
	我们主要使用它们来筛选、优化和全面描述我们的生物过程。
	本质上，随着我们沿着药物开发时间表前进，随着我们走向商业化生产，我们的实验规模也在扩大。
	我们能做的实验数量实际上在减少，而且我们越接近商业产品，改变事物就越困难。
	因此，我们需要能够在开发早期做出明智的决定，而我们这样做的方式是
	开发有效的模型。如果我们早期就拥有一个有效的模型，它就能让我们更有信心，确保我们在执行整个流程时选择了最佳条件。
	我将详细介绍我们如何在一个具体案例中使用这项自动验证技术。我们进行了响应面实验设计。
	在病毒载体纯化步骤中，我们无法与您分享实际数据，但我们必须在此对其进行规范化。
	所以这是一个三因素设计空间，我们感兴趣的输出或响应变量是杂质水平。所以这个杂质水平可能是污染DNA蛋白的含量，类似这样的描述。
	因此，这样做的目的实际上是优化这些模型，以尽可能降低杂质水平。
	这就是我们在 JMP 设置中最初看到的情况，有三个输入变量和这个响应杂质。
	因此，我们最初使用逐步回归平台和套索回归（这是 JMP Pro 的功能）建立了一些模型。
	实际上，一开始我们对所看到的结果非常满意，因此我们解释了相当多的数据。
	我们似乎解释得很好，并且我们开始看到我们期望看到的变量。
	但是有一个变量让我们不太确定，那就是 X1 X3 交互，你可以看到我在这里突出显示了。
	如果你把注意力集中到屏幕的右上角，你会看到这个 X1 配置文件完全根据以下情况而变化
	X3 的值，所以当 X3 值较低时，老实说，我们没有发现这种实际影响，而当 X3 值较高时，我们得到了这种正相关性。
	这实际上让我们感到困惑，也有点担心，因为实际上这种 X1 X3 相互作用与我们科学理解的并不相符。
	这让我们有点困惑，也有点像我们的模型是否真的正确地解释了我们看到的数据。
	它还对流程开发具有重大的现实意义，因为这个 X3 变量实际上是已知的
	变化很大。所以我在这里用的比喻是，如果我们正在开发两种药物的剂量，即X1和X2，
	我们发现，剂量实际上取决于患者的年龄，比如X3，这需要深入挖掘和研究。因此，探索这种相互作用实际上需要大量额外的实验成本和时间。
	因此，我们想对此进行一些验证方法，因此我们咨询了 JMP 的同事，
	他们基本上告诉我们，不幸的是，他们无法在实验数据结构的设计中使用这种保留验证。
	原因是，你可以想象，我将 70% 的验证集（即训练集）分配给了设计空间中的数据，
	我们实际上构建了模型，但实际上完全缺失了部分设计空间。因此，这种保留验证方法并不适用于 DOE 数据集。
	因此，JMP 的同事向我们提出了这种自动验证方法。
	他们向我解释的基本上是，你需要对整个数据集进行重新采样。所以，你需要用整个数据集进行训练，用整个数据集进行验证。
	乍一看，这有点像作弊，对我来说确实如此，但据我所知，实现这一目标的公平方式是
	是通过应用这三个额外的列，实际上是通过这个削减的分数加权引导权重。
	本质上，我认为这里的想法是，如果你在模型训练中使用了一段数据，那么你就会对其进行加权，这样你就不会在验证中过多地使用同一段数据，这就是你如何避免重复计算数据的方法。
	所以我们使用了这种方法。我们在我们的模型上运行了它。这里您可以看到JMP中的设置，我们再次使用了广义回归平台，这是一个JMP Pro工具。
	这里和 Jose 解释的差不多，但不是模拟不同的
	在训练和验证任务中，我们实际上模拟了这种部分加权。我们模拟了多次，以生成不同的模型，实际上我们模拟了500次。
	再次，我们现在的数据输出就像 Jose 之前那样，右边是一个直方图，显示了特定变量的
	列在我们的模型中，左边是来自不同模型的参数估计值。
	我实际上在这里画了一条红线，我把它叫做零因子线。所以这个零因子变量有点像一个假变量。
	所以我们知道这是一种无意义的变量，因为如果我们看一下左边的零因子，你可以看到它的参数估计值在零附近分布相当广泛，所以它实际上不知道要去哪里。
	因此，我们画出这条线，并说任何......当零因素第一次出现时，任何低于该因素的因素我们都认为很可能是非真实的影响。
	所以，这算是一系列非真实术语。我用蓝色高亮显示了这个 X1 X3 相互作用，我相信你们一定看到了，这也是我们关注的那个。
	您可以在这里看到，它出现的次数较少，并且有很多零因子效应，所以这是我们第一次发现这可能不是真正的效应。
	所以我们不想就此止步。我们用不同的
	自动验证设置，我这里生成了三个例子。你可以看到，在每个例子中，用蓝色高亮显示的这个 X1 X 3 交互作用始终低于这条红线，也就是零因子线。
	因此，基于此，我们非常有信心我们所看到的可能不是真正的效果，因此我们能够将其从我们想要的模型中消除。
	现在我们来比较一下最终结果。左边是我们构建的初始模型，其中包含了 X1 X3 的相互作用。
	然后在右侧，我们删除了该自动验证模型。
	我想，我们首先注意到的其实是R平方的减少。所以乍一看，你可能对数据的解释力减弱了，但实际上，现在我们更加确信我们所解释的内容是真实的。
	您可以在这里看到其输出的最小化优化条件的差异。
	这实际上在处理方面给我们带来了很多好处。记住，这些都是现实生活中的变量，它们背后都有真实的东西。
	所以这个X1变量实际上对我们的流程来说是一个非常昂贵的变量。所以我们非常……很高兴看到我们能够降低这个变量。
	同样，随着这个 X2 变量的下降，从科学原因来看，这实际上也对我们的流程有很大好处，所以我们也能够减少它，这对我们有好处。
	我想，这些都是幸运的巧合，但真正让我们高兴的是，
	您可以看到，删除 X1 X3 交互后，我们看到 X1 和 X2 的轮廓实际上是恒定的，这实际上与
	我们获得的科学理解与我们预期的一致，所以我们很高兴观察到这一点。显然，我们现在已经离开了，并且通过后续实验对这两个模型进行了测试，只是为了看看哪一个表现最好。
	在所有情况下，这实际上......这个自动验证的模型与我们在最后的实验中看到的观察结果一致。
	我现在就把它还给我，丽贝卡。
丽贝卡·克拉克	我只是想简单总结一下我们之前讨论的内容。我们知道，非真实效应对生物工艺的开发时间和实验成本都有实际影响。
	在这里，我们研究了两种验证方法来帮助我们进行生物过程，以强调我们可以从优化实验中消除的潜在非真实影响。
	因此，我们成功地使用了保留验证工具从优化列表中删除了许多参数，然后我们还在 DOE 类型实验中使用了自动验证。
	在这些情况下，生成的模型随后也会通过实验得到验证。总的来说，我们对 JMP Pro 的使用非常满意。
	特别是，我们生物过程中的验证方法可以帮助我们节省大量时间和资源，而不会关注不真实的效果。
	最后，我们要感谢 JMP 的 Robert Anderson 和 Anna Roper，他们在整个演示过程中为我们提供了帮助，演示就到这里，谢谢大家的聆听。

高级统计建模基础数据分析与建模消费者和市场研究实验设计预测模型和机器学习质量与工艺工程可靠性分析