349236_zh-CN

liliconcom

避免浪费时间调查虚假影响 (2021-EU-30MP-771)

级别：中级

Jose Goncalves，Oxford Biomedica 工艺研发部上游科学家
Rebecca Clarke，Oxford Biomedica 工艺研发部上游高级科学家
George Pamenter，Oxford Biomedica 下游工艺研发科学家
Thomas Chippendale，Oxford Biomedica 工艺研发部上游高级科学家

近年来，牛津生物医学公司细胞培养生物过程数据的生成量显著增长。数据收集量的增加不仅是由密集的工艺开发和特性研究推动的，也是由于高通量生产系统的整合。在整个细胞培养过程中，记录了许多在线和离线工艺参数。然而，由于生物系统的复杂性，主要挑战之一是识别可能影响工艺性能或产品产量的真正因素。保留验证通常用于避免过度拟合并防止模型中包含非真实项，但使用单个验证列可能无法有效预测最佳模型。本演示将展示如何使用多个验证列重新拟合模型，以便识别最简单和最常出现的模型。来自 67 个生物反应器生产运行的数据包含 20 个候选预测因子，用于分析。JMP® Pro 中的模拟功能用于随机生成 100 个验证列。

自动生成的成绩单...

扬声器	脚本
丽贝卡·克拉克	好的，大家好，我叫丽贝卡，今天和我一起的还有何塞和乔治，今天我们将和你们讨论如何使用 JMP Pro 验证方法来帮助我们不再浪费时间调查错误的影响。
	首先我要介绍一下我们公司以及我们所做的工作。我们为 Oxford Biomedica 工作。
	我们是基因和细胞治疗业务的先驱，在慢病毒载体研究、开发和生物加工方面处于领先地位。
	因此，我们在该领域拥有超过 20 年的经验。我们是第一家使用慢病毒载体治疗人类的公司。其中一些
	我们合作的当地合作伙伴列在右下角，我们与诺华、索诺菲、勃林格殷格翰和 Orchard Therapeutics 合作，我们治疗的一些疾病包括癌症、中枢神经系统疾病和囊性纤维化等等。
	因此，去年牛津生物媒体公司也加入了英国疫苗联盟，共同抗击新冠肺炎疫情。
	该联盟由牛津大学詹纳研究所管理，目标是快速开发 COVID-19 候选疫苗。
	通过加入该联盟，Oxford Biomedica 允许该联盟使用我们最先进的 ??? 套件，从而扩大疫苗的生产规模。因此，在此之后，我们与阿斯利康签署了临床和商业供应协议。
	根据该协议，我们同意如果阿斯利康新冠疫苗在临床试验中取得成功，我们将向其供应该疫苗。我相信大家都知道，该疫苗确实取得了成功，牛津生物制药公司至今仍在继续生产新冠疫苗。
	所以我也想简单介绍一下我们在这里以及在 OXB 使用的流程。
	生物过程是利用活细胞或其成分来获得所需产品的过程，因此众所周知
	这种过程的例子是酒精饮料的发酵。
	在这个过程中，酵母是活体成分，酵母和酿造啤酒所需的所有其他成分被放入生物反应器中，酵母引发一种称为发酵的化学反应。在发酵过程中，葡萄糖转化为乙醇。
	然后，一旦该发酵反应完成，就会收获生物反应器的内容物并通过过滤进行净化，然后我们得到最终产品即啤酒。
	因此，我们在 Oxford Biomedica 使用的工艺类似于发酵。因此，我们工艺中的活体成分是
	细胞培养，因此我们将生物反应器放入细胞培养中，并放入制造慢病毒因子所需的其他成分。
	在该生产过程结束时，生物反应器的内容物被传送至下游加工，产品被净化，然后装瓶并运出供患者使用。
	这张幻灯片只是展示了药物开发的生命周期。左侧最下方是研究阶段。
	因此，在这个阶段，我们要确定在疾病机制中重要的目标基因或蛋白质。
	而且，我们还针对这些目标开发药物，并展示该药物是否能够成功针对该疾病。
	然后，在生命周期的最后，我们进行商业化制造，制造并装瓶药物供患者使用。
	因此，我们的团队，即工艺、研发团队，处于这两个阶段之间。我们的工作是设计、优化和扩大生产流程
	并将药品从研究台转移到制造台。我们使用的一些工艺包括小型摇瓶，以及高达 50 升的生物反应器。
	因此，你可以想象，我们在工作过程中会产生大量数据，并且生物反应器有许多我们需要监控和优化的输入参数。
	由于我们生成的数据量巨大，因此很难辨别在优化过程中应该关注哪些参数。
	而且由于我们必须处理的参数数量庞大，单独优化每个参数在商业上是不可行的，因此此时我们寻求统计建模。
	我们使用这些模型来尝试缩小应该优化的潜在参数列表。
	因此，虽然这些模型很有用，但我们在工作过程中确实会产生大量随机噪音，这是由于生物处理的生命性质所致，因此没有两种培养物是相同的。
	因此，这种随机噪声显然会纳入我们的统计模型中，这会导致我们在优化实验中浪费时间研究非真正的影响。
	因此，我们考虑使用 JMP Pro，特别是其验证功能，
	这有望帮助我们进一步缩小要研究的参数列表，从模型中去除非真实影响，并
	以避免我们的模型过度拟合。现在我将把话题交给 Jose，他将向你们讲解整个数据验证方法。
何塞·贡萨尔维斯	好的，我叫 Jose，我将介绍整个优化方法，这是一种方法，一种仅在 JMP Pro 上可用的建模工具。我们有兴趣探索如何使用...它在 OXB 中有多大用处...
	我看到了它有多有用
	OXB 用于生物过程数据建模。正如 Rebecca 所说，
	我们在工艺过程中使用这些 Steritank(?) 反应器，基本上我们将细胞放入这些生物反应器中培养，然后生产这些病毒载体，这是我们的
	主要产品。这是我们想要最大化和建模的，所以这实际上是我们的响应变量。
	生物反应器需要许多控制输入，并在一个生产过程中产生大量数据，因此需要一种工具来帮助确定哪些输入输出值得研究，
	这对我们来说非常有价值。它将使我们能够节省时间，释放资源，并允许采用更有针对性的流程调查方法。
	因此，在开始构建模型之前，我们必须首先从历史批次中收集尽可能多的数据。
	因此，这些数据可以让我们了解生产过程的运行情况，数据中的任何异常都可能表明对我们的载体滴度产生不利影响。所以在左侧，你可以看到
	我们收集了 20 个变量的数据，不幸的是，我们无法显示变量的实际名称，并且我们不得不将数据匿名化。
	因此，我们在这里将它们从 X1 列到 X20，并且由于我们的过程是一个相当动态的过程，因此我们无法预期预测因子之间的共线性程度。所以
	总而言之，我们有一个包含 20 个变量或 20 个候选预测因子的数据集，并且我们已经从 67 个历史批次中收集了数据。
	因此，由于这是 JMP Pro 试验的一部分，我们认为一开始就使用标准 JMP 来构建模型，然后将它与使用保留公式方法构建的另一个模型进行比较，这将是一件很棒的事情。
	在这里，为了建立不使用验证方法的模型，我们使用 JMP 上的标准建模平台和
	我们在这里选择响应曲面模型，因为我们想让所有主效应、交互项和平方项进入模型。在这里，在个性方面，我们选择逐步进行。所以在右边，
	我们有逐步回归控制面板，我们使用停止规则作为我们的 P 值阈值，因此其余参数我们保留默认设置。
	然后，运行逐步回归后，这就是生成的最终模型。
	在这里，你可以看到，我们在模型中有八个项，其中七个是显著的。所以我想提请大家注意这里的前三个因素，因为它们在我们的模型中非常重要，而且它们将是
	非常重要，在接下来的几张幻灯片中我将展示
	结果...结果
	当我们使用保留验证方法时，这里的旧模型很重要，可以解释我们数据集中约 44％ 的变化。
	这就是我们的初步方法。
	我们对生成的第一个模型感到满意，但我们更感兴趣的是了解有关验证方法的更多信息。
	因为研究所有这些预测因素需要花费大量的时间和实验室资源，所以这是我们接下来采取的方法。
	这里是关于该保留验证方法如何工作的概述。
	本质上，我们有数据集，数据集将被随机分成两组。因此在左侧，70% 的数据
	将会被分配到一个训练集中，这是将用于专门构建模型的数据比例。
	右边是 30% 的数据，我们将这些数据分配给验证集，这是将要使用的数据比例
	当验证集的 R 平方达到最大值时，停止模型构建过程。所以在底部，
	我们可以看到，这是逐步回归平台的屏幕截图，它与我们之前使用的基本上相同，但是有一个停止规则，这表明，
	最大验证 R 平方，而不是我们的 p 值阈值。所以这里，底部的图表显示
	我们有训练集，这里有验证集，标记为排除。
	所以，正如你所看到的，当我们开始在模型中输入术语时，
	因为我们有这个规则，这个前向规则，我们从零项开始进入模型，然后逐步将项添加到模型中。
	当我们开始添加这些项时，R 平方增加得非常快，直到我们在模型中加入五个项，之后 R 平方的改善就不大了
	当我们开始……当我们不断添加越来越多的术语时。因此，当我们使用此方法时，重要的事情之一也是验证集中发生的事情，
	因为这与我们的停止规则有关。因此，当我们开始向模型中添加项时，发生的事情基本上是一样的，
	R 平方增加得相当快，直到达到最大值，然后在这个点之后，随着我们继续添加越来越多的项，R 平方逐渐减小。
	所以，这就是验证集的作用......我们想要使用这个验证集来停止此阶段的模型构建过程，这样我们就可以在这里包含所有这些术语，这些术语可以解释我们数据集中的大部分变化，并避免
	在模型中包含所有这些项可能会导致模型过度拟合，或者它们可能根本不是真实的。
	因此，在运行逐步回归之后，这就是生成的最终模型，正如您所看到的，我们将显著项从八个或七个减少到只有三个。而且，您还记得，当我们不使用
	坚持验证方法，所以在这里它们看起来根本不重要。
	实际上，该模型只能解释我们数据集中大约 4% 的变化。
	所以，这相当……我们认为模型中的项数大幅减少，我们开始想，好吧，也许我们在为生成的验证集方面有点不走运
	建立这个特定的模型，我们认为...JMP Pro 的一大优点是我们可以使用这个广义回归平台，它本质上是...输出本质上看起来与逐步回归相同，但在这个
	广义回归平台，我们可以使用这个模拟函数。它的作用基本上就是反复运行模型，次数不限。
	然后将其用于生成的每个模型，它使用不同的验证集。所以这是我们接下来采用的方法。
	而且因为
	我们无法列出我们生成的所有模型，本质上我们只是……我们试图生成 100 个模型，或者我们对模型进行了 100 次模拟。所以我们无法在这里列出它们。
	我们想要总结结果的方式是......我们试图计算在 100 次模拟之后选择某个特定因素并将其纳入模型的次数。
	这正是这张图所显示的。所以在右边...在左边
	我们只是……这些只是参数估计。这对于观察数据的散布来说很好。这里，
	如您所见，我们有 X13、X8，这些交互项在不使用这种方法时实际上很重要。这里我们以 X13 为例，它只被拾取了 46 次
	被纳入模型的概率为 46%，这是一个相当低的数字，正如我们预期的那样
	这些因素在我们不使用这种方法时非常重要。因此
	我们使用保留验证方法得出的结论是，它对于科学家来说绝对是一个很好的工具，特别是当我们建立模型时
	我们有这些变量，它们显得很重要，但不太符合我们的科学理解。因此，我们得出的另一个结论是
	这项研究的具体内容是，我们可以放心地假设，我们研究的工艺属性不会显著影响我们的载体滴度。所以我现在要把话筒交给乔治。他将讲解自动验证。
乔治·帕门特	好吧，大家好，我叫乔治。我在牛津生物医学公司的净化组工作。我将稍微谈谈这个自动验证
	JMP 提供给我们的方法及其在实验设计中的具体用途，例如数据结构。我将稍微谈谈我们如何使用该方法从病毒载体纯化优化模型中实际删除变量。
	好的，那么首先为那些不了解病毒载体纯化的人介绍一下背景知识。
	本质上，我们从生物反应器中获取这种细胞培养材料。
	而且这种材料是相当粗糙的材料，因此包括我们感兴趣的治疗都是病毒载体，其中还包括数千种其他物种、污染物种。
	它们可以是任何东西，从不需要的蛋白质到细菌 DNA，有时甚至是无效的病毒。
	因此，净化的目的实际上是将纯病毒载体产品与所有这些不同的污染物分离。
	但这些过程可能非常复杂，你知道，涉及色谱或酶处理以及影响其性能的多种不同因素。因此，我们需要一种有效选择最佳条件以达到最佳纯度的方法。
	我们通常采用实验设计来实现这一点。实验设计在整个生物工艺开发过程中很常见，
	我们主要用它们来筛选、优化和全面描述我们的生物过程。
	本质上，随着我们沿着药物开发时间表前进，随着我们走向商业化生产，我们的实验规模也在扩大。
	我们能做的实验数量实际上在减少，而且我们越接近商业产品，改变事物的难度就越大。
	因此，我们需要能够在开发时间表的早期做出明智的决定，我们这样做的方法是
	开发有效的模型。因此，如果我们在早期就有一个有效的模型，那么它就会让我们有信心，在我们进行整个流程时，我们已经选择了最佳条件。
	我将详细介绍我们如何在一个具体的例子上使用这种自动验证技术。我们进行了响应面实验设计
	在病毒载体纯化步骤上，我们再次无法与您分享实际数据，但我们必须在此对其进行规范化。
	因此，这是一个三因素设计空间，而我们感兴趣的输出或响应变量是杂质水平。因此，杂质水平可能是污染 DNA 蛋白质的量，类似这样的描述。
	因此，此举的真正目的是优化这些模型，使杂质水平尽可能降低。
	这是我们最初在 JMP 设置中看到的情况，有三个输入变量和这个响应杂质。
	因此，我们最初使用逐步回归平台和 Lasso 回归（这是 JMP Pro 的功能）建立了一些模型。
	实际上，一开始，我们对所看到的结果非常满意，因此，我们解释了相当多的数据。
	我们似乎解释得很好，并且我们开始看到我们期望看到的变量出现。
	但是有一个变量让我们不太确定，那就是 X1 X3 交互作用，您可以看到我在这里突出显示了。
	如果你把注意力集中到屏幕的右上角，你会看到这个 X1 配置文件完全根据以下情况而变化：
	X3 的值，因此，老实说，当 X 3 值较低时，我们没有得到这种没有实际影响的结果，而当 X3 值较高时，我们得到了这种正相关性。
	这实际上让我们感到困惑，而且有点令人担忧，因为实际上这种 X1 X3 相互作用并不符合我们的科学理解。
	所以这让我们有点困惑，也有点像我们的模型是否真的正确地解释了我们看到的数据。
	它还对工艺开发具有重大的现实意义，因为这个 X3 变量实际上是已知的
	变化很大。所以我在这里使用的类比是，如果我们开发两种药物的剂量，即 X1 和 X2，
	我们发现，剂量实际上取决于患者的年龄，比如说 X3，这是你必须深入挖掘和描述的东西。因此，探索这种相互作用实际上需要大量额外的实验成本和时间。
	因此，我们想对此进行一些验证方法，于是我们咨询了 JMP 的同事，
	他们基本上是告诉我们，不幸的是，他们无法在实验数据结构的设计中使用这种保留验证。
	原因是，你可以想象，我将 70% 的验证集（即训练集）分配给了设计空间中的数据，
	我们实际上正在构建模型，但实际上完全缺少部分设计空间。因此，在 DOE 数据集上使用这种保留验证并不适用。
	因此 JMP 的同事向我们提出了这种自动验证技术。
	他们向我解释的方式基本上是，你需要对整个数据集进行重新采样。因此，你可以使用整个数据集进行训练，并使用整个数据集进行验证。
	乍一看，这可能有点像作弊，对我来说确实是这样的，但有人告诉我，公平地做到这一点的方法是
	是通过应用这三个额外的列，并且真正通过这个削减的分数加权引导权重。
	本质上，我认为这里的想法是，如果你在模型训练中使用了一段数据，那么你就会对其进行加权，这样你就不会在验证中使用同一段数据，这就是你如何避免重复计算数据的方法。
	所以我们使用了这种方法。我们在模型上运行了这种方法。在这里您可以看到 JMP 中的设置，我们再次使用这个广义回归平台，这是一个 JMP Pro 工具。
	这里和 Jose 解释的差不多，但是不是模拟不同的
	训练和验证任务，我们实际上模拟了这种部分加权。所以我们模拟了多次以生成不同的模型，我们实际上进行了 500 次。
	再次，我们现在的数据输出就像 Jose 之前那样，右边是某个变量出现次数的直方图
	在我们的模型中列出，左边是来自各种模型的参数估计值。
	我实际上在这里画了一条红线，我称其为零因子线。因此，这个零因子变量的运作方式有点像假变量。
	所以我们知道这是一种无意义的变量，因为如果我们看这里左边的零因子，你会看到它的参数估计值在零附近分布相当广泛，所以它实际上不知道要去哪里。
	因此我们画出这条线，并说任何……第一次出现零因子时，任何低于该因子的因子都很可能被认为是非真正的影响。
	所以这是一系列非真实术语。我用蓝色突出显示，我相信您一定能看出来，这是 X1 X3 交互，这是值得关注的交互。
	您可以在这里看到，它出现的次数较少，且有很多零因子效应，所以这是我们第一次发现这可能不是真正的效应。
	所以我们不想就此止步。我们用不同的方法进行了多次迭代
	自动验证设置，我在这里生成了三个示例。但你可以看到，在每个示例中，用蓝色突出显示，这个 X1 X 3 交互作用始终低于这条红线，即零因子线。
	因此，基于此，我们非常有信心我们所看到的可能不是真正的效果，因此我们能够从我们想要的模型中消除它。
	现在我们来比较一下最终结果。左边是我们构建的初始模型，其中包括 X1 X3 交互。
	然后在右侧，我们删除了该自动验证模型。
	我想，我们注意到的第一件事实际上是 R 平方的减少。所以一开始看起来你可能解释的数据较少，但实际上现在我们更加确信我们解释的内容是真实的。
	您可以在这里看到其输出的最小化优化条件的差异。
	这实际上在处理方面给我们带来了很多好处。请记住，这些都是现实生活中的变量，它们背后都有真实的东西。
	所以这个 X1 变量实际上对我们的流程来说是一个非常昂贵的变量。所以我们非常……很高兴看到我们可以减少这个变量。
	同样，随着这个 X2 变量的下降，从科学原因来看，这实际上也对我们的流程有很大好处，因此我们也能够减少它，这对我们是有益的。
	我想，这些都是幸运的巧合，但真正让我们高兴的是，
	你可以看到，移除这个 X1 X3 相互作用，我们看到 X1 和 X2 的曲线实际上是恒定的，这实际上与
	我们预期的科学理解是一致的，所以我们很高兴观察到这一点。显然，我们现在已经离开了，并且我们已经通过后续实验测试了这两个模型，只是为了看看哪一个表现最好。
	并且在所有情况下，这实际上......这个自动验证的模型与我们在最终实验中看到的观察结果一致。
	我现在就把它还给我，丽贝卡。
丽贝卡·克拉克	我只是要快速总结一下我们讨论的内容。因此，我们知道非真实效应对生物加工的开发时间表和实验成本都有现实影响。
	在这里，我们研究了两种验证方法来帮助我们进行生物过程，以强调我们可以从优化实验中消除的潜在非真实效应。
	因此，我们成功地使用了保留验证工具从优化列表中删除了许多参数，然后我们还在 DOE 类型实验中使用了自动验证。
	在这些情况下，生成的模型随后也会通过实验工作得到证实。因此，总体而言，我们对使用 JMP Pro 的方式非常满意，
	特别是，我们生物过程中的验证方法帮助我们节省大量时间和资源，而不关注非真实的效果。
	最后，我们要感谢 JMP 的 Robert Anderson 和 Anna Roper，他们在整个演示过程中为我们提供了很多帮助，我们的演示就到此为止，谢谢大家的聆听。

突破美国能源部预测模型