758516_zh-CN

liliconcom

使用增强全二次模型和 FWB+AV 表征生物过程 (2020-US-45MP-548)

菲利普·拉姆齐 (Philip Ramsey)，北海文集团和新罕布什尔大学高级数据科学家、统计顾问/教授
Tiffany D. Rau 博士，Rau Consulting, LLC 所有者兼首席顾问

质量源于设计 (QbD) 是一种设计和开发策略，旨在从一开始就将质量融入产品设计中，而不是事后再进行测试。QbD 计划主要与生物制药相关，但其包含的概念也适用于许多行业。生物工艺开发 QbD 的一个关键要素是必须对工艺进行全面表征和优化，以确保为患者提供始终如一的高质量生产和产品。表征通常采用响应曲面型实验设计，并结合完全二次模型 (FQM) 作为构建预测模型的基础。自 Box (1950) 发表以来，FQM 就被广泛用于工艺表征和优化。作为对未知响应曲面的二阶近似，FQM 足以用于优化。Cornell 和 Montgomery (1996) 指出，鉴于生物系统固有的非线性行为，FQM 通常不足以表征整个设计空间，而这正是 QbD 所要求的。他们建议使用高阶交互项来增强 FQM，以便更好地逼近完整的设计区域。遗憾的是，附加项的数量庞大，通常无法通过传统的回归方法估算。我们证明，Gotwalt 和 Ramsey (2017) 的分数加权引导法可以估算这些完全增强的 FQM。通过两个生物工艺开发案例研究，我们证明了增强 FQM 模型在表征完整设计空间方面显著优于传统 FQM。我们将使用 JMP Pro 15 全面演示增强 FQM 和 FWB 的用法。

自动生成的成绩单...

扬声器	抄本
蒂芙尼	首先，感谢您今天加入我们。我们将讨论如何表征不同的生物处理过程……观察……并真正关注质粒DNA，看看分数加权引导法如何真正发挥作用。
	添加到您的流程中。所以 Phil 将在演示的后半部分与我一起讲解 JMP
	例如，并给出一些不同的技术。
	被使用。
	我将讨论 CMC 策略、生物技术、如何将药物推向市场以及如何使用 FWB 等新工具来实现我们的流程。
	那么，让我们开始吧。化学制造控制之旅。这是一个漫长的旅程，我们将持续讨论。
	为什么选择DOE？为什么选择预测模型？药物上市的过程非常复杂。这不仅关乎实验，还关乎临床。
	并让所有东西都融为一体。所以我们也会研究系统思维方法。然后，当然，我们会描述生物加工过程，然后是菲尔将要进行的案例研究。
	讨论一下。那么CMC途径是什么样的呢？这是一个通用的例子，我们从毒理学角度来探讨。这样就能看出它是否有效。它是否有效。
	在非人体试验中。一直到商业化生产，这其中涉及很多环节，例如工艺开发。
	但你也必须有一个目标产品概况。你希望你正在开发的药物实际上起到什么作用？在研发过程中，理解这一点很重要。当然，
	以及质量目标产品概况。这……为了使分子按规定发挥作用，需要哪些方面？
	然后我们查看关键的质量属性，然后进行整个过程，所以它是...它是一个...它是一个组
	因为你需要进行工艺开发、工艺特性描述、工艺认证和BLA（产品许可协议）。每个步骤都需要大量的工作。
	我们还想确保你在经历不同阶段时，实际上正在构建这些数据
	分组。因为当你进行工艺特性和工艺鉴定时，你要确保能够充分利用过去的信息，这样你实际上就缩短了
	你的时间表。你可能会说：“蒂芙尼，我负责整个工艺的工艺表征。” 我会说：“当然。” 但从监管的角度来看，我们需要的是针对CMC途径的工艺表征。
	大家可能都听说过疫苗、细胞和基因疗法。这是现在非常热门的话题，而且
	为以前从未能够治疗的患者带来新的治疗方法。
	所以，在细胞疗法和基因疗法这两大类中，存在着不同的方面。对。我们有免疫疗法。我们有干细胞疗法。
	我们做的是再生医学。想象一下，你的背部受伤了，还能再生。这真是太了不起了。
	重点关注这一群体。但基因疗法也备受关注。病毒载体。我们使用细菌载体吗？我们如何获取DNA
	进入系统以便为患者提供治疗？嗯，血浆DNA就是其中之一，菲尔有一个很棒的案例研究，他们做了优化。
	所以你可能会问，“pDNA 是什么？它为什么重要？除了它是基因治疗领域的一部分，这现在非常有趣？”
	嗯，事实上，它可以用于...预防性疫苗、免疫剂，用于...制备...高免疫球蛋白的制备
	癌症疫苗、治疗性疫苗、基因替换。或者你
	一个孩子，对吧，他有一个罕见的基因突变。我们能进去修复吗？所有这些都围绕着这个，随着基因治疗技术的不断发展，
	随着商业化进程的推进，法规不断增加，数据量也在增加。
	想象一下，基因疗法和细胞疗法就像我们 20 多年前那样，使用细胞培养和单克隆抗体
	这是一个奇妙的世界，我们每天都在学习新事物，然后我们会说，“哦，
	这不是平台。”我们需要新的设备。我们需要新的工作方式。我们需要能够分析非常非常小的数据集，因为在细胞疗法和基因疗法中，患者数量通常比其他适应症要少。
	那么，pDNA 的下一步是什么？当然，随着细胞治疗和基因治疗市场的持续增长，我们将继续沿着这条道路前进。
	进入商业化阶段。我们需要能够与FDA合作，携手合作，因为这是我们以前从未做过的事情。我们正在使用我们从未使用过的原材料和其他
	……其他药物适应症。所以有很多事情要做。能够生产像质粒DNA这样的产品也至关重要，所以我们在合适的
	数量，还有质量。所以，如果你拥有世界上最好的药物，但却无法生产，那么你就没有药了。对吗？你无法把它送到病人手中。
	因此，我们还需要确保我们的流程得到充分描述。正如我之前提到的，许多适应症的规模都很小。因此，临床试验的规模也很小。
	同时，病人的病情通常非常严重。因此，能够分析我们的数据并快速响应他们的需求至关重要。
	无论是在临床阶段，还是商业化阶段。我们不想出现这种情况：你猜怎么着，我生产不了这种药，对吧？我希望能够生产。
	制造业也非常重要。不知道你是否注意到新闻里有很多
	宣布扩大产能。当然，人们正在扩大疫苗产能，但pDNA也是一大举措。人们正在投入数百万美元，有时甚至数十亿美元。
	增加这些生产基地。你可能会说，好吧，你增加你的生产基地。
	太好了。但现在我需要能够将技术转移到那个生产基地。我需要确保我的流程是稳健的……稳健的，而且它不仅
	可以转移和扩大规模，但要确保我有统计能力来说明
	我知道我的流程是可控的。例如，我可能存在 2% 的变异性，但这个变异性始终存在，而且我已经对其进行了表征。
	随着越来越多的产能上线，而我们也遇到了短缺，那么问题来了，我应该把我的产品带到哪里？考虑到这些问题，我们需要更早地进行制造设计。
	你的产品线中可能有多个产品。所以你要确保自己能够学习并掌握这些信息，然后说，让我对这个产品做一些预测模型，它可能不是完全相同的产品，但具有相似的属性。
	因此，商业化的道路非常综合，就像 CMC 策略采用临床方面一样，
	一切都结合在一起，使分子得以通过。我们还有
	思考它的系统层面。为什么？因为如果我们在上游领域有所行动，我们可能会提高生产力，
	假设是 200%，我们会说，“是的，我达到了我的里程碑。我可以给我的病人送药了。”但如果我的下游或我的细胞
	恢复实际上无法恢复产品，无论是细胞还是蛋白质治疗剂，那么我们就没有产品了。所有这些工作都白费了。所以拥有这些系统
	方法，确保你让来自业务、供应链、质量控制、发现等各个不同部门的人员都参与进来......每个人都有自己能够带到谈判桌上的知识，以便最终将知识交付给患者，这是非常关键的。
	现在我要把时间交给菲尔了。我本来很想多讲讲我们是如何研发药物的，但现在……我们先看看如何分析一些数据。菲尔，现在就把时间交给你了。
菲利普·拉姆齐	好的，谢谢蒂芙尼的讨论
	为接下来的案例研究打下基础。我将用大部分时间在 JMP 上演示一些重要的工具。你可能甚至不知道 JMP 中有哪些工具，
	这对于工艺开发实际上非常重要，特别是在 CMC 途径、化学制造控制和质量设计方面。
	流程开发有两个重要特征，一般来说，
	就是你想设计一个流程，但你也需要描述它的特性。事实上，你必须描述整个操作区域的特性。
	当然，我们希望进行优化，以获得理想的产量。我们经常没有充分讨论的是，这些活动本质上都与预测有关。
	我们必须建立强大的预测模型，以便预测未来的表现。这对于监管机构来说非常重要，尤其是在后期开发阶段。你必须证明
	确保能够可靠地生产产品。关于过程表征和预测这一问题，有一篇非常著名的论文，作者是 George Box 和他的
	同伴威尔逊是一名工程师。
	他们在那里讨论了什么是响应面，正如人们今天所注意到的。
	这项研究的关键在于他们所谓的完全二次模型。那是什么呢？这是一个包含主效应的模型，
	所有双向交互作用和二次效应。这很可能仍然是构建流程模型的黄金标准，尤其是在生产领域。
	但人们可能没有意识到，它们对优化非常有用。它们是这些未知响应函数的良好二阶近似。不太为人所知的是，在整个设计区域内，它们通常对响应面的近似效果不佳。
	1996 年，已故的约翰·康奈尔 (John Cornell) 和许多人都知道的道格·蒙哥马利 (Doug Montgomery) 发表了一篇真正被低估的论文。
	在那篇论文中，他们提出了一个事实，即完整的二次模型通常不足以描述设计空间。从科学家的角度思考这个问题，想想这些生化因素的动态变化。
	过程通常都是这样的。换句话说，存在大量的非线性，导致响应曲面在不同区域具有明显的复合曲率。
	完整的二次模型根本无法解决这个问题。所以他们建议增强这个设计，并添加了诸如二次乘以线性、线性乘以二次，甚至
	二次函数与二次函数的相互作用。事实证明，这些模型比完全二次模型更能近似设计区域。我稍后会向你们演示这一点。
	但他们面临一个问题。首先，传统的统计学家不喜欢这种方法；而如今，这种情况正在发生巨大变化。
	但是有很多这样的项可以添加到模型中，这样即使是一个大型中心复合设计
	变得过饱和。这意味着什么？这意味着未知数 p 的数量比观测值的数量要多，需要拟合模型。事实证明，在机器学习和预测建模新技术的时代，这已不再是一个真正的制约因素。
	我们要做的是，使用一种叫做分数加权引导法的方法。这可以在 JMP Pro 中完成。
	使用所谓的模型平均来构建模型来预测响应面，我实际上将使用这些大型增强模型。
	好的，所以当你尝试构建这些预测模型，比如说“质量源于设计”模型时，你需要注意一些事情。首先，
	1996年，机器学习的先驱之一、已故的Leo Brieman写了一篇论文，这篇论文同样没有得到应有的重视。他指出
	我们用于预测的所有这些模型构建算法（包括前向选择、所有可能的模型、最佳子集、套索）
	本质上是不稳定的。这是什么意思？不稳定意味着数据中的微小扰动都可能导致模型发生巨大变化。
	所以他做了一些工作来指出这一点，并提出了一个策略，说，“好吧，如果你能以某种方式模拟，
	模型拟合，并以某种方式扰乱每次模拟运行中的数据，我们可以拟合大量模型，然后对它们进行平均。”他证明了这种方法具有潜力。
	在那个年代，他没有太多工具来实现这一点。但今天我将在 JMP Pro 中向大家展示，我们拥有很多工具，我们将向大家证明布里曼的想法其实非常好。
	现在，机器学习和深度学习普遍接受的是一种集成建模和模型平均的思想。
	顺便提一下，几年前，John Sall 在 JMP 的逐步分析平台中创建了一种模型平均方法。它是 JMP 中隐藏的瑰宝。它运行良好，并且 JMP 的两个版本都支持，但我将提供一个更全面的解决方案。
	这可以在 JMP Pro 中完成。这个解决方案被称为带自动验证的分数加权引导法，我将解释它的含义。
	当我们建立预测模型时，我们面临一个挑战。我们需要一个训练集来拟合模型，然后我们需要一个额外的
	或验证集来测试模型，看看它的预测效果如何。能源部根本就没有这些额外的试验。事实上，布里曼在这一点上陷入了困境。
	根本无法真正产生验证错误。2017年，在法兰克福Discovery，JMP统计研究主管Chris Gotwalt和我
	做了一个演讲，我们称之为分数加权引导和自动验证。自动验证是什么意思？这意味着，这看起来不会
	直观地说，我们会把训练集也用作验证集。你可能会说：“嗯，这太疯狂了。数据都一样。”
	但这项技术有个秘诀，让它发挥作用。我们的做法是，获取原始数据，复制它，称之为自动验证集。
	然后我们用一种特殊的方式，给观测值分配随机权重，并进行加权
	这样我们就可以在训练集和自动验证集之间实现负相关性。我很快就会向你们解释这一点。
	好的。顺便说一下，我们一直在指导我的博士生特伦特·莱姆基斯（Trent Lempkis），他在过去一年中通过详尽的模拟对这种方法进行了广泛的研究。
	我们将发表一篇论文来证明这种方法实际上比从 DOE 构建预测模型的传统方法产生了更好的结果。
	所以我接下来要继续讨论这个案例研究。这就是蒂芙尼提到的
	pDNA。这是一个非常热门的话题，pDNA 制造被认为是一个巨大的增长领域，生物科技界预计会有巨大的增长，甚至可能达到 40%。
	由于所有新疗法的出现，该技术将逐年得到应用。
	在这种情况下，这在生物技术领域非常常见，我们实际上没有任何现有数据可以用来构建预测模型。
	所以这很自然地引导我们进行实验设计。在本例中，我们将使用确定性筛选设计。
	这些是 JMP 的 Brad Jones 和明尼苏达大学的 Chris Nachtsheim 的奇妙发明。
	效率很高，我一直强烈推荐它们给生物技术领域的人们，因为他们用于实验的时间和资源有限。
	基本上，我只是向你们展示一个生物过程的示意图。我们将重点关注发酵步骤。
	但在实践中，正如蒂芙尼所暗示的，我们会审视这一过程的上游和下游两个方面。
	pH值、溶解氧百分比、诱导温度。这是我们设定发酵罐的温度，以达到
	转基因大肠杆菌开始产生质粒。质粒是什么？嗯，它们实际上是非染色体DNA。
	它们在治疗中有很多用途，尤其是基因治疗，而且它们与细菌中常见的染色体 DNA 是不同的。
	我们的目标是让这些经过改造的大肠杆菌尽可能多地产生pDNA。所以我们做了这个试验。这是一个真正的实验。由于我们之前对DSD还不熟悉，我们还进行了一个更大规模、更传统的中心复合设计。而且我们单独进行了这项实验。
	我今天的计划是，我们将使用 CCD 作为验证集，并使用 DSD 上的自动验证来拟合模型。我们拭目以待。好的，我现在要切换到 JMP。
	我要打开一个数据表。这是DSD数据。我们将在这个数据集上进行所有建模。哦，对了，我要用一个40个预测因子的模型拟合一个15个预测因子的模型。
	使用机器学习技术运行设计。对很多人来说，你必须明白，这些事情是可以做到的，而且机器学习和深度学习实际上一直在做这些事情。
	我想向大家展示几个插件，让这一切变得简单。你需要 JMP Pro。其中一个插件可以帮你设置表格。这是 JMP 的 Michael Anderson 开发的。
	我就演示一下具体是怎么回事吧。这个插件可以在 JMP 社区上找到。
	请注意，它获取了原始数据，
	创建了一个验证集。正如我提到的，
	我们也有这个加权方案，这些权重是随机生成的，正如你稍后会看到的，我们做了一个模拟研究，我们不断地改变每个
	运行。这会产生数千次建模迭代。正如Leo Brieman警告的那样，你还会看到，当你
	扰动响应（我们不改变数据结构），你会看到模型中出现巨大的差异。所以我接下来会快速地向大家演示一下。
	所以我要去适应模型。
	我们必须告诉 JMP 权重的存储位置。我们将使用广义回归，强烈推荐。
	因为这是一个快速演示，所以我将使用前向选择，但这是一个非常通用的SWB程序，带有自动验证功能。你可以在许多不同的预测或建模场景中使用它。我将进行前向选择。好的，我拟合了一个模型。
	然后我来到
	估算表。我要右键单击并选择“模拟”。
	我告诉它我想进行一定次数的模拟运行，每次试验我都想交换权重。我想生成新的权重。顺便说一下，因为这是一个演示，所以我只进行10次模拟。
	这就是结果。你可以看到我们有 10 个模型，它们都非常不同。
	所以，在实践中，我会进行数千次这样的迭代。然后我稍后会向你们展示，
	然后我们可以取这些系数并取平均值。顺便说一下，如果你看到零，那就意味着转弯没有进入模型。好的，我现在要给你展示另一个插件。
	所以我要关闭其中的一些，以便保持屏幕整洁。
	我们在 Predictum 开发了另一个插件。这个插件不仅支持派系加权引导，还开发了模型平均。换句话说，
	我刚才给你演示的那个插件，如果你想做模型平均，你可以自己用。好的。只是需要大量的手动操作。
	所以我要使用 Predictum 插件。它会创建表格，然后我会很快找到一个模型来说明插件的工作原理，我将使用标准响应面模型。
	我们想要预测 pDNA。我们将使用 gen reg。
	因此，再次说明一下，我将继续使用前向选择。
	再说一次，我在实践中做了数千次迭代，但我只会做 10 次。
	单击“前往”。
	好的。
菲利普·拉姆齐	再次强调，这是一个简短的演讲，真的，抱歉，三个演讲合并成一个，但所有部分在 QbD 框架下是相互契合的。所以我有一个模型。这些是平均系数。再说一次，我只做了 10 个。我会把预测公式保存到数据表中。
	我会尽量保持屏幕整洁。
	这就是我的公式；应用程序为您完成了所有平均计算，因此您不必自己动手。
	这是公式。你可能不知道一个小技巧，这个公式比较复杂，尤其是当你想把它部署到其他数据表时。在公式编辑器中，有一个非常简洁的函数，叫做“简化”。
	你看，它简化了方程，使其更容易部署到其他数据集。好的，这就是该方法的一个例子。
	我现在要做的是展示发生了什么
	当我们完成整个过程时。这是一张数据表。在这里你会注意到DSD和CCD数据库结合在一起。
	我使用了行状态变量来消除或排除DSD数据，因为我想专注于模型在验证数据上的表现。同样，这些模型仅适用于DSD。
	这是我的第 41 个词
	模型。这是经过数千次迭代后，用模型平均法得到的增广全二次函数。为了比较，我重复了相同的过程
	对于小得多的21项全二次模型。那么我们的预测结果如何呢？让我给你们展示几张实际值与预测值的对比图。
	所以请记住，我必须强调，这是一次真正的验证测试。CCD 是单独进行的。使用了不同批次的原材料，包括一批新的大肠杆菌菌株。
	有些发酵罐不同，操作人员也完全不同。所以，对于生物技术领域的各位来说，这几乎是你们能遇到的最艰难的预测工作了。
	因此，再次，该模型适合 DSD，左侧是 41 项模型，即增强模型，预测误差的总体标准差约为 67。
	在右侧，我再次使用了有助于提高性能的模型平均，我只拟合了 21 项全二次模型，您可以看到预测误差约为 70。
	事实上，如果不使用模型平均，很多人不会使用完全二次型的有用二次模型，所以性能会明显下降。好的。
	那么我有了模型。我该怎么处理它呢？我们的目标通常是优化和特性描述。那么，让我打开一个分析器。我会帮你完成这件事。
	我要去分析器和图表菜单。我要用我最好的模型。那就是使用 Predictum 插件的模型。顺便说一句，如果你对这个插件感兴趣，甚至
	正在进行 Beta 测试，请联系 Predictum，发送电子邮件至 Wayne@predictum.com，我相信他会非常乐意与您沟通。所以我要……
	进入模型，然后利用可取性，
	我只是想找到能最大限度提高产量的设置。顺便说一句，
	这比他们历史上的产量有了很大的改进，它为我们提供了我们应该看到的设置，
	性能的提高，顺便说一句，这些有点不直观，但在复杂系统中通常都是这种情况。
	事情永远不会像你想象的那么直观。此外，还有一些非常重要的事情，尤其是在CMC途径进行后期开发时。
	也就是说，他们希望你评估输入的重要性，哪些输入是重要的。
	评估变量重要性。同样，我不会深入讨论所有技术细节。
	所以，它告诉你，就响应变化而言，进料速率是迄今为止最重要的。这对人们来说不一定直观。其次是溶解氧百分比。
	那么，这告诉你什么？嗯，它告诉你，第一，你最好控制好这些变量，否则你很可能
	变化很大。现在，在这个特定情况下，我没有关键的质量属性。没有可用的。
	因此，我们拥有一个对业务至关重要的属性，那就是质粒DNA的生产。但我们在JMP中还可以做更多的事情来全面表征设计空间。我所做的只是优化，但这并不是表征。所以，Profiler中还有另一个很棒的工具。好的。
	它被称为模拟器。但它并没有得到应有的广泛使用。所以我所做的就是为输入定义了分布。
	也就是说，我预计输入会发生变化。这就像FDA想知道的那样。当输入变化很大时，你的工艺性能会怎样？没有完美控制的工艺，尤其是在扩大规模之后。
	顺便说一下，我想到这些更复杂的模型，这些增强的完全二次模型，
	根据经验，我可以告诉你，它们比完全二次模型的扩展性更好。这也是拟合这些更复杂模型的另一个原因。
	模拟器里有个很棒的工具叫“模拟实验”。它的作用就是进行我们所说的空间填充设计。它会将点分布到整个设计区域。所以我假设我想进行 256 次运行。
	它会进行5000次模拟，计算每个点的平均标准差和总体缺陷。对的。
	所以这实际上进行得相当快。我只是向你们展示一下输出结果。再说一次，我已经完成了。
	因此，为了节省时间，我将打开另一个数据表。
	最小化另一个。
	这就是模拟研究的结果。
	我不会讲到所有细节，但我根据主要内容拟合了一个模型，根据标准差拟合了一个模型，并且根据总体缺陷率拟合了一个模型。
	有些领域的缺陷率较低，有些领域则相对较高，这就是我们所说的高斯过程模型，通常用于模拟数据。那么，我们该如何处理这些呢？
	模型和这些模拟结果如何？嗯，再次强调，特性描述很重要。我先简单介绍一下。
	这是三维散点图，我们关注的是进料速率和溶解氧百分比，因为它们非常重要。图中的点按缺陷率加权；更大
	球体越大，缺陷率也就越高。所以，如果你环顾四周，你会发现有些区域我们绝对不想操作。
	因此，我们正在描述我们的设计空间，并寻找更安全的操作区域。当然，我可以这样做
	只需选择一些其他变量，无论如何，它只会显示你真正想要避开的其他区域。我们可以用它做更多，但我认为这说明了问题所在。我们还可以
	继续并再次使用分析器，我将重新进行优化。
	但我要换个方法。这样我就能最大化平均pDNA了。
	我想要采取双重应对措施，并尽量降低总体缺陷率。
	因此，我将继续使用可取性。
	这需要几分钟。我们正在优化这些非常复杂的模型。
	请注意，它出现并说
	高进料速率、高溶解氧、
	接近中性pH值和诱导。顺便说一下，诱导，如果你想知道诱导OD 600是多少，那是微生物质量的量度
	一旦达到一定质量（没人知道具体是多少，所以我们才做这个实验），物质的温度就会升高。这实际上
	迫使大肠杆菌开始释放质粒DNA或质粒，而它们天生就具备这种能力。所以我们称之为诱导温度。好的。请注意设置，
	虽然我们保证了较低的缺陷率，但整体优化响应并没有那么高。但请记住，我们还将采用一个更不容易产生缺陷的流程。
	好的，那么现在，
	我就快速跳到结尾吧。
	幻灯片。所有内容都在这些幻灯片里。它们都已上传
	到
	JMP 社区。最后是一份执行摘要，我们主要向大家展示的是流程和产品开发
	使用CMC途径（其中一部分是质量源于设计）需要一种整体或综合的方法。这其中需要大量的系统思维。
	流程设计和开发本质上是一个预测问题，而这正是机器学习和深度学习的领域。它并非你所想的那样；它并非建筑行业的常规业务。
	统计学中的模型，尤其是预测模型。我们已经向你展示了分数加权引导自动验证和模型平均
	可以生成非常有效和准确的预测模型。我还要再次强调，康奈尔和蒙哥马利这些更复杂的增强模型实际上非常重要。
	它们确实扩展性更好，而且能提供更好的特性。谢谢大家，我的演讲就此结束。

高级统计建模基础数据分析与建模消费者和市场研究内容组织数据探索与可视化实验设计预测模型和机器学习质量与工艺工程可靠性分析分享和交流结果