扬声器 | 成绩单 |
| 蒂芙尼 | 首先，感谢您今天加入我们。 我们将讨论表征不同的生物处理……看到……并真正关注 pDNA，看看分数加权自举如何真正 |
| 添加到您的流程中。 因此，Phil 将在演示文稿的后半部分与我一起参加 JMP |
| 例如，以及给出一些不同的技术。 |
| 要使用的。 |
| 我将谈论 CMC 战略、生物技术、我们如何将药物推向市场以及我们如何使用 FWB 等新工具来交付我们的流程。 |
| 所以让我们开始吧。 因此，化学制造控制之旅。 所以这是一个很长的旅程，我们将讨论这个问题。 |
| 为什么是 DOE，为什么是预测建模？ 将药物推向市场非常复杂。 这不仅与实验有关，还与诊所有关。 |
| 并让一切顺利进行。 因此，我们还将研究系统思维方法。 然后，当然，描述生物工艺的特征，然后是菲尔将要进行的案例研究 |
| 讨论。那么 CMC 通路是什么样的呢？ 这是一个普遍的例子，我们从毒理学开始。 所以那是看确实没有任何功效。 行得通吗。 |
| 在非人类试验中。 一直到商业制造，其中涉及到很多事情，例如工艺开发。 |
| 但是您还必须有一个目标产品配置文件。 你想要你正在开发的药物实际做什么？ 在你经历的过程中理解这一点很重要。 然后当然是 |
| 质量目标产品简介也是如此。 这是……为了使分子按规定工作，需要哪些方面？ |
| 然后我们查看关键质量属性，然后完成整个过程，所以它是......它是一个......它是一个群体 |
| 因为您拥有自己的工艺开发、工艺表征、工艺鉴定和 BLA。 每一步都有大量的工作要做。 |
| 我们还希望确保在您经历不同阶段时，您实际上是在构建这些数据 |
| 分组。因为当您进行工艺表征和工艺鉴定时，您希望确保可以尽可能多地利用过去的信息，这样您实际上已经缩短了 |
| 你的时间表。 你可能会说，“蒂芙尼，我一直在进行过程表征，贯穿整个过程。” 我会说，“当然。” 但从监管的角度来看，我们需要特定于 CMC 途径的过程表征。 |
| 所以每个人都可能在新闻中听说过疫苗、细胞和基因疗法。 现在是一个非常热门的话题，也是 |
| 为我们以前无法治疗的患者带来新的治疗方法。 |
| 因此，在细胞疗法和基因疗法这两大类中，它有不同的方面。 正确的。 所以我们有免疫疗法。 我们有干细胞。 |
| 我们正在做再生医学。 所以想象一下，你知道，你的背部受伤并且能够再生。 有巨大的 |
| 强调这个分组。 但也非常重视基因疗法。 病毒载体。 我们使用细菌载体吗？ 我们如何获得 DNA |
| 进系统是为了给病人做个治疗？ 好吧，血浆 DNA 就是其中之一，Phil 有一个惊人的案例研究，他们在其中进行了优化。 |
| 所以你可能会说，“什么是 pDNA。 为什么它很重要，除了，好吧，它是基因治疗领域的一部分，现在非常有趣？” |
| 好吧，事实是，它可以用于……预防性疫苗、免疫剂，用于……准备……制备超免疫球蛋白 |
| 癌症疫苗，治疗性疫苗，做基因替换。 或者也许你有 |
| 一个孩子，对，有一个罕见的基因突变。 我们可以进去修理吗？ 所有这些事情都围绕着这一点，随着基因治疗技术的不断发展， |
| 随着您走近商业化的道路，法规会继续增加，数据量也会增加。 |
| 试想一下，基因疗法和细胞疗法是 20 多年前我们所处的位置？？？细胞培养和单克隆抗体 |
| 这是一个了不起的世界，我们每天都在学习新事物，然后我们会说，“哦， |
| 这不是平台。” 我们需要新设备。 我们需要新的工作方式。 我们需要能够分析非常非常小的数据集，因为在细胞疗法和基因疗法中，患者数量通常少于其他适应症。 |
| 那么 pDNA 的下一步是什么？ 好吧，当然，随着细胞疗法和基因疗法市场的持续增长，我们将继续沿着这条道路前进 |
| 进入商业化。 我们需要能够与 FDA 合作并与他们携手合作，因为这些是我们以前从未做过的事情。 我们正在使用我们不使用的原材料和其他 |
| ...其他药物适应症。 所以有很多事情要做。 能够像 pDNA 一样制造这些产品也很重要，因此我们以适当的方式获得载体 |
| 量，还有质量方面。 因此，如果您拥有世界上最好的药物，但您无法制造，那么您就没有药物。 正确的？ 你不能把它交给病人。 |
| 因此，我们还需要确保我们的过程具有良好的特征。 正如我之前提到的，许多这些迹象都非常小。 所以临床试验也很小。 |
| 同时，患者往往病得很重。 因此，能够分析我们的数据并快速响应他们的需求是非常关键的。 |
| 无论是在临床方面，还是在我们商业化时。 我们不希望出现这种情况，你猜怎么着，我不能制造药物，对吧？ 我希望能够做到。 |
| 制造也是一件非常重要的事情。 所以不知道你有没有注意到新闻里有很多 |
| 扩张的公告。 当然，人们正在扩大疫苗的产能，但pDNA也是一大举措。 人们花费数百万美元，有时甚至数十亿美元 |
| 在增加这些制造基地。 你可能会说，好吧，好吧，你增加了你的生产基地。 |
| 那太棒了。 但现在我需要能够将技术转移到那个制造基地。 我需要确保我的流程是稳健的……稳健的，而且它不仅 |
| 可以转移和扩大规模，但要确保我有统计能力说 |
| 我知道我的过程在控制之中。 例如，我可能有 2% 的可变性，但我总是有 2% 的可变性，并且我已经对其进行了表征。 |
| 随着越来越多的产能上线，而且我们也出现短缺，这就像，我将我的产品带到哪里并考虑到这些，所以更早地为制造进行设计。 |
| 您的管道中可能有多种产品。 所以你想确保你正在学习并且能够去获取这些信息并说，让我对此进行一些预测建模，它可能不是确切的产品，但它具有相似的属性。 |
| 因此，商业化的道路是非常完整的，就像 CMC 战略采取临床方面一样， |
| 为了使分子通过，一切都聚集在一起。 我们还有 |
| 考虑它的系统方面。 为什么？ 因为如果我们在上游空间做点什么，我们可能会提高生产力 |
| 200%，比方说，我们要去，“是的，我已经达到了我的里程碑。 我可以给我的病人送去。” 但如果我的下游或我的细胞 |
| 回收实际上不能回收产品，例如细胞或蛋白质治疗剂，那么我们就没有产品。 所有这些工作都被扔在了门外。 所以有系统 |
| 方法，确保您涉及业务、供应链、质量控制、发现等所有不同的群体……每个人都有他们带来的知识，以便最终交付给患者，这是非常关键的。 |
| 所以我现在要把它交给菲尔。 我很想更多地谈论我们是如何开发药物的，但是让我们......让我们看看我们如何分析我们的一些数据。 所以，菲尔，我现在把它交给你。 |
| 菲利普拉姆齐 | 好的，谢谢蒂芙尼的讨论 |
| 为将要进行的案例研究奠定基础。 我将在 JMP 中花费大部分时间来演示 JMP 中存在的一些重要工具。 你可能甚至不知道那里有， |
| 这实际上对工艺开发非常重要，尤其是在 CMC 途径、化学制造控制和质量源于设计的背景下。 |
| 以及流程开发的两个重要特征，一般来说， |
| 是您想要设计流程的地方，但您还需要对其进行表征。 事实上，您必须表征整个操作区域。 |
| 当然，我们希望进行优化，以便我们拥有非常理想的产品。 我们经常谈论得不够多的是，这些活动本质上是关于预测的。 |
| 我们必须建立强大的预测模型，让我们能够预测未来的表现。 对于监管机构来说，这是一个非常重要的部分，尤其是在后期开发阶段。 你必须证明 |
| 您可以可靠地生产产品。 嗯，关于这个过程表征和预测问题的关键论文是 George Box 和他的非常有名的论文 |
| 同伙威尔逊，他是一名工程师。 |
| 正如人们今天所指出的那样，他们谈到了响应面的起源。 |
| 他们工作的关键是他们称之为完整的二次模型。 嗯，那是什么？ 嗯，这是一个包含主效应的模型， |
| 所有双向交互和二次效应。 这可能仍然是构建流程模型的黄金标准，尤其是对于生产而言。 |
| 但是人们可能没有意识到，它们有利于优化。 它们是这些未知响应函数的良好二阶近似值。 不太清楚的是，在整个设计区域中，它们通常与响应面的近似值很差。 |
| 1996 年，已故的约翰·康奈尔，当然还有很多人都知道，道格·蒙哥马利发表了一篇真正被低估的论文。 |
| 然后在那篇论文中，他们提出了这样一个事实，即完整的二次模型通常不足以表征设计空间。 从科学家的角度思考，思考这些生化物质是如何动态的 |
| 过程通常是。 换句话说，有大量的非线性导致响应面在不同区域具有明显的复合曲率。 |
| 而完整的二次模型根本无法处理它。 因此，他们提出的建议是增强该设计，并添加了诸如二次乘以线性、线性乘以二次甚至是 |
| 二次通过二次交互。 事实证明，这些模型比完全二次模型更能近似设计区域。 稍后我将向您展示这一点。 |
| 但对他们来说有一个问题。 第一，传统统计学家不喜欢这种方法；这几天发生了巨大的变化。 |
| 但是有很多这些术语可以添加到模型中，即使是大型中央复合设计 |
| 变得超饱和。 这意味着什么？ 这意味着有更多的未知数 p，然后有观察结果并拟合模型。 事实证明，在机器学习和预测建模新技术时代，这并不是一个真正的限制。 |
| 所以我们要做的是，我们将使用一种叫做分数加权引导的东西。 这可以在 JMP Pro 中完成。 |
| 还有一种叫做模型平均的东西来构建模型来预测响应面，我实际上将使用这些大型增强模型。 |
| 好的，所以当您尝试构建这些预测模型时，比如说设计质量，您必须注意许多事情。 一， |
| 再次在 1996 年，机器学习的先驱之一，已故的 Leo Brieman，写了一篇论文，再次没有得到应有的重视。 他指出 |
| 我们用于预测的所有这些模型构建算法（包括前向选择、所有可能的模型、最佳子集、套索） |
| 本质上是不稳定的。 这意味着什么？ 不稳定意味着数据中的小扰动可能会导致模型大相径庭。 |
| 所以他做了一些工作来指出这一点，他提出了一个策略，说，“好吧，如果你能，以某种方式，模拟 |
| 模型拟合并以某种方式扰乱每次模拟运行的数据，我们可以拟合大量模型，然后对它们进行平均。” 他表明这是有潜力的。 |
| 在那个时代，他没有很多工具可以做到这一点。 但今天我将向您展示 JMP Pro，我们有很多工具，我们将向您展示 Brieman 的想法实际上是一个非常好的想法。 |
| 现在，在机器学习和深度学习中普遍接受的一种方法是集成建模和模型平均的思想。 |
| 顺便说一句，我会很快指出几年前在 JMP 的逐步平台中，John Sall 建立了一种模型平均形式。 它是 JMP 中的一颗隐藏的宝石。 效果很好，并且在 JMP 的两个版本中都可用，但我将提供更全面的解决方案 |
| 这可以在 JMP Pro 中完成。 这个解决方案被称为带有自动验证的部分加权引导，我将解释这意味着什么。 |
| 当我们建立预测模型时，我们面临着挑战。 我们需要一个训练集来拟合模型，然后我们需要一个额外的 |
| 或验证数据集来测试模型，看看它的预测效果如何。 好吧，能源部根本没有这些额外的试验可用。 事实上，布里曼被困在这一点上。 |
| 没有办法真正产生验证错误。 好吧，在 2017 年法兰克福探索中心，JMP 统计研究负责人 Chris Gotwalt 和我自己 |
| 发表了一个演讲，我们称之为分数加权引导和自动验证。 自动验证是什么意思？ 这意味着，这似乎不会 |
| 直观地说，我们将把训练集也用作验证集。 你说，“嗯，这太疯狂了。 这是相同的数据。” |
| 但这种技术有一个秘诀让它发挥作用。 我们所做的是，我们获取原始数据，复制它，称之为自动验证集， |
| 然后我们以一种特殊的方式，为观察分配随机权重，然后我们进行加权 |
| 这样我们就可以驱动训练集和自动验证集之间的反相关。 我很快就会向你说明这一点。 |
| 好的。 顺便说一句，我们一直在监督我的博士生 Trent Lempkis，他在去年的详尽模拟中广泛研究了这种方法。 |
| 我们将发表一篇论文，以表明这种方法实际上比从 DOE 构建预测模型的经典方法产生了更好的结果。 |
| 所以我将在这里继续讨论案例研究。 这就是蒂芙尼提到的 |
| 脱氧核糖核酸。 这是一个非常热门的话题，pDNA 制造商被认为是一个很大的增长领域，生物技术界预计会有很大的增长，甚至可能达到 40% |
| 年复一年，因为所有新疗法都将在网上使用。 |
| 在这种情况下，这在生物技术领域非常普遍，实际上没有任何现有数据可以用来构建预测模型。 |
| 所以这引导我们非常正确地设计实验。 在这种情况下，我们将使用明确的筛选设计。 |
| 这些是 JMP 的 Brad Jones 和明尼苏达大学的 Chris Nachtsheim 的精彩发明。 |
| 高效，我一直向生物技术领域的人们强烈推荐它们，在这些领域你的实验时间和资源有限。 |
| 所以基本上我只是向您展示生物过程的示意图。 我们将专注于发酵步骤。 |
| 但在实践中，正如蒂芙尼所暗示的那样，我们将审视这个过程的上游和下游方面。 |
| pH、溶解氧百分比、诱导温度。 这是我们设置发酵罐的温度以获得 |
| E、转基因 大肠杆菌开始抽出质粒。 什么是质粒？ 嗯，它们真的是非染色体DNA。 |
| 它们在治疗方面有很多用途，尤其是基因治疗，它们与细菌中常见的染色体 DNA 是分开的。 |
| 所以我们的目标是得到这些修改后的 E。 大肠杆菌尽可能多地抽出 pDNA。 所以我们做了试验。 这是一个实际的实验。 而且因为我们是 DSD 的新手，所以我们还运行了一个更大、更大的传统中央复合设计。 我们是分开做的。 |
| 对于今天的工作，我计划做的是，我们将使用 CCD 作为验证集，我们将使用 DSD 上的自动验证来拟合模型。 我们会看看情况如何。 好的，所以我现在要切换到 JMP。 |
| 我要打开一个数据表。 这是DSD数据。 我们将在这个数据集上进行所有建模。 哦，顺便说一下，我将把一个 40 的预测模型拟合到一个 15 |
| 使用机器学习技术运行设计。 许多人，你必须明白你可以做这些事情的事实，而且它们实际上在机器学习和深度学习中一直在做。 |
| 因此，我想向您展示一些插件，它们可以让您轻松做到这一点。 您确实需要 JMP Pro。 其中之一是为您设置表格的插件。 这是由 JMP 的迈克尔安德森撰写的。 |
| 所以我只想告诉你会发生什么。 该插件在 JMP 社区中可用。 |
| 所以请注意它采用了原始数据， |
| 创建了一个验证集。 正如我提到的， |
| 我们也有这个加权方案，这些权重是随机生成的，正如你稍后会看到的，我们进行了模拟研究，我们不断地改变每个 |
| 跑。这具有再次生成数千次建模迭代的效果。 你还会看到，正如 Leo Brieman 警告的那样，正如你 |
| 扰乱响应（我们不改变数据结构），你会看到模型的巨大变化。 因此，我将继续并快速为您说明这一点。 |
| 所以我要去适合模型。 |
| 我们必须告诉 JMP 权重的存储位置。 我们将使用广义回归，强烈推荐。 |
| 因为这是一个快速演示，所以我将使用前向选择，但这是一个非常通用的 SWB 程序，具有自动验证功能。 您可以在许多不同的预测或建模场景中使用它。 我要做前向选择。 好的，所以我适合一个模型。 |
| 然后我来到 |
| 估计表。 我要右键单击并选择模拟。 |
| 我告诉它我想做一些模拟运行，并且在每次试验中我都想换掉权重。 我想生成新的权重。 顺便说一句，我只做 10 个，因为这是一个演示。 |
| 于是就有了结果。 你可以看到我们有 10 种模型，而且它们都有很大的不同。 |
| 同样，在实践中，我会进行数千次这样的迭代。 然后我稍后会告诉你， |
| 然后我们可以取这些系数并将它们平均在一起。 顺便说一句，如果你看到零，这意味着转弯没有进入模型。 好的，所以我现在要做的是向您展示另一个插件。 |
| 所以我要关闭其中的一些，所以我们保持屏幕整洁。 |
| 我们在 Predictum 开发了另一个附加功能。 而这个，不仅是派系加权自举，而且还开发了模型平均。 换句话说， |
| 我刚刚向您展示的内容，如果您想进行模型平均，您可以使用该插件，您有点靠自己。 好的。 这将是大量的手工工作。 |
| 所以我将使用 Predictum 插件。 它会创建表格，然后我会很快地找到一个模型来说明插件的工作原理，我将使用标准响应面模型。 |
| 我们想要预测 pDNA。 我们将使用 gen reg。 |
| 再次，作为说明，我将继续使用向前选择向前。 |
| 再一次，我在实践中做了数千次迭代，但我只会做 10 次。 |
| 单击“前往”。 |
| 好的。 |
| 菲利普拉姆齐 | 再次，这是一个快速的，这真的，我很抱歉，三个谈话合二为一，但所有的部分都在 QbD 框架中组合在一起。 所以我有一个模型。 这些是平均系数。 再说一次，我只做了10个。 我会将预测公式保存到数据表中。 |
| 我会尽量保持屏幕整洁。 |
| 这就是我的公式；该应用程序为你做了所有的平均，所以你不必这样做。 |
| 还有公式。 还有一个你可能不知道的小技巧，这是一个乱七八糟的公式，尤其是如果你想将此公式部署到其他数据表中。 在公式编辑器中，有一个非常简洁的函数，称为简化。 |
| 看，它简化了方程，使它更容易部署到其他数据集。 好的，这是该方法的说明。 |
| 我现在要做的是展示发生了什么 |
| 当我们完成整个过程时。 所以这是一个数据表。 在这里，您会注意到 DSD 和 CCD 数据库结合在一起。 |
| 我使用行状态变量来消除或排除 DSD 数据，因为我想专注于我的模型在验证数据上的性能。 同样，这些模型仅适用于 DSD。 |
| 所以这是我的第 41 个任期 |
| 模型。这是通过对数千次迭代的模型平均完成的增强的完全二次方。 为了比较，我重复了相同的过程 |
| 对于更小的 21 项完全二次模型。 那么我们在预测方面是怎么做的呢？ 因此，让我向您展示一些实际的预测图。 |
| 所以请记住，我必须强烈强调，这是一个真正的验证测试。 CCD 是单独完成的。 不同批次的原材料，包括一批新的大肠杆菌菌株。 |
| 有些发酵罐是不同的，他们是完全不同的操作者。 所以对于那些从事生物技术工作的人来说，你知道，这是一项艰巨的预测工作。 |
| 因此，模型再次拟合 DSD，左侧是 41 项模型，即增强模型，预测误差的总体标准差约为 67。 |
| 在右边，我确实使用了有助于提高性能的模型平均，我只拟合了 21 项完全二次模型，你可以看到预测误差约为 70。 |
| 事实上，如果不使用模型平均，因为很多人不做完全二次有用的二次模型，所以性能会明显变差。 好的。 |
| 所以我有模型。 我该怎么办？ 好吧，我们的目标通常是优化和表征。 所以让我打开一个分析器。 我真的会为你做这件事。 |
| 所以我要去分析器和图形菜单。 我将使用我最好的模型。 这就是使用 Predictum 插件的那个。 顺便说一句，如果你对这个插件感兴趣，甚至 |
| 对其进行 Beta 测试，只需联系 Predictum，只需发送电子邮件至 Wayne@predictum.com，我相信他会非常乐意与您交谈。 所以我要... |
| 转到模型，然后使用desirability， |
| 我只是要找到最大化生产的设置。 顺便说一下， |
| 这是对他们历史上获得的生产的重大改进，它为我们提供了我们应该看到的设置 |
| 关于改进的性能，顺便说一下，这些有点不直观，但在复杂系统中通常是这种情况。 |
| 事情从来没有你想象的那么直观。 然后还有一些非常重要的事情，特别是如果你在 CMC 路径中进行后期开发。 |
| 也就是说，他们希望您评估输入的重要性，哪些输入很重要。 |
| 评估变量的重要性。 同样，我不会深入讨论所有技术细节。 |
| 因此，它通过它向您显示，就响应的变化而言，进给速率是迄今为止最重要的。 这对人们来说不一定是直觉的。 其次是溶解氧百分比。 |
| 所以，这告诉你什么？ 好吧，它告诉你，第一，你最好很好地控制这些变量，否则你可能会 |
| 很多变化。 现在，在这种特殊情况下，我对质量属性没有严格要求。 没有可用的。 |
| 因此，我们所拥有的对业务属性至关重要，那就是 pDNA 生产，但是我们可以在 JMP 中做更多的事情来充分表征设计空间。 我所做的只是优化，但这不是表征。 因此，分析器中还有另一个很棒的工具。 好的。 |
| 它被称为模拟器。 这只是没有得到应有的使用。 所以我所做的，我已经定义了输入的分布。 |
| 也就是说，我希望输入会有所不同。 这是 FDA 想知道的事情。 作为输入，您的流程性能会发生什么变化。 没有完美控制的过程，尤其是在您扩大规模后。 |
| 顺便说一句，当我想到这些更复杂的模型，这些增强的完全二次模型， |
| 根据经验，我可以告诉你它们比完整的二次模型更好地扩展。 这是拟合这些更复杂模型的另一个原因。 |
| 所以在模拟器中，有一个很好的工具叫做模拟实验。 它的作用就是我们所说的空间填充设计。 它将点分布在整个设计区域。 所以我只想说我想做 256 次跑步。 |
| 它将进行 5000 次模拟，在每个点计算平均标准偏差和总体缺陷。 正确的。 |
| 所以这实际上进行得很快。 我只是向您展示输出的样子。 再说一次，我已经这样做了。 |
| 所以，为了时间，我只是要打开另一个数据表。 |
| 最小化另一个。 |
| 这就是模拟研究的结果。 |
| 我不会详细介绍所有细节，但我将模型拟合到主要模型，将模型拟合到标准差，并将模型拟合到总体缺陷率。 |
| 并且在某些区域的缺陷率较低，在某些区域的缺陷率相对较高，这就是我们所说的高斯过程模型，通常与模拟数据一起使用。 那么我们可以用这些做什么 |
| 模型和这些模拟结果？ 好吧，再一次，表征很重要。 所以让我给你一个快速的想法。 |
| 这是一个三维散点图，我们正在研究进给率和溶解氧百分比，因为它们非常重要。 并且绘制的点按缺陷率加权；大 |
| 球体意味着更高的缺陷率。 因此，如果您环顾四周。 你可以看到有些地区我们绝对不想经营。 |
| 因此，我们正在表征我们的设计空间并寻找更安全的区域进行操作。 当然，我可以这样做 |
| 只需选择一些其他变量，无论如何，它只是显示您真正想要避免的其他区域。 我们可以用这个做更多，但我认为这很重要。 我们还可以在哪里 |
| 继续并再次使用分析器，我将重新优化。 |
| 但我将以不同的方式来做这件事。 这样我想最大化平均 pDNA。 |
| 我想做一个双重回应。 我想最小化整体缺陷率。 |
| 再说一次，我将继续使用合意性。 |
| 这需要几分钟。 这些是我们正在优化的非常复杂的模型。 |
| 注意，它出现并说 |
| 高进给率，高溶解氧， |
| 接近中性pH和诱导。 顺便说一句，感应，如果你想知道感应 OD 600 是什么，那是微生物质量的量度 |
| 一旦你达到一定的质量（没有人很确定那是什么，所以这就是我们进行实验的原因）你就会提高物质的温度。 这实际上 |
| 强制E。 大肠杆菌开始抽出 pDNA 或质粒，他们被设计来做到这一点。 所以我们称之为感应温度。 好的。 嗯，注意设置， |
| 我们保证低缺陷率，整体优化响应没有那么高。 但请记住，我们还将有一个不太容易产生缺陷的过程。 |
| 好的，所以在这一点上， |
| 我会很快走到最后。 |
| 幻灯片。 所以一切都在这些幻灯片中。 都已经上传了 |
| 至 |
| JMP 社区。 最后是执行摘要，基本上我们向您展示的是流程和产品开发 |
| 使用 CMC 途径（其中一部分是质量源于设计）需要整体或综合方法。 许多系统思考需要进入它。 |
| 流程设计和开发本质上是一个预测问题，这是机器学习和深度学习的领域。 这不是你想的那样；这不是像往常一样的建筑 |
| 统计模型，尤其是预测模型。 我们已经向您展示了分数加权自举自动验证和模型平均 |
| 可以生成非常有效和准确的预测模型。 我还要再次强调，康奈尔和蒙哥马利的这些更复杂的增强模型实际上非常重要。 |
| 它们确实可以更好地扩展，并且确实可以为您提供更好的表征。 有了这个，我感谢你，我将结束我的演讲。 |
