756634_zh-CN

liliconcom

SVEM：实验设计与分析的范式转变 (2021-EU-45MP-779)

菲利普·拉姆齐（Philip Ramsey），北黑文集团和新罕布什尔大学教授
韦恩·莱文 (Wayne Levin)，Predictum 总裁兼首席执行官
特伦特·莱姆库斯（Trent Lemkus），新罕布什尔大学博士生
Christopher Gotwalt，SAS 统计研发总监

多年来，实验设计 (DOE) 方法不断发展，实验者的需求和期望也随之改变。历史上，重点强调分离效应以减少效应估计中的偏差，并最大化假设检验的效力，这在很大程度上反映了当时方法论和计算工具的局限性。工业界的 DOE 通常用于预测产品或工艺在可能变化下的行为。我们引入了自验证集成模型 (SVEM)，这是一种用于分析 DOE 的固有预测算法方法，它推广了分数引导法 (fractional bootstrap)，使机器学习和 bagging 算法能够应用于 DOE 中常见的小型数据集。与经典 DOE 方法相比，SVEM 的预测精度提高了几个数量级。我们取得了显著而深刻的成果，证明 SVEM 能够拟合具有比行数更多的活动参数的模型，这可能永远改变自由度等经典统计概念的作用。我们通过案例研究来解释和演示 SVEM，并描述我们的研究模拟，将其性能与经典 DOE 方法进行比较。我们还演示了 JMP 中全新的候选集设计器，它让您能够轻松地评估 SVEM 在您自己的数据上的性能。借助 SVEM，您可以使用比以往更小的数据集获得精确的模型，从而加快产品上市时间并降低创新成本。

自动生成的成绩单...

扬声器	抄本
韦恩·莱文	自我验证集成模型，因为我们将其视为实验设计等方面的范式转变。
	就这样吧……就这样吧。我们的议程是……我们……简单介绍一下发言嘉宾。
	那么，SVEM 是什么？为什么？以及如何使用？我们将快速概述 DOE 和机器学习，描述如何将它们融入 SVEM，分析一些现实世界的 SVEM 实验，然后我们将
	回顾一些当前的研究并演示 JMP 的新候选集设计器（JMP 16 中的新功能），然后我们将以通常的后续步骤和问答等结束。
	SVEM 是一种卓越的新方法，它可以用更少的实验周期提取更多的见解，并从包括 DOE 在内的小数据集中构建更准确的预测模型。
	使用 SVEM，我们预期并保证您将降低成本，加快产品上市速度，并更快地解决问题。我们将在未来不断探索这一切。
	在会话中。
	我是 Wayne Levin，也是 Predictum 的总裁，和我一起参加演讲的还有 JMP 的首席数据科学家 Chris Gotwalt，同样参加演讲的还有 Predictum 的高级数据科学家兼新罕布什尔大学副教授 Phil Ramsey。
	所以让我们
	总结一下。JMP 对数据科学的贡献巨大，这一点众所周知。早在 20 多年前的 DOE 领域，它就……JMP 4，以及它的坐标交换算法。
	大约八九年前，我们看到了一些确定性的筛选设计。我们认为 SVEM，也就是我们所说的自验证集成建模（试着快速念三遍），也算是一种贡献。
	机器学习和实验设计。
	它克服了数据量有限的局限性，对吧。数据量少的话，机器学习是无法进行的，通常需要大量的数据才能实现。
	目前，我们已经在实际应用中试用 SVEM，并且已经有多家公司就此与我们接洽，我们也提供了 SVEM 的试用版。目前，我们
	Predictum 是第一家在这个领域创造产品并将产品推向市场的公司，我只想与大家分享我们迄今为止学到的一些东西。
	一是 SVEM 表现非常好。我的意思是，当你有更多参数和运行次数时，它表现非常好。
	高阶模型。它确实能提供更准确的预测，也有助于从失败的实验设计中恢复。例如，如果你有明确的筛选设计，
	无论出于什么原因，无法进行最终测试，我们收到了一些历史 DOE
	缺乏权威。他们什么都没发现，但SVEM确实发现了。它能够做到。你知道，我们也遇到过一些缺失或可疑运行的情况。
	我们还了解到，它对有理阶乘之类的东西没有帮助。我们感兴趣的是预测模型
	部分因子分析实际上并不能提供预测模型；它们不是为此设计的。所以它不会提供数据结构无法提供的信息。
	至少还没有达到那种程度。我们还了解到，我们还没有测试SVEM的全部潜力。要做到这一点，我们真的需要
	首先要考虑 SVEM 来设计实验，这意味着要考虑更多因素。我们不想只考虑三四个因素。10 个、15 个甚至更多怎么样？
	我们从研究中了解到，Chris 和 Phil 将会讨论贝叶斯 I 最优设计是最好的……这是与 SVEM 和混合设计结合使用的最佳方法
	对 SVEM 特别有用，稍后我会再详细讲一下。至于 SVEM
	如果你想尝试一下，Chris 和 Phil 讨论完之后，我们会提供一些信息。好了，现在我把这个任务交给你，Chris，
	深入探讨 SVEN 是什么、为什么以及如何实现。克里斯，就交给你了。
克里斯·戈特沃特	好的，太好了，谢谢你，韦恩。哦，等等，我是不是在分享我的屏幕？
韦恩·莱文	还没有。
	好了。
克里斯·戈特沃特	好的，好的，谢谢你，韦恩。
	现在我将介绍自验证集成模型或 SVEM 的概念。
	我会尽量讲得比较基础。我假设你有一些实验设计和分析的经验。
	最重要的是，你应该明白，统计建模过程可以归结为数据函数拟合
	预测响应变量作为输入变量的函数。从高层次来看，SVEM 是机器学习算法与大数据应用之间的桥梁
	以及实验设计，这通常被视为一个小而好的分析问题。机器学习和实验设计（DOE）各自有着悠久的历史，但迄今为止，它们仍然是相对独立的传统。
	我们的研究表明，使用 SVEM 可以通过更少的观察获得更准确的模型。
	这意味着产品和流程改进可以在更短的时间内、更少的资源和更低的成本完成。所以，如果你身处一个竞争激烈的行业，
	如果率先进入市场至关重要，那么 SVEM 应该会引起您的极大兴趣。
	特别是，我们相信 SVEM 在制药和生物技术行业有着巨大的前景，
	半导体制造等高科技领域以及消费产品开发领域。
	在 JMP 工作期间，我对许多行业和应用领域的数据处理方式有了大致的了解。
	我已经开发了构建最佳设计实验的算法以及相关分析程序，如混合模型和概括模型。
	另一方面，我也是 JMP Pro 神经网络算法以及该产品中一些其他机器学习技术的开发人员。
	在过去的 20 年里，我看到机器学习在对大型观测数据集进行建模时变得更加突出，并且看到许多新的
	已经开发的算法。与此同时，设计实验的分析也发生了变化，但在过去20年里变化得更为渐进。
	任何读过 20 世纪 70 年代末 Box、Hunter 和 Hunter 著作的人都会熟悉工业实验的整体统计方法。
	机器学习和实验设计通常应用于工业领域，以解决本质上具有预测性的问题。
	我们使用这些工具来回答问题，例如传感器是否指示批次有缺陷，或者我们如何调整流程以最大限度地提高产量同时最大限度地降低成本。
	尽管它们本质上都是预测性的，但机器学习和实验设计通常适用于不同类型的数据。
	我现在要做的是快速概述这两者，然后描述我们如何将它们融合到 SVEM 中。
	我将分析一些来自真实实验的数据，以展示它是如何工作的以及为什么我们认为它总体上表现非常好。
	我会总体来说...我会...我会看一下新罕布什尔大学博士生特伦特·林普基斯（Trent Limpkiss）所做的模拟结果，这让我们相信这种方法非常有前景。
	然后，我将通过一个示例展示如何使用 JMP 16 中的新候选集设计来查找现有数据集的最佳子集，以便您可以亲自尝试 SVEM。
	我将重点介绍我们的一些观察结果，并提到我们希望回答的一些未来问题，然后我将把它交给 Phil，他将进行更深入的案例研究和 SVEM 插件的演示。
	考虑一下屏幕上的简单数据。这是来自冶金过程的数据，我们想要预测加工步骤结束时的收缩量。
	左边有三个变量，我们想用它们来预测收缩率。建模其实就是找到一个连接压力、时间和温度的函数，来预测这里的响应（收缩率）。
	希望这个模型能够生成...将来能够推广到新的数据。
	在机器学习中，标准的方法是将数据分成两组不相交的行。一组称为训练集，用于拟合模型，以确保数据不会过拟合。
	这会导致模型在新的观测数据上不准确。我们还有另一个数据子集，称为验证集，用于测试我们之前建立的各种模型……
	已经拟合到训练集了。这里需要权衡一下，如果函数过于简单，那么它在训练集和验证集上的拟合效果会很差，因为它们无法解释足够的变异。
	而过于复杂的模型在训练集上可能几乎完美拟合，但在验证集上却非常不准确。
	我们使用验证 R 平方等方法来找到既不太简单也不太复杂的金发姑娘模型。
	这个金发姑娘模型将是验证集上验证 R 平方最高的模型。
	当你有相当多的行时，这种保留样式模型选择是一种非常好的方法，
	通常有数亿行甚至更多。“相当大”的语句是故意弄混的，取决于当前的任务。话虽如此，您在这里看到的 12 行实际上太小了，这里仅用于说明。
	在 DOE 中，我们通常面临时间和/或资源严重受限的情况。
	设计实验的核心思想，特别是作为 JMP 关键功能的最佳设计实验，是围绕获取尽可能少的行数中包含的最高质量的信息。
	多年来，许多杰出人士创造了统计工具，如 F 检验、半正态图和模型选择标准，如 AIC 和 BIC，
	这有助于我们根据 DOE 数据模型做出决策。这些指南可以帮助我们确定应该使用哪种模型来作为科学、工程和制造决策的依据。
	有一件事很少被提及，那就是将机器学习模型选择应用于设计实验。为什么呢？
	一个重要原因是，信息在设计中被紧密地打包在一起，即使删除一些观察值也会导致主效应和相互作用崩溃
	这样我们就无法再将它们分离成唯一可估计的效应。如果你仍然尝试这样做，你可能会看到软件报告警告，例如自由度丢失或奇点细节被添加到模型报告中。
	现在我们来做一个小小的思维实验。如果我们稍微作弊一下会怎么样？
	如果我们复制原始表中的所有行，包括 X 和 Y，并将其中一个副本标记为“训练”，另一个副本标记为“验证”，结果会怎样？现在我们有足够的数据了，对吗？错了。我们不会用这个来欺骗任何人，这简直是疯了。
	这很疯狂，因为如果你尝试使用这种方法建模，并查看拟合优度指数的任何图，你会发现，使它们更复杂会导致训练集的拟合度更好，但因为训练和验证
	在这种情况下，集合是相同的，这种方法总是会导致过度拟合。
	因此，让我们回过头来重新定义机器学习模型选择，将其视为对同一数据计算两个加权平方和的故事。
	我们可以将模型选择视为两列权重，而不是从两个数据分区的角度来考虑。
	训练集中的行的训练权重为 1，否则为 0，验证列的训练权重为
	对于训练行，它等于零；对于验证列，它等于一。
	因此，从机器学习模型选择来看，我们可以认为每一行都有自己的一对权重值，其中两个权重都是二进制零和一。
	通过这种方式进行设置，我们可以独立评估模型的拟合度。
	通过寻找最小化使用训练权重加权的平方误差和的参数值来拟合模型，并且使用使用验证列权重加权的平方误差和来衡量泛化性能。
	如果我们在散点图中绘制这些权重对，我们当然会看到训练验证权重......训练和验证权重是完全负相关的。
	现在，如果我们不强迫自己使用完全反相关的二进制值对，而是放宽值只能取零和一的要求，结果会怎样呢？
	并允许权重取任何严格的正值？
	为了做到这一点，我们必须放弃一些东西，特别是，据我所知，为了使其在数学上起作用，我们不能再拥有完全反相关的权重对，但我们可以以一种仍然具有显著反相关性的方式来做到这一点。
	有很多方法可以做到这一点，但其中一种方法是使用与分数加权引导相同的方案来创建权重，其中我们使用平均值为 1 的指数分布
	来创建权重。这里有一个小技巧，利用均匀分布的性质，我们可以创建指数分布但高度负相关的权重对。
	当将其用作两列加权验证方案时，我们称之为自动验证。我和菲尔就此发表了几篇关于这个……正是这个想法的发现论文。
	使用这种方法就像拥有一个具有方差平均值为 1 的权重训练列和具有相同属性的验证列。
	在这种自动验证方案下，如果某一行对训练平方和的贡献超过平均权重，则该行对验证平方和的贡献就会较小，反之亦然。
	有一个插件，Mike...我想指出的是，有一个插件是 Mike Anderson 创建的，它可以将数据集设置为 JMP Pro 建模平台可以使用的这种格式。
	最近，菲尔和我已招收特伦特为我们的博士生。
	春秋两季，Trent 做了大量的模拟实验，尝试了各种不同的方法将模型拟合到 DOE 数据中，其中包括各种基于自动验证的方法。我将展示他的一些结果。
	稍微解释一下。可以这么说，就独立测试集上的最小平均误差而言，始终效果最好的方法是应用自动验证
	与前向选择等变量选择程序相结合，但我们不是重复这个过程几十或几百次，
	每次保存预测公式，并最终在所有这些自动验证迭代中对模型进行平均。我们将这种通用过程称为自验证集成模型（SVEM）。
	为了让事情更具体一些，我将举一个简单的例子来说明这一点。我们首先初始化自动验证权重。
	我们应用模型选择程序，例如 Lasso 或前向选择，然后将预测公式保存回表中。
	这是第一个预测公式。在这次迭代中，只选择了两个线性主效应。
	然后我们重新初始化权重，使用新的权重集再次拟合模型，并保存该预测公式。
	这是第二个自动验证的预测公式。请注意，这次我们选择了不同的主效应和交互作用集，并且它们的回归系数也不同。
	我们重复这个过程很多次。
	最后，SVEM 模型只是所有预测公式的平均值。
	下面是一个简洁的图表，以图表的形式展示了 SVEM 算法。将引导程序与模型平均相结合的想法
	一遍又一遍地发生，因为我们……在我们重新初始化权重之后。我们保存了那次迭代的预测公式。
	我们保存……这里我保存的是参数……图示显示的是参数，但公式也是一样的。把它们都保存下来，最终得到的模型就是所有迭代的平均值。
	完成后，我们可以在图形分析器中使用该 SVEM 模型，并打开扩展中间公式，以便我们可以可视化生成的模型并优化我们的流程等等。
	现在我将回顾一下特伦特的论文研究成果。
	a Box Behnkens 和四因素和八因素的 DSD。每次模拟包含 1,000 次模拟重复，并且每次模拟都有一组各自的二次响应面模型的真实参数值。
	活动参数呈双指数分布，我们探索了从 50% 到 100% 的不同活动效应百分比。
	对于 1,000 次模拟中的每一次，SVEM 预测都会在独立测试集上相对于真实模型进行评估，该测试集由因子空间上的 10,000 次运行空间填充设计组成。
	我们研究了大量不同的经典单次建模方法，以及所有验证的多种变体。
	但由于比较的对象太多，只看最有趣的结果会更容易。在我们调查的所有情况下，结果都非常一致。
	这是一个以确定性筛选设计为基础的模拟，包含8个因子和21次运行。在这种情况下，50%的效应不为零。
	这意味着模型的非零参数数量与运行次数差不多。
	左侧是 Lasso、Dantzig 选择器、前向选择和剪枝前向选择的对数均方根误差的箱线图，全部使用 AICc 进行调整，AICc 是这些方法中表现最好的。
	此外，接下来是来自拟合确定平台的最佳方法，然后是应用于不同建模的 SVEM……右侧是几种不同的建模程序。
	当我们比较测试集 RMSE 与 SVEM 预测时，独立测试集均方根误差显著减少。
	请注意，这是对数尺度，因此预测性能的差异非常显著。
	这是一个更有趣的结果。这个图真的让我大吃一惊。这是相同的模拟设置，只是这里所有的效应都不为零。
	因此，真正的模型是过饱和的，不仅在设计矩阵中，而且在参数本身中。
	过去，我们不得不假设活跃效应的数量是所有效应的一小部分，并且肯定小于行数。
	尽管活动参数的数量大约是行数的两倍，但我们仍然获得了相当准确的模型，这确实非常了不起。
	现在我将快速地展示一下
	SVEM 的介绍，将向您展示如何将其应用于您自己的历史 DOE。我将使用一个真实的发酵过程五因素 DOE 示例，其中感兴趣的响应是通过 pDNA 滴度测量的产品产量。
	SVEM 的一大优势在于，我们可以用更少的运行次数获得更精确的模型。这意味着我们可以利用现有的数据集，
	使用 JMP 16 中的新候选集设计器来识别构成原始设计预测核心的行子集。
	我将获取包含 36 行的原始数据，将其中 5 列作为协变量加载，并告诉自定义设计器给我原始设计的 16 行子集，以便在该大小下提供最佳预测性能。
	然后我将隐藏并排除不在该子集设计中的所有行，以便它们以后可以用作独立的测试集。
	我将运行 SVEM 模型，并将 SVEM 模型的性能与应用标准程序（如前向选择）加上 AICc 拟合相同的 16 次运行所获得的性能进行比较。
	我确实想说，JMP 16 中的新候选集设计器……也是一个了不起的贡献，我只想说布拉德的团队在创造这个新工具方面有多么出色，这个新工具将在很多方面发挥极其重要的作用，包括 SVEM。
	为此，我们可以获取数据集，然后转到自定义设计器。
	我们选择协变量行，因此这是 JMP 16 中的一个新的轮廓节点。
	然后我们选择五个输入因素。
	单击继续。
	我们将按下 RSM 按钮，它将自动将最优标准转换为 I 最优或预测类型设计。
	我们选择所有非截距因子，然后在模型中单击右键...
	在这里选择列表并创建...将所有非截距效应设置为“可能”效应。这样我们就可以得到模型
	其参数数量大于运行次数，作为我们的基础设计，因为设计标准现在将是贝叶斯 I 最优设计。现在我们可以将运行次数设置为 16。
	单击进行设计。
	一旦我们完成了这些，优化器就会发挥它的魔力，并且原始表中贝叶斯 I 最优子集设计中的所有行都会被选中。
	我们可以转到表格，然后使用指示器或转换列来记录当前的行选择。
	然后我继续将该列重命名为一个有意义的名称，以供以后使用。
	我们可以通过选择新指示列等于零的所有行来选择不在子集设计中的点。
	然后我们可以隐藏和排除这些行，以便它们不会包含在我们的模型拟合过程中。
	Phil 将演示 SVEM 插件，因此我将跳过建模步骤，直接进行前向选择加 AICc 模型与 SVEM 模型在贝叶斯 I 最优子集设计中未包含的行上的比较。您可以在这里用红色部分看到比较结果……
	报告的红色轮廓部分。我们看到 SVEM 的 R 平方在
	独立测试集为 .5，而经典程序的 R 平方为 .22，因此我们得到的 SVEM 解释的变化量基本上是经典程序的两倍。
	当我们将 SVEM 应用于所有 46 个观测值时，我们还可以比较两个模型的轮廓轨迹。
	很明显，当我们将 SVEM 应用于所有 46 次运行时，我们得到的模型与在 SVEM 下仅运行 16 次时得到的模型基本相同。
	但是基于前向选择的模型缺少曲率项，更不用说还有很多交互项也缺失了。这是一个相当……相当简单的过程，你可以用它来在自己的历史数据上测试SVEM。
	所以总的来说
	这引发了许多问题。其中许多问题都集中在自由度在设计实验中的作用上，因为我们现在能够拟合参数多于行数的模型，这意味着如果存在负自由度，那么它实际上就是负自由度。
	我认为这会让我们重新考虑基于 P 值的思维在工业实验中的作用。
	我们将努力建立新的方法来分析不确定性，比如预测……预测的置信区间。
	我和 Phil 正在努力寻找最适合我们工作的基础模型系列。这可能是二次响应面模型 (RSM)，我们也在研究很久以前提出的部分三次模型，但现在我们认为这些模型值得重新考虑。
	我们应该使用什么样的设计？根据我们所使用的基础模型中的因子数量，多少样本量合适？筛选实验的作用是什么？还有一个很大的未知数：区块实验和裂区实验的作用是什么？
	在这个框架中？
	现在我要把时间交给菲尔。他会做一个更深入的案例研究，并演示 Predictum 的 SVEM 插件。菲尔，请讲。
菲利普·拉姆齐	好的，谢谢你，克里斯。我接下来要讨论一个案例研究，所以让我把这个放在
	幻灯片放映，我会做一些
	正如克里斯所说，这是预言的例证
	这个插件实际上可以自动执行很多 SVEM 分析。我们想要研究的是生物技术行业中使用的一种分析方法。
	这个是用于表征治疗性蛋白质的糖基分析，基本上是成为抗体的蛋白质。
	你们当中很多从事该行业的人都知道，糖蛋白是治疗药物的丰富来源，你们也知道，如果你们要达到GMP标准，就必须证明测量系统的可靠性。实际上，对于糖谱分析来说，
	快速、易用的分析方法尚未真正成熟。因此，本实验的目的是开发一种相当快速简便的方法，让人们能够准确地评估不同的
	（我不是化学家）糖
	转录后附着于基础蛋白质。
	给你一个概念，关于使用色谱法，我假设你对它有一定的了解，基本上它是一种方法，你
	有一些溶液，你把它通过一个柱子，然后，当不同的化学物质通过柱子时，
	它们往往会分离，并在不同的时间从色谱柱中流出。所以基本上是一种叫做色谱图的形式，其中峰
	是浓度的函数，峰值出现的时间对于识别物种实际上很重要。所以在这种情况下，我们将研究一些
	糖。我简单地称它们为糖型，这里发生的事情是，从事这项工作的科学家们开发了一种校准解决方案。
	我们确切地知道校准溶液里有什么。我们确切地知道哪些峰应该被洗脱，以及大致在哪个位置。
	然后，我们可以将实际的人体抗体样本与校准样本进行比较。其中一些糖基形式带电，很难通过色谱柱。
	它们倾向于坚持下去，因此我们使用有时称为梯度洗脱程序的方法。
	我就不细说了。我们这里用的是高效阴离子交换色谱法。我不是这方面的专家，但我合作过的科学家做过
	开发这种校准工作做得非常好，我们需要一个校准解决方案的原因在于，
	从人类抗体样本中洗脱出来的糖无法完全预测它们会从柱子中出来的位置，所以我们可以用它来进行校准。
	所以。
	做这项工作的人（我稍后会提到她）设计了两个独立的实验。其中一个是16次运行的三级设计。
	后来她又做了一个更大的28次三级设计。其中一个可以用作训练集，另一个可以用作验证集。但为了演示Chris提到的协变量选择器和贝叶斯I-最优策略，
	两种设计合并成一个 44 轮的设计。然后我们
	使用协变量选择器将该设计纳入定制设计，然后创建各种贝叶斯 I 最优设计。
	我们本来可以做更多组合，但时间有限，没法详细讨论。所以有三种设计。一种设计运行10次，记住那五个因子，我们运行10次。
	13次试验设计和16次试验设计，我们还可以做得更多。所以我们想看看这些
	在我们使用扇形拟合模型后，设计就会执行，顺便说一下，正如克里斯提到的，在每一个设计中，未从 44 个中选择的运行随后会被用作验证或测试集，以查看模型的执行情况。
	好的，这些是初始因素，乙酸钠的初始量，氢氧化钠的初始量。然后有三个独立的梯度洗脱步骤
	整个过程大约需要40分钟。这些就是实验中使用和操作的设置。
	实际上，在这个实验中，我们可以研究 44 种不同的答案。考虑到我们时间有限，我只想研究其中两种。
	一个是糖型 3 的保留时间，这是关键，也是校准色谱图的基准。
	我们希望它能在大约八分半钟内出来，因为它与人类抗体样本完美匹配。
	其实建模起来相当容易。第二个响应是糖型10的保留时间。它是一个带电糖型。它洗脱得很晚，而且容易与其他带电糖型混在一起，更难区分。好的，这就是我要研究的两个响应。
	对于那些不熟悉色谱的人来说，这里有一些所谓的色谱图。这些基本上是响应，
	反应的图片，在这种情况下，如果你看一下图片，我们会查看保留时间，也就是说，什么时候
	峰 3 出现了吗？峰 10 是在什么时候出现的？顺便提一下，请注意这两个峰之间的
	我展示的色谱图，这些特征有多么不同。所以在这个实验中，当我们操纵这些实验因素时
	（顺便说一下，我们有 44 张这样的色谱图；我给你们看其中两张），你们会看到这些峰的形状、保留时间等等，以及分辨率方面都有很大差异。所以，无论我们做什么，我们显然都在操纵
	色谱图，对于那些好奇的人来说，是的，我们将来会将其视为功能数据，以及如何使用功能数据分析。
	但这通常是未来趋势，但这绝对是我们非常感兴趣的事情。色谱图最终确实是功能数据。但我只打算提取两个特征并尝试对它们进行建模。好的。我还想感谢
	Cytovance Biologics 的 Eliza Yeung 博士，我的好朋友，也是优秀的科学家。她完成了所有的实验工作，也是她提出了构建这个……的想法。
	她称之为葡萄糖阶梯，也就是校准溶液。Eliza 除了人很好之外，还喜欢 JMP。所以我们在很多方面都喜欢 Eliza，对吧？她是一位优秀的科学家。好的，所以
	在我进入之前
	SVEM，我只想提一下……Chris 提到了自 1950 年以来一直用作优化基础的完整二次模型。
	基本上，所有主效应、双因子交互作用和平方项。事实上，对于许多复杂的物理系统来说，动力学对于该模型来说过于复杂。
	康奈尔和蒙哥马利在 1998 年的一篇非常好的论文中指出了这一点，并指出在很多情况下，
	他们所谓的交互模型，我们称之为偏三次模型，可能效果更好。根据我的经验，我使用SVEM并将该模型应用于许多案例研究，事实证明他们是正确的。它确实能提供更好的预测模型，但也存在一个问题。
	这些部分立方模型可能非常庞大，对传统建模策略来说是一个巨大的挑战，正如克里斯提到的，过饱和模型是一个大问题。
	有多少个潜在项？好吧，取 K 的平方，乘以 2，再加上一个截距。所以，对于五个因子，完整的
	部分三次模型会有51个项。顺便说一下，我会使用这些模型，但我只会使用通常最重要的40个项。
	然后我们将使用自我验证集成建模来拟合模型，正如克里斯所说，SVEM 对过饱和模型没有问题。
	顺便说一句，在机器学习文献中，过饱和模型始终是适合的。
	使用正确的机器学习技术，您实际上可以……它们实际上可以向您展示，您可以获得更好的预测性能。
	这在传统统计学中基本上是未知的。所以我们将使用 SVEM 插件，我之前提到过，如果你想了解它，可以联系 Predictum 的 Wayne Levin，他之前​​已经讲过，我相信 Wayne 很乐意和你交流。
	让我们简单回顾一下 JMP。
	我将向您展示该插件的实际工作方式，因此让我带上 JMP。
	我已经安装了插件，所以它有自己的选项卡。所以我点击了“Predictum”。顺便说一下，这是我们创建的贝叶斯 I 最优设计之一，这个设计运行了 16 次。选择“自验证集成建模”。
	所以你看到的是典型的适配模型启动对话框。我将选择五个因素。
	我现在要做一个响应面模型来说明，我想建模
	糖型 3 的保留时间。请注意后台的此设置、自动验证表，因此有一个等待功能。
	还有自动验证部分。这一切都在后台进行，你不需要看到它。但是锯……插件创建了它，然后基本上隐藏了它，如果你想的话，你可以查看它，但它被隐藏了，因为它不是那么重要。
	现在我们打开 GenReg，这是 GenReg
	控制面板。顺便说一下，为了便于说明，SVEM 对于用于模型构建的方法实际上是不可知的。所以，实际上，你可以使用 GenReg 中没有的方法，但这是我们今天的重点。所以我们将进行前向选择。
	因为我们的时间有限，所以我只做 10 次。
	单击“开始”，我们将创建模型。
	这是仅 10 次重复的输出，你得到了实际与预测值的对比图。但它真正好的地方在于，它实际上为你创建了集成模型平均值。
	我点击“自验证集成模型”，保存预测公式。然后我要继续并关闭此显示。
	过来。
	这是我的模型。
	现在我可以采用这个模型，并将其应用于验证数据。我们选择了 16 次运行，所以还有另外 28 次可用运行可以用作验证集，以查看我们的实际表现。现在我要回到
	演示，顺便说一句，如果没有 SVEM 插件，这可能会有点困难，特别是如果你不是特别精通 JMP 脚本
	来实际创建这些模型。所以那个插件看起来可能没有在后台做很多工作，好吗？那么我们做得怎么样？让我把这个放回幻灯片里。
	所以我做了三个设计：一个16次循环的设计，一个13次循环的设计，最后我选了一个10次循环的设计。我们真的突破了极限。
	正如我所说，有两个响应，糖型10洗脱较晚，而且往往噪音较大，难以分辨。因此，对于16次运行的设计，我实际上拟合了一个40项偏三次模型。记住，16次运行。我拟合了一个40项的模型。
	关键在于验证集上的根均方误差。所以
	我符合我的第六个...我的40个术语模型，然后
	验证集上的平均平方根误差很低，验证 R 平方实际上接近 98，因此拟合度非常非常好。
	请注意，即使是噪音更大的
	糖型10，我们仍然得到了一个相当不错的模型。我会给你们展示一些实际值与预测值的对比图。我们对13也进行了同样的操作，结果同样非常好。
	最后是 10。顺便说一下，对于 10，我刚好符合标准的完整二次模型，我觉得我真的在挑战自己的运气。
	但我本可以尝试部分立方。注意，即使运行了10次，模拟糖型3的保留时间，我的R平方也达到了0.94。
	对我来说，这真的令人印象深刻，我再次建模......我的模型的预测因子数量是观察值的两倍，即使是难以建模的糖型 10，我们也做得很好。
	因此，这里有一些实际的预测图，我再次选择糖型 10，因为它真的很难建模。
	所以我不想太钻这个系统的空子。我从经验中知道建模很难。所以有一个实际值与预测值的对比图。还有另一个针对10次试验设计的实际值与预测值的对比图，效果仍然相当不错。
	当你考虑我们在这里试图做的事情时。
	最后，我们的总体表现如何？
	这是我整理的一个小表格，我以 16 次运行的设计作为基线，然后我做的是比较当我们拟合 10 次时发生的情况-
	项模型和 G10 的保留时间第 13 项。
	你会注意到，对于 13，我们的误差相当大，而对于 10，误差则小得多。我不知道为什么。我选择只展示结果。这有点神秘，我还没有回头去探究。
	但是对于保留时间 3，请注意我从 16 降到了 10。是的，我的均方根误差确实有所增加，但是如果你看一下实际预测图，
	它在验证集上的预测仍然很好。所以，这一点，我知道，我经常和生物科技公司合作，
	你们在实验设计中可能实现的实际效率，我知道对于你们中的许多人来说，这些实验是昂贵的。
	更重要的是，它们会耗费大量时间。这确实可以缩短你的实验时间，减少实验预算，并获得更多信息。
	所以，我来快速总结一下。这个 SVEM 程序，正如 Chris 所展示的，我们已经在模拟和案例研究中对此进行了研究。
	SVEM 非常适合超饱和模型。我不会深入探讨它，但从机器学习实践来看，超饱和模型的表现非常出色。他们以所有时间和深度学习为例。
	基本上，正如 Chris 所说，SVEM 将机器学习与实验设计相结合。
	更重要的是，一旦你开始沿着 SVEM 的道路前进，它反过来会告诉你如何看待实验。
	所以基本上，使用 SVEM，我们可以开始思考高效的实验，这可以真正加快创新步伐，并真正减少实验的时间和成本。随着时间的推移，我们可以开发产品和流程。
	变得……交货时间越来越短，这不是一件小事，我知道你们中的许多人在生物技术领域也面临着严重的预算限制。
	然后（顺便说一句，大多数人都是）最后一个有前途的领域是贝叶斯 I 最优设计。
	再次强调，Brad Jones 和他的团队在 JMP 中引入这些功能做得非常出色。据我所知，JMP 是唯一一款真正能进行贝叶斯 I 最优设计的软件包。
	我们认为 SVEM 将开启更多可能性。基本上，这就是我的故事，接下来我要把时间交给 Wayne Levin。
韦恩·莱文	非常感谢，
	菲尔和克里斯。我希望大家都能看到，我们为此付出了巨大的努力和研究，其中包括一些
	你可能会说，我在一线工作，我已经在这个行业工作了 30 多年，我不介意告诉你，我对在这里看到的一切感到非常兴奋。
	我认为这真的可以带来变革，真的改变了……这里进行工业实验的方式。我以前对超饱和设计就很感兴趣，但那
	由定制设计师协助，现在...这是设计方面。
	的事情。
	现在，当你把 SVEM 引入分析方面时，我的意思是，这是两种很棒的体验
	你可能会说，它们很搭。总之，最后我想补充一下
	Phil、我和 Marie Goddard 正在制作一门点播课程（预计下个季度推出，比如 4 月份）
	混合设计实验，我们将在课程中用大量时间讨论SVEM。如果您对此感兴趣，请告诉我，或者……这样我们就可以通知您，或者在LinkedIn或其他平台上关注我们。
	对于 SVEM 插件，如果可以的话，我很高兴我们是第一个将其推向市场的。
	我们已经为此努力了好几个月。我们几乎每个月都会发布一个新版本，所以它一直在不断改进，因为我们会不断收到来自现场的反馈。非常感谢 Phil
	感谢他领导这个项目。他一直和我们的一位开发人员（？？？）合作，这真的是一项了不起的努力，付出了很多努力。
	说到这一点，我们希望让你们也能使用它。正如 Phil 之前提到的，有两种方法可以尝试。一种是直接尝试插件本身，
	它适用于 14 和 15。随着 16 的发布，我想我们也会让它适用于 16。它需要 JMP Pro，所以如果你没有 JMP Pro，这里有一个链接，你可以申请……获取 JMP Pro 试用许可证。
	当然，您可以通过下载此演示文稿的幻灯片来获取此链接。这就是获取它的方法，您可以利用它亲自尝试一下。
	另一种方式就是联系我们，我们可以在概念验证的基础上与您合作，好的。
	我们可以做一些比较分析等等，当然，我们会和你一起审查这些分析。所以你知道，我们会准备好必要的文件，并且
	我们不介意尝试一下。我们已经为很多公司做过类似的尝试，这可能是对你来说最简单的方法，无论哪种方法对你有效。好的，现在我想做的是
	现在欢迎大家提问或评论。我代表克里斯和菲尔感谢大家的参与。好的，欢迎提问和评论。

高级统计建模基础数据分析与建模消费者和市场研究数据探索与可视化实验设计预测模型和机器学习质量与工艺工程分享和交流结果