349244_zh-CN

liliconcom

SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

级别：中级

 

Philip Ramsey，诺斯黑文集团和新罕布什尔大学教授
韦恩·莱文 (Wayne Levin)，Predictum 总裁兼首席执行官
特伦特·莱姆库斯博士新罕布什尔大学候选人
Christopher Gotwalt，JMP 统计研发总监，SAS

 

多年来，DOE 方法不断发展，实验者的需求和期望也在不断发展。 从历史上看，重点强调分离效应，以减少效应估计的偏差并最大化假设检验能力，这在很大程度上反映了当时的方法论和计算工具。 工业中的 DOE 通常是为了预测可能变化下的产品或过程行为。 我们引入了自验证集成模型 (SVEM)，这是一种用于分析 DOE 的固有预测算法方法，概括了分数引导，使机器学习和装袋成为 DOE 中常见的小型数据集的可能。 与经典的 DOE 方法相比，SVEM 的预测精度高出几个数量级。 我们取得了显着而深刻的结果，证明 SVEM 能够拟合具有比行更多的活跃参数的模型，有可能永远改变自由度等经典统计概念的作用。 我们使用案例研究来解释和演示 SVEM，并描述我们的研究模拟，将其性能与经典 DOE 方法进行比较。 我们还演示了 JMP 中的新候选集设计器，它可以轻松评估 SVEM 在您自己的数据上的性能。 借助 SVEM，人们可以使用比以往更小的数据集获得准确的模型，从而加快上市时间并降低创新成本。

 

 

自动生成的成绩单...

 

扬声器	成绩单
韦恩·莱文	自我验证集成模型，因为我们将其视为实验设计等方面的范式转变。
	只是要……我们走吧。 我们的议程是……我们将……简单介绍一下发言者。
	那么，SVEM 是什么、为什么以及如何使用。 因此，我们将快速概述 DOE 和机器学习，描述将它们混合到 SVEM 中，分析一些现实世界...现实世界 SVEM 实验，我们将
	回顾一些当前的研究并演示 JMP 的新候选集设计器（JMP 16 中的新功能），然后我们将以通常的后续步骤和问答等结束。
	SVEM 是一种非凡的新方法，可以通过更少的实验周期提取更多见解，并从包括 DOE 在内的小数据集构建更准确的预测模型。
	使用 SVEM，我们预计，我们保证您的成本将会更低，您将更快地进入市场，更快地解决问题。 随着我们的前进，我们将探索这一切。
	在会议中。
	我是 Wayne Levin，我是 Predictum 的总裁，加入我的是 Chris Gotwalt，他是 JMP 的首席数据科学家，加入我们的还有 Phil Ramsey，他是 Predictum 的高级数据科学家，也是麻省理工大学的副教授。新罕布什尔。
	所以让我们只是
	在这里盘点一下。 JMP 对数据科学的贡献是巨大的，所以我们都知道，在 20 多年前的 DOE 领域，它会...JMP 4，具有坐标交换算法。
	然后大约八年前、九年前，我们看到了明确的筛选设计出现。 我们认为 SVEM，我们简称为自验证集成建模（尝试说快三遍），我们认为这是另一个贡献。
	机器学习和实验设计。
	它克服了有限数据量的限制，对吧。 有了少量数据，你就无法进行机器学习，通常必须拥有大量数据才能实现这一点。
	现在，我们一直在该领域尝试 SVEM，并且有许多公司就此问题与我们接洽，我们已经提供了 SVEM 的试用版。 我们在，在
	Predictum是第一个在这个领域创建产品、将产品推向市场的公司，我只想与大家分享我们迄今为止学到的一些东西。
	其中之一是 SVEM 运行得非常好。 我的意思是，当你有更多的参数和运行次数时，它可以很好地工作
	高阶模型。 它确实提供了更准确的预测，还有助于从损坏的 DOE 中恢复。 因此，举例来说，如果您有明确的筛选设计
	无论出于什么原因无法以合适的方式运行，我们已经收到了一些历史 DOE 发送给我们的信息
	缺乏力量。 他们只是，你知道，没有找到任何东西，但使用 SVEM，实际上找到了。 它能够做到。 你知道，我们曾经遇到过一些缺失或有问题的运行的情况。
	我们还了解到，它不会帮助您进行有理阶乘，诸如此类的事情。 我们对这里的预测模型感兴趣
	分数阶乘确实不能给出预测模型；它们不是为此而设计的。 所以它不会给你提供数据无法提供的东西，
	至少没有到那个程度。 我们了解到的另一件事是，我们尚未测试 SVEM 的全部潜力。 为此，我们确实需要
	一开始就考虑到 SVEM 来设计实验，这意味着要考虑更多因素。 我们不想只考虑三四个因素。 10 个、15 个甚至更多怎么样？
	我们从研究中了解到，Chris 和 Phil 将讨论贝叶斯 I 最优设计是最好的……与 SVEM 和混合设计一起使用的最佳方法
	对于 SVEM 特别有用，稍后我会对此多说一些。 就 SVEM 而言
	如果您想尝试一下，在克里斯和菲尔讨论之后我们会在最后提供一些信息。 话虽如此，我要把它交给你，克里斯，你会
	深入了解 SVEN 的内容、原因和方式。 那么就交给你了，克里斯。
克里斯·戈特瓦尔特	好的，很好，谢谢你，韦恩。 哦等等，我正在共享我的屏幕吗？
韦恩·莱文	还没有。
	我们开始吧。
克里斯·戈特瓦尔特	好吧，好吧，谢谢你，韦恩。
	所以现在我要介绍自我验证集成模型或 SVEM 的想法。
	我将保持它相当基本。 我假设您有一些实验设计和分析的经验。
	最重要的是，您应该了解统计建模过程归结为将函数拟合到数据
	该预测响应变量作为输入变量的函数。 从高层次来看，SVEM 是使用大数据应用程序的机器学习算法之间的桥梁
	和实验设计，这通常被视为一个小而好的分析问题。 机器学习和能源部都有着悠久的历史，但直到现在，它们还是相对独立的传统。
	我们的研究表明，使用 SVEM，您可以使用更少的观测值获得更准确的模型。
	这意味着可以使用更少的资源和更低的成本在更短的时间内实现产品和流程的改进。 所以如果你身处一个竞争激烈的行业
	如果率先进入市场至关重要，那么 SVEM 应该会引起您的极大兴趣。
	特别是，我们相信 SVEM 特别...在制药和生物技术行业具有巨大的前景，
	半导体制造等高科技以及消费产品的开发。
	在 JMP 的工作中，我对许多行业和应用领域的数据处理方式有了一定的了解。
	我开发了用于构建最佳设计实验的算法以及相关的分析程序，例如混合模型和概括模型。
	另一方面，我也是 JMP Pro 神经网络算法以及产品中其他一些机器学习技术的开发人员。
	在过去的 20 年里，我看到机器学习在对大型观测数据集进行建模并看到许多新的结果时变得更加突出
	已开发的算法。 与此同时，设计实验的分析也发生了变化，但在过去 20 年中变化幅度更大。
	任何在 20 世纪 70 年代末读过 Box、Hunter 和 Hunter 的人都可以认识到工业实验的总体统计方法。
	机器学习和实验设计通常应用于工业领域，以解决本质上具有预测性的问题。
	我们使用这些工具来回答问题，例如传感器是否指示有缺陷的批次，或者我们如何调整流程以最大限度地提高产量，同时最大限度地降低成本。
	尽管它们本质上都是预测性的，但机器学习和实验设计通常适用于不同类型的数据。
	我现在要做的是快速概述两者，然后描述我们如何将它们混合到 SVEM 中。
	我将分析来自真实实验的一些数据，以展示它是如何工作的以及为什么我们认为它总体上表现得很好。
	我会总体上...我会去...我将回顾新罕布什尔大学博士生特伦特·林普基斯（Trent Limpkiss）（？）所做的模拟结果，这让我们相信该方法非常有效有希望。
	然后我将通过一个示例来演示如何使用 JMP 16 中的新候选集设计来查找现有数据集的最佳子集，以便您可以自己尝试 SVEM。
	我将强调我们的一些观察结果，我提到了一些我们希望回答的未来问题，然后我将其交给 Phil，他将进行更深入的案例研究和 SVEM 附加演示 -在。
	考虑屏幕上的简单数据。 这是来自冶金过程的数据，我们希望预测加工步骤结束时的收缩量。
	我们想用左侧的三个变量来预测收缩率。 建模相当于找到一个连接压力、时间和温度的函数，该函数可以预测此处的响应（收缩）。
	希望这个模型能够生成......将来能够推广到新数据。
	在机器学习环境中，执行此操作的标准方法是将数据划分为两个不相交的行集。 一个称为训练集，它用于拟合模型以确保我们不会过度拟合数据，
	这导致模型对于新的观察结果不准确。 我们还有另一个数据子集，称为验证集，用于测试我们已经测试过的各种模型......
	已适合训练集。 这里需要权衡，太简单的函数不太适合训练和验证集，因为它们不能解释足够的变化。
	而过于复杂的模型在训练集上几乎可以完美拟合，但在验证集上却非常不准确。
	我们使用验证 R 平方等措施来找到既不太简单也不太复杂的金发女孩模型。
	该金发姑娘模型将是验证集上验证 R 平方最高的模型。
	当您有一个引用或取消引用相当多的行时，这种保留样式模型选择是一种非常好的方法，
	通常有数亿行或更多。 相当大的语句是故意含糊不清的，并且取决于手头的任务。 也就是说，您在这里看到的 12 行确实太小了，这里仅用于说明。
	在 DOE 中，我们通常处于时间和/或资源严重受限的情况。
	设计实验的核心思想，特别是作为 JMP 关键功能的最优设计实验，是围绕获得打包到尽可能少的行数中的最高质量信息。
	多年来，许多杰出人士创建了统计工具，如 F 检验、半正态图和模型选择标准，如 AIC 和 BIC，
	帮助我们做出有关 DOE 数据模型的决策。 这些指南都可以帮助我们确定应该使用哪种模型来作为科学、工程和制造决策的基础。
	不经常做的一件事是将机器学习模型选择应用于设计的实验。 为什么会这样呢？
	一个重要原因是信息被如此紧密地包装在设计中，即使删除一些观察结果也会导致主要效应和相互作用崩溃
	这样我们就无法再将它们分成独特的可估计的效果。 如果您尝试这样做，您可能会看到软件报告警告，例如模型报告中添加了自由度丢失或奇点详细信息。
	现在我们要做一个小小的思想实验。 如果我们尝试作弊一点怎么办？
	如果我们复制原始表中的所有行（X 和 Y），并将一个副本标记为“训练”，将另一个副本标记为“验证”，会怎么样？ 现在我们有足够的数据了，对吧？ 错误的。 我们不会用这个来愚弄任何人，这是一个疯狂的计划。
	这很疯狂，因为如果您尝试使用这种方法进行建模并查看拟合优度指数的任何图，您会发现使它们更复杂会导致更好地拟合训练集，但因为训练和验证
	在这种情况下，集合是相同的，该方法总是会导致过度拟合。
	因此，让我们将机器学习模型选择备份并重新构建为根据相同数据计算的两个加权平方和的故事。
	我们可以将其视为两列权重，而不是根据两个数据分区来考虑模型选择。
	训练集中的行的训练权重等于 1，否则为零，验证列
	对于训练行，该值等于 0；对于验证行，该值等于 1。
	因此，从机器学习模型选择中，我们可以认为每一行都有自己的一对权重值，其中两个权重都是二进制零和一。
	以这种方式设置它们可以让我们对模型拟合进行独立评估。
	通过查找使使用训练权重加权的误差平方和最小化的参数值来拟合模型，并使用使用验证列权重加权的误差平方和来测量泛化性能。
	如果我们将这些权重对绘制在散点图中，我们当然会看到训练验证权重……训练和验证权重是完全反相关的。
	现在，如果我们不强迫自己使用完全反相关的二进制值对，而是放宽值只能采用零和一值的要求，会怎么样？
	并允许权重取任何严格的正值？
	为此，我们必须放弃一些东西，特别是据我所知，为了在数学上发挥作用，我们不能再拥有完全反相关的权重对，但我们可以以一种仍然有大量反相关权重对的方式做到这一点。相关性。
	有很多方法可以做到这一点，但一种方法是使用与分数加权引导程序相同的方案创建权重，其中我们使用均值为 1 的指数分布
	创建权重。 使用均匀分布的属性有一个小技巧，我们可以使用它来创建指数分布但高度反相关的权重对。
	当将此用作两列加权验证方案时，我们称之为自动验证。 菲尔和我已经就这个想法发表了几篇探索论文。
	使用这种方法就像拥有方差均值为 1 的权重训练列和具有相同属性的验证列。
	在此自动验证方案下，如果一行对训练平方和的贡献大于平均权重，则该行对验证平方和的贡献将较小，反之亦然。
	Mike 有一个插件...我想指出的是，Mike Anderson 创建了一个插件，可以将数据集设置为 JMP Pro 建模平台可以使用的这种格式。
	最近，菲尔和我聘请了特伦特作为我们的博士生。
	在春季和秋季，特伦特进行了大量模拟，尝试了许多不同的方法来将模型与能源部数据拟合，包括整个基于自动验证的方法。 我将展示他的一些结果
	稍等一下。 可以说，就独立测试集的最小平均误差而言，始终效果最好的方法是应用自动验证
	与变量选择程序（例如前向选择）相结合，但我们不会重复该过程数十或数百次，
	每次保存预测公式，并最终对所有这些自动验证的迭代中的模型进行平均。 我们将这个一般过程称为自验证集成模型或 SVEM。
	因此，为了让事情更具体一些，我将给出一个简单的例子来说明这一点。 我们首先初始化自动验证权重。
	我们应用模型选择程序，例如套索或前向选择，然后将预测公式保存回表中。
	这是第一个预测公式。 在本次迭代中，仅选择了两个线性主效应。
	然后我们重新初始化权重，使用新的权重集再次拟合模型，并保存该预测公式。
	这是第二个自动验证的预测公式。 请注意，这一次选择了一组不同的主效应和交互作用，并且它们的回归系数也不同。
	我们多次重复这个过程。
	最后，SVEM 模型只是所有预测公式的平均值。
	这是一个简洁的图表，以图表形式说明了 SVEM 算法。 因此，将引导程序与模型平均相结合的想法
	一次又一次地发生，因为我们......在我们重新初始化权重之后。 我们保存该迭代的预测公式。
	我们保存...这里我保存参数...这里插图显示了参数，但与公式是一样的。 只需将它们全部保存下来，然后在一天结束时，最终模型只是所有迭代的平均值。
	完成后，我们可以在图形分析器中使用该 SVEM 模型，并打开扩展中间公式，以便我们可以可视化结果模型并对流程进行优化等。
	现在我要回顾一下特伦特论文研究的结果。
	a Box Behnkens 和 DSD 有四个和八个因素。 每个模拟都包含 1,000 次模拟重复，并且每个模拟都有自己的二次响应曲面模型的真实参数值集。
	活性参数呈双指数分布，我们探索了从 50% 到 100% 的不同百分比的活性效果。
	对于 1,000 次模拟代表中的每一次，在独立测试集上相对于真实模型评估 SVEM 预测，该测试集由因子空间上的 10,000 次运行空间填充设计组成。
	我们研究了大量不同的经典单次建模方法，以及所有验证的许多变体。
	但只查看最有趣的结果会更容易，因为有太多东西需要比较。 这个故事在我们调查的所有情况下都非常一致。
	这是其中基础设计是最终筛选设计的模拟之一，有 8 个因素和 21 次运行。 在这种情况下，50% 的影响不为零。
	这意味着模型的非零参数数量与运行次数差不多。
	左侧是 Lasso、Dantzig 选择器、前向选择和修剪前向选择的对数均方根误差的箱线图，全部使用 AICc 进行调整，AICc 在这些方法中表现最佳。
	此外，接下来是来自拟合确定平台的方法的最佳性能，然后是将 SVEM 应用于不同的建模......右侧是几种不同的建模程序。
	当我们将测试集 RMSE 与 SVEM 预测进行比较时，独立测试集均方根误差显着降低。
	请注意，这是对数刻度，因此预测性能存在显着差异。
	这是一个更有趣的结果。 这才是真正让我震惊的情节。 这是相同的模拟设置，只不过此处所有效应均非零。
	因此，真正的模型不仅在设计矩阵中而且在参数本身中都是过饱和的。
	在过去，我们不得不假设活动效果的数量是所有效果的一小部分，并且肯定小于行数。
	在这里，尽管活动参数的数量大约是行数的两倍，但我们仍然获得了相当准确的模型，这确实非常了不起。
	现在我将快速浏览一下示例
	SVEM 展示如何将其应用到您自己的历史 DOE。 我将使用发酵过程中五因素 DOE 的真实示例，其中感兴趣的响应是通过 pDNA 滴度测量的产物产量。
	SVEM 的巨大优势是我们可以用更少的运行次数获得更准确的模型。 这意味着我们可以利用现有的数据集，
	使用 JMP 16 中的新候选集设计器来识别形成原始设计的引用非引用预测核心的行子集。
	我将采用 36 行的原始数据，将五列作为协变量加载，并告诉定制设计人员为我提供原始设计的 16 行子集，该子集可在该大小下提供最佳的预测性能。
	然后，我将隐藏并排除所有不在该子集设计中的行，以便它们稍后可以用作独立的测试集。
	我将运行 SVEM 模型，并将 SVEM 模型的性能与应用前向选择等标准程序以及 AICc 拟合相同的 16 次运行所得到的性能进行比较。
	我确实想说，JMP 16 中的新候选集设计器是......也是一项了不起的贡献，我只想指出 Brad 的团队在创建这个新工具方面是多么令人难以置信，这将产生深远的影响在很多方面都很有用，包括 SVEM。
	为此，我们可以将数据集转到自定义设计器。
	我们选择协变量行，因此这是 JMP 16 中的新大纲节点。
	然后我们选择五个输入因素。
	单击继续。
	我们将按下 RSM 按钮，它将自动将最优标准转换为 I 最优或预测类型设计。
	我们选择所有非截距因子并右键单击模型中的...
	选择此处的列表并创建...将所有非拦截效果设置为可能的效果。 这就是我们可以拥有模型的原因
	其中的参数比我们的基本设计运行的参数更多，因为设计标准现在将是贝叶斯 I 最优设计。 现在我们可以将运行次数设置为 16。
	单击进行设计。
	完成此操作后，优化器就会发挥其魔力，贝叶斯 I 最优子集设计中的所有行现在都会在原始表中选择。
	我们可以转到表中，然后使用指示器或转换列来记录当前的行选择。
	我继续将该专栏重新命名为一个有意义的名称，以便以后使用。
	我们可以通过选择新指标列等于零的所有行来选择不在子集设计中的点。
	然后我们可以隐藏和排除这些行，以便它们不会包含在我们的模型拟合过程中。
	Phil 将演示 SVEM 插件，因此我将跳过建模步骤，直接对未包含在贝叶斯 I 最优子集设计中的行进行前向选择加 AICc 和 SVEM 模型的模型比较。 所以你可以看到红色的比较......
	在报告的红色轮廓部分。 我们看到 SVEM 在
	独立测试集为 0.5，而经典程序的 R 平方为 0.22，因此我们得到的变异量基本上是用 SVEM 解释的变异量是经典程序的两倍。
	当我们将 SVEM 应用于所有 46 个观测值时，我们还可以比较两个模型的轮廓轨迹。
	很明显，当我们将 SVEM 应用于所有 46 次运行时，我们基本上得到了相同的模型，因为我们在 SVEM 下仅得到了 16 次运行。
	但是基于前向选择的模型缺少曲率项，不要错过……更不用说还缺少很多交互。 这是一个相当简单的过程...您可以使用它来根据您自己的历史数据测试 SVEM。
	所以总体来说SVEM
	提出了很多问题。 其中许多都围绕设计实验中自由度的作用，因为我们现在能够拟合参数多于行的模型，这意味着如果存在这种情况，实际上将存在负自由度。
	我认为这将促使我们重新考虑基于 P 值的思维在工业实验中的作用。
	我们必须努力建立分析中不确定性的新方法，例如预测……预测的置信区间。
	Phil 和我正在做一些工作，试图了解我们可以使用的最佳基本模型系列是什么。 因此，这可能是二次 RSM，我们也在研究很久以前提出的这些部分三次模型，但现在我们认为值得重新考虑。
	我们应该使用什么样的设计？ 作为我们使用的基本模型中因子数量的函数，什么样本量是合适的？ 筛选实验的作用是什么？ 一大未知数是分块实验和裂区实验的作用是什么
	在这个框架内？
	所以现在我要把它交给菲尔。 他将进行更深入的案例研究，并演示 Predictum 的 SVEM 插件。 把它拿走，菲尔。
菲利普·拉姆齐	好的，谢谢你，克里斯。 我要做的是讨论一个案例研究，所以让我把它放进去
	幻灯片放映，我会做一些
	正如克里斯所说，预测的插图
	实际上可以自动执行大量 SVEM 分析的插件。 我们正在尝试研究生物技术行业中使用的分析方法。
	这个是为了表征治疗性蛋白质的糖谱分析，基本上是成为抗体的蛋白质。
	许多在该行业工作的人都知道糖蛋白确实是一种非常丰富的治疗来源，并且您也知道如果您致力于查看 GMP，则必须证明测量系统的可靠性。 实际上对于糖谱分析来说，
	快速、易于使用的分析方法尚未真正成熟。 因此，这个实验的想法是提出一种相当快速且简单的方法，人们可以使用它来准确评估不同的
	（我不是这里的化学家）糖
	转录后附着在基础蛋白上。
	为了给你一个想法，使用色谱法的想法，我假设你对它有一定的熟悉，基本上这是一种你可以使用的方法。
	有了一些溶液，您将其通过色谱柱，然后，当不同的化学物质通过色谱柱时，
	它们往往会在不同时间分离并从色谱柱中出来。 所以基本上是一种形式，所谓的色谱图，其中峰
	是浓度的函数，峰值出现的时间实际上对于识别物种的实际情况很重要。 因此，在这种情况下，我们将考虑一些
	糖。我只是将它们称为糖型，而从事这项工作的科学家们开发了一种校准解决方案。
	我们确切地知道校准溶液中的成分。 我们确切地知道应该洗脱哪些峰以及大致在哪里。
	然后我们可以将实际的人类抗体样本与校准样本进行比较。 其中一些糖型是带电荷的。 他们很难让他们通过专栏。
	他们往往会坚持下去，因此我们使用有时称为梯度洗脱的程序。
	我不会详细介绍。 我们在这里所做的，我们使用的是一种叫做高效阴离子交换色谱的东西。 我不是这方面的专家，但与我共事的科学家已经做到了
	开发这种校准非常出色，这也是我们需要历史上的校准解决方案的原因
	从人类抗体样品中洗脱的糖不能完全预测它们将从色谱柱中流出的位置，因此我们有一些可以用于校准的东西。
	所以。
	完成这项工作的人，我稍后会提到她，设计了两个单独的实验。 一种是 16 次运行的三级设计。
	后来她回来做了一个更大的 28 次运行、三级设计。 因此，一个可以用作训练集，另一个可以用作验证集，但为了演示克里斯谈到的协变量选择器和贝叶斯 I 最优策略，
	两种设计合并为一个 44 次试验的设计。 然后我们
	使用协变量选择器将该设计纳入定制设计，然后创建各种贝叶斯 I 最优设计。
	我们本来可以做更多的组合，但我们只有这么多时间来讨论这个。 所以就有了三种设计。 一个有 10 次运行，记住五个因素，我们要做 10 次运行。
	13 次试验的设计和 16 次试验的设计，我们可以做得更多。 所以，我们想做的是看看这些
	设计在我们使用风扇拟合模型后执行，顺便说一句，正如 Chris 提到的，在每一个设计中，未从 44 个设计中选择的运行将被用作验证或测试集，以查看模型的表现如何执行。
	好的，这些是初始因素，乙酸钠的初始量，氢氧化钠的初始量。 然后发生三个独立的梯度洗脱步骤
	处理时间大约为 40 分钟。 这些是实验中使用和操作的设置。
	实际上，在这个实验中，我们可以看到 44 种不同的反应。 因此，鉴于我们有可用的时间，我将考虑其中两个。
	一是糖型 3 的保留时间，这是关键，也是校准色谱图的基础。
	我们希望它在八分半钟左右就可以出来，因为它与人类抗体样本非常吻合。
	实际上建模相当容易。 第二个响应是糖型 10 的保留时间。 它是一种带电荷的糖型。 它洗脱得很晚，并且往往与其他带电糖型聚集在一起，更难以区分。 好的，这就是我要查看的两个回复。
	对于那些不熟悉色谱的人，这里有一些所谓的色谱图。 这些基本上是回应，
	响应的图片，在这种情况下，如果您查看图片，我们将查看保留时间，即何时
	巅峰3出来了？ 峰 10 何时出现并出现在色谱图中？ 顺便说一句，注意两者之间
	我展示的色谱图显示了配置文件的不同程度。 所以在这个实验中当我们操纵那些实验因素时
	（顺便说一句，我们有 44 个这样的色谱图；我向您展示其中两个），您会发现这些峰的形状、保留时间等以及分辨率存在很多差异。 所以无论我们在做什么，我们显然都是在操纵
	色谱图，对于那些好奇的人来说，是的，我们将来会将其视为功能数据以及如何使用功能数据分析。
	但这通常是未来，但这绝对是我们非常感兴趣的事情。 色谱图最终确实是功能数据。 但我只是要提取两个特征并尝试对它们进行建模。 好的。 我也想赞扬
	Cytovance Biologics 的 Eliza Yeung 博士是一位好朋友和出色的科学家。 她完成了所有的实验工作，并且是她提出建造……的想法的人。
	她称之为葡萄糖梯，校准溶液。 而 Eliza，除了是一个好人之外，她还喜欢 JMP。 所以我们在很多方面都喜欢伊丽莎，好吧。 优秀的科学家。 可以，然后呢
	在我进入之前
	SVEM，我只想提一下...Chris 提到了自 1950 年以来一直使用的完整二次模型作为优化的基础。
	基本上，所有的主效应、两个因素的相互作用和平方项。 事实上，对于许多复杂的物理系统来说，动力学对于该模型来说实际上太复杂了。
	康奈尔大学和蒙哥马利在 1998 年发表的一篇非常好的论文中指出了这一点，并建议在很多情况下，
	他们所说的交互模型，我们称之为部分立方模型，可能效果更好。 根据我的经验，使用 SVEM 并将该模型应用于大量案例研究，他们是正确的。 它确实提供了更好的预测模型，但存在一个问题。
	这些部分立方模型可能非常庞大，对传统建模策略来说是一个巨大的挑战，正如克里斯提到的，过饱和模型是一个大问题。
	有多少个潜在的术语？ 好吧，取 K 平方，乘以该值的两倍，并为截距加一。 因此，对于五个因素，完整的
	部分三次模型有 51 项。 顺便说一句，我将使用这些模型，但我只会使用 40 个通常最重要的术语。
	然后我们将使用自我验证的集成建模来拟合模型，正如 Chris 所说，SVEM 对于过饱和模型没有问题。
	顺便说一句，在机器学习文献中，过饱和模型始终是拟合的。
	使用正确的机器学习技术，您实际上可以......它们实际上可以向您展示，您可以获得更好的预测性能。
	这在传统统计中很大程度上是未知的，好吧。 因此，我们将使用 SVEM 插件，我提到过，如果您想了解它，您可以联系 Predictum 的 Wayne Levin，他已经在 Predictum 上发表过讲话，我相信 Wayne 很乐意与您交谈。
	让我们简单回顾一下 JMP。
	我将向您展示该插件的实际工作原理，所以让我介绍一下 JMP。
	所以我安装了该加载项，因此它有自己的选项卡。 所以我点击 Predictum。 顺便说一句，这是我们创建的贝叶斯 I 最优设计之一，该设计有 16 次运行。 选择自我验证集成建模。
	因此，您会看到典型的拟合模型启动对话。 我将选择我的五个因素。
	我现在要做一个响应面模型来进行说明，我想建模
	糖型3的保留时间。 请注意在后台，此设置，自动验证表，因此有一个等待功能。
	还有一个自动验证部分。 这一切都在后台，你不需要看到它。 但是锯......但是加载项创建了它，然后它基本上隐藏了它，但是如果您愿意，您可以查看它，但它被隐藏了，因为看到它并不是非常重要。
	现在我们打开GenReg，这就是GenReg
	控制面板。 顺便说一下，为了说明这一点，SVEM 对于模型构建的使用方法来说确实是不可知的。 因此，事实上，您可以使用 GenReg 中不存在的方法，但这正是我们今天的主要关注点。 所以我们要进行前向选择。
	因为我们的时间有限，所以我只会做 10 次。
	单击“开始”，我们将创建模型。
	因此，这里是仅 10 次重复的输出，您将得到实际的预测图。 但这真正的好处是它实际上为您创建了整体模型平均值。
	所以我点击自验证集成模型，保存预测公式。 所以我要继续关闭这个显示。
	过来。
	这是我的模型。
	我现在可以采用这个模型，然后将其应用到验证数据中。 因此，我们选择了 16 次运行，因此还有另外 28 次可用可用作验证集，以了解我们实际的表现。 所以现在我要回到
	顺便说一句，如果没有 SVEM 插件，这可能会有点困难，特别是如果您不是特别精通 JMP 脚本编写的话
	实际创建这些模型。 因此，该加载项可能看起来并没有在后台完成大量工作，好吧。 那么我们做得怎么样呢？ 让我把它放回幻灯片上。
	所以我做了三种设计，16 次运行的设计，13 次运行的设计，然后我选择了 10 次运行的设计。 我们确实挑战极限。
	正如我所说，有两种反应，糖型 10 洗脱较晚，而且往往很嘈杂，并且可能难以解析。 因此，对于 16 次试验的设计，我实际上拟合了 40 项部分三次模型。 请记住，16 次运行。 我适合 40 项模型。
	然后关键是验证集上的均方根误差，好吧。 所以
	我适合我的第六个...我的 40 学期模型，然后是
	验证集上的均方根误差很低，验证 R 平方实际上接近 98，因此它非常非常适合。
	请注意，即使对于吵闹的人来说
	gluform 10，我们仍然得到了一个相当好的模型。 我将向您展示一些实际的预测图。 所以我们这样做了13次，再次进行了13次，我们得到了非常好的结果。
	然后最后到了10。 顺便说一句，对于 10，我只适合标准的完全二次模型，我觉得我真的在碰运气。
	但我本可以继续尝试部分三次方。 再次注意，即使运行 10 次，对糖型 3 保留时间进行建模，我也得到 R 平方 0.94。
	对我来说，这确实令人印象深刻，我再次建模......我的模型的预测变量是观察值的两倍，即使糖型 10 难以建模，我们也做得很好。
	所以，这里有一些实际的预测图，我再次选择糖型 10，因为它真的很难建模。
	所以我不想过多地玩弄这个系统。 根据我的经验，我知道建模很难。 所以有一个实际的预测情节。 对于 10 次运行的设计，还有另一个实际的预测图，它仍然表现得很好
	当你考虑我们在这里尝试做什么时。
	最后，我们的整体表现如何？
	这是我整理的一个小表，我以 16 次运行的设计为基准，然后我所做的是比较当我们拟合 10 次运行时发生的情况
	项模型和 G10 保留时间的第 13 项。
	您会注意到，13 的误差相当大，而 10 的误差则小得多。 我不知道为什么。 我选择只展示结果。 这有点神秘，我还没有回去探索。
	但对于保留时间 3，请注意我从 16 降至 10。 是的，我的均方根误差有所增加，但你知道如果你通过预测图查看实际情况，
	它在验证集上的预测方面仍然做得很好。 所以这件事的重点是，我知道这是，我与生物技术公司有很多合作，
	您在实验设计中可能实现的实际效率，我知道对于你们中的许多人来说，这些实验的成本很高。
	更重要的是，它们需要花费很多时间。 这确实可以缩短您的实验时间并减少您的实验预算并获得更多信息。
	所以只是对此做出一个快速的结论。 这个 SVEM 程序和这个，正如 Chris 所展示的，我们已经在模拟和案例研究中对此进行了研究。
	SVEM 非常适合过饱和模型。 我不会详细介绍它，但从机器学习实践来看，已知过饱和模型的性能非常好。 他们一直用深度学习作为例子。
	基本上，正如 Chris 所说，SVEM 将机器学习与实验设计结合起来。
	更重要的是，一旦您开始沿着 SVEM 的道路前进，这反过来又会告诉您如何看待实验。
	因此，基本上使用 SVEM，我们可以开始思考高效的实验，这些实验可以真正加快创新的步伐，并真正减少实验的时间和成本。 并花时间开发产品和流程
	变得……交货时间越来越短，这不是一个小问题，我知道生物技术领域的许多人也面临着严重的预算限制。
	然后（顺便说一句，大多数人都是这样）最后一个有前途的领域是贝叶斯 I 最优设计。
	我要再次提及的是，Brad Jones 和他的团队在 JMP 中引入这些方面做得非常出色。 这是我所知道的唯一能够真正进行贝叶斯 I 最优设计的软件包。
	我们认为 SVEM 将为许多可能性打开一扇窗。 基本上，这就是我的故事，我将把它交给韦恩·莱文。
韦恩·莱文	非常感谢，
	菲尔和克里斯。 我希望每个人都能看到，这方面有大量的工作、大量的研究，包括一些
	你可能会说，我在第一线工作，我已经从事这个游戏 30 多年了，我不介意告诉你我对在这里看到的一切感到非常兴奋。
	我认为这确实具有变革性，真正改变了工业实验在这里进行的方式。 我以前对超饱和设计感到非常兴奋，那就是
	定制设计师的协助，现在……这是设计方面的。
	东西的。
	现在，当您将 SVEM 引入分析方面时，我的意思是这是两种很棒的品味
	你可能会说，这两者配合得很好。 无论如何，最后我要滑入这里
	Phil、我本人和 Marie Goddard，我们正在制作一门点播课程（应该会在下个季度推出，比如四月份）
	混合设计实验，我们将在该课程中将大量时间集中在 SVEM 上。 因此，如果您对此感兴趣，请告诉我或愿意...以便我们可以让您知道或在 LinkedIn 或其中之一上关注我们。
	对于 SVEM 插件，如果可以的话，我很高兴我们第一个将其推向市场。
	我们为此努力了好几个月。 我们大约每个月都会发布一个新版本，因此随着我们从现场获得反馈，它正在不断发展，我非常感谢菲尔
	领导这件事。 他一直在与我们的一位开发人员合作（？？？），这确实是一项了不起的努力，很多艰苦的工作
	为了达到这一点，我们希望向您提供这一点。 正如菲尔之前提到的，实际上有两种方法可供您尝试。 一是尝试加载项本身，
	它适用于 14 和 15。 随着《16》的推出，我想我们也会让它适用于《16》。 它确实需要 JMP Pro，因此如果您没有 JMP Pro，这里有一个链接，您可以在其中申请...以获得 JMP Pro 试用许可证。
	当然，您可以通过下载本演示文稿的幻灯片来获取此链接。 这就是您获取它的方式，这是您可以亲自尝试的一种方法。
	另一种方法是联系我们，我们可以在概念验证的基础上与您合作，好吧。
	我们可以做一些比较分析等等，当然，也可以和你一起回顾一下这个分析。 所以你知道我们会准备好必要的文件，并且
	我们不介意尝试一下。 Wwe 已经为很多公司做到了这一点，这对你来说可能是最简单的方法，无论什么对你有用。 好吧，现在我想做的是
	此时打开它以提出任何问题或意见。 我谨代表克里斯和菲尔感谢您加入我们。 好的，欢迎提问和评论。

峰会精选爆发美国能源部预测建模回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

任何想要下载 SVEM 插件的人只需访问此页面：

https://predictum.com/products/svem/

 

您会看到一个请求试用许可证的链接。

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

@ahmedmohamed ，没有开发SVEM插件。我们确实有一个简单的脚本，您可以从我们的 Discovery 演讲中使用它，您可以对其进行修改，这将有助于 SVEM 分析。重新思考实验的设计和分析？ (2021-EU-30MP-776)

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

我是说SVEM 插件好吗？

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

@ahmedmohamed ，你指的是设置插件吗？可以在这里找到。支持自动验证工作流程的插件

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

请问我可以尝试一下这个插件吗？

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

你好@philramsey和@chris_gotwalt1 。 我最近安装并尝试了用于自动验证的插件这里这对于通过使用零因子思想来选择变量很有用。 由于模型平均，此链接中提供的插件似乎更完整或更全面。 它是免费的插件吗？

 

无论如何，自动验证插件的模拟参数估计是否用于模型平均？ 如果是这样，我怎样才能摆脱最终平均模型中的空因子参数？

 

谢谢。

 

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

你好@philramsey ， 谢谢回复。抱歉我没有说清楚，我指的是重复的 k 倍交叉验证，它可以在 DOE 环境中轻松实现，并且还可以根据设计大小和 k 的选择提供数百到数千个模型进行集成。在大多数情况下，我遇到过少量重复 k 次效果很好的情况，通常模型总运行次数少于一百次。  

 

使用当前 SVEM JSL 代码进行的一项初始简单测试是更改分数加权公式，根据控制保留大小的某个阈值将权重转换为 0 或 1。严格来说，这不再是完整的 k 倍，而是一系列随机的单一保留。我猜这仍然可以正常工作并提供合理的结果。更有效的方法是构建一个设置为正交的 k 折叠分区集合，如 XGBoost 插件附带的 Make K-Fold Columns 实用程序中提供的那样。

顺便提一下，XGBoost 插件处理其验证列的方式与其他 JMP Pro 平台不同，以便轻松适应重复的 k 倍。当保存其预测公式时，它还会自动集成所有单独的 k 重模型，就像 SVEM 末尾的所有预测列的平均值一样。不需要重复行。  

 

重复 k 折叠在文献中已经很成熟，并在 Python sklearn、model_selection.RepeatedKFold、R 包插入符号等地方实现，现在也在 XGBoost 插件中实现。说实话，我觉得如果你想说服认真的用户采用 SVEM 和重复 k 折，那么就确实需要对 SVEM 进行公平且令人信服的比较。

 

我目前对 SVEM 的解释是重复 k 倍的平滑版本。或者如上所述，可以将其翻转以将 k 倍视为分数权重的离散分箱。我的猜测是，在大多数情况下，诚实评估的样本外表现将是相似的，但肯定希望看到比较。   

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

有一个关于 p 值的作用的问题。 我们的感觉是，很大一部分工业实验本质上都是预测性的：最大化产量、最小化浪费、制造符合规格的产品等。 通常使用的工具包括大量关于假设检验的内容，以确定活跃因素，并评估正态性和非自相关误差等建模假设。 我们将 SVEM 视为直接从数据到预测模型的过程。 由于我们不再受到自由度的约束，因此在未来几年中确定“显着”影响（在假设检验意义上）可能不再那么重要。 问题转移到“哪些因素重要，哪些因素可以忽略？”，使人们能够避开20世纪以来许多笨拙的统计机制，直接专注于解决手头的问题。

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

@J_Asscher

 

感谢您的提问。 以下是我的回复：

 

 

1）自动验证算法可以考虑重复对吗？我们还没有探索如何合并重复。 不过，这样做很容易。 您只需调整权重方案，以便当一个重复项位于“训练集中”时，另一个重复项将被排除在外。 有如此多有趣的扩展和修改，以至于研究中很难保持焦点、剥离其本质并提交发表。

 

2）我们是否还可以利用所有这些计算来确定某些运行是否对模型选择、模型参数或预测有很大影响？是的，一个有趣的诊断是查看回归系数与特定观察权重的散点图。 如果系数和权重之间的相关性绝对值很大，则该运行对该效果的影响很大。 这是我们还没有时间去实现的另一个好主意！

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

@eharoon谢谢——我们对迄今为止的结果感到非常兴奋，而且这次行业与学术界的互动还有很多成果。 我们希望在下周提交论文发表，这应该是我们希望在 9 月之前发表的三篇论文中的第一篇。

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

嗨，拉斯，

顺便说一句，我喜欢 XGBoost 插件。我认为 SVEM 的性能可能会优于 K 倍，因为它可以为您提供潜在的数百或数千个模型来集成。在我们的案例中，我们专注于 DoE，因此不可能使用诸如留一（实际上总是一个坏主意）或 k 折叠之类的技术。对于未来的工作，我认为您是正确的，需要进行比较，并且您对过程的基本概述是有意义的。 对于 pDNA 数据，如果我们将其结合起来，那么我们可能可以按照您的建议进行操作，也许我们应该更多地讨论这一点，希望 Chris Gotwalt 能够加入讨论

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

不错的创新研究！数据科学界验证模型的黄金标准是 k 倍交叉验证。 看到 SVEM 和 k-fold 在样本外性能方面的一些公平比较将会很有趣。来自一次或多次 k 次运行的模型也可以被集成，事实上，这就是在JMP Pro 的 XGBoost 插件。我对 pDNA 数据的设想如下：

 

1. 外循环包括运行 DOE Custom Designer 来提取一个小的目标训练子集，例如 46 个中的 16 个，就像您在演讲中所做的那样。我的理解是这个子集是随机的，因此像这样的外循环是有意义的，并且还可以避免由于单个保留而导致的潜在偏差。
2. 对于每次迭代，使用隐藏/排除完全搁置非训练观察，或创建一个包含保留数据缺失值的新响应。在训练数据上运行 SVEM 和 k 折集成，并保存重要结果，例如仅基于训练数据的预测公式和估计的泛化性能。
3. 将公式应用于保留集并收集性能统计数据，例如连续响应 R 方、均方根误差和 Pearson 相关性。

 

一个有趣的附带问题是，是否有任何 k 重个体拟合因小型训练集中的尺寸减小而崩溃或表现不佳，这种情况将加强 SVEM 的情况。我也很好奇验证性能的样本内估计与上述凭经验获得的样本外估计相比如何。

 

另一个联系是带有协变量的自定义 DOE 也可用于创建 k 折叠，但使用 Y 变量而不是 X 作为协变量。JMP Pro XGBoost 插件附带了一个补充例程 Make K-Fold Columns 来执行此操作。 这是优化一组 k 重分区的信息增益的好方法，并且是上面实验中推荐的方法。

 

最后，我有兴趣尝试以 XGBoost 作为基本模型的分数加权 SVEM 方法。看起来，通过重新评估定义权重的列中的公式的巧妙技巧，这很容易在循环中实现。

伟大的工作，期待 SVEM 的进一步开发和应用。

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

很有意思！

两个问题：

1) 示例中使用的 12 次运行的设计（从 9:51 开始）包括四对重复。 自动验证算法可以考虑重复对吗？ 例如，可以为重复对赋予 (0,1)、(1,0) 权重或 (a, b)、(b, a) 权重。 会有什么不同吗？ 当然，pDNA 示例中 16 行的“预测心脏”设计可能不包括重复，尽管 36 行的整个设计包含重复。

2）除了求SVEM模型之外，我们是否还可以利用所有这些计算来确定某些运行是否对模型选择、模型参数或预测有很大影响？ 例如，我们可以在这些条件下再次运行该过程。 如果使用具有少量运行的初始设计，则很自然会考虑此选项。 更广泛地说，我们可能想要增强初始设计，但这是一个单独的问题。

谢谢 - 期待下周二的讨论！

 

回复：SVEM：实验设计和分析的范式转变 (2021-EU-45MP-779)

通过持续努力开发这一领域，戈特瓦尔特和拉姆齐为生物医学和生物技术研究领域提供了巨大的服务，而这些领域经常受到小样本的困扰。 尽管机器学习方法已应用于这些领域，但这项努力有望成为游戏规则的改变者。 感谢您完成这项工作，并让我们了解 JMP 和 Predictum 令人兴奋的进展。 有趣的是，这也代表了数据分析领域学术界与工业界合作的重大成功。