398669_zh-CN

liliconcom

通过空间填充混合物设计、神经网络和 SVEM 加速创新 (2021-US-45MP-807)

级别：中级

 

Philip Ramsey，数据科学家兼教授，North Haven Group 和新罕布什尔大学
Marie Gaudard，数据科学家，Predictum
韦恩莱文，所有者，预测

 

尽管对工艺/产品开发和改进至关重要，但受限混合物和混合物工艺设计的生成和分析具有挑战性。经典的混料和混料过程设计通常不能提供足够的设计空间覆盖范围，为边界区域分配了过多的设计点。此外，经典的混合工艺设计通常太大而不可行。 此外，受限混合设计中固有的大量部分混叠使它们难以分析，特别是对于预测建模目的。

在本次演讲中，我们基于 JMP 中可用的快速灵活空间填充设计，提出了新类别的高效约束混合和混合工艺设计。这些设计大大改进了设计空间的覆盖范围，并且无需预先指定模型即可生成。

通过模拟和案例研究，我们展示了这些新设计如何结合自验证集成建模 (SVEM) 来拟合神经网络，从而产生有效的预测模型。 这些模型为过程表征和优化提供了基础，从而确保了更好的放大和缩小模型性能。我们演示了如何使用 JMP 16 生成设计和进行 SVEM 分析。

 

 

自动生成的成绩单...

 

扬声器	成绩单
菲利普·J·拉姆齐	你好，我是来自新罕布什尔大学和 Predictum 的 Phil Ramsey。 和我的共同主持人 Predictum 的 Wayne Levin 和 Marie Gaudard，
	新罕布什尔大学和 Predictum 名誉教授，我们将就现代混合设计进行演讲。
	演讲的议程是我们将讨论机器学习和实验设计，简要介绍什么是混合设计，
	讨论一种新的 DOE 机器学习方法，称为自动验证，它与集成建模相结合，创建了一种我们称之为自验证集成建模方法的东西。
	然后我们将讨论 SVEM，它是自我验证的集成建模，我们将使用混合实验进行演示，然后我们将讨论
	SVEM 方法和空间填充设计。 韦恩·莱文 (Wayne Levin) 将谈论 Predictum 开发的用于执行 SVEM 的插件，他还将进行尿素实验的演示。
	我想指出的是，最近，事实上仅在今年，我们就已经有三篇了，而且很快就会发表在期刊上的论文，主题是
	DOE 和机器学习，所以人们发现机器学习方法传统上应用于大数据
	可能对 DOE 有很多适用性，我们当然同意。 我们将展示如何通过混合实验有效地使用它们。 但是在所谓的机器学习应用中的传统限制之一
	对于像 DOE 这样较小的数据集，人们认为必须拥有非常大的数据集。 这实际上并不完全正确。
	正如你将看到的， SVEM 方法已经由许多人开发，包括我和 JMP 的 Chris Gotwalt 博士，
	我们实际上使将这些传统的大数据方法应用于更小的数据变得非常可行，就像我们通过实验设计发现的那样。
	而且机器学习实际上完全与预测有关，因此我们将统计建模分为两种方法，一种称为解释性方法，这是经典方法，它侧重于假设检验以及 P 值和参数。
	这通常不会产生好的预测模型，但机器学习完全专注于预测。
	这就是我们的观点，这就是我们今天将要使用的并将其应用于混合实验的观点。 我们将使用机器学习
	用于预测。 我们的重点不是解释，正如您将看到的，我们将能够将这些预测性机器学习方法应用于小型实验设计
	数据集。 嗯，传统上我们评估预测模型的方式是将一部分数据用于训练，所以我们称之为训练集，这是一种非常常见的方法。
	然后我们有另一组以某种方式阻止了。 有多种策略。 我们只谈一个，叫做hold back。
	我们把它放在一边，我们将模型拟合到训练集，然后保留集或验证集允许我们评估预测能力。 换句话说，我们正在预测未用于拟合模型的数据。
	但是，这种策略不适用于实验设计。 他们非常高效，以信息为中心，
	并且通常没有足够的资源或预算来开发验证集。 人们很少能进行可用于验证的额外运行。
	因此，这似乎是使用机器学习进行预测建模的障碍，但是，正如我们将展示的，这种 SVEM 方法让我们绕过了这个限制。
	在我们进入 SVEM 之前，我想快速给你一个关于混合设计的讨论。 我知道你们中有些人熟悉它们，有些则不熟悉。
	这些是一种特殊类型的实验设计。 它们并不像应有的那样普遍，因为人们不了解它们，但它指的是对配方或配方进行的实验，而这些配方的成分实际上可以是液体、气体或固体。
	其中一个重要的概念是对响应的影响仅取决于组件的相对比例。
	所以我们非常关心我们的成分的比例，就像你在食谱中所做的那样。 我们不关注数量。 如果存在的总量很重要，这将导致另一种类型的实验，称为混合量，这超出了今天的范围。
	但是因为这些是公式的组成部分，所以对这些因素有限制。 换句话说，总金额必须受到限制；有时这是自然发生的。
	但也必须限制比例。 因此，在混合实验中，与因子实验不同，您不能独立地更改因子。
	所以在很多人熟悉的传统DOE中，对于因子的联合设置没有限制。 在某些情况下有，但通常没有。
	另一方面，混合物实验，由于它们是某些配方的成分，因此总量必须加起来为 1 或 100%。 因此，如果我有 Q 因子，那么每次试验的这些 Q 实验因子的设置总和必须为 1。 此外，
	任何一个单独组件的设置都必须介于 0 到 1 之间。 我还要指出，我们今天没有时间讨论这个，
	混合设计的一个重要变体称为混合过程实验，其中我们将混合因素与过程因素结合起来。
	我们这样做是因为混合物的行为。 例如，想想像三部分粘合剂这样的东西，其行为会随着加工条件而发生巨大变化。 因此，我们可能会考虑诸如用于固化粘合剂的压力和温度以及最佳
	配方通常会随着这些工艺因素而变化。 这超出了今天的讨论范围，但它是混合物的一个重要方面。
	所以，从历史上看，当人们分析混合物甚至创造它们……创造它们时，重点是解释性目标，也就是说，
	参数、P 值和置信区间的假设检验。 然而，从一般的混合物来看，这总是有问题的，因为混合物本质上有很多
	因素和效应之间的多重共线性或相关性。 他们必须这样做，因为总数...总数受到限制，并且它们的总和必须为 1，因此它们不能在设计上独立。 然而，
	我们不同意这种传统的关注点，而且我们在混合实验方面有很多经验，坦率地说，我们的目标总是预测。
	这不是解释。 我们正试图预测混合物或配方的性能，而这正是科学家或工程师感兴趣的。
	因此，科学家的需求与我们分析混合物的方式之间存在很大的脱节。 还有很多传统的设计就是我们所说的边界点设计。
	如果你熟悉术语 D 最优，它们往往是非常 D 最优的，也就是说，
	大多数点都分配在边界周围，我们几乎没有内部信息。 点数很少，有时没有
	在设计区域的内部。 为什么这很重要？ 嗯，混合系统，特别是在化学和生物应用中，
	往往非常复杂。 有非常复杂的动力学发生，这些响应面具有非常复杂的形状。
	如果我们没有关于设计区域内部的大量信息，那么很可能我们不会提出真正代表系统行为的模型。
	这实际上在混合设计的使用历史上经常发生。 再说一遍，我们今天没有时间谈论它，
	过去一种经典的分析或建模方法是我所说的 Scheffe 多项式，
	这些是一种设计用于混合的多项式。 它们有许多变体，但这些模拟多项式经常不足以对这些响应面进行建模，尤其是在其经典形式中。
	那么我们如何解决这个问题呢？ 好吧，我们相信我们需要从空间填充设计的角度来处理混合设计。
	为什么是空间填充设计？ 同样，这本身可能是一次谈话，但这些设计旨在为给定数量的设计点尽可能地覆盖设计空间。
	以及设计点数
	是用户的一个选项。 这实际上可以让我们使用更小的设计，
	经典的设计，它们涵盖了设计领域。 因此，这可以为我们提供更准确和有用的预测模型。 我们在整个设计区域有更好的信息。
	而在我们的混合方法中，都是基于空间拍摄设计的使用，这是我们近年来在行业中注意到的趋势。
	我现在想换档并谈论......好吧，鉴于我们已经创建了混合物，我们已经运行了它，好吧，我们如何分析它？
	我之前提到过，将机器学习应用于 DOE 的问题之一是我们没有真正的自然验证集。 好吧，Gotwalt 和 Ramsey，也就是我和 Chris Gotwalt 博士，实际上提出了一种我们称之为自动验证的验证方法。 和
	关于这一点的第一次演讲实际上是几年前在探索欧洲会议上发表的。
	这看起来不直观，但请听我说。 我们可以使用原始数据、原始实验进行训练和验证。 换句话说，我们获取原始数据并创建它的副本或克隆，
	我们将其称为自动验证集。 因此，训练集中的每个观察结果在自动验证集中都有一个孪生。
	现在就其本身而言，这似乎是荒谬的。 由于自动验证集具有与训练集相同的观察结果，这如何提供对预测能力的独立评估？ 好吧，它本身不能。
	自动验证思想的关键是我们对观察应用加权方案，该方案基于从伽玛分布生成权重。
	顺便说一下，伽马分布通常用于统计应用中的加权。 伽马权重有许多……我们今天不会再讨论的一些很好的属性。
	我们所做的是生成一组权重，但我们以一种特殊的方式来做。 如果训练集中的观察得到高值、高权重，
	自动验证集中的观察结果，双胞胎，权重较低。 我们为什么要做这个？ 这推动了两个数据集之间的反相关。
	换句话说，我们正在尝试使用加权方案去关联这些集合，并且我们现在在过去几年中已经对此进行了大量研究。 这表明这种方法非常有效。
	很快就会有一篇论文发表，其中将提供所有这些结果。 所以我们的想法是使用这个加权方案，所以我们取
	训练集，我们分配伽马权重，我们有自动验证集，我们为每个孪生分配相应的权重，所以如果训练集具有高权重，
	自动验证集中的双胞胎获得了较低的权重，这推动了这种反相关行为。 然后我们简单地重复这个策略几次，由用户指定。 所以在下一张幻灯片中，我展示了一个简单实验的例子。 我们有三个因素。 注意
	运行 1-7 是训练集，原始的。 运行 8-14 是克隆或副本。 注意两个集合的观察值完全相同，然后注意名为
	成对的 FWB 权重。 稍后我将解释 FWB。
	请注意，如果观察，如观察 1 获得高权重，它的孪生，观察 8，获得低权重。 所以观察 8 在验证集中。
	所以这个分数加权的想法很重要，所以分析是将分数权重应用于响应。 然后我们重复这个策略
	一些次数（次数取决于用户和场景），我们每次都拟合模型。 换句话说，我们基本上就是所谓的分数加权自举。
	什么是分数加权自举？ 它基本上是自举的一种形式，也称为广义自举，
	其中我们不引导观察。 我们引导权重应用于观察。 这是一种众所周知的方法，我们正在应用它。
	不同的是，我们重复应用这个，正如我所说，可能是数百次，数千次，这真的取决于用户。
	每次我们拟合一个模型，然后在最后，我们所做的是取平均值或集合。 这些被称为......这就是我们得到这个词的地方
	自验证或自动验证是自验证集成建模。 我们取平均值
	顺便说一下，集成建模在机器学习和深度学习中非常常见，因为它往往会导致更稳定和更好的预测建模。
	因此，SVEM 进行分数加权引导以生成一系列模型，然后使用模型平均得出最终的预测模型。
	那么，该方法是如何工作的呢？ 好吧，您为预测建模选择一种算法。 在我们的例子中，我们将专注于神经网络
	混合设计，但您可以选择其他方法。 SVEM 与它所使用的算法无关，并且它非常适合许多算法。 所以我们创建了训练和自动验证集。 我们分配我们的分数权重。
	然后我们拟合模型，然后我们根据用户的定义进行多次引导，然后取平均值。 好的，现在我将把它交给我的同事 Wayne Levin，他将演示 SVEM 并讨论一个加载项来实现它。
韦恩	我只是在这里做开关
	和共享屏幕。
	只是要切换 PowerPoint。
	非常感谢，菲尔。 我们将在这里使用这个例子，这个尿素数据，所以实验的目的是优化清洁剂的解决方案。
	而这种混合物的三个成分是水、酒精和尿素。 这些就是这里的三列。 我们将只关注一种响应，即粘度。 我们试图击中我们的目标 100 但是，正如我们在这里看到的，
	我们希望在粘度方面介于 95 和 105 之间。 因此，我将切换到 JMP。
	好的，这是我们的尿素数据。 刚刚在这里打开它，请注意只有 15 次运行，所以我只是在进行下一步。 下一步
	过程是创建自动验证表，所以当我点击它时，你会看到一些事情发生。 首先，我们有一个新表，我们有前 15 次运行，这与我们这里的完全相同。 然后对于每一次运行......所以如果我专注于，例如，第一行（52,29,19），
	你可以看到它在下面重复了，所以 52、29、19。
	同样，第二行将是 57、23、19。 我显然不会重复所有这些，但我想你明白了。 它只是重复这个组合......
	在此处的第二组中，第一组是训练……用于训练的内容，然后如此处所示，第二组是我们获得的用于验证的内容。 现在介于两者之间的是 Phil 正在谈论的成对分数加权列。 所以
	我们倾向于看到......当我们在这里看到高数字时，我们会在下面得到相应的较低数字，而且它非常遵循......
	好吧，那个 phil 正在谈论的伽马分布。 那我为什么不直接展示呢。 我只是要在这里绘制权重，只是有点
	将其定位在屏幕上。 所以每次我们进行迭代时，我们都会得到……我们刷新权重。 所以只要看看这里的权重 看看
	专栏在这里，这个专栏就在这里。 所以我只是要运行它，这样你就可以看到了。 所以每次迭代，我们都会得到一组新的
	分数...训练集和验证集的分数加权对。 好的。 所以接下来我要
	做一个拟合模型。 所以我打算做，如果你愿意，你可能会说，一次迭代。
	因此粘度是响应。 请注意，频率角色具有成对的分数...分数加权自举权重，因此这就是将其纳入建模的方式。 所以我们走了，这里是，如果你愿意，一个迭代，
	好的，基于这些特定的权重。 好，
	如果我们想要一个集成模型，我们必须反复这样做。 所以我现在要做的是用新的权重来运行它，如果你愿意，
	注意……你必须同时注意三个不同的地方，这可能有点挑战。 我只是要尝试定位这些东西，好吧。
	那么将会发生的事情是，当我单击此处使用新权重运行时，您将看到此处的权重发生变化，将创建一个模型并保存预测模型
	上面这儿。 我要在这里做一个。 让我们试一试吧。 Bang，所以它改变了制作模型的方式。
	在此处保存模型。 还增加了这一栏；这就是菲尔所说的合奏，这是平均水平。 当然我只做了一次迭代所以平均值只是
	相同。 所以我要在这里再做一次迭代，我们得到一组新的权重，一个新模型，一个新模型已经保存，现在这里的集成模型是这两个的平均值
	这边。 所以我只是要这样做，哦，我不知道，再做几次。 tt不难做，这些东西我们都能看出来
	随着我们的进展而改变。 所以我现在有六个，所以我们为什么不快速浏览一下这六个
	模型...单个模型，以及平均模型、集成，这显示在分析器中。 而这恰恰表明了不稳定性
	菲尔之前提到过，因为如果，如果你只做一次......现在我知道这里正在进行分数加权，但正如菲尔提到的，你知道，任何一点的运动我真的可以
	打扰模型，如果你愿意，你最终会得到一些并不真正......
	也许并不真正属于那里。 它们只是特定设计点的人工制品。 但只要看看这里，你就会知道如何
	这些单独的模型中的每一个看起来......好吧，它们在这里有一些不同的功能。但在下面，平均模型在某种意义上是......好吧，它是上面所有模型的平均值。
	你或多或少可以看到，这里的大扭结已经被平滑了。 你在这里看到了一点点。
	现在这只有 6 次迭代，而且对于加载项，我们建议实际进行 50 次迭代。
	但我也要做的是，让我们来看看实际与预测。 现在这个出来很漂亮......
	相当一致。 无论如何，这些线几乎都是一个斜率。 通常当我们这样做时，我们确实会看到更多的变化，但是你会在
	平均模型，在这个特定的例子中有点难以看到，但它是一条实线，基本上穿过那里其他线的质量。 所以我要把这些放在一边，接下来我要做的是
	我实际上要在这里进行一些跑步。 我想我们会在这个演示中做 25 次迭代。 你可以看到模型的变化，你可以看到权重
	这边换。 它没有在这里添加任何新东西。 所以我们只是通过。 砰，完成了，现在我们来看看报告。 所以我要打开它。
	最初，我们最终得到了实际与预测的对比和残差图。 在这里看看可能会很好
	分析器。
	我喜欢分析器。 它是
	非常适合混合物，因为你可以看到，当我换水时，当我增加水时，另外两个水会下降。 那就是
	混合物的固有性质，当然，它们都必须包含或加起来为 1。 好的，如果您愿意，这就是平均模型。
	在这里发生的 25 次合奏的合奏模型，好吧。 所以如果可以的话，我要去
	现在只需快速浏览一下混合分析器。
	我们在这里查找。
	事实上，如果可以的话，你能从中看到什么......
	注意要点。 你看到这些点是如何很好地拟合的吗？ 这是设计的空间填充特性，您还会注意到这个设计实际上有一些限制。
	所以我们没有以任何方式覆盖水 0-1 或尿素 0-1 等的整个空间，所以我们在这里有这些约束。
	我现在要做的就是突破极限，这样我就可以形象化……形象化 95 到 105。 所以这就是我可以在空白处向我展示的地方......
	什么组合，如果你愿意，满足那些那些条件......这里的规范限制。
	好的，这就是演示
	SVEM 方法、方法论（如果您愿意）以及
	我可以... 我就
	所以SVEM和空间填充设计。 再次重申，这样做的一大动机是它们本质上是不稳定的。
	因此，数据的微小变化可能会导致预测的巨大变化，当然，单个预测模型可能会因此而不稳定。 你知道的，你最终会遇到那些问题，你知道的，
	通常只是看着就很令人不安，因为这通常不是动力学发生的方式。
	所以我们需要稳定性和多个模型的集成，基于分数加权自举给我们。
	另一个……关于这个的另一件大事是在这些……在这些情况下固有地存在的多重共线性。 混合物是复杂的系统。
	它们不是组件行为的总和。 它们确实是交互的产物，这就是为什么我再次喜欢分析器，因为它们描绘了
	这些互动很漂亮。 这些动态非常好。 因此，因为我们得到了所有这些多重共线性，它在某种程度上减轻了这种情况，并提供了一个稳定、更准确的预测模型。 我们现在一直在运行这个......
	实际上它可以追溯到几年前但是
	自从我们创建了 SVEM 加载项（我将稍后讨论）以来，我们已经运行了无数次，从今年早些时候开始，它做得非常好。
	我们的客户对此非常满意。 所以就像我说的，使用 SVEM 平均的模型，它不是自动化的 JMP 标准或 JMP Pro，但我们有一个插件，如果你访问我们的网站 Predictum.com，你可以了解更多关于它以及如何为拿到它，为实现它。
	所以是的，SVEM 上有一个特定的页面。 我们还有一个现代混合设计课程，你可以看到这是与玛丽、菲尔和我一起的。
	您可以在 Predictum 网站的培训页面上看到这一点。 我们确实涵盖了有关经典混合设计的部分，但课程的三分之二到四分之三以 SVEM 为特色。
	这是可用的，SVEM 加载项作为课程的一部分提供。 所以在本次演讲中，我们已经看到了如何从数据构建预测模型......
	数据受到进行验证试验以控制过度拟合的可行性的限制。 你知道，在经典的设计实验中，我们只是没有足够的时间去做
	训练和验证，所以我们建议使用空间填充设计，特别是对于混合 DOE，但实际上更普遍地用于其他 DOE 情况。 我们描述了基于自动验证和分数加权引导的 SVEM。
	我们还讨论了 SVEM 如何在没有单独的一组验证运行的情况下为 DOE 数据启用预测建模。
	我们使用尿素实验数据演示了 SVEM。
	我确实想让你知道，如果你下载幻灯片，你会找到一大堆参考资料。 所以这里有一些，还有一些，我喜欢这个的一件事是
	它实际上可以追溯到 1996 年。 所以这已经酝酿了一段时间，我鼓励你看看这些参考资料。
	有了这个，我们将提出问题。

爆发美国能源部统计和建模回复：通过空间填充混合物设计、神经网络和 SVEM 加速创新 (2021-US-45MP-807)

很棒的信息！