398669_zh-CN

liliconcom

利用空间填充混合设计、神经网络和 SVEM 加速创新 (2021-US-45MP-807)

级别：中级

 

Philip Ramsey，北黑文集团和新罕布什尔大学数据科学家兼教授
Marie Gaudard，Predictum 数据科学家
Wayne Levin，Predictum 所有者

 

尽管约束混合物和混合物工艺设计对于工艺/产品开发和改进至关重要，但生成和分析却具有挑战性。经典的混合和混合工艺设计通常不能提供足够的设计空间覆盖，将太多的设计点分配给边界区域。此外，经典的混合工艺设计通常太大而不可行。 此外，约束混合设计中固有的大量部分混叠使得它们难以分析，特别是对于预测建模目的。

在本次演讲中，我们基于 JMP 中提供的快速灵活空间填充设计提出了新型高效约束混合和混合工艺设计。这些设计大大改善了设计空间的覆盖范围，并且无需预先指定模型即可生成。

通过模拟和案例研究，我们展示了这些新设计如何与适合神经网络的自我验证集成建模（SVEM）相结合，产生有效的预测模型。 这些模型为过程表征和优化提供了基础，从而确保更好的放大和缩小模型性能。我们演示如何使用 JMP 16 生成设计并进行 SVEM 分析。

 

 

自动生成的成绩单...

 

扬声器	成绩单
菲利普·J·拉姆齐	大家好，我是来自新罕布什尔大学和 Predictum 的 Phil Ramsey。 与我的共同主持人 Predictum 的 Wayne Levin 和 Marie Gaudard 一起，
	新罕布什尔大学和 Predictum 的名誉教授，我们将发表关于现代混合设计的演讲。
	演讲的议程是我们将讨论机器学习和实验设计，简要介绍什么是混合设计，
	谈论一种新的 DOE 机器学习方法，称为自动验证，它与集成建模相结合，创建了我们称为自验证集成建模方法的东西。
	然后我们将讨论 SVEM，这是自我验证的集成建模，我们将使用混合实验进行演示，然后我们将讨论
	SVEM 方法和空间填充设计。 Wayne Levin 将谈论 Predictum 开发的用于执行 SVEM 的插件，他还将演示尿素实验。
	我想指出的是，最近，事实上仅今年，我们就已经有了三个，很快就会出现在期刊上发表的关于以下主题的论文：
	DOE和机器学习，因此人们发现机器学习方法传统上应用于大数据
	可能对能源部有很多适用性，我们当然同意。 我们将展示如何在混合实验中有效地使用它们。 但所谓的机器学习应用的传统限制之一
	对于像 DOE 这样的较小数据集，人们认为必须拥有非常大的数据集。 这实际上并不完全正确。
	正如您将看到的，SVEM 方法是由许多人开发的，包括我自己和 JMP 的 Chris Gotwalt 博士，
	实际上，我们使将这些传统的大数据方法应用于小得多的数据变得非常可行，就像我们在实验设计中发现的那样。
	而且机器学习实际上都是关于预测的，所以我们将统计建模分为两种方法，一种称为解释性方法，这是经典的，它侧重于假设检验以及 P 值和参数。
	这通常不会产生良好的预测模型，但机器学习完全专注于预测。
	这就是我们的观点，这就是我们今天要使用的观点，并将其应用于混合实验。 我们将使用机器学习
	用于预测。 我们的重点不是解释，正如您将看到的，我们将能够将这些预测机器学习方法应用于小型实验设计
	数据集。 嗯，传统上我们评估预测模型的方式是用一部分数据来训练，所以我们称之为训练集，这是一种很常见的方法。
	然后我们还有另一组，但我们以某种方式保留了。 有多种策略。 我们只讨论一种，称为“保留”。
	我们把它放在一边，将模型拟合到训练集，然后保留集或验证集使我们能够评估预测能力。 换句话说，我们正在预测未用于拟合模型的数据。
	然而，这种策略不适用于实验设计。 他们非常高效并且以信息为中心，
	而且通常没有足够的资源或预算来开发验证集。 人们很少能够进行可用于验证的额外运行。
	因此，这似乎是使用机器学习进行预测建模的障碍，但正如我们将展示的，这种 SVEM 方法使我们绕过了这一限制。
	在我们进入 SVEM 之前，我想快速向您讨论一下混合设计。 我知道你们有些人熟悉它们，有些人不熟悉。
	这些是一种特殊类型的实验设计。 它们并不像应有的那么常见，因为人们不了解它们，但它指的是对配方或配方的实验，这些配方的成分实际上可以是液体、气体或固体。
	重要的概念之一是对响应的影响仅取决于组件的相对比例。
	所以我们非常关心我们的成分的比例，就像你在食谱中所说的那样。 我们不关注数量。 如果存在的总量很重要，这就会导致另一种类型的实验，称为混合物量，这超出了今天的范围。
	但由于这些是配方的组成部分，因此这些因素受到限制。 换句话说，总量必须受到限制；有时这是自然发生的。
	但比例也必须受到限制。 因此，在混合实验中，与因子实验不同，您无法独立更改因子。
	所以在很多人熟悉的传统DOE中，对因素的联合设置没有任何约束。 在某些情况下有，但通常没有。
	另一方面，混合物实验中，由于它们是某种配方的成分，因此总量必须总计为 1 或 100%。 因此，如果我有 Q 因子，那么每次试验的 Q 实验因子的设置必须总和为 1。 此外，
	任何一个单独组件的设置必须介于 0 到 1 之间。 我还要指出，我们今天没有时间讨论这个，
	混合设计的一个重要变体称为混合过程实验，其中我们将混合因素与过程因素结合起来。
	我们这样做是因为混合物的行为。 例如，考虑一下三部分粘合剂，其行为会随着加工条件而发生巨大变化。 因此，我们可能会考虑固化粘合剂的压力和温度等因素以及最佳的
	配方通常会根据这些工艺因素而变化。 这超出了今天讨论的范围，但它是混合物的一个重要方面。
	因此，从历史上看，当人们分析混合物甚至创建它们……创建它们时，重点是解释性目标，即
	对参数、P 值和置信区间的假设检验。 然而，从一般的混合物来看，这总是有问题的，因为混合物本质上有很多
	因素和影响之间存在多重共线性或相关性。 它们必须这样做，因为总数……总数受到限制，并且它们的总和必须为 1，因此它们在设计上不能是独立的。 然而，
	我们不同意这种传统的关注点，并且根据我们在混合实验方面拥有的大量经验，坦率地说，目标始终是预测。
	这不是解释。 我们试图预测混合物或配方的性能，这正是科学家或工程师感兴趣的。
	因此，科学家的需求与我们分析混合物的方式之间存在很大的脱节。 此外，许多传统设计都是我们所说的边界点设计。
	如果您熟悉术语 D 最优，那么它们往往是非常 D 最优的，也就是说，
	大多数点都分配在边界周围，我们几乎没有内部信息。 点很少，有时没有
	在设计区域的内部。 为什么这很重要？ 嗯，混合物系统，特别是在化学和生物应用中，
	往往非常复杂。 正在发生非常复杂的动力学，并且这些响应面具有非常复杂的形状。
	如果我们没有关于设计区域内部的大量信息，那么我们很可能不会提出真正代表系统行为的模型。
	在混合设计的使用历史上，这种情况实际上经常发生。 再说一次，我们今天没有时间谈论这个，
	过去分析或建模的经典方法是我所说的 Scheffe 多项式，
	这些是一种设计用于混合物的多项式。 它们有许多变体，但这些模拟多项式通常不足以对这些响应面进行建模，尤其是其经典形式。
	那么我们如何解决这个问题呢？ 嗯，我们相信我们需要从空间填充设计的角度来进行混合设计。
	为什么要进行空间填充设计？ 同样，这本身就可以是一个话题，但这些设计是为了在给定数量的设计点上尽可能覆盖设计空间而创建的。
	以及设计点数
	是用户的一个选项。 这实际上可以让我们使用更小的设计，
	经典设计，覆盖了设计领域。 因此，这可以为我们提供更准确和有用的预测模型。 我们对整个设计区域有更好的信息。
	在我们的混合物方法中，这一切都基于太空拍摄设计的使用，这是我们近年来在行业中注意到的趋势。
	我现在想换个话题，谈谈……好吧，鉴于我们已经创建了混合物，我们已经运行了它，那么我们如何分析它？
	我之前提到过，将机器学习应用于 DOE 的问题之一是我们实际上没有一个自然的验证集。 好吧，Gotwalt 和 Ramsey，也就是我和 Chris Gotwalt 博士，实际上提出了一种我们称为自动验证的验证方法。 和
	关于这个问题的第一次演讲实际上是在几年前的 Discovery Europe 会议上进行的。
	这看起来并不直观，但请听我说完。 我们可以使用原始数据、原始实验进行训练和验证。 换句话说，我们获取原始数据并创建它的副本或克隆，
	我们将其称为自动验证集。 因此，训练集中的每个观察结果在自动验证集中都有一个双胞胎。
	现在看来，这似乎是荒谬的。 由于自动验证集与训练集具有相同的观察结果，因此如何提供对预测能力的独立评估？ 嗯，它本身不能。
	自动验证思想的关键是我们对观测值应用加权方案，该方案基于从伽玛分布生成权重。
	顺便说一句，伽马分布通常用于统计应用中的加权。 伽马权重有许多...许多很好的属性，我们今天不会讨论。
	我们所做的是生成一组权重，但我们以特殊的方式进行。 如果训练集中的观察值较高、权重较高，
	自动验证集中的观察结果（双胞胎）的权重较低。 我们为什么要做这个？ 这驱动了两个数据集之间的反相关性。
	换句话说，我们正在尝试使用加权方案来消除这些集合的相关性，并且我们在过去几年中对此进行了大量研究。 说明这个方法非常有效。
	很快就会有一篇论文发表，其中将提供所有这些结果。 所以我们的想法是使用这种加权方案，所以我们采用
	训练集，我们分配伽玛权重，我们有自动验证集，并且我们为每个双胞胎分配相应的权重，所以如果训练集具有高权重，
	自动验证集中的双胞胎的权重较低，这会导致这种反相关行为。 然后我们只需重复该策略几次，由用户指定。 因此，在下一张幻灯片中，我将展示一个简单实验的示例。 我们有三个因素。 注意
	运行 1-7 是原始训练集。 运行 8-14 是克隆或副本。 请注意，两组的观察值完全相同，然后注意称为
	成对的 FWB 配重。 我稍后会解释 FWB。
	请注意，如果某个观察（例如观察 1）的权重较高，那么它的孪生观察 8（观察 8）的权重较低。 因此观察 8 在验证集中。
	因此，分数加权的想法很重要，因此分析是通过将分数权重应用于响应来完成的。 然后我们重复这个策略
	一定次数（次数取决于用户和场景），我们每次都会拟合模型。 换句话说，我们基本上就是所谓的分数加权引导。
	什么是分数加权引导？ 它基本上是引导的一种形式，也称为广义引导，
	其中我们不引导观察。 我们引导应用于观察的权重。 这是一种众所周知的方法，我们正在应用它。
	不同的是，我们重复应用这个，正如我所说，可能是数百次、数千次，这实际上取决于用户。
	每次我们拟合一个模型，最后，我们所做的就是取平均值或整体。 这些被称为......这就是我们得到这个术语的地方
	自我验证或自动验证是自我验证集成建模。 我们取平均值
	顺便说一句，集成建模在机器学习和深度学习中非常常见，因为它往往会导致更稳定和更好的预测建模。
	因此，SVEM 通过分数加权引导来生成一系列模型，然后使用模型平均来得出最终的预测模型。
	那么，该方法是如何运作的呢？ 好吧，您为预测建模选择一种算法。 在我们的例子中，我们将重点关注神经网络
	混合设计，但您可以选择其他方法。 SVEM 对于与它一起使用的算法相当不可知，并且它非常适合许多算法。 因此，我们创建训练和自动验证集。 我们分配分数权重。
	然后我们拟合模型，然后根据用户的定义引导多次，然后取平均值。 好的，现在我将把它交给我的同事 Wayne Levin，他将演示 SVEM 并讨论执行此操作的插件。
韦恩	我只是在这里进行切换
	并共享屏幕。
	只是要切换 PowerPoint。
	非常感谢，菲尔。 我们将在这里使用这个例子，这个尿素数据，所以实验的目的是优化清洁剂的解决方案。
	该混合物的三种成分是水、酒精和尿素。 这就是这里的三栏。 我们只关注一个响应，即粘度。 我们试图达到 100 的目标，但是，正如我们在这里看到的，
	我们希望粘度在 95 到 105 之间。 因此，我将切换到 JMP。
	好的，这是我们的尿素数据。 刚刚在这里打开它，请注意只有 15 次运行，所以我只是进入下一步。 下一步
	过程是创建自动验证表，所以当我单击该表时，您会看到发生一些事情。 首先，我们有一个新表，并且有前 15 次运行，这与我们这里的完全相同。 然后对于每次运行...因此，例如，如果我专注于第一行 (52, 29, 19)，
	你可以看到它在下面重复，所以 52, 29, 19。
	同样，第二行将是 57、23、19。 我显然不会重复所有这些，但我想你已经明白了。 它只是重复这个组合......
	在下面的第二组中，第一组是训练......用于训练的内容，然后第二组，如此处所示，是我们用于验证的内容。 现在介于两者之间的是菲尔正在谈论的配对分数加权列。 所以
	我们倾向于看到......当我们倾向于在这里看到高数字时，我们会在下面得到相应的较低数字，并且它非常遵循......
	好吧，那个菲尔正在谈论的伽马分布。 那么我为什么不直接展示这一点呢？ 我只是想在这里绘制权重，只是这样
	将其放置在屏幕上。 因此，每次我们进行迭代时，我们都会刷新权重。 所以只要看看这里的权重，然后看看
	专栏在这里，这个专栏就在这里。 所以我将运行它以便您可以看到。 所以每次迭代，我们都会得到一组新的
	训练集和验证集的分数...分数加权对。 好的。 所以接下来我要
	做一个拟合模型。 所以你可能会说，如果你愿意的话，我将进行一次迭代。
	所以粘度就是响应。 请注意，这里的频率角色具有成对的分数...分数加权自举权重，因此这就是它在建模中的影响因素。 那么我们就开始吧，如果你愿意的话，这是一次迭代，
	好的，基于这些特定的权重。 出色地，
	如果我们想要一个集成模型，我们就必须重复这样做。 所以我现在要做的是用新的重量来跑这个，如果你愿意的话，
	留意...你必须同时留意三个不同的地方，这可能是一个挑战。 我只是想尝试定位这些东西，好吧。
	因此，当我单击此处使用新权重运行时，您将看到此处的权重发生变化，将创建一个模型并保存预测模型
	上面这儿。 我要在这里做一个。 让我们尝试一下吧。 砰，所以它改变了模型的制作方式。
	在此保存模型。 还添加了此栏；这就是菲尔所说的整体，这是平均值。 当然，我只进行了一次迭代，所以平均值只是
	相同。 所以我要在这里进行另一次迭代，我们得到一组新的权重，一个新的模型，并且一个新的模型已被保存，现在这里的整体模型是这两个的平均值
	在这里。 所以我会再做几次，哦，我不知道。 这并不难做到，我们可以看到这些东西
	随着我们的前进而改变。 现在我已经有了六个，所以我们为什么不快速浏览一下这六个
	模型...单个模型，以及平均模型、整体模型，这些都显示在分析器中。 这恰恰表明了不稳定
	菲尔之前提到过，因为如果，如果你只做一次……现在我知道这里正在发生分数加权，但正如菲尔提到的，你知道，我真的可以移动任何点
	如果你愿意的话，扰乱模型，你最终会得到一些并不真正的特征......
	也许并不真正属于那里。 它们只是特定设计点的产物。 但只要看看这里，你就会明白如何
	每个单独的模型看起来……嗯，它们有一些不同的功能。但在下面，平均模型在某种意义上......嗯，它是上面所有模型的平均值。
	你或多或少可以看到，这里的大问题已经得到了解决。 你在这里看到了一点点。
	现在这仅进行了 6 次迭代，对于该插件，我们建议实际上进行 50 次迭代。
	但我也会做的是，让我们看看实际情况与预测情况。 现在这个结果很漂亮......
	非常一致。 无论如何，这些线几乎都是 1 的斜率。 通常，当我们这样做时，我们确实会看到更多的变化，但是您会在
	平均模型，在这个特定的例子中有点难以看到，但它是一条实线，基本上穿过那里其他线的质量。 所以我要把这些移到一边，接下来我要做的是
	我实际上要在这里进行一系列跑步。 我想我们会在这个演示中进行 25 次迭代。 你可以看到模型的变化，你可以看到权重
	到这里换。 它并没有在这里添加任何新内容。 所以我们只是经历而已。 砰，完成了，现在我们来看看报告。 所以我要打开它。
	最初，我们最终得到了此处的实际与预测以及残差图。 在这里看看可能会很好
	分析器。
	我喜欢分析器。 它是
	非常适合混合物，因为你可以看到，当我换水时，当我增加水量时，另外两个会下降。 这就是
	混合物的固有性质，当然，它们都必须包含或加起来为1。 好吧，如果你愿意的话，这就是平均模型。
	在这里进行的 25 场合奏模型，好吧。 所以如果可以的话我会
	现在快速浏览一下混合物分析器。
	我们在这里看到这个样子。
	事实上，如果可以的话，你可以从中看到什么......
	注意要点。 你看到这些点是如何很好地配合的吗？ 这是设计的空间填充性质，您还会注意到该设计实际上有限制。
	所以我们无论如何都不会覆盖水 0-1 或尿素 0-1 等的整个空间，所以我们在这里有这些限制。
	我现在要做的就是加入限制，这样我就可以想象……想象 95 到 105。 所以这向我展示了我可以在此处的空白处......
	如果您愿意的话，什么组合可以满足这些条件……此处的规格限制。
	好的，这就是演示
	SVEM 方法、方法论（如果您愿意的话）以及
	我可以... 我就这样吧
	所以SVEM和空间填充设计。 再说一次，这样做的一大动机是它们本质上不稳定。
	因此，数据中的微小变化可能会导致预测发生巨大变化，因此单个预测模型当然可能会不稳定。 你知道，你最终会遇到那些问题，而且，你知道，
	通常光是看着就令人不安，因为这通常不是动力学发生的方式。
	因此，我们需要稳定性以及基于分数加权引导的多个模型的集成。
	另一个……关于此的另一件大事是这些……在这些情况下固有地存在的多重共线性。 混合物是复杂的系统。
	它们不是组件行为的总和。 它们确实是交互的产物，这就是为什么我再次喜欢分析器，因为它们描绘了
	这些互动很美妙。 这些动态表现得非常好。 因此，因为我们得到了所有这些多重共线性，它在某种程度上减轻了这种情况，并提供了稳定、更准确的预测模型。 我们现在一直在运行这个...
	实际上它可以追溯到几年前但是
	自从我们创建了 SVEM 插件（我稍后会讨论一下）以来，自今年早些时候以来，我们已经运行了它很多次，而且它做得非常好。
	我们的客户对此非常满意。 正如我所说，使用 SVEM 进行平均的模型不是自动化的，也不是 JMP 标准或 JMP Pro，但我们确实有一个插件，如果您访问我们的网站 Predictum.com，您可以了解有关它的更多信息以及如何使用为拿到它，为实现它。
	是的，SVEM 上有一个特定的页面。 我们还有一个现代混合设计课程，你可以看到这是玛丽、菲尔和我自己的课程。
	您可以在 Predictum 网站的培训页面上看到这一点。 我们确实涵盖了经典混合设计的一部分，但课程的三分之二到四分之三都以 SVEM 为特色。
	这是可用的，SVEM 插件作为课程的一部分提供。 因此，在本次演讲中，我们了解了如何根据数据构建预测模型......
	数据受到进行验证试验以控制过度拟合的可行性的限制。 你知道，在经典的设计实验中，我们只是没有运行要做
	训练和验证，因此我们建议使用空间填充设计，特别是对于混合 DOE，但实际上更普遍地也适用于其他 DOE 情况。 我们描述了 SVEM，它基于自动验证和分数加权引导。
	我们还讨论了 SVEM 如何在无需进行一组单独的验证运行的情况下对 DOE 数据进行预测建模。
	我们使用尿素实验数据演示了 SVEM。
	我确实希望您知道，如果您下载幻灯片，您会发现一大堆参考资料。 所以这里有一些，还有更多，我喜欢这个的一件事是
	实际上可以追溯到1996年。 所以这件事已经酝酿了一段时间了，我鼓励你看看这些参考资料。
	接下来我们将回答问题。

爆发美国能源部统计和建模回复：通过空间填充混合设计、神经网络和 SVEM 加速创新 (2021-US-45MP-807)

很棒的信息！