756841_zh-CN

liliconcom

利用空间填充混合设计、神经网络和 SVEM 加速创新 (2021-US-45MP-807)

菲利普·拉姆齐 (Philip Ramsey)，北海文集团和新罕布什尔大学数据科学家兼教授
Marie Gaudard，Predictum 数据科学家
Predictum 老板 Wayne Levin

尽管约束混合和混合过程设计对工艺/产品开发和改进至关重要，但它们的生成和分析却颇具挑战性。经典混合和混合过程设计通常无法充分覆盖设计空间，会将过多的设计点分配到边界区域。此外，经典混合过程设计通常规模过大，难以实施。此外，约束混合设计固有的大量部分混叠效应使其难以分析，尤其是在预测建模方面。

在本报告中，我们将基于 JMP 中快速灵活的空间填充设计，提出一类新的高效约束混合和混合过程设计。这些设计能够显著提高设计空间的覆盖率，并且无需预先指定模型即可生成。

通过模拟和案例研究，我们将展示这些新设计如何与自验证集成建模 (SVEM) 相结合，从而拟合神经网络，并生成有效的预测模型。这些模型为工艺表征和优化奠定了基础，从而确保了模型在放大和缩小过程中的性能更佳。我们将演示如何使用 JMP 16 生成设计并进行 SVEM 分析。

自动生成的成绩单...

扬声器	抄本
菲利普·J·拉姆齐	大家好，我是新罕布什尔大学和 Predictum 的 Phil Ramsey。与我一起主持节目的还有 Predictum 的 Wayne Levin 和 Marie Gaudard，
	新罕布什尔大学和 Predictum 的名誉教授，我们将就现代混合设计发表演讲。
	本次演讲的议程是，我们将讨论机器学习和实验设计，并简要介绍什么是混合设计，
	讨论一种用于 DOE 的新型机器学习方法，称为自动验证，它与集成建模相结合，创建了我们称之为自验证集成建模方法的东西。
	然后我们会讨论 SVEM，即自验证集成模型，我们会用混合实验进行演示，然后我们会讨论
	SVEM 方法和空间填充设计。Wayne Levin 将讲解 Predictum 开发的用于 SVEM 的插件，并进行尿素实验的演示。
	我想指出的是，最近，实际上仅今年一年，我们就已经有三篇论文被发表在期刊上，主题是
	DOE 和机器学习，因此人们发现传统上应用于大数据的机器学习方法
	它可能在实验设计（DOE）中具有广泛的适用性，我们当然同意这一点。我们将展示如何在混合实验中有效地运用它们。但机器学习在应用中的一个传统局限性是
	人们通常认为，像美国能源部这样的小型数据集必须拥有非常大的数据集。但事实并非如此。
	正如你将看到的，SVEM 方法已经由许多人开发，包括我本人和 JMP 的 Chris Gotwalt 博士，
	实际上，我们可以将这些传统的大数据方法应用于我们通过实验设计发现的更小的数据。
	而且机器学习实际上都是关于预测的，所以我们将统计建模分为两种方法，一种方法称为解释方法，这是经典的，它侧重于假设检验和 P 值和参数。
	这通常不会产生好的预测模型，但机器学习完全专注于预测。
	这就是我们的观点，也是我们今天要运用的，并将其应用于混合实验。我们将使用机器学习
	用于预测。我们的重点不是解释，正如你将看到的，我们将能够将这些预测机器学习方法应用于小型实验设计
	数据集。传统上，我们评估预测模型的方法是使用一部分数据进行训练，所以我们称之为训练集，这是一种非常常见的方法。
	我们还有另一组在某种程度上有所保留的策略。有很多策略。我们只讨论其中一种，叫做“保留”。
	我们先把数据放在一边，用训练集拟合模型，然后用保留集（或验证集）来评估预测能力。换句话说，我们预测的是那些没有用于拟合模型的数据。
	然而，这种策略不适用于实验设计。实验设计非常高效，并且以信息为中心，
	而且通常没有足够的资源或预算来开发验证集。很少有人能够进行额外的运行来用于验证。
	因此，这似乎是使用机器学习进行预测建模的障碍，但正如我们将要展示的，这种 SVEM 方法可以帮助我们解决这一限制。
	在讨论SVEM之前，我想快速讨论一下混合设计。我知道你们有些人熟悉它，有些人则不熟悉。
	这是一类特殊的实验设计。它们并不像人们想象的那么常见，因为人们并不了解它们。它指的是用某种配方或方法进行的实验，而这些配方的成分可以是液体、气体或固体。
	其中一个重要概念是，对响应的影响仅取决于各组成部分的相对比例。
	所以我们非常关注成分的比例，就像食谱里说的那样。我们不关注数量。如果总量很重要，那就需要进行另一种叫做混合量的实验，这超出了今天的范围。
	但因为这些都是配方的组成部分，所以这些因素是有限制的。换句话说，总量必须受到限制；有时这是自然而然发生的。
	但比例也必须受到限制。因此，与因子实验不同，混合实验中你不能独立地改变因子。
	因此，在许多人熟悉的传统DOE中，对因子的联合设置没有任何限制。在某些情况下有，但通常没有。
	另一方面，在混合实验中，由于它们是某种配方的成分，因此总量必须为 1 或 100%。因此，如果我有 Q 因子，那么每次试验中这些 Q 因子的设置总和必须为 1。此外，
	任何单个组件的设置都必须在 0 到 1 之间。我还要指出的是，我们今天没有时间讨论这个问题，
	混合设计的一个重要变体称为混合过程实验，其中我们将混合因子与过程因子结合起来。
	我们这样做是因为混合物的行为。例如，想象一下三组分粘合剂，其行为会随着加工条件的变化而发生巨大变化。因此，我们可能会考虑固化粘合剂的压力和温度，以及最佳
	配方通常会根据这些工艺因素而变化。这超出了今天的讨论范围，但它是混合物的一个重要方面。
	因此，从历史上看，当人们分析混合物甚至创造它们时，重点是解释目标，即
	对参数、P值和置信区间进行假设检验。然而，从混合物的角度来看，这通常是一个问题，因为混合物本身就有很多
	因素和效应之间存在多重共线性或相关性。它们必须存在，因为总量受到限制，而且它们之和必须等于1，所以它们不可能在设计上是独立的。然而，
	我们不同意这种传统的关注点，并且凭借我们在混合实验方面的丰富经验，坦率地说，我们的目标始终是预测。
	这不是解释。我们试图预测混合物或配方的性能，这才是科学家或工程师感兴趣的。
	因此，科学家的需求与我们分析混合物的方式之间存在着巨大的脱节。此外，许多传统的设计就是我们所说的边界点设计。
	如果你熟悉“D 最优”这个术语，它们往往非常 D 最优，也就是说，
	大多数点都分布在边界周围，我们几乎没有内部信息。点很少，有时甚至没有
	在设计区域的内部。为什么这很重要？嗯，混合系统，特别是在化学和生物应用中，
	往往非常复杂。其中有非常复杂的动力学过程，并且这些响应面的形状也非常复杂。
	如果我们没有大量关于设计区域内部的信息，那么很可能我们就无法提出真正代表系统行为的模型。
	事实上，在混合设计的应用历史上，这种情况经常发生。同样，我们今天没有时间讨论这个问题。
	过去分析或建模的经典方法就是我所说的 Scheffe 多项式，
	这些是专为混合模型设计的多项式。它们有很多变体，但这些模拟多项式（尤其是在其经典形式下）通常不足以模拟这些响应面。
	那么我们该如何解决这个问题呢？我们认为，我们需要从空间填充设计的角度来处理混合设计。
	为什么要进行空间填充设计？这本身就可以单独讨论，但这些设计是为了在给定数量的设计点的情况下尽可能地覆盖设计空间而创建的。
	以及设计点的数量
	是用户的一种选择。这实际上可以让我们利用更小的设计，
	这些经典设计覆盖了整个设计区域。因此，这可以给我们提供更准确、更实用的预测模型。我们可以获得关于整个设计区域的更完善的信息。
	在我们的混合方法中，一切都基于太空拍摄设计的使用，这是我们近年来在行业中注意到的趋势。
	我现在想换个话题来谈谈......好吧，既然我们已经创建了混合物，我们已经运行了它，那么，我们如何分析它？
	我之前提到过，机器学习应用于能源部的一个问题是，我们实际上没有一个自然的验证集。Gotwalt 和 Ramsey，也就是我和 Chris Gotwalt 博士，实际上提出了一种我们称之为自动验证的验证方法。
	关于这个问题的第一次讨论实际上是在几年前的探索欧洲会议上进行的。
	这看起来不太直观，但请听我说完。我们可以用原始数据，也就是原始实验来训练和验证。换句话说，我们获取原始数据，并创建它的副本或克隆，
	我们将其称为自动验证集。因此，训练集中的每个观察值在自动验证集中都有一个对应的值。
	就其本身而言，这似乎毫无意义。既然自动验证集与训练集的观测值相同，它如何提供对预测能力的独立评估？嗯，它本身做不到。
	自动验证思想的关键在于我们对观察结果应用加权方案，该方案基于从伽马分布生成权重。
	顺便说一下，Gamma 分布在统计应用中通常用于加权。Gamma 权重有很多……很多优良特性，我们今天就不细说了。
	我们的做法是生成一组权重，但采用一种特殊的方式。如果训练集中的某个观测值获得高值，那么它的权重也就高，
	自动验证集中的观察值（双胞胎）的权重较低。我们为什么这样做？这会导致两个数据集之间出现负相关性。
	换句话说，我们尝试使用加权方案来消除数据集之间的相关性。过去几年，我们已经对此进行了大量研究。结果表明，这种方法非常有效。
	很快就会有一篇论文公布所有这些结果。我们的想法是使用这个加权方案，所以我们取
	训练集，我们分配伽马权重，我们有自动验证集，我们为每个双胞胎分配相应的权重，所以如果训练集的权重很高，
	自动验证集中的双胞胎权重较低，这导致了这种反相关行为。然后我们只需重复此策略一定次数，次数由用户指定。在下一张幻灯片中，我将展示一个简单实验的示例。我们有三个因素。注意
	运行 1-7 是训练集，即原始数据。运行 8-14 是克隆数据或副本。请注意，这两个数据集的观测值完全相同，然后请注意名为
	配对的FWB重量。我稍后会解释FWB。
	注意，如果一个观测值，比如观测值 1 获得较高的权重，那么它的孪生观测值 8 就会获得较低的权重。所以观测值 8 被纳入验证集。
	所以分数加权的概念很重要，所以分析是通过对响应应用分数权重来完成的。然后我们重复这个策略
	我们会进行一定次数的训练（具体次数取决于用户和场景），每次训练都会拟合模型。换句话说，我们基本上就是所谓的分数加权引导法。
	那么分数加权自举法是什么呢？它本质上是一种自举法，也被称为广义自举法。
	我们不对观测值进行引导。我们采用引导权重应用于观测值。这是一种众所周知的方法，我们正在应用它。
	不同的是，我们重复应用这个方法，正如我所说，可能是数百次、数千次，这完全取决于用户。
	每次我们拟合一个模型，最后都会取平均值或集合。这被称为……这就是我们得到这个术语的原因
	自我验证，或者说自动验证，是自我验证集成模型。我们取平均值
	顺便说一下，集成建模在机器学习和深度学习中非常常见，因为它往往能够产生更稳定、更好的预测模型。
	因此，SVEM 进行分数加权引导来生成一系列模型，然后使用模型平均来得出最终的预测模型。
	那么，这个方法是如何运作的呢？嗯，你选择一种算法来构建你的预测模型。在我们的例子中，我们将重点关注神经网络
	混合设计，但你也可以选择其他方法。SVEM 对于它使用的算法相当敏感，并且它对许多算法都适用。因此，我们创建了训练集和自动验证集。我们分配了相应的分数权重。
	然后我们拟合模型，然后根据用户定义的次数进行引导，最后取平均值。好的，现在我将把时间交给我的同事 Wayne Levin，他将演示 SVEM，并介绍一个插件来实现它。
韦恩	我只是在这里做切换
	并共享屏幕。
	只需切换 PowerPoint。
	非常感谢，菲尔。我们将使用这个例子，这个尿素数据，所以实验的目的是优化清洁剂的溶液。
	这种混合物的三种成分是水、酒精和尿素。这就是这三列。我们只关注一个响应，那就是粘度。我们的目标是达到100，但是，正如我们下面看到的，
	我们希望粘度在95到105之间。因此，我将切换到JMP。
	好的，这是我们的尿素数据。我刚刚打开它，注意只有15次运行，所以我直接进入下一步。下一步是
	流程是创建自动验证表，所以当我点击它时，你会看到几件事发生。首先，我们会得到一个新表，里面有前15次运行的数据，这和我们这里的情况完全一样。然后，对于每次运行……例如，如果我关注第一行 (52, 29, 19)，
	您可以看到它在下面重复出现，即 52、29、19。
	同样，第二行将是 57、23、19。我当然不会把这些数字都重复一遍，但我想你应该明白了。这只是重复这些组合而已……
	在下面的第二组中，第一组是训练集……用于训练，然后第二组，正如这里所示，用于验证。现在，中间是 Phil 提到的成对分数加权列。所以
	我们倾向于看到...当我们倾向于在这里看到较高的数字时，我们会在下面得到相应的较低数字，并且它非常遵循...
	嗯，就是菲尔提到的伽马分布。我先展示一下。我先在这里画出权重，就像
	在屏幕上定位。所以每次迭代时，我们都会……刷新权重。所以，看看这里的权重，然后观察
	这列在这里，这列在这里。我先运行一下，这样你就能看到。每次迭代，我们都会得到一组新的
	分数……在训练集和验证集上进行分数加权对。好的。接下来我要
	做一个拟合模型。所以，如果你愿意的话，我会做一次迭代。
	所以粘度就是响应。请注意，频率角色有成对的分数……分数加权的引导权重，所以它就是这样被纳入模型的。好了，我们开始吧，如果你愿意的话，这是一次迭代，
	好的，基于这些特定的权重。嗯，
	如果我们想要一个集成模型，就必须反复进行这样的操作。所以我现在要做的是用新的权重来运行它，如果你愿意的话，
	留意……你得同时留意三个不同的地方，这可能有点挑战性。我只是试着把这些东西摆好位置，好吗？
	所以接下来会发生什么呢？当我点击这里使用新的权重运行时，你会看到这里的权重发生了变化，一个模型被创建，并且预测模型将被保存
	上来。我打算在这里做一个。试试看。砰，它改变了生成模型的方式。
	保存模型。此列也已添加；这是 Phil 提到的集成，这是平均值。当然，我只进行了一次迭代，所以平均值如下
	一样。所以我在这里再做一次迭代，我们得到一组新的权重，一个新的模型，并且保存了一个新的模型，现在这里的集成模型是这两个的平均值
	就在这里。所以我要再做几次，哦，我不知道。这并不难，我们可以看到这些
	随着我们的进展而变化。我现在有六个，我们为什么不快速浏览一下这六个
	模型……个体模型，以及平均模型、整体模型，这些都显示在分析器中。这恰恰表明了不稳定性
	Phil 之前提到过，因为如果，如果你只做一次……现在我知道这里有分数加权，但正如 Phil 提到的，你知道，任何一点的移动我都可以
	如果你愿意的话，可以扰乱模型，你最终会得到一些实际上并不重要的特征......
	也许它们并不真正属于那里。它们只是特定设计点的产物。但只要看看这里，你就能明白
	每个单独的模型看起来...嗯，它们在这里有一些不同的特征。但在下面，平均模型在某种意义上是...嗯，它是上面所有模型的平均值。
	你大概能看出，这边那个大卷边已经被抚平了。你在下面能看到一点点。
	现在这仅进行了六次迭代，并且使用插件后，我们建议实际进行 50 次迭代。
	但我还要做的是，让我们看看实际数据和预测数据。现在这个结果相当……
	相当一致。这些线的斜率基本上都是1。通常当我们这样做的时候，我们确实会看到更多的变化，但你会注意到
	普通模型，在这个例子中有点难看清，但它是一条实线，基本上穿过了其他线的质量。所以我要把它们移到一边，接下来要做的是
	我实际上会在这里进行多次运行。我想在这个演示中，我们会进行 25 次迭代。你可以看到模型的变化，也可以看到权重的变化
	修改一下。这里没有添加任何新内容。所以我们只是过一遍。砰，完成了，现在我们来看看报告。我直接打开它。
	最初，我们在这里得到了实际值与预测值的对比图，以及残差图。在这里看看
	分析器。
	我喜欢这个分析器。它
	非常适合混合物，因为你们可以看到，当我换水，当我增加水量时，其他两个就下降了。这就是
	混合物的固有性质，当然，它们都必须包含或加起来等于 1。好的，如果你愿意的话，这就是平均模型。
	好的，这是涵盖了 25 例发作的集成模型。如果可以的话，我将
	现在只需快速看一下混合物分析器。
	我们在这里看到这个。
	实际上，如果可以的话，您可以从中看到……
	注意这些点。你看到这些点是如何完美契合的吗？这就是设计的空间填充特性，你还会注意到这个设计实际上有一些约束。
	因此，我们不会以任何方式覆盖水 0-1 或尿素 0-1 等的整个空间，所以我们在这里有这些限制。
	我现在要做的就是把限制加进去，这样我就能想象...想象 95 到 105。所以它在这里的空白处向我展示了我可以...
	如果愿意的话，哪些组合可以满足那些条件......这里的规格限制。
	好的，这就是
	SVEM 方法，方法论，如果你愿意的话，
	我可能...我只是。
	所以 SVEM 和空间填充设计。所以，再次强调，这方面的一大动机是它们本质上是不稳定的。
	因此，数据的微小变化都可能导致预测的巨大变化，最终导致单一的预测模型不稳定。你知道，最终会出现一些问题，你知道，
	通常看起来相当令人不安，因为动力学通常不会这样发生。
	因此，我们需要稳定性和多个模型的集成，基于分数加权引导法可以实现这一点。
	另一个……另一个重要问题是，在这些情况下，多重共线性是固有的。混合物是复杂的系统。
	它们不是组件行为的总和。它们实际上是交互的产物，这就是为什么我喜欢分析器，因为它们描绘了
	这些相互作用非常完美。这些动态表现得非常好。因为我们得到了所有这些多重共线性，所以它在某种程度上减轻了这种影响，并提供了一个稳定、更准确的预测模型。我们现在一直在运行这个……
	事实上，这可以追溯到几年前，但是
	自从我们创建了 SVEM 插件（我稍后会谈到它）以来，自今年早些时候以来我们已经运行过很多次了，它的表现确实非常出色。
	我们的客户对此非常满意。正如我所说，使用 SVEM 进行模型平均并非自动化，也不是 JMP 标准版或 JMP Pro 的版本，但我们确实有一个插件，如果您访问我们的网站 Predictum.com，可以了解更多信息以及如何获取它。
	是的，SVEM 有一个专门的页面。我们还有现代混合设计课程，你可以看到，那是 Marie、Phil 和我一起上的。
	您可以在 Predictum 网站的培训页面上看到这些内容。我们确实涵盖了经典混合设计的部分，但课程的三分之二到四分之三的内容都涉及 SVEM。
	而且这个插件是可用的，SVEM 插件是课程的一部分。所以在本次演讲中，我们已经了解了如何从数据构建预测模型……
	数据受限于进行验证试验来控制过度拟合的可行性。你知道，在经典设计实验中，我们根本无法进行
	训练和验证都很重要，所以我们建议使用空间填充设计，尤其是对于混合实验设计 (DOE)，但实际上也更普遍地适用于其他实验设计 (DOE) 情况。我们还描述了基于自动验证和分数加权引导法 (FRB) 的 SVEM。
	我们还讨论了 SVEM 如何实现 DOE 数据的预测建模，而无需进行单独的验证运行。
	并利用尿素实验数据对SVEM进行了论证。
	我想让你们知道，如果你下载幻灯片，你会发现一大堆参考资料。这里有几个，还有一些其他的，我喜欢这个的原因之一是
	它实际上可以追溯到 1996 年。所以这是酝酿了一段时间的事情，我鼓励你看看这些参考资料。
	我们将回答大家的提问。

高级统计建模基础数据分析与建模消费者和市场研究实验设计大规模定制预测模型和机器学习质量与工艺工程可靠性分析分享和交流结果