实验设计（DOE）是一种统计方法，它指导实验的执行，分析实验结果以识别相关变量，并优化所研究的过程或现象。在产品开发中使用DOE可以使产品更易于制造、成本更低，并提高产品的性能和可靠性，同时缩短产品设计和开发周期。
如今，随着大型复杂数据集的日益普及，机器学习（ML）已被广泛用作数据分析工具。然而，并非所有应用都能承受大数据带来的挑战。例如，在制药和化工行业，由于成本限制和生成有价值数据所需的时间，实验数据集通常较小。尽管如此，将机器学习融入实验设计已被证明是一种有效方法，能够利用成本更低、速度更快的小型数据集来优化配方。
本次报告分为三个部分。首先，简要概述了机器学习辅助实验设计的相关文献。其次，以粘合剂为例，说明将实验设计与机器学习相结合，如何有效减少确定优化催化剂组合设计空间所需的实验次数。第三部分针对工业密封剂应用，利用响应面数据，比较了响应面模型（RSM）与各种机器学习算法（随机森林、支持向量回归、Lasso、支持向量机和XGBoost）模型的预测误差，验证数据分别在设计空间内外运行。
大家好，我是汉高公司的程石（Stone Cheng）。今天，我的演讲主题是机器学习辅助的配方优化实验设计。首先，我会简要介绍机器学习及其在实验设计（DOE）中的应用。我将通过两个案例研究来阐述这种应用。案例一是利用主动学习来寻找设计空间；案例二是利用机器学习来提升实验设计预测的性能。
关于我的公司汉高。汉高是一家年营业额达220亿欧元的化工企业。我们有两个业务集团。一个是消费品牌集团，涵盖洗涤剂、家居和美容护理领域。另一个是粘合剂技术集团，我所在的部门就是其中之一。我们是全球粘合剂市场的领导者，为800多个行业提供超过2万种产品。
机器学习是一个非常蓬勃发展的领域，正如过去 4 年发表的许多评论文献所表明的那样，它涵盖了广泛的工业应用，包括方法论、制药、化学和许多 3D 打印，以及在质量、创新和制造方面的应用。
典型的机器学习使用大型数据集，这与实验设计（DOE）的理念截然相反，后者旨在用最少的实验次数学习到最多的信息。如今，广义上讲，DOE 与机器学习结合使用的方式主要有两种，正如这篇 2021 年的综述文章所述。一方面，机器学习用于分析 DOE 数据。另一方面，它被称为主动学习，即利用机器学习建模步骤的结果来建议下一步的实验配置。在我的报告中，我将展示这两种情况的示例。
案例 1 采用目标导向的机器学习实验设计 (DOE) 方法来研究粘合剂的设计空间和配方优化。目标导向是一个比较专业的术语，在本案例中也可以理解为监督学习。案例 1 的目标是通过在配方中添加两种稳定剂来提高粘合剂的货架稳定性。稳定性通过两个指标来监测：一是流动性，二是粘合保持率。
现在，化学对汉高来说是一个全新的领域，对这个化学团队来说也是如此。他们决定将添加剂 1 的初始范围设定在 0.1 到 0.5 之间，然后添加剂 2 的初始范围设定在 0.5 到 3 之间。化学团队一次只使用一个因素，并采用了各种 DOE 方法，包括因子设计、响应曲面法和空间填充法，试图找到能够满足两个目标规格的设计空间。
在22次实验中，化学分析筛选出2次实验方案，这些方案同时满足流动性和粘附性要求。问题是，是否存在更有效的方法来识别设计空间？
我们的方法旨在提高配方设计的效率，该方法分为两个阶段。第一阶段，利用主动学习来识别设计空间。第二阶段，建立用于粘合剂优化的主要预测模型。在第一阶段，空间进料设计将选取5次运行作为初始试验。然后，通过支持向量回归（SVR）对两种响应进行建模。
然后，根据模型生成控制图，并将其与模型图重叠，以显示满足两个规格要求的理想白色区域。接着，基于重叠轮廓图所建议的该区域，对空间填充设计进行增强。这被视为一个循环。
然后，这个阶段循环重复两次，最终总共进行 15 次运行。在第二阶段，我们精心挑选了建模的设计空间以及用于验证的运行。步骤 5、6 和 7 涉及化学输入。这就是我们所说的目标导向步骤。
JMP空间填充设计提供了七种选择运行位置的选项。以下是一个双因子系统的示例。我使用拉丁超立方抽样，因为它在公开文献中被广泛使用。这里展示的是第一阶段或第一周期的运行情况。图1是运行数据和SVM预测列。图2显示了两个响应的SVM模型拟合结果。图3是模型的等高线图。
图 4 显示了两个等高线图的重叠部分，其中白色区域符合两个响应的设计目标。放大镜中显示的白色区域尖端是一个新的设计上限，在步骤 5 中用于增强特定设计，以要求再进行 5 次运行。
在主动学习阶段 2 的第二个循环中，我们使用 10 次运行进行建模。与阶段 1 的流程相同，这里建议使用一个新的设计边界，专门用于增强阶段 3 的模型。这是阶段 3 的最后一个阶段，我们总共有 15 个数据点用于进一步建模。
图 13 总结了右侧的设计空间和左侧的响应图，其中左上角区域（即本区域）是目标设计，它同时满足粘附性和流动要求。每个阶段的数据都用颜色编码，例如蓝色代表阶段 1，红色代表阶段 2，绿色代表阶段 3。满足两个设计目标的运行结果用实心圆圈表示，而满足其中一个或两个响应目标的运行结果用空心圆圈表示。
在总共 15 次运行的 3 个阶段中，有 5 次运行满足设计目标，效率约为 33%。这远优于之前讨论的非主动学习 DOE 方法，该方法在 22 次运行中仅有 2 次满足目标，效率仅为 9%。机器学习仅需 10 次运行（即合并第一阶段和第二阶段），而 DOE 方法则需要 22 次运行才能找到 2 到 3 次可接受的目标运行，这表明主动学习的效率至少提高了两倍。
在预测建模中，如果数据集包含更多满足目标规范的运行结果，则其性能可能更好。我们预计主动学习方法在哪一年或哪一年能取得更好的结果，因为我在一个空间中拥有五个运行结果，而在常规的DOE中只有两个。这个主动学习示例只有15个运行结果，我们希望避免任何可能导致数据偏差的潜在异常值。
我们决定对未同时满足两个设计目标的运行（即运行 1.2 和 1.3）进行调整。调整后，我们的建模空间中仅剩下 13 个运行，如图中红色三角形所示。在模型验证中，我们希望了解模型在同时满足两个设计目标的区域内的预测效果如何。
我们对边界处的预测不感兴趣。我们选择的是目标设计空间中的检测点。这些点用橙色圆点标记，还有一个靠近边界的点，即此处所示的第 3.2 次运行点。这样，就有 10 次运行作为训练集，3 次运行作为验证集。
化学领域在选择模型空间和进行验证运行时的决策均以目标为导向。这两个步骤以及特定设计中的论证，我们称之为目标引导步骤。我在此处复制了 R10 中的响应列。验证运行后，数据已被移除。此列用于与机器学习模型进行比较，从而为参数调优提供验证选项。以下是使用此预测模型的机器学习模型列表。
除了两个模型外，我们可以对所有模型应用验证列：一个是高斯过程回归，另一个是 Predictum Inc. 提供的 SVEM 神经网络。每个算法的模型都已执行，其预测公式已保存在此列中。
模型对比采用了两种方法：一种是使用 JMP 模型对比平台，另一种是自行计算均方根误差 (RMSE)。为此，我强制堆叠了预测公式列，然后手动清空了均方根误差列。左侧是 JMP 模型对比的结果，右侧是我自己计算的结果，而不是 JMP 的 18 个结果。通过比较两张表格中红色和绿色方框内的数据，我确认自己计算的均方根误差是正确的。
通过模型验证，如果我们看一下右侧的表格，可以看到均方根误差最低的前三名机器学习算法分别是：提升神经网络、提升支持向量机和响应面模型，它们依次排名。但是，如果没有验证来帮助调整超参数，提升神经网络和提升支持向量机的均方根误差会高于它们的对应模型：分别为 1.7、0.27 和 0.936。
然而，图中蓝色圆圈所示的 SVEM_Lasso 模型的 Gen_R 值似乎并未受到验证与否的显著影响：分别为 1.397 和 1.427。同样，在没有验证的情况下，GPR（高斯处理回归）以及此处预测的 SVEM（也是神经网络）在粘附预测方面均不优于其他模型，尽管 SVEM 被强烈推荐用于小型数据集，而本例中的数据集确实很小。
总之，本文展示了一个以目标为导向的粘附主动学习实例。采用空间填充设计结合支持向量机（SVM）机器学习，通过三次迭代识别设计空间。结果表明，主动学习在识别设计空间方面的效率是非主动方法的两倍。
我们比较了多种机器学习模型，结果表明其中一些模型性能更优，预测效果优于最小二乘模型。目标导向步骤涉及以下三个方面。化学家指导了这些步骤，旨在增强小数据集的主动学习和预测能力。本案例展示了 JMP 的高级预测功能。这是案例 1。
接下来是案例二。我们应用机器学习分析密封剂应用的响应面法（RSM）实验数据，以提高预测能力。背景如下：本案例涉及一种含有5种关键成分和3个响应变量的密封剂。该密封剂采用28次运行的面心中心复合设计进行优化。其中一个响应变量Y3的R²调整值为0.86，均方根误差为7.9，属于合理范围。
这种优化的Y3响应实际上接近目标边界。化学家们做了两件事。第一，在28次运行的基础上增加4次运行，这样他们就占据了DOE因子区域。第二，增加六个星点以覆盖更广阔的设计空间。
随后客户更改了项目目标。化学家被迫调整原料配比，并增加了 10 次试验，希望能覆盖新的设计目标。由于这 10 次试验与原先 20 次试验的结果偏差较大，因此被认为超出了设计空间。这里展示的是这 10 次试验的结果。中心复合区域内的四个点和六个目标星点就在这里。
我们的目标是将机器学习应用于此RSM数据集，以了解各种机器学习模型在该数据集上的预测性能。这些测试数据集位于设计空间内、附近或设计空间外，即此处所示的三个数据集。
下图展示了响应面法（RSM）模型及其R²值，并突出显示了均方根误差。模型项简化后，存在三个主效应X2、X3和X4，以及X2和X5的两个交互作用，还有一个X1的二次效应。所有这些效应均显著。
我们的机器学习流程分为两个阶段。首先，我们使用 7 折交叉验证进行模型筛选，快速评估模型性能。然后，针对选定的机器学习方法，我们进行超参数调优以提升预测效果。验证过程中，我们使用 JMP 模型比较平台中的两种方法：一种是固定比例验证（75/25 划分），另一种是 7 折交叉验证。
在第二阶段，需要测试未见过的数据集。该测试数据集已添加到 JMP 表中。这些数据集分别位于原始 28 次运行设计空间之内、附近和之外，它们的预测公式列被保存并堆叠在一起。然后，创建均方根误差列，用于最终模型比较。
此处显示的是 JMP 模型筛选的结果，该筛选通过添加双向交互项和二次项选项，以及选择 7 折 K 折交叉验证完成。每个模型的微调通过选择并点击“运行所选模型”进行。如果损失函数可用，则会执行超参数调优和提升操作。每个模型的预测公式都设置在表格的一列中。对于神经网络，我们使用其参数调优插件。在该插件中，我们选择了三个协议。协议 2 用于两层网络，协议 12 和 16 用于单层网络。
这是我的 JMP 表格。第 1 部分是 RSM 原始的 28 次运行数据和响应变量 Y3。第 2 部分是两个验证列，用于模型比较。第 3 部分是每个模型保存的预测公式列。第 4 部分是测试数据集，包含三个测试数据集。第 5 部分是预测结果，来自每个机器学习模型。
在模型对比中，我们关注验证方法的影响，因为训练集、验证集的数量以及平均过程都存在差异。在 75/25 的数据集划分下，固定验证集包含 21 次训练运行和 7 次验证运行。而在交叉验证中，则对 7 折 K 折交叉验证的数据进行平均，每折数据包含 24 次训练运行和 4 次验证运行。如果使用固定验证集，JMP 会直接输出一个表格供使用。但对于 K 折交叉验证，我们需要进行一些数据处理。
JMP 输出七个表格，按文件夹编号分隔。我们使用一个名为“创建合并数据表”的脚本将这七个表格合并成一个表格。然后，可以在表格平台上创建它们的平均统计数据，以便进行比较。
左侧是模型对比汇总。它采用固定验证方法进行固定验证。右侧则使用了来自 K 折交叉验证的汇总表。为了便于比较，我们使用图表生成器来展示结果。在这个柱状图中，Y 轴表示均方根误差，X 轴表示模型名称。模型名称末尾带有连字符“t”表示模型参数已进行调优。带有“B”的模型名称表示模型已进行提升。
图中蓝色曲线所示的固定验证的平均平方根误差通常高于红色曲线所示的K折交叉验证。左侧为响应曲面模型（RSM）。图中还标出了几个预测误差小于RSM的机器学习模型，它们分别是XGBoost、两个SVM模型、两个神经网络以及一个增强型神经网络。这些模型按平均平方根误差值的大小顺序排列。
该结论基于 DOE 28 运行数据，每次运行数据要么用于训练，要么用于验证。用于验证的运行数据用于调整模型的超参数，以获得更佳的预测效果。模型的真实预测能力将通过使用未用于训练或验证的未观测运行数据进行测试，这将在下文中进行展示。
机器学习的第二阶段是使用未见过的数据测试模型。这三个数据集被复制到此处的 JMP 表格中，运行值会自动显示在预测公式列中。所有公式列都被添加到一个新表格中。此外，还创建了一个计算均方根误差列。接下来的两张幻灯片将使用堆叠表格、平板电脑和图形构建器来演示模型测试功能。
我们先来看看模型在内部数据集和星形数据集（位于附近）上的性能。它们分别进行了 4 次和 6 次运行。如您所见，右侧表格或左侧图表中突出显示的就是这个区域。内部数据集中有 9 次运行（此处突出显示）表现出相似的预测结果，均方根误差在 5.6 到 7.7 之间。
那么，这里展示的星形测试数据集就接近设计空间。有七个模型的平均平方根误差在 18.2% 到 21.7% 之间，平均值为 20.3%。XGBoost 和图中绿色箭头所示的调优 SVM 在 DOE 数据集上表现最佳。它们在 DOE 数据集（即此处所示数据集）上表现最佳。这只是一个 DOE 数据集，将其放置在 DOE 数据集周围。当然，与 RSM 相比，它们表现最佳，但预测误差也更高。
如果我们看一下这边的这个模型或这边的这个模型，它们在内部数据集和星状数据集上的预测误差都高于顶部的响应面法（RSM）。这表明模型存在过拟合。但总体而言，正如蓝色箭头所示，单层调优增强神经网络在DOE数据集、内部测试数据集以及星状数据集上的表现最佳。正如您从表格或图中看到的那样，这是最佳方案。
对于左侧的图表，我们现在正在查看设计空间之外的测试数据集。在左侧的图表中，y 轴分别绘制了观测值和预测值。请注意此处显示的三个测试数据集的测试运行 ID。红色代表观测值，蓝色代表预测值。外部测试数据集的点位于此处绿色虚线的右侧。
图中突出显示的四个模型表现非常出色。它们分别是 RSM 和两个 G_R 前向传播模型（分别采用剪枝或 SVEM）。第四个模型是这个两层调优神经网络。这四个模型都表现极佳。还有一些模型，它们的预测结果平淡无奇或非常糟糕，例如图中所示的 SVM 模型。
然后是经过调优的神经网络，以及基于决策的方法，例如 XGBoost 或这种自助森林。如果我们考虑所有四个测试场景，即 DOE 数据集和三个测试数据集，那么 RSM 模型和这种 G_R 剪枝前向模型，以及这两种模型。显然，它们在所有四个不同场景下都具有最佳的均衡预测性能。
我们需要谨慎对待这一发现。这些发现不应被推广。它们是针对特定响应 Y3 的特征。尽管如此，对于化学家来说，了解 Y3 响应仍然是一个有用的信息。这意味着在特殊情况下，例如项目时间非常紧迫，且没有资源进行更多实验时，响应面法 (RSM) 模型可能可以用于预测设计空间之外的数据。当然，在第二步中，验证性实验是必不可少的。
综上所述，对于DOE数据集以及在设计空间内部和附近运行的两个测试数据集，我们发现几种机器学习模型的性能优于响应面法（RSM）。其中表现最佳的是单层未调优的增强神经网络。对于设计空间之外的测试数据集，有四种模型表现非常出色，分别是响应面法（RSM）、两种Gen_Reg前向传播方法以及这种两层调优神经网络。
如果考虑所有四种场景，RSM 和 Gen_Reg 剪枝前向模型总体表现最佳。正如这两个案例研究所示，机器学习显然为传统的 DOE 方法增添了额外的功能，从而能够更有效地进行模型构建。
在此，我要感谢我的同事戴博士和杜先生，感谢他们在这两个案例研究和汉高AMI管理系统方面的合作；同时，我也要感谢JMP汉高支持团队的Nick、Jon和Mark，感谢他们提供的出色培训和支持。感谢您的收听和观看。
