Roger W. Hoerl，博士，Brate-Peschel 统计学助理教授，联合学院
Ronald D. Snee 博士，Snee Associates 总裁
使用非线性模型进行有效的混合物/过程实验
2015 年 9 月
Ronald D. Snee，Snee Associates，特拉华州纽瓦克
Roger W. Hoerl，纽约州斯克内克塔迪联合学院
Gabriella Bucci，户外学院，佛罗里达州萨拉索塔
版权所有：Ronald D. Snee、Roger W. Hoerl 和 Gabriella Bucci 2015
注：本文目前正在接受编辑审查，标题为：“具有过程变量的混合实验的统计工程方法”
抽象的：本文讨论了对混合组分和过程变量进行实验，特别是当这两组变量之间可能存在相互作用时。我们在解决实际混合/过程问题的背景下考虑设计和分析问题。我们专注于解决此类问题的策略，而不是为给定的数据集寻找最佳设计或最佳模型。从这个意义上讲，我们使用了统计工程框架。特别是，当我们考虑拟合简约非线性模型而不是较大的线性化模型的潜力时，我们发现了减少实验设计规模的重要机会。在实践中很难知道哪种类型的模型最适合结果数据。因此，建议采用集成的顺序设计和分析策略。使用两个已发布的数据集和一个新的数据集，我们发现在某些情况下非线性模型或忽略相互作用的线性模型可以将实验减少 50% 左右。在其他情况下，非线性模型可能不够用。因此，我们提供了有关何时这种方法可能成功的指南，并提出了解决此类问题的总体策略。
关键字：混合物，混合模型，混合实验，非线性模型
介绍
混合问题（成分比例必须相加为 1.0）出现在许多行业和应用领域，例如食品、药品和化学品的开发，仅举几例。在许多混合应用中，影响最终反应的不仅仅是配方，还有工艺变量。例如，在生产混合葡萄酒时，最终的味道和其他重要特征不仅取决于所用葡萄品种的比例，还取决于工艺变量，例如生长季节的气候条件、葡萄的收获时间、发酵过程各个阶段的温度、使用的陈酿桶类型等等。
在某些情况下，混合物成分和过程变量不会相互作用。在葡萄酒示例中，这意味着可以优化发酵和其他加工过程，而无需考虑所用的葡萄品种。这种情况会导致人们利用结合混合物模型和过程变量模型的加法模型。在其他情况下，这种加法场景不适用，因为最佳加工条件可能取决于所用的葡萄品种。在这种情况下，混合物和过程变量之间会有相互作用。相互作用场景会导致模型包含用于解释混合物和过程变量之间相互作用的术语。
当预期存在这种相互作用时，通常使用的实验设计往往规模很大，以便容纳包含相互作用的线性模型中的项数（Cornell 2002、2011）。当然，如果人们从主题知识或以前的实验中知道最终的模型形式是什么，人们可以设计一个最佳或接近最佳的实验来估计该特定模型。我们考虑更常见的情况，即实验者怀疑存在相互作用，但在运行设计和获取后续数据之前不确定是否能确定最终的模型形式。因此，我们的重点既不是给定模型的最佳设计，也不是给定数据集的最佳模型。相反，我们专注于解决此类问题的策略，考虑替代设计、替代模型，并考虑在实践中解决问题的效率需求。
从这个意义上讲，我们采用统计工程方法（Hoerl 和 Snee 2010，Anderson-Cook 和 Lu 2012）来确定最有效和最高效的方法来处理商业、工业、研究或政府中出现的混合物/过程应用。特别是，我们发现认真考虑参数非线性的模型可能会为参数线性的传统模型提供有效的替代方案。虽然拟合非线性模型比拟合线性模型更具挑战性，但现代软件（例如 R、JMP、Minitab 或 SAS）允许用户相当轻松地估计和解释非线性模型，至少与 10 到 20 年前的商业软件相比是如此。
对于相同的混合/过程问题，非线性模型需要估计的参数较少。例如，在康奈尔的鱼肉饼应用中（康奈尔 2002），线性模型需要估计 56 个项，而非线性模型需要估计 14 个项。因此，如果非线性模型提供了可行的替代方案，则可以采取更积极的分数设计策略来显著减少初始实验。我们承认，非线性模型背后的理论（例如系数的标准误差）不如线性模型那么发达，并且通常依赖于渐近或近似结果（蒙哥马利 2012）。
换句话说，由于非线性模型需要较少的参数来适应过程和混合变量之间的相互作用，因此最初可以运行小得多的分数设计。显然，假设实验成本不可忽略，则不需要 56 次运行来估计 14 个项。如果非线性模型，甚至没有相互作用的加性线性模型被证明是足够的，那么问题可以用初始设计来解决。
通过考虑非线性模型，我们可以获益良多，而损失却很少。如果这些较小的模型不能提供足够的准确性，则可以按顺序进行额外的实验。通过这种方式，最好的情况是我们将解决问题所需的实验效果降低多达 50%，而最坏的情况是我们最终必须运行具有交互作用的典型线性模型所需的所有实验。图 1 说明了这一总体策略。我们认为，强调解决问题的最佳总体方法，而不是专注于给定模型的最佳个体设计或给定数据集的最佳个体模型，是统计工程的核心。
本文的其余部分安排如下：我们首先回顾在混合实验中使用的典型模型和设计，包括具有相互作用的模型和设计。接下来，我们回顾统计工程的基本原理，并讨论它们如何应用于这一特定问题。然后，我们介绍三个数据集，两个数据集之前已发布，一个数据集为新数据集。使用这些数据集，我们在数据拟合方面比较了线性加法、线性交互和非线性模型。此外，我们注意到非线性模型系数的潜在解释。接下来，我们考虑使用分数设计可能为每个问题找到的假设结果。也就是说，我们根据分数设计分析实际数据的子集，拟合不同的模型，并使用这些模型预测模型未使用的数据。最后，我们考虑这种分析的含义，并提出一种解决怀疑存在相互作用的混合/过程问题的策略。
混合物/过程问题中使用的典型模型
有许多潜在的设计和模型适用于具有过程变量的混合问题。这里我们重点介绍应用中最常见的模型和设计，特别是 Scheff模型（Scheff1963 年，康奈尔 2002 年），并不试图提供全面的回顾。我们首先考虑混合模型本身，然后考虑具有过程变量（无交互作用）的混合模型，然后考虑具有交互作用的混合模型。一旦我们完成了模型，我们将讨论通常运行的设计，以便能够拟合这些模型。
由于公式成分总和为 1.0 的限制，导致失去一个自由度，因此通常只需从标准线性回归模型中删除常数项。例如，对于 q 个混合成分，线性 Scheff模型将被写为：
由于各分量之和为 1.0，因此最有意义的不是系数的绝对值，而是系数之间的关系。例如，如果 b 1 =10、b 2 =20 和 b 3 =30，有三个分量，那么我们会说 x 1对响应有负面影响，因为要增加 x 1 ，我们必须将 x 2或 x 3减少相同的量，因此增加 x 1的净影响将是减少 E(y)。有关混合系数解释的更多信息，请参阅 Cornell (2002)。
请注意，对于本文中介绍的所有模型，我们假设存在一个加性随机误差项，该项独立且同分布，呈正态分布，均值为 0，标准差为。虽然误差项在任何统计模型中显然都很重要，但这不是本文的重点，因此我们在接下来的内容中不会过多讨论这个误差项。
还有其他混合模型可以考虑，例如“松弛变量”模型，在这种模型中，我们删除其中一种混合成分以避免混合约束，并将常数项重新添加到模型中。当存在曲率时，通常拟合二次Scheff模型，该模型包含线性项以及成分之间所有可能的交叉积项：
由于每个成分都可以看作是 1 减去所有其他成分的总和，因此我们通常不会将交叉乘积项视为传统意义上的交互建模，而是一般意义上的非线性混合建模。当存在额外的非线性混合，并且有足够的自由度时，我们可以拟合特殊的立方Scheff模型：
这被认为是“特殊”三次方程，因为它不包括所有三阶项，而是二次模型加上三个项之间所有可能的交叉积。例如，特殊三次方程不包括项x 2 。完整的三次Scheff模型将是：
其中 d 伊是二元过剩或“协同”的三次系数（Cornell 2011 第 31 页）。当我们的模型中有过程变量时，我们将使用 x i表示混合变量，z i表示过程变量，b i表示混合系数，a i表示过程变量系数。我们不考虑 d 伊项。此外，通用项 f(x) 将用于仅含混合成分的模型，而 g(z) 将用于仅含过程变量的模型。包含两者的组合模型将写为 c(x,z)。
同样，有许多潜在模型可以应用于过程变量以及混合物成分和过程变量的组合。在这里，我们重点介绍最常用于应用的标准设计。线性过程变量模型将是：
,
其中我们有 r 个独立变量。二阶（完全二次）过程变量模型将是：
请注意，双重求和包括 i=j，因此完整的二次模型在模型中包含平方（二次）项。显然，拟合这样的模型需要在设计中采用两个以上的水平。对于两级设计，可以使用因子模型 - 线性项和二阶交互作用，但没有二次（平方）项：
当然，通过完全因子设计，我们也可以估计更高阶的相互作用。
在同时存在混合物和过程变量的情况下，一个关键考虑因素是混合物和过程变量之间相互作用的预期程度。如果我们有理论或经验表明混合物和过程变量彼此不相互作用，那么我们可以分别拟合混合物和过程模型。换句话说，整体模型将变成：
c（x，z）= f（x）+ g（z）（1）
我们将方程 1 称为线性加法模型。在这种情况下，f(x) 将是适用于混合物成分的任何模型，而 g(z) 将是适用于过程变量的任何模型。然而，在许多情况下，混合物成分和过程变量相互作用。换句话说，烘焙蛋糕的最佳时间和温度可能取决于蛋糕中的成分。红葡萄酒通常不像白葡萄酒那样冰镇，等等。在这些情况下，许多作者，如 Cornell（2002、2011）和 Prescott（2004），建议将混合物和过程变量模型相乘，而不是将它们相加。换句话说，为了适应混合物-过程相互作用，我们可以使用以下模型：
c（x，z）= f（x）* g（z）（2）
该乘法模型在参数（b i和 a i ）中不是线性的，因此无法以闭式或通过标准线性回归软件获得最小二乘解。解决此问题的一种方法是将 f(x)*g(z) 中的各个项相乘。考虑有三个混合变量和两个过程变量的情况。为简单起见，假设我们知道这些模型的形式如下：
f(x) = b 1 x 1 + b 2 x 2 + b 3 x 3 + b 12 x 1 x 2 + b 十三 x 1 x 3 + b 23 x 2 x 3 + b 123 x 1 x 2 x 3 ，以及
g(z) = a 0 + a 1 z 1 + a 2 z 2 + a 12 z 1 z 2 ,
这将是一个特殊的三次混合模型和一个因子过程变量模型。因此，f(x) 有七个项需要估计，而 g(z) 有四个项需要估计。如果我们将 f(x) 中的每个项乘以 g(z) 中的每个项，这将在线性回归模型中产生 28 个项。我们将此模型称为线性模型，因为公式 2 实际上是一个非线性模型。通过将所有项相乘，我们创建了一个包含 28 个项的线性模型。也就是说，我们有：
c(x,z) = f(x)*g(z) = b 1 x 1 *a 0 + b 1 x 1 *a 1 z 1 + b 1 x 1 *a 2 z 2 + b 1 x 1 *a 12 z 1 z 2 （3）
+ b 2 x 2 *a 0 + b 2 x 2 *a 1 z 1 + b 2 x 2 *a 2 z 2 + b 2 x 2 *a 12 z 1 z 2
+ .............+ b 123 x 1 x 2 x 3 *a 12 z 1 z 2
请注意，如果我们将 b 1 a 0视为一个参数，将 b 1 a 1视为另一个参数，依此类推，则方程 3 在参数上是线性的。因此，方程 3 可以用标准线性回归软件估算，方程 1 也可以。当然，当获得最小二乘估计值时，x 1的估计参数（在方程 3 中列为“b 1 a 0 ”）将有概率等于方程 2 中 f(x) 中 x 1的估计系数（1) 乘以公式 2 中估计的 g(z) 截距 (0)，如果这些单个项是直接从非线性最小二乘估计出来的。也就是说，公式 3 中的最小二乘估计值不能用于确定公式 2 中的非线性最小二乘估计值。
我们稍后会回顾的一个重要点是方程 2 与方程 3 的比较。方程 2 的参数是非线性的。如果按此方式估计，则只需要估计 11 个参数，其中 f(x) 为 7 个，g(z) 为 4 个。实际上，只需要 10 个参数，因为方程 2 实际上是过度指定的；该方程不可能有唯一的最小二乘解。如果考虑将 f(z) 乘以任意非零常数（例如 m），并将 g(z) 除以 m，c(x,z) 的值将保持不变，因为 m 和 1/m 会抵消，则可以立即看出这一点。由于有无数个这样的常数 m 可以与 f(x) 中的每个系数相乘，每个常数都会产生相同的残差平方和，因此方程 2 不可能有唯一的最小二乘解。我们通过设置 a 0 = 1.0 来解决这个过度指定问题。我们不声称这是解决过度规范的最佳或唯一方法，尽管它确实有助于解释其他系数，我们很快就会看到。
当然，关键点在于，如果可以直接将方程 2 估计为非线性最小二乘问题，那么估计参数只需要 10 个自由度，而不是线性化版本所需的 28 个自由度。当预计有相互作用时，这对实验设计有明显的影响。当然，如果预计没有相互作用，则可以估计方程 1，即线性加性模型。这个方程也是过度指定的，因为不需要 a 0项，事实上无法估计，因为截距已经包含在混合模型 f(x) 中。通过删除截距，我们再次有 10 个参数需要估计，就像我们在非线性模型中所做的那样。
混合物/过程问题中使用的典型实验设计
设计和模型显然是相辅相成的，因为我们在设计实验时通常会考虑特定的模型，即使我们对确切的形式没有信心。在混合实验中，有适合估计线性 Scheff 的模型模型，当然还有适合估计二次或特殊三次模型的更大的设计。
单纯形设计通常用于混合实验。当我们有 q 个组分时，这些设计通常以 q-1 维表示。例如，如果我们有三个组分，那么由于混合约束，只有两个自由度，因此设计可以以二维显示，如图 2 所示。请注意，所有三个组分都有表示，每个组分都有一个轴。在无约束混合问题中，每个组分可以从 0 变化到 1.0，因此整个单纯形在每个轴上从 0 变为 1。0 点由单纯形的底边表示，然后 1.0 将位于底边对面的单纯形点。请注意，如果 x 1 = 1.0，则 x 2 = x 3 = 0，因此该点对应于 x 2和 x 3轴的底边。出于显而易见的原因，这些点被称为“纯混合”。纯混合和使用单纯形设计运行的其他公共点在图 2 中标识出来。
我们指出，质心对应于因子设计的中心点，对应于点 1/3、1/3、1/3，该点位于单纯形的中间。单纯形设计中运行的其他常见点是所谓的 50-50 混合，其中两个组分的比例为 0.5，第三个组分的比例为 0。这些 50-50 混合对应于单纯形每个底边的中点。单纯形设计中经常使用的另一个常见点是“检查点”，通常位于质心和纯混合之间的中间。对于三组分单纯形，这些检查点对于 x 1来说是 2/3、1/6、1/6，对于 x 2来说是 1/6、2/3、1/6，对于 x 3来说是 1/6、1/6、2/3。这些检查点可以验证模型是否不仅仅在质心和单纯形的边界处拟合数据。换句话说，很好地拟合检查点表明在单纯形内插值是相对安全的。
如 Cornell (2002) 所解释的那样，实践中也使用更复杂的单纯形格子设计，将点均匀地定位在整个单纯形上。在超过四个成分的实验中，这些设计很难说明，但可以形成相同类型的设计，就像因子设计的情况一样。当然，配方成分的水平通常会受到限制。例如，很少有消费者会喜欢 100% 醋制成的沙拉酱。在这种情况下，可以创建伪成分（Cornell 2002），它们是原始成分的变换，或者在约束创建的异常设计空间中使用计算机辅助设计。这类设计不是本文的重点。我们还假设读者熟悉用于过程变量的标准因子设计。
在具有过程变量的混合设计中，通常使用某种混合设计，以便可以估计混合效应和模型以及过程效应和模型。如果实验者怀疑存在相互作用，则通常需要能够估计方程 2 的线性化版本中的所有项。也就是说，所选的实验设计应允许估计通过将混合模型中的每个项与过程模型中的每个项相乘而获得的所有效应。在上面提到的例子中，人们希望设计能够估计方程 3 中的所有 28 个项。
此类设计通常将因子或部分因子与混合设计交叉。例如，康奈尔的鱼肉饼实验（Cornell 2002）将涉及纯混合物、质心和 50-50 混合物的三组分单纯形设计与三个工艺变量的 2 3因子设计交叉。该设计如图 3 所示。请注意，在 2 3因子设计的每个点都运行了全单纯形设计。当然，也可以将其描绘为在单纯形的每个点都运行全因子设计。由于单纯形设计有 7 个点，而因子设计有 8 个点，因此全设计为 56 个点，以随机顺序运行以避免分裂绘图（Cornell 2002、2011）。
如果未预期相互作用，那么设计当然可以小得多。例如，在康奈尔鱼肉饼示例中，特殊三次混合模型将有 7 个项（3 个线性混合项、3 个 2 因子交叉积和特殊三次 3 因子交叉积），而全因子模型将有 8 个项（1 个截距、3 个主效应、3 个 2 因子相互作用和 1 个 3 因子相互作用）。由于混合模型 f(x) 包含截距，我们可以从 g(z) 中删除截距，留下 7 + 8 – 1 = 14 个项用于在没有相互作用的线性加法模型中估计，即 c(x,z) = f(x) + g(z)。显然可以运行小得多的分数设计，或者由于模型中没有相互作用，可以独立研究混合和过程变量。
统计工程在过程变量混合模型中的作用
Hoerl 和 Snee (2010) 将统计工程定义为：“研究如何最好地利用统计概念、方法和工具，并将其与信息技术和其他科学相结合，以产生更好的结果。”相反，统计科学可以被视为对单个统计方法的基础理论和应用的研究和发展。关键区别在于，统计科学侧重于推进工具本身的基础知识及其应用。另一方面，统计工程侧重于如何利用现有方法和工具（即现有统计科学），并创造性地将这些工具（通常与非统计工具）联系起来并整合起来，以产生更大的影响。创造性地利用现有科学来实现更大的影响是任何工程领域的本质。
显然，统计科学和统计工程对于统计领域的发展和对社会的影响力都是不可或缺的。我们认为，虽然需要采取一种平衡的方法，但目前该行业的重点往往偏向统计科学（Snee 和 Hoerl 2011）。特别是，我们认为需要更加重视开发一种基础理论，以解决大型、复杂、非结构化的问题——这些问题太大，任何一种工具都无法解决。这类问题显然需要创造性地整合多种统计方法，以及创造性地使用信息技术或其他科学。显然，需要采用工程方法。有关统计工程学科的更多背景信息，请参阅《质量工程统计工程特刊》（Anderson-Cook 和 Lu 2012）。
我们注意到，在解决包含过程变量的混合问题时，设计选择和模型选择是相辅相成的。也就是说，我们可以估计的模型由设计决定，而适当的设计取决于我们希望估计的模型。此外，如果我们事先知道了具体模型，我们可以构建一个最佳设计来估计该模型。然而，在许多实际情况下，我们的主题知识是有限的，我们不确定最终的模型。通常，这会导致设计和分析采用迭代方法，正如 Box 等人 (2005)、Montgomery (2012) 和许多其他人所强调的那样。
关键问题是，当我们预期混合物和工艺变量之间的相互作用但又不确定时，如何最好地解决问题。我们注意到，这与询问给定模型的最佳设计是什么非常不同，也不同于询问拟合给定数据集的最佳模型是什么。后者更多的是统计科学问题，因为它们涉及单个工具的理论和实践。此外，人们可以根据客观标准通过分析确定“正确”答案。然而，如何攻克复杂问题的问题并不是一个统计科学问题，因为我们几乎没有给定的东西，也没有商定的成功客观指标。换句话说，这个问题是非结构化的。
我们认为，这个策略问题更适合统计工程，因为我们需要一种结合设计和分析的整体方法，也许是以顺序的方式，以获得更好的结果。多种工具的集成是关键。在这种情况下，“更好的结果”可能基于统计标准，或基于节省实验工作量（包括时间和金钱），或两者兼而有之。换句话说，它可能基于寻找最佳业务解决方案，而不是寻找最佳统计解决方案。这是一个比在特定条件下获得最佳设计或最佳模型更复杂、更松散的问题。因此，统计工程观点指导了我们对具有过程变量的混合问题的研究和推荐策略。
设计与分析的三个案例研究
Cornell (2002) 提供了对三种鱼饼的实验数据：鲻鱼、羊头鱼和石首鱼。此外，每种鱼饼的烘烤温度、烘烤时间和煎炸时间都不同（鱼饼既烘烤又煎炸）。感兴趣的反应是最终鱼饼的质地。所用的设计是混合变量中的七次运行单纯形，包括纯混合、50-50 混合和质心。对于工艺变量，运行了八次运行 2 3。Cornell将混合设计与工艺设计交叉，如表 1 所列并如图 3 所示。此设计总共有 7*8 = 56 次运行。Cornell 拟合了一个线性模型，其中：
f(x) = b1x1 + b2x2 + b3x3 + b12x1x2 + b十三x1x3 + b23x2x3 + b123x1x2x3,
g（z）=a0+a1z1+a2z2+a3z3+a12z1z2+a23z2z3+a123z1z2z3，以及
c(x,z) = f(x)*g(z)
表 1 康奈尔鱼饼质地数据
混合 | 煎炸时间 |
二十五 | 40 |
烤箱时间 |
二十五 | 40 | 二十五 | 40 |
烤箱温度 |
325 | 425 | 325 | 425 | 325 | 425 | 325 | 425 |
鲻 | 羊头 | 黄花鱼 | 质地 |
1 | 0 | 0 | - 1.84
- 2.86
- 3.01
- 4.13
- 1.65
- 2.32
- 3.04
- 4.13
|
0 | 1 | 0 | - 0.67
- 1.10
- 1.21
- 1.67
- 0.58
- 0.97
- 1.16
- 1.30
|
0 | 0 | 1 | - 1.51
- 1.60
- 2.32
- 2.57
- 1.21
- 2.12
- 2.00
- 2.75
- 0.5
- 0.5
|
0 | - 1.29
- 1.53
- 1.93
- 2.26
- 1.18
- 1.45
- 1.85
- 2.06
- 0.5
|
0 | - 0.5
- 1.42
- 1.81
- 2.57
- 3.15
- 1.45
- 1.93
- 2.39
- 2.82
|
0 | - 0.5
- 0.5
- 1.16
- 1.50
- 1.83
- 2.22
- 1.07
- 1.28
- 1.60
- 2.10
|
1/3 | 1/3 | 1/3 | - 1.59
- 1.68
- 1.94
- 2.60
- 1.41
- 1.54
- 2.05
- 2.32
|
由于 f(x) 有 7 项，而 g(z) 有 8 项，因此将各个项相乘以创建线性模型时，c(x,z) 有 7*8 = 56 项。显然，在设计中，没有剩余的自由度来估计 56 次运行的实验误差，导致均方根误差 (RMSE) 为 0，并且无法估计误差项 (e) 的标准差，即标准误差。此外，没有机会评估残差以证明模型不足，或进行拟合度检验。因此，康奈尔使用重复测量（不是真实重复）之间的差异作为标准误差的估计值。显然，这种运行内差异不允许估计运行间差异来源，因此不能将其视为与真实重复估计或残差自由度估计的标准误差等同的标准误差估计值。
为了比较模型，我们应用了 Lenth 的 PSE（伪标准误差）方法（Lenth 1989）来估计康奈尔模型的标准误差。Lenth 的方法首先确定看似真实的效应，然后删除其余变量，使用获得的自由度来估计标准误差。这是一个伪标准误差，因为它依赖于从模型中删除适当的项。
Prescott (2004) 用三种面粉测试了面包的体积，Tjalve、Folke（均为挪威面粉）和 Hard Red Spring（美国面粉）。还有两个工艺变量，即醒发时间和搅拌时间。三种面粉的含量均有限制：.25 x11，0 x2.75 和 0 x3.75，其中 Tjalve 为 x 1 ，Folke 为 x 2 ，Hard Red Spring 为 x 3 。当应用于单纯形混合空间时，这将导致在减小的空间中产生较小的完全单纯形。通过转换为伪成分（Cornell 2002），仍然可以使用标准单纯形设计。为了进行模型比较，并且不失一般性，我们使用 Prescott 混合设计的伪成分版本。Prescott 对混合变量使用了 10 次运行的单纯形格子设计，对过程设计使用了 3 2 ，即两个变量的三级因子。当然，这个设计有 9 次运行。
再次将混合设计与过程设计交叉，普雷斯科特创建了一个 10*9 = 90 次运行的设计，如表 2 所示，并在图 4 中说明。对于混合模型 f(x)，普雷斯科特考虑了康奈尔使用的具有 7 项的相同特殊三次模型，对于过程模型 g(z)，他考虑了一个具有 6 项的完全二次模型：
g(z) = a 0 + a 1 z 1 + a 2 z 2 + a 12 z 1 z 2 +
表 2 普雷斯科特面包体积数据
伪成分 混合物 | 发酵时间（分钟） |
三十五 | - 47.5
| 60 |
混合时间（分钟） |
5 | 15 | 二十五 | 5 | 15 | 二十五 | 5 | 15 | 二十五 |
贾尔维 | 人们 | 硬红春 | 面包体积 |
.25 | .75 | 0 | - 378.89
- 396.67
- 392.22
- 445.56
- 452.22
- 487.78
- 457.22
- 500.56
- 472.78
|
.50 | .50 | 0 | - 388.89
- 423.33
- 416.11
- 460.00
- 488.89
- 475.78
- 472.78
- 478.00
- 506.11
|
.75 | .25 | 0 | - 426.11
- 483.33
- 389.44
- 474.44
- 514.44
- 462.78
- 506.67
- 591.67
- 522.22
- 1.0
|
0 | 0 | - 386.11
- 459.11
- 423.33
- 458.33
- 506.11
- 514.44
- 545.56
- 522.22
- 551.11
|
.25 | .50 | .25 | - 417.78
- 437.22
- 444.56
- 484.44
- 490.00
- 495.00
- 497.78
- 531.11
- 577.78
|
.50 | .25 | .25 | - 389.44
- 447.22
- 415.00
- 490.89
- 528.89
- 507.78
- 517.78
- 567.22
- 538.33
|
.75 | 0 | .25 | - 448.33
- 459.44
- 455.56
- 436.00
- 535.00
- 552.22
- 507.44
- 578.89
- 590.00
|
.25 | .25 | .50 | - 413.89
- 485.56
- 462.22
- 483.89
- 529.44
- 540.00
- 565.00
- 598.89
- 580.56
|
.50 | 0 | .50 | - 415.56
- 514.44
- 437.78
- 493.89
- 583.33
- 578.89
- 524.44
- 649.44
- 640.00
|
.25 | 0 | .75 | - 432.78
- 498.33
- 517.22
- 474.44
- 568.33
- 579.44
- 541.11
- 638.89
- 638.89
|
请注意，二次项是可估计的，因为流程设计是三级设计。Prescott 运行了几个线性交互模型，即形式为 c(x,z) = f(x)*g(z)，总共有 7*6 = 42 个项。运行 90 次后，有足够的自由度来估计完整的 42 项模型，并且仍然有自由度来估计标准误差。在考虑了几个模型之后，Prescott 针对此数据建议的最终模型是以下形式的简化模型：
y = 522.8x 1 + 448.1x 2 + 599.3x 3 + 13.0x 1 z 1 + 1.7x 2 z 1 + 54.3x 3 z 1 + 56.3x 1 z 2 + 37.2x 2 z 2
+ 73.8x 3 z 2 – 39.4x 1+ 3.7x 2– 46.0x 3– 10.2x 1+ 28.4x 2+ 1.0x 3
请注意，一些项已从模型中删除，例如涉及 x i的任何交叉积的项，或 z 1和 z 2的相互作用的项。事实上，最终模型仅包括了 42 个可能的项中的 15 个。在比较线性化模型和非线性模型时，我们回到这一点。
Wang 等人 (2013) 进行了混合/工艺实验设计，作为第一作者 2013 年在罗格斯大学教授的统计学课程的课堂项目的一部分。该实验包括三个混合变量：水、牛奶和橙汁，以及两个工艺变量：糖的添加量（0 或 2 克）和所用牛奶的类型（2% 或全脂）。响应是混合物产生的冰的融化时间（分钟）。混合设计是 10 次运行的单纯形设计，具有纯组分、50-50 混合物、检查点和质心，呈伪组分形式。这是图 2 中所示的设计。对于工艺设计，Wang 在四次运行中运行了 2 2因子。10*4 = 40 次运行的交叉设计及其结果响应列于表 3 中，并在图 5 中进行了说明。
表 3 Wang 等人的熔化时间数据
混合物 | 牛奶类型 |
2% | 所有的 |
糖 |
0克 | 2克 | 0克 | 2克 |
水 | 牛奶 | 汁 | 熔化时间 |
1/6 | 1/6 | 2/3 | - 29.43
- 24.31
- 34.94
- 32.97
|
0 | - 0.5
- 0.5
- 37.36
- 32.89
- 45.69
- 39.06
- 0.5
- 0.5
|
0 | - 33.32
- 28.34
- 41.78
- 35.84
|
1 | 0 | 0 | - 19.13
- 17.73
- 23.7
- 22.16
|
2/3 | 1/6 | 1/6 | - 24.11
- 22.49
- 29.76
- 25.43
|
1/3 | 1/3 | 1/3 | - 32.08
- 26.29
- 36.97
- 30.13
|
0 | 0 | 1 | - 30.41
- 23.25
- 31.92
- 29.45
- 0.5
|
0 | - 0.5
- 21.86
- 22.88
- 27.09
- 26.21
|
1/6 | 2/3 | 1/6 | - 37.35
- 28.43
- 42.92
- 39.95
|
0 | 1 | 0 | - 48.64
- 33.00
- 45.08
- 47.35
|
Wang 等人（2013 年）使用 7 项特殊立方拟合了 f(x) 的线性化模型，并使用 4 项因子过程模型拟合了 g(z)，该模型具有截距、两个主效应和 2 因子交互作用。因此，当将所有项相乘时，c(x,z) 就是公式 3 中给出的 28 项线性化模型。在 40 次运行和 28 个项需要估计的情况下，剩下 12 个自由度来估计标准误差。
线性和非线性模型及结果
对于这些设计和数据集，我们还可以考虑更小的模型，例如线性加法模型 c(x,z) = f(x) + g(z)，当然，它没有用于估计混合变量和过程变量之间相互作用的项，还有非线性模型。要估计非线性模型，可以直接找到 c(x,z) = f(x)*g(z) 的最小二乘解，而无需乘以这些项。如前所述，该模型的参数是非线性的。例如，在具有两个混合变量和一个过程变量的简单情况下：
c(x,z) = ( b1x1+b2x2 + b12x1x2 )* (a0 + a1z) （4 ）
假设我们希望估计这 5 个系数中的每一个，那么我们可以将方程 4 视为具有 5 个系数的非线性方程，并使用非线性最小二乘法来寻找解。如前所述，实际上我们只有 4 个系数需要估计，因为方程 4 是超定的，并且没有唯一的最小二乘解。通过任意设置 a 0 = 1.0，我们通常可以在其他参数中获得唯一的最小二乘解。对 a 0使用其他非零值不会改变模型指标，例如 R 2 、标准误差等。当然，使用非线性最小二乘法不能保证唯一的解。
为了拟合非线性模型，我们使用 JMP Pro 10 中的非线性回归算法，该算法在标准 MacBook Pro 笔记本电脑上运行。如前所述，运行非线性模型比线性模型更具挑战性，但使用现代软件肯定是可行的，我们认为这是解决此类问题的可行选择。在讨论将线性加法和非线性模型拟合到这三个数据集所获得的结果之前，我们简要讨论一下非线性模型中系数的解释。我们不讨论线性加法模型，因为混合项的解释已在文献中得到广泛讨论，例如厨师 (1963)、Cornell (2002) 等。
在估算方程 4 中的非线性模型中的项之后，我们可以自由地将估算的项相乘以帮助解释。请注意，这会产生与在估算系数之前将项相乘而获得的模型非常不同的模型，后者会产生线性化模型。此外，决定设置0 = 1 而不是其他值使得模型的解释更加直接。一旦我们将方程 4 的非线性方法中的估算项相乘，我们就会得到：
= ( 1 x 1 + 2 x 2 + 12 x 1 x 2 )*(1 + 1 z)
= ( x 1 + x 2 + 12 x 1 x 2 ) + ( x 1 + x 2 + 12 x 1 x 2 )* 1z (5)
不失一般性，我们可以假设 z 被缩放为具有 0 的平均值。因此，当 z 为其平均值时，等式 5 简化为仅剩的左侧部分，即纯混合模型 f(x)。因此，我们可以将混合系数解释为我们在过程变量中点估计的混合，或者解释为整个设计的平均混合。无论是否与 z 有交互作用，此解释都成立。1的解释更为复杂。请注意，等式 5 中 z 出现的唯一位置是通过一组交互作用。
这意味着非线性模型无法根据 z 与混合变量的相互作用唯一地估计出 z 的主效应。这是因为可用于结合 z 的主效应及其与 x i的相互作用的唯一系数是1。虽然 f(x) 可以重写为具有截距的松弛变量模型，但我们仍然只有一个自由度来结合 z 的主效应及其与混合变量的相互作用。我们认为这是非线性方法的一个缺点，并推测实际结果将是难以拟合具有较大过程变量主效应和混合物与过程变量之间严重相互作用的曲面。
我们可以将此解释扩展到更大的非线性模型，例如他的鱼肉饼实验中的 7 项特殊立方混合模型和 8 项过程变量模型。如果我们直接将 c(x,z) = f(x)*g(z) 估计为非线性模型，我们将估计 7 + 8 – 1 = 14 个系数。回想一下，我们设置了0 = 1。使用非线性最小二乘法求解这 14 个系数后，我们可以乘以项来帮助解释。这样做会产生：
(x)*(1 + 1z1 + 2z2 + 3z3 + 12z1z2 + 十三z1z3 + 23z2z3 + 123z1z2z3),
即 1 乘以 (x)，加上1 z 1乘以 (x)，加上2 z 2乘以 (x)，依此类推。换句话说，模型中除了 (x)*1 之外的所有其他项都涉及i乘以一个或多个 z i乘以 (x)。因此，z i的任何主效应都不能通过该 z i与混合变量（及其相互作用）的相互作用唯一地估计出来，类似于方程 5 中的情况。同样，z i之间的相互作用，例如 z 1 z 2 ，不能通过该项与混合项之间的相互作用唯一地估计出来。
从实用角度来看，无法估计 z 1和 x 1 z 1的单个系数，比无法估计 z 1 z 2 z 3和 x 1 x 2 x 3 z 1 z 2 z 3等交互作用的单个系数更令人担忧（Box 等人，2005 年）。也就是说，从业者很少关心六因子交互作用的实际重要性。
将线性加法模型 c(x,z) = f(x) + g(z) 和非线性模型 c(x,z) = f(x)*g(z) 拟合到前面讨论的三个数据集，我们得到了表 4 所示的结果。对于 Cornell 和 Wang 数据集，我们拟合完整模型，不尝试子集选择。对于 Prescott 数据，对于线性加法和非线性模型，我们仅合并 Prescott 选择用于其最终线性化模型的 f(x) 和 g(z) 中的项。具体而言，对于 f(x)，我们仅使用 x 1 、x 2和 x 3 。对于 g(z)，我们包括 z 1 、z 2 、和 。从这个意义上说，Cornell 和 Wang 的比较是没有子集选择的“同类比较”，而 Prescott 的比较是 Prescott 应用了子集选择的“同类比较”。
我们使用的数值标准是估计标准误差或均方根误差 (RMSE)。显然，没有单一指标可以确定模型的“优劣”。为了在实践中开发合适的模型，需要查看几个数值标准、评估残差图、将结果与可靠的主题理论进行比较等等。读者不应推断我们建议在模型构建中只关注 RMSE。然而，为了进行模型比较，我们仅将估计标准误差用作方便的客观标准来衡量模型能够拟合数据的程度。
从表 4 中我们可以看出，在两种情况下，线性化模型提供了最小的估计标准误差，对于康奈尔数据，线性化模型的标准误差几乎最小。这并不奇怪，因为线性加法模型不适应任何相互作用，而非线性模型具有前面提到的局限性。从这三种分析中我们得出结论，如果有足够的自由度，线性化模型是首选方法，基于这三种应用此标准的模型。
表 4 线性化、线性加性及非线性模型的 RMSE
康奈尔数据 普雷斯科特数据 资金数据
线性化0.17* 21.0 1.36
线性加法0.24 24.3 2.38
非线性0 .16 23.1 2.05
*使用 Lenth 方法计算，因为没有误差的 df。
然而，经过仔细检查，我们注意到对于两个数据集，即康奈尔数据和普雷斯科特数据，模型之间的差异并不像人们预期的那么大，事实上，对于康奈尔数据，非线性模型 RMSE 略小于线性化模型 RMSE。回想一下，由于没有自由度来估计误差，线性化模型 RMSE 是使用 Lenth 方法计算的。考虑到这些模型中估计系数数量差异的大小，非线性方法的性能令人印象深刻：康奈尔模型为 14（线性加法或非线性）对 56（线性化），普雷斯科特完整模型为 12 对 42（如果我们只使用普雷斯科特的简化模型项，则为 7 对 15），王模型为 10 对 28。非线性和线性加法模型更加简约。
线性加法和非线性方法对 Wang 数据效果不佳的一个可能解释是，该数据中的混合物和过程变量之间存在高度显著的相互作用。例如，线性化模型中的牛奶*糖*牛奶类型 (x 2 z 1 z 2 ) 和牛奶*果汁*糖*牛奶类型 (x 2 x 3 z 1 z 2 ) 项在 0.01 水平上都具有统计显著性。水*牛奶*糖*牛奶类型 (x 1 x 2 z 1 z 2 ) 项在 0.01 水平上接近显著 (p 值 = 0.0101)。根据我们的经验，四个因子的相互作用如此显著的情况非常罕见。线性模型不包括任何过程和混合变量之间相互作用的项，显然无法有效地模拟这种相互作用。非线性模型根本没有足够的项来提供良好的近似值。由于存在如此显著的高阶相互作用，很可能需要采用线性化方法。
鉴于表 4 中显示的差异相对较小，我们似乎可以通过减少初始实验量来节省大量时间和金钱。当然，使用所有项来估计 Prescott 非线性模型中的 12 个项不需要 90 次运行，也不用估计 Cornell 非线性模型中的 14 个项需要 56 次运行。为了回答这个问题，我们评估了这些模型中的每一个如何拟合实际运行的一小部分设计。
分数设计的结果
我们讨论的每种设计都是通过将混合设计与过程设计交叉而产生的。因此，总运行次数为 n 1 *n 2 ，其中 n 1是混合设计中的次数，n 2是过程设计中的次数。对于康奈尔的鱼饼设计，这个数字是 7*8 = 56。鉴于上面显示的非线性模型结果，一个合乎逻辑的问题是，是否真的需要全部 56 次运行，或者康奈尔是否能够运行一个小得多的设计并获得几乎相同的结果？康奈尔 (2002) 给出的运行 56 次运行设计的理由之一是需要估计线性化模型中的所有系数。
Cornell (2002) 还指出，如果实验者无法运行完整设计，他们可以通过在混合空间的每个点运行过程设计的一小部分来创建部分设计。为了确保尽可能多的项可估计，Cornell 建议在混合设计的不同点切换过程设计的哪个部分运行。例如，在三个过程变量的情况下，我们可能在大约一半的混合设计点运行 z 1 z 2 z 3 = 1 半部分，在另一半运行 z 1 z 2 z 3 = -1。如果可能，Cornell 进一步建议在混合空间的质心运行完整过程设计。他指出，如果运行这种部分设计，实验者将无法估计完整的线性化模型，而只能估计这些项的子集。
在鱼饼案例中，混合设计有 7 个点，而工艺设计有 8 个点。在质心处运行所有 8 个点，然后在所有其他点处运行 4 个点（半分数），将产生具有 32 个点的分数设计。这些点不足以估计线性化鱼饼模型中的所有项，但足以估计非线性或线性加性模型中的 14 个项。在图 6 中，我们展示了在纯混合中运行 z 1 z 2 z 3 = 1 的分数设计，以及在 50-50 混合中运行 z 1 z 2 z 3 = -1 的分数设计。为了便于图形解释，并能够与图 3 进行比较，我们再次展示了在工艺设计的每个点运行的混合点，尽管构造方法如上所述。
除了查看非线性模型与精简数据集的拟合效果之外，我们还有一个自然的保留样本来更好地评估模型。也就是说，仅使用 32 次运行来估计非线性模型。因此，一旦我们估计了模型项，我们就可以使用该模型来预测未用于估计该模型的 24 次运行。这种保留样本通常被认为是评估估计模型的更有效标准，因为模型没有看到这些数据，并且在拟合过程中不会受到它的影响。表 5 显示了将线性加法和非线性模型首先拟合到图 6 所示的分数设计的结果，以及预测保留数据时的预测标准误差 (RMSE)。请注意，康奈尔模型有太多项需要用分数设计来估计，因此线性化模型不是一种选择。
显然，人们可以任意反转纯混合与 50-50 混合的分式设计运行。因此，为了完整起见，我们将图 6 所示的设计视为分式设计 1，并将分式设计 2 定义为 z 1 z 2 z 3 = -1 在纯混合下运行，z 1 z 2 z 3 = 1 在 50-50 混合下运行。同样，全部 8 个工艺设计点都在质心处运行。
表 5 康奈尔分数设计的预测结果
*使用 Lenth 方法计算，因为没有误差的 df。
请注意，在表 5 中，对于两种分数设计，非线性模型在拟合“训练”数据方面表现良好，并且与保留数据拟合得相当好。两种分数设计的预测 RMSE 均为 0.22，高于原始的 0.16 RMSE，但在合理范围内，因为我们只使用了原始 56 次运行中的 32 次，减少了 43%。线性加法模型对整个数据集的拟合也表现一致。如前所述，如果我们的唯一目标是最大化模型拟合度，那么最好使用具有线性化模型的全交叉设计。但是，如果时间和成本是重要的考虑因素，则应考虑预测精度较低但实验工作量较少的非线性模型。
Prescott 的混合设计是一个单纯形格子，每个纯混合物之间有两个边缘点和一个质心。这与 3 2工艺设计交叉。这样的组合在确定启发式平衡的分数设计时提出了更大的挑战。在考虑了各种选择之后，我们将分数设计 1 定义为质心处的完整 3 2 、纯混合物处 z 1 z 2 = 0 的点以及 z 1 = z 2 = 0 的点以及以下三个边缘点处 z 1 z 2 = +/-1 的点：(2/3, 1/3, 0)、(0, 2/3, 1/3) 和 (1/3, 0, 2/3)。这产生了 39 次运行的分数设计 (9 + 5*3 + 5*3)，如图 7 所示。请注意，分数设计的点数不到原始 90 次运行设计的一半。通过再次在质心处运行完整的 3 2 ，但将在纯混合物与三个边缘点处运行的过程点反转，获得了分数设计 2。
Prescott 分数设计的预测结果如表 6 所示。请注意，对于 Prescott 线性化模型，最终模型中只使用了 Prescott 保留的 15 个项，因此我们可以使用分数设计来估计该模型。这使我们能够将线性化模型与线性加法模型进行比较，并将非线性模型与分数数据进行比较。当然，如果 Prescott 运行了 7 个项的完整特殊三次混合模型和 6 个项的因子过程设计，我们将没有估计所有项所需的 42 个自由度。
从表 6 中我们可以看出，使用训练数据的分数设计中，线性化模型表现非常出色。事实上，两种设计的 RMSE 都低于使用完整数据集获得的 RMSE。这可以部分解释为 Prescott 从完整数据集确定了线性化模型所需的参数。从这个意义上讲，当我们将线性化模型拟合到分数数据时，我们使用了完整数据集中的信息。但是，我们无法使用这 39 个数据点来估计完整线性化模型中的所有项。但请注意，线性化模型在预测保留数据方面表现要差得多。事实上，对于两种分数设计，线性化预测 RMSE 都大于线性和非线性模型的 RMSE。
同样，对于这两种设计，线性加法和非线性模型提供的预测 RMSE 相当接近训练集的 RMSE。与康奈尔的数据一样，我们发现，使用分数设计拟合线性加法或非线性模型是运行完整 90 次设计的可行替代方案。
表 6 Prescott 分数设计的预测结果
Wang 的原始设计是一个 10 次运行的单纯形，边缘点和检查点各占 50%，与 2 2工艺设计交叉，结果运行 10*4 = 40 次。我们通过在质心和纯混合处运行完整的 2 2 、在 50-50 边缘点处运行半分数 z 1 z 2 = 1、在检查点处运行半分数 z 1 z 2 = -1 来获得分数设计 1。结果为 4*4 + 2*3 + 2*3 = 28 次运行，如图 8 所示。分数设计 2 是通过反转在 50-50 边缘点和检查点处运行的分数而获得的。
使用这些分数设计，我们再次比较线性化、线性加性以及非线性模型的预测 RMSE。由于 Wang 运行的线性化模型有 28 个参数，因此我们能够估计这个完整模型，尽管没有剩余的自由度来估计误差。因此，为了进行比较，我们再次使用 Lenth 的伪标准误差代替线性化模型的 RMSE。这些比较的结果如表 7 所示。
表 7 Wang 分数设计的预测结果
*使用 Lenth 方法计算，因为没有误差的 df。
表 7 中最值得注意的是线性化模型的预测效果不佳。在很大程度上，这可能是由于使用分数设计估计误差的自由度为零。我们认为，从中得到的一个重要教训是使用没有或很少有误差自由度的回归模型来预测新数据是危险的。模型评估和验证是一项艰巨的任务；在误差自由度很少或没有的情况下进行评估和验证可能会导致预测不佳。线性加法和非线性模型表现更好，在样本外预测方面大致相当。请注意，线性加法和非线性模型都没有产生接近具有完整数据集的线性化模型的 RMSE。但是，在预测样本外时，它们的表现都优于线性化模型。再次，我们认为这提供了一些证据，表明在分数设计上运行的线性加法和非线性模型是实践中可行的替代方案。
我们学到了什么？
我们使用两个已发布的混合过程数据集和一个新数据集比较了线性化、线性加性以及非线性模型。此外，我们不仅在拟合原始数据集方面比较了这些方法，而且在拟合可能代替完全交叉（混合时间过程）设计运行的潜在分数设计方面也进行了比较。我们重申，我们的目的不是找到绝对意义上的最佳设计或最佳模型。相反，我们提出了一种统计工程方法来确定在存在潜在相互作用的情况下解决混合过程问题的最佳策略。这种策略将考虑分数设计和顺序方法的实际好处。
简而言之，我们认为从这些比较中我们了解到了以下信息：
- 如果具有足够的自由度，则通过将混合模型的项与过程模型的项相乘而获得的线性化模型很可能最适合数据，并提供对样本外数据的最佳预测。
- 线性加法模型（忽略混合过程相互作用）和非线性模型为线性化模型提供了可行的替代方案，并且在估计项数量方面具有显著优势。
- 当实验者考虑线性加法或非线性模型的选择时，从分数设计开始的顺序策略可以显著减少开发有用模型所需的总实验量。
- 如果线性加法和非线性模型与原始部分设计的拟合度不够好，实验者可以运行剩余的完全交叉设计，并拟合线性化模型。从这个意义上讲，实验者通过考虑顺序策略获益良多，损失很小。
- 另外不容忽视的一点是，残差误差自由度很少或没有的模型可能很好地拟合样本数据，但用来预测样本外数据是有风险的。
图 1 说明了我们建议的策略。通过首先运行分数设计，我们有可能显著减少拟合适当模型所需的实验量。表 8 总结了不同的分数设计和各种模型中的系数数量，以供比较。
表 8 完整设计和部分设计的规模以及模型中的系数数量
数据集 | - 运行次数 完整设计
| - 试验次数 部分设计
| 减少 | - 线性化模型系数
- 线性加性模型系数
- 非线性模型系数
|
康奈尔大学 | 56 | 三十二 | 43% | 56 | 14 | 14 |
普雷斯科特 | 90 | 三十九 | 57% | 四十二 | 12 | 12 |
王等人 | 40 | 二十八 | 30％ | 二十八 | 11 | 11 |
我们建议对分数数据同时运行线性加法模型和非线性模型。如果非线性模型的拟合效果明显更好，则表明混合物和工艺变量之间存在值得注意的相互作用。当然，不能保证线性加法模型或非线性模型都适合得很好。特别是，混合物和工艺变量之间的相互作用程度很高时，可能需要线性化模型。
如果实验者对部分设计生成的模型不满意，他们可以选择运行另一个部分（最初未运行的部分），以完成整个设计。此选项应成为研究开始时采用的策略的一部分。这种方法将能够估计完整的线性化模型。在第一个部分和第二个部分之间，需要一个自由度来有效地阻止设计随时间推移。否则，假设可以连续进行实验，这种方法没有真正的缺点。我们再次承认，非线性模型背后的理论并不像线性模型那样发达。
当然，图 1 中的模型充分性步骤不应仅限于评估 RMSE。此决策步骤旨在包括对模型充分性的完整评估，包括仔细审查残差、评估潜在异常值、与有关此问题的当前领域知识进行比较等等。线性化模型的这种评估是假定的，因此我们没有将其作为图 1 中的另一个步骤包括在内。我们在此图中的目标是展示如何按顺序评估不同的模型，而不是描述合理统计模型构建的细节，例如 Box 等人 (2005) 中讨论的那样。
读者可能会注意到，在本文中，我们并未研究计算机辅助设计选择最佳分数以适应非线性设计的潜力。我们相信，研究将计算机设计应用于混合过程问题的非线性模型可能会提供比我们目前的结果更好的结果。我们将此留待未来的研究。
已制定、测试并展示了可行的战略
我们考虑设计实验和拟合模型的问题，这些模型既有混合变量也有过程变量，它们被认为可能相互作用。解决此类问题的常用方法是运行完全混合设计，并与过程变量的完全因子设计相交叉。这种设计允许估计线性模型中的所有系数——该模型是通过将混合模型中的所有项与过程模型中的所有项相交叉而创建的。但是，模型和估计它们所需的设计往往非常大。例如，在 Prescott 的面包制作示例中，使用了 90 次运行的设计。Cornell 的鱼肉饼设计需要 56 次运行。
我们考虑这样的情况：实验者想要一个好的模型，但可能不是最佳模型，并且希望通过比 90 次或 56 次运行少得多的实验来获得这样的模型。在这种情况下，我们认为，使用顺序实验、最初小得多的分数设计以及考虑线性加性或非线性模型的统计工程策略可以提供更好的整体方法。重申一下，我们并不声称非线性模型在 RMSE 或预测 RMSE 方面可能优于线性化模型。我们也不声称分数设计包含与全交叉设计一样多的信息。从这个意义上讲，我们并不是在提出特定的设计本身，也不是在提出特定的模型本身。
相反，我们提出了一种解决此类问题的策略，我们认为这种策略总体上优于当前文献中提出的方法。从这个意义上说，我们提出的策略是一种统计工程方法。根据此处显示的结果，我们得出结论，这种方法更胜一筹，因为它有可能节省大量实验时间和精力，同时几乎没有任何缺点，假设顺序方法可行。特别是，非线性模型使用现代统计软件（如 R、JMP、Minitab 或 SAS）相当容易估计，因此软件不必成为考虑非线性模型的障碍。我们进一步认为，类似的方法可能在其他响应面应用中更普遍使用 - 除了混合/过程变量模型之外，但这是未来研究的主题。
参考
Anderson-Cook, CM 和 Lu, L. (特邀编辑) (2012)。“统计工程特刊”，质量工程，24(2)。
Box, GEP、Hunter, JS 和 Hunter, WG (2005)。 《实验者统计数据》 ，第二版，John Wiley and Sons，新泽西州霍博肯。
Cornell, JA (2002).混合物实验：混合数据的设计、模型和分析，第3 版，John Wiley and Sons，Hoboken，NY。
Cornell, JA (2011).混合物实验入门, John Wiley and Sons, 霍博肯, 新泽西州。
Hoerl, RW, 和 Snee, RD (2010).“质量改进中的统计思维和方法：展望未来,”质量工程, 22(3): 119-139。
Lenth, RV (1989)。 “快速简便地分析无重复因子”， 技术计量学 ，31(4): 469-473。
Montgomery, DC (2012)。 《实验设计与分析》 ，第 8 版，John Wiley and Sons，新泽西州霍博肯。
Prescott, P. (2004)。“混合实验建模（包括与过程变量的相互作用）”。质量技术与定量管理， 1(1): 87-103。
厨师，H.（1963 年）。“混合实验的单纯形质心设计”， 《皇家统计学会杂志 B》 ，25(2)：235–263。
Snee, RD 和 Hoerl, RW (2011)。“适当融合；统计工程与应用统计学的正确结合，” 《质量进步》 ，六月：46-49。
Wang, L., Xu,J.，Wu, S., and Zhang, K. (2013). 自制冰块融化速度研究，未发表的项目报告。
