<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />罗杰·霍尔（Roger W. Hoerl）博士，联合学院统计助理教授Brate-Peschel
Ronald D. Snee，博士，Snee Associates总裁
使用非线性模型的有效混合/过程实验
9/2015
Ronald D. Snee，Snee Associates，纽瓦克，DE
纽约州斯克内克塔迪联合学院的Roger W.Hoerl
加布里埃拉·布奇（Gabriella Bucci），佛罗里达州萨拉索塔户外学院
版权：Ronald D. Snee，Roger W. Hoerl和Gabriella Bucci 2015
注意：本文目前正在编辑审查中，标题为：“使用过程变量进行混合实验的统计工程方法”
抽象的：讨论了混合成分和过程变量的实验，尤其是当这两组变量之间可能存在相互作用时。我们在解决实际混合物/工艺问题的背景下同时考虑了设计和分析问题。我们专注于解决此类问题的策略，而不是针对给定的数据集寻找最佳的设计或最佳的模型。从这个意义上说，使用了统计工程框架。 特别是，当我们考虑拟合简约非线性模型而不是大型线性化模型的潜力时，我们发现了减小实验设计规模的巨大机会。在实践中，很难知道哪种类型的模型最适合所生成的数据。因此，建议采用集成的顺序设计和分析策略。使用两个已发布的数据集和一个新的数据集，我们发现在某些情况下，非线性模型或忽略相互作用的线性模型可以使实验减少50％左右。在其他情况下，非线性模型可能不足。因此，我们提供了有关这种方法何时可能成功的指南，并提出了解决此类问题的总体策略。
关键字：混合物，混合物模型，混合物实验，非线性模型
介绍
在许多行业和应用领域，例如食品，药品和化学药品的开发等，都出现了混合问题（成分比例必须达到1.0）。在许多混合物应用中，不仅影响最终响应的配方，还影响过程变量。例如，在生产混合葡萄酒时，最终口味和其他重要特征不仅取决于所用葡萄品种的比例，还取决于工艺变量，例如生长季节的气候条件（收获葡萄时），不同温度下的温度。发酵过程的各个阶段，使用的老化桶的类型等。
在某些情况下，混合物成分和过程变量不会相互作用。在葡萄酒的例子中，这意味着可以在不考虑使用哪种葡萄品种的情况下优化发酵和其他工艺。这种情况将导致人们利用结合了混合模型和过程变量模型的加性模型。在其他情况下，此附加方案将不适用，因为最佳的加工条件可能取决于所用的品种。在这种情况下，混合物和过程变量之间将存在相互作用。交互场景将导致模型结合术语以说明混合物和过程变量之间的交互。
为了适应包含交互作用的线性模型中的项数，通常会在预期发生这种交互作用时使用的实验设计往往会很大（Cornell 2002，2011）。当然，如果从主题知识或先前的实验中知道了最终模型的形式，则可以设计一个最佳或接近最佳的实验来估计该特定模型。我们考虑了更常见的情况，即实验人员怀疑相互作用，但在运行设计和获取后续数据之前不确定是否指定最终模型形式。因此，我们的重点既不是针对给定模型的最佳设计，也不是针对给定数据集的最佳模型。相反，我们将重点放在解决此类问题的策略上，考虑替代设计，替代模型，并考虑解决实际问题中对效率的需求。
从这个意义上讲，我们采用统计工程方法（Hoerl和Snee，2010； Anderson-Cook和Lu，2012）来确定最有效，最有效的方法，以解决商业，工业，研究或政府中发生的混合/过程应用。 特别是，我们发现认真考虑参数中非线性的模型可以为传统的参数线性模型提供有效的替代方法。尽管拟合非线性模型比拟合线性模型更具挑战性，但现代软件（例如R，JMP，Minitab或SAS）允许用户相当轻松地估计和解释非线性模型，至少与10的商业软件相比到20年前
非线性模型具有较少的参数来估计相同的混合物/过程问题。例如，在康奈尔（Cornell）的鱼肉饼应用中（Cornell 2002），线性模型中要估计56个项，而非线性模型中要估计14个项。因此，如果非线性模型提供了可行的替代方案，则可以采用更具侵略性的分数设计策略来显着减少初始实验。我们承认，非线性模型的基础理论（例如系数的标准误差）比线性模型的理论欠发达，并且通常依赖于渐近或近似结果（Montgomery 2012）。
换句话说，由于非线性模型需要较少的参数来适应过程变量和混合物变量之间的相互作用，因此最初可以运行更小的分数设计。显然，假设实验成本不可忽略，则不需要56次运算就可以估算14个项。如果非线性模型或什至没有相互作用的加法线性模型证明足够，那么可以通过初始设计解决该问题。
通过考虑非线性模型，我们可以收获很多，如果有的话，也几乎没有损失。如果这些较小的模型不能提供足够的精度，则可以按顺序进行其他实验。这样，最好的情况是我们将解决问题所需的实验效果降低了50％，而最坏的情况是我们最终必须运行所有具有交互作用的典型线性模型的实验会要求。总体策略如图1所示。我们认为，强调解决问题的最佳总体方法，而不是着眼于给定模型的最佳个体设计或给定数据集的最佳个体模型，是统计工程的核心。
本文的其余部分安排如下：我们首先回顾具有过程变量（包括具有交互作用的变量）的混合实验中使用的典型模型和设计。接下来，我们回顾统计工程的基础知识，并讨论它们如何应用于此特定问题。然后，我们介绍三个数据集，其中两个是先前发布的，一个是新数据集。使用这些数据集，我们在拟合数据方面比较了线性加性模型，线性交互式模型和非线性模型。此外，我们注意到非线性模型系数的潜在解释。接下来，我们考虑通过分数设计可能为每个这些问题发现的假设结果。也就是说，我们根据分数设计分析了实际数据的子集，拟合了不同的模型，并使用这些模型来预测模型未使用的数据。最后，我们考虑了这种分析的含义，并提出了一种解决可能存在相互作用的混合物/工艺问题的策略。
混合/工艺问题中使用的典型模型
有许多潜在的设计和模型可用于处理过程变量的混合问题。在这里，我们重点介绍应用程序中最常用的模型和设计，特别是Scheff型号（Scheff （1963年，康奈尔，2002年），而未尝试提供全面的评论。我们首先考虑混合物模型本身，然后考虑具有过程变量且没有交互作用的混合物模型，然后考虑交互作用。一旦完成模型，我们将讨论通常运行的设计以实现对这些模型的拟合。
由于配方成分之和为1.0的约束，导致失去了一个自由度，因此通常简单地从标准线性回归模型中删除常数项。例如，对于q个混合成分，线性Scheff模型将被编写为：
因为分量的总和为1.0，所以最有意义的不是系数的绝对值，而是系数之间的关系。例如，如果b 1个= 10，b 2个= 20，并且b 3 = 30，包含三个成分，那么我们说x 1个对响应有负面影响，因为增加x 1个我们将不得不减少x 2个或x 3相等的量，因此增加x的净影响1个将是减少E（y）。有关混合系数解释的更多信息，请参见Cornell（2002）。
请注意，对于本文介绍的所有模型，我们假设一个加法随机误差项，即独立且均布的正态分布，均值为0，标准差。尽管错误项在任何统计模型中显然都很重要，但这并不是本文的重点，因此，对于此错误项的发展，我们将不多说。
还可以考虑其他混合模型，例如“松弛变量”模型，其中我们删除一种混合成分以避免混合约束，然后将常数项重新添加到模型中。当存在曲率时，通常拟合二次方舍夫模型，其中包含线性项以及组件之间所有可能的叉积项：
因为可以将每个组件视为一个减去所有其他组件的总和，所以我们通常不会将叉积术语视为传统意义上的建模交互，而是通常对非线性混合建模。当存在其他非线性混合并且有足够的自由度可用时，我们可以拟合特殊的三次方舍夫模型：
从某种意义上说，它不包括所有三阶项，而是二次模型以及三个项之间的所有可能叉积，因此被认为是“特殊”三次方。例如，特殊立方不包含术语X 2个。全立方舍夫模型将是：
哪里d ij是二元过量或“协同效应”的三次系数（Cornell 2011，第31页）。当模型中有过程变量时，我们将使用x一世对于混合变量z一世对于过程变量，b一世混合系数和一世用于过程变量系数。我们不考虑ij条款。此外，通用术语f（x）将用于仅具有混合成分的模型，而g（z）将用于仅具有过程变量的模型。结合了两者的组合模型将写为c（x，z）。
同样，有许多潜在的模型可以应用于过程变量，以及混合物成分和过程变量的组合。在这里，我们重点介绍最常用于应用程序的标准设计。线性过程变量模型将是：
，
在这里，我们有r个自变量。二阶（完全二次）过程变量模型将是：
注意，两次求和包括i = j，因此完整的二次模型在模型中包括平方（二次）项。显然，拟合这样的模型在设计中需要两个以上的层次。在两级设计中，可以使用阶乘模型-线性项和二阶相互作用，但不能使用二次（平方）项：
当然，通过完全阶乘设计，我们也可以估计更高阶的交互。
在混合物和过程变量同时存在的情况下，关键考虑因素是混合物和过程变量之间相互作用的预期程度。如果我们有理论或经验表明混合物和过程变量不会相互影响，那么我们可以分别拟合混合物和过程模型。换句话说，整个模型将变为：
c（x，z）= f（x）+ g（z）（1）
我们将方程式1称为线性加法模型。在这种情况下，f（x）将是适合混合物成分的任何模型，g（z）将是适合过程变量的任何模型。 但是，在许多情况下，混合物成分和过程变量会相互作用。换句话说，烘烤蛋糕的最佳时间和温度可能取决于蛋糕中的成分。红葡萄酒通常不像白葡萄酒那样冷藏。依此类推。在这些情况下，许多作者，例如Cornell（2002，2011）和Prescott（2004），建议将混合模型和过程变量模型相乘，而不是相加。换句话说，为了适应混合过程之间的相互作用，我们可以使用以下模型：
c（x，z）= f（x）* g（z）（2）
此乘法模型的参数不是线性的（b一世和一个一世），因此无法以封闭形式或标准线性回归软件获得最小二乘解。解决此问题的一种方法是将f（x）* g（z）中的各个项相乘。考虑存在三个混合变量和两个过程变量的情况。为简单起见，假设我们知道这些模型将采用以下形式：
f（x）= b 1个X 1个+ b 2个X 2个+ b 3 X 3 + b 12 X 1个X 2个+ b 13 X 1个X 3 + b 23 X 2个X 3 + b 123 X 1个X 2个X 3 ，和
g（z）= a 0 +一个1个ž 1个+一个2个ž 2个+一个12 ž 1个ž 2个，
这将是一个特殊的立方混合模型和阶乘过程变量模型。因此，f（x）有七个要估计的项，而g（z）有四个要估计的项。如果我们将f（x）中的每个项乘以g（z）中的每个项，则在线性回归模型中将产生28个项。我们将这个模型称为线性模型，因为等式2实际上是非线性模型。通过将所有项相乘，我们用28个项创建线性模型。也就是说，我们有：
c（x，z）= f（x）* g（z）= b 1个X 1个*一种0 + b 1个X 1个*一种1个ž 1个+ b 1个X 1个*一种2个ž 2个+ b 1个X 1个*一种12 ž 1个ž 2个（3）
+ b 2个X 2个*一种0 + b 2个X 2个*一种1个ž 1个+ b 2个X 2个*一种2个ž 2个+ b 2个X 2个*一种12 ž 1个ž 2个
+ ............. + b 123 X 1个X 2个X 3 *一种12 ž 1个ž 2个
注意，如果我们考虑b，则方程3在参数中是线性的1个一种0作为一个参数，b 1个一种1个成为另一个，依此类推。因此，公式3可以使用标准线性回归软件进行估算，公式1也可以进行估算。当然，当获得最小二乘估计时，x的估计参数1个，列为“ b” 1个一种0 ”在等式3中，将以零概率等于x的估计系数1个在方程2的f（x）中1个）乘以方程2（g（z）中的估计截距（ 0 ），如果直接根据非线性最小二乘法估算这些个体项。即，不能使用方程式3的最小二乘估计来确定方程式2的非线性最小二乘估计。
我们稍后返回的重要一点是将公式2与公式3进行比较。等式2是参数非线性的模型。如果这样估计，则仅需要估计11个参数，f（x）为7个，g（z）为4个。 在实践中，仅需要10个参数，因为公式2实际上是超额指定的；该方程没有唯一的最小二乘解。如果有人认为通过将f（z）乘以任意非零常数（例如m），然后将g（z）除以m，则c（x，z）的值将保持不变，则可以立即看出，因为m和1 / m将取消。由于存在无限数量的此类常数m可以乘以f（x）中的每个系数，每个常数都产生相同的残差平方和，因此方程2不会存在唯一的最小二乘解。我们通过设置一个0 = 1.0。我们没有断言这是解决超规格的最好或唯一方法，尽管这确实有助于解释其他系数，我们将很快看到。
当然，关键点在于，如果可以将方程式2作为非线性最小二乘问题直接进行估计，则估计参数仅需要10个自由度，而线性化版本则不需要28个。当预期相互作用时，这对实验设计具有明显的含义。当然，如果没有预期的相互作用，则可以估算方程式1（线性加性模型）。这个方程式也被过度指定，因为a 0由于截距已被纳入混合模型f（x）中，因此不需要项，并且实际上无法估计。通过删除截距，我们再次有10个参数可以估算，就像在非线性模型中一样。
用于混合物/工艺问题的典型实验设计
设计和模型显然是齐头并进的，因为在设计实验时，即使我们不确定确切的形式，通常也会想到特定的模型。在混合实验中，有一些模型适用于估计线性Scheff模型，当然，较大的设计适合于估计二次方或特殊三次方模型。
单纯形设计通常用于混合物实验中。当我们有q个分量时，通常以q-1维表示。例如，如果我们有三个组件，则由于混合约束，只有两个自由度，因此设计可以在两个维度上显示，如图2所示。请注意，所有三个组件均已表示，每个组件都有一个轴。在无约束混合问题中，每个分量的范围可以从0更改为1.0，因此完整的单纯形在每个轴上从0变为1。0点由单纯形的底表示，然后1.0将位于与底相反的单纯形点。请注意，如果x 1个= 1.0，然后x 2个= x 3 = 0，因此此点对应于x的底2个和x 3轴。由于明显的原因，这些点被称为“纯混合”。图2标识了纯混合以及其他使用单工设计的共同点。
我们指出质心对应于析因设计的中心点，对应于在单纯形中间的点1 / 3、1 / 3、1 / 3。使用单纯形设计的其他共同点是所谓的50-50混合，两种成分的比例为0.5，第三种成分的比例为0。这50-50个混合对应于沿单纯形的每个基点的中点。单纯形设计中经常使用的另一个常见点是“检查点”，通常放置在质心和纯混合体之间的中间位置。对于三分量单纯形，对于x，它们将分别为2 / 3、1 / 6、1 / 6 1个，1 / 6、2 / 3、1 / 6，用于x 2个，以及x的1 / 6、1 / 6、2 / 3 3 。这些检查点可以验证模型是否适合数据，而不仅仅是单纯形的质心和边界。换句话说，很好地拟合检查点将表明在单纯形内进行插值相对安全。
如康奈尔（Cornell，2002）所述，在实践中也使用了更为复杂的单形点阵设计，这些点在整个单形点上均匀地定位。在超过四个组件的实验中，这些设计很难说明，但是可以形成相同类型的设计，就像析因设计一样。当然，通常配方成分的水平会受到限制。例如，很少有消费者会喜欢由100％醋组成的沙拉酱。在这种情况下，可能会创建伪组件（Cornell 2002），这是原始组件的转换，或者在由约束创建的异常设计空间中利用计算机辅助设计。这样的设计不是本文的重点。我们还假设读者熟悉用于过程变量的标准析因设计。
在具有过程变量的混合物设计中，通常使用一些混合设计，以便可以估计混合物效果和模型以及过程效果和模型。如果实验人员怀疑相互作用，则通常需要能够估计方程式2的线性化版本中的所有项。也就是说，所选的实验设计应允许估计通过将混合模型中的每个项与过程模型中的每个项相乘而获得的所有效果。在上面提到的示例中，我们需要一种允许对公式3中所有28个项进行估算的设计。
这样的设计通常与混合设计交叉阶乘或分数阶乘。例如，康奈尔（Cornell）的鱼肉饼实验（Cornell 2002）跨越了三成分单纯形设计，其中包括纯混纺，质心和50-50混纺，其中2 3三个过程变量的析因设计。此设计如图3所示。请注意，在2的每个点3析因设计，运行了完整的单纯形设计。当然，也可以选择将其描述为在单纯形的每个点上进行的全因子设计。因为单纯形设计有7个点，阶乘设计有8个点，所以完整设计为56个点，以随机顺序运行以避免分割绘图（Cornell 2002，2011）。
如果不期望相互作用，那么设计当然可以小得多。例如，在康奈尔鱼肉饼示例中，特殊的立方混合物模型将具有7个项（3个线性混合项，三个2因子叉积和特殊的3因子叉积），而完整的因子模型应具有8个条件（1个截距，3个主要效果，3个2因子相互作用和1个3因子相互作用）。因为混合模型f（x）包含了一个截距，所以我们可以从g（z）删除该截距，剩下7 + 8 – 1 = 14个项以在没有相互作用的线性加性模型中进行估计，即c（x，z ）= f（x）+ g（z）。显然，可以运行更小部分的设计，或者由于模型中没有相互作用，因此可以独立研究混合物和过程变量。
统计工程在具有过程变量的混合模型中的作用
Hoerl和Snee（2010）将统计工程定义为：“如何最好地利用统计概念，方法和工具，并将其与信息技术和其他科学相集成，以产生更好的结果的研究。”相反，统计科学可以看作是基础理论的研究和发展以及个体统计方法的应用。关键区别在于统计科学侧重于提高工具本身及其应用的基础知识。另一方面，统计工程侧重于如何采用现有的方法和工具（即现有的统计科学），并创造性地将这些工具（通常与非统计工具）链接和集成，以产生更大的影响。创新地利用现有科学来取得更大的影响是任何工程领域的本质。
显然，统计领域要发展并增强其对社会的影响，就需要统计科学和统计工程。我们认为，尽管需要一种平衡的方法，但该行业目前的重点倾向于偏向统计科学（Snee and Hoerl 2011）。尤其是，我们认为需要更加重视发展一种基础理论，即如何解决大型，复杂，非结构化的问题，这些问题对于任何一种工具都无法解决。这些问题显然需要创造性地整合多种统计方法，以及创造性地使用信息技术或其他科学。显然，需要一种工程方法。有关统计工程学科的更多背景信息，请参见《统计工程质量工程特别版》（Anderson-Cook和Lu 2012）。
我们已经注意到，当使用过程变量来解决混合问题时，设计的选择和模型的选择是齐头并进的。也就是说，我们可以估计的模型由设计确定，适当的设计取决于我们希望估计的模型。此外，如果我们事先知道特定的模型，则可以构造一个最佳设计来估计该模型。但是，在许多实际情况下，我们的主题知识是有限的，并且我们不确定最终模型。通常，这会导致迭代的设计和分析方法，如Box等人所强调的。（2005），蒙哥马利（2012）等。
关键问题是这种情况是当我们预期混合物和过程变量之间的相互作用但不确定时如何最好地解决该问题。我们注意到，这与询问给定模型的最佳设计是一个非常不同的问题，也不同于询问对给定数据集的最佳模型是什么。后者是更多的统计科学问题，因为它们涉及单个工具的理论和实践。此外，可以根据客观标准通过分析确定“正确”答案。但是，如何解决一个复杂的问题不是统计科学的问题，因为我们给出的数据很少，也没有商定的成功目标指标。换句话说，问题是非结构化的。
我们认为这个策略问题更适合于统计工程，因为我们需要一种将设计和分析（可能以一种顺序的方式）结合在一起的整体方法，以便获得更好的结果。集成多种工具是关键。在这种情况下，“更好的结果”可以基于统计标准，或者基于节省时间和金钱的实验工作，或者两者兼而有之。换句话说，它可能基于查找最佳业务解决方案，而不是查找最佳统计解决方案。与在指定条件下获得最佳设计或最佳模型相比，这是一个更复杂，结构更少的问题。因此，统计工程学的观点指导了我们针对过程变量混合问题的研究和推荐策略。
设计与分析中的三个案例研究
康奈尔（Cornell，2002）提出了来自三种鱼肉饼的实验数据：鱼，羊头和鱼。另外，每个小馅饼在不同的烘烤温度，烘烤时间和油炸时间下烹制（小馅饼既被烘烤又被油炸）。感兴趣的反应是所得肉饼的质地。所使用的设计是混合变量的七次运行单纯形，包括纯混合，50-50混合和质心。对于过程变量，进行八次运行2 3跑了。康奈尔（Cornell）将混合物设计与工艺设计进行了交叉比较，如表1所示和图3所示。此设计总共有7 * 8 = 56个运行。康奈尔拟合线性模型，其中：
f（x）= b 1个X 1个+ b 2个X 2个+ b 3 X 3 + b 12 X 1个X 2个+ b 13 X 1个X 3 + b 23 X 2个X 3 + b 123 X 1个X 2个X 3 ，
g（z）= a 0 +一个1个ž 1个+一个2个ž 2个+一个3 ž 3 +一个12 ž 1个ž 2个+一个13 ž 1个ž 3 +一个23 ž 2个ž 3 +一个123 ž 1个ž 2个ž 3 ，和
c（x，z）= f（x）* g（z）
表1康奈尔鱼肉饼质地数据
混合 | 油炸时间 |
25 | 40 |
烤箱时间 |
25 | 40 | 25 | 40 |
烤箱温度 |
325 | 425 | 325 | 425 | 325 | 425 | 325 | 425 |
鲻 | 羊头 | 黄花鱼 | 质地 |
1个 | 0 | 0 | - 1.84
- 2.86
- 3.01
- 4.13
- 1.65
- 2.32
- 3.04
- 4.13
|
0 | 1个 | 0 | - 0.67
- 1.10
- 1.21
- 1.67
- 0.58
- 0.97
- 1.16
- 1.30
|
0 | 0 | 1个 | - 1.51
- 1.60
- 2.32
- 2.57
- 1.21
- 2.12
- 2.00
- 2.75
- 0.5
- 0.5
|
0 | - 1.29
- 1.53
- 1.93
- 2.26
- 1.18
- 1.45
- 1.85
- 2.06
- 0.5
|
0 | - 0.5
- 1.42
- 1.81
- 2.57
- 3.15
- 1.45
- 1.93
- 2.39
- 2.82
|
0 | - 0.5
- 0.5
- 1.16
- 1.50
- 1.83
- 2.22
- 1.07
- 1.28
- 1.60
- 2.10
|
1/3 | 1/3 | 1/3 | - 1.59
- 1.68
- 1.94
- 2.60
- 1.41
- 1.54
- 2.05
- 2.32
|
由于f（x）具有7个项，而g（z）具有8个项，当将各个项相乘以创建线性化模型时，c（x，z）具有7 * 8 = 56个项。在设计中进行56次运行时，显然没有估计实验误差的自由度，产生的均方根误差（RMSE）为0，并且没有能力估计误差项（e）的标准偏差。标准错误。此外，没有机会评估模型不足的证据的残差，或进行缺乏拟合检验的机会。因此，康奈尔（Cornell）使用重复测量之间的差异（不是真正的重复）作为标准误差的估计值。显然，这种批内变异不允许人们估计批间变异的来源，因此，不能认为它是对标准误差的一种估计，该估计与从真实复制品甚至从残余自由度得出的标准误差相当。
为了比较模型，我们使用Lenth的PSE（伪标准误差）方法（Lenth 1989）来获得Cornell模型的标准误差的估计值。Lenth的方法首先确定看似真实的效果，然后使用获得的自由度来估计标准误差，然后删除其余变量。这是一个伪标准错误，因为它依赖于从模型中删除适当的术语。
Prescott（2004）使用三种面粉（挪威的Tjalve，Folke和美国的硬红春）测试了面包的体积。还有两个过程变量，检验时间和混合时间。三种面粉的含量受到限制：.25 X 1个1、0 X 2个.75和0 X 3 .75，其中Tjalve是x 1个，福克是x 2个和Hard Red Spring是x 3 。当应用于单纯形混合空间时，这会在减小的空间中产生更小的完整单纯形。通过转换为伪组件（Cornell 2002），仍然可以使用标准的单纯形设计。为了进行模型比较且不失一般性，我们使用Prescott混合设计的伪组件版本。Prescott对混合变量使用了10次运行的单纯形晶格设计，而对3 2个，即，用于两个变量的三级阶乘，用于过程设计。当然，该设计有9次运行。
再次将混合物设计与过程设计相结合，Prescott创建了10 * 9 = 90运行设计，该设计在表2中列出，并在图4中进行了说明。对于混合模型f（x），Prescott考虑了康奈尔使用的具有7个项的相同特殊三次模型，对于过程模型g（z），考虑了具有6个项的完整二次模型：
g（z）= a 0 +一个1个ž 1个+一个2个ž 2个+一个12 ž 1个ž 2个+
表2 Prescott的面包量数据
伪分量 混合物 | 打样时间（分钟） |
35 | - 47.5
| 60 |
混合时间（分钟） |
5 | 15 | 25 | 5 | 15 | 25 | 5 | 15 | 25 |
贾尔维 | 福克 | 硬红春天 | 面包量 |
.25 | .75 | 0 | - 378.89
- 396.67
- 392.22
- 445.56
- 452.22
- 487.78
- 457.22
- 500.56
- 472.78
|
.50 | .50 | 0 | - 388.89
- 423.33
- 416.11
- 460.00
- 488.89
- 475.78
- 472.78
- 478.00
- 506.11
|
.75 | .25 | 0 | - 426.11
- 483.33
- 389.44
- 474.44
- 514.44
- 462.78
- 506.67
- 591.67
- 522.22
- 1.0
|
0 | 0 | - 386.11
- 459.11
- 423.33
- 458.33
- 506.11
- 514.44
- 545.56
- 522.22
- 551.11
|
.25 | .50 | .25 | - 417.78
- 437.22
- 444.56
- 484.44
- 490.00
- 495.00
- 497.78
- 531.11
- 577.78
|
.50 | .25 | .25 | - 389.44
- 447.22
- 415.00
- 490.89
- 528.89
- 507.78
- 517.78
- 567.22
- 538.33
|
.75 | 0 | .25 | - 448.33
- 459.44
- 455.56
- 436.00
- 535.00
- 552.22
- 507.44
- 578.89
- 590.00
|
.25 | .25 | .50 | - 413.89
- 485.56
- 462.22
- 483.89
- 529.44
- 540.00
- 565.00
- 598.89
- 580.56
|
.50 | 0 | .50 | - 415.56
- 514.44
- 437.78
- 493.89
- 583.33
- 578.89
- 524.44
- 649.44
- 640.00
|
.25 | 0 | .75 | - 432.78
- 498.33
- 517.22
- 474.44
- 568.33
- 579.44
- 541.11
- 638.89
- 638.89
|
注意，二次项是可估计的，因为过程设计是三级设计。Prescott运行了几个线性化的交互式模型，即，形式c（x，z）= f（x）* g（z），总共有7 * 6 = 42个项。在进行90次运行后，有足够的自由度来估算完整的42项模型，而仍然有自由度来估算标准误差。在考虑了几个模型之后，Prescott为该数据建议的最终模型是以下形式的简化模型：
y = 522.8x 1个+ 448.1倍2个+ 599.3x 3 + 13.0倍1个ž 1个+ 1.7倍2个ž 1个+ 54.3倍3 ž 1个+ 56.3倍1个ž 2个+ 37.2倍2个ž 2个
+ 73.8倍3 ž 2个– 39.4倍1个+ 3.7倍2个– 46.0倍3 – 10.2倍1个+ 28.4倍2个+ 1.0倍3
请注意，某些术语已从模型中删除，例如涉及x的任何叉积的术语一世，或z的相互作用1个和z 2个。实际上，最终模型中仅包含了42个术语中的15个。当比较线性模型和非线性模型时，我们回到这一点。
Wang等。（2013）在罗格斯大学（Rutgers University）的第一作者讲授的统计学课程的班级项目中，进行了混合/过程实验设计。该实验包括三个混合变量，水，牛奶和橙汁，以及两个过程变量，糖的添加量（0或2克）和所用牛奶的类型（2％或全脂）。响应是从混合物中产生的冰的融化时间（以分钟为单位）。混合物设计是10次运行的单纯形设计，具有纯组分，伪组分形式的50-50个共混物，检查点和质心。这是图2所示的设计。对于流程设计，Wang运行了2 2个四次运行中的阶乘。表3中给出了10 * 4 = 40行程的交叉设计，得到的响应如图5所示。
表3 Wang等。融化时间数据
混合物 | 牛奶类型 |
2％ | 所有的 |
糖 |
0克 | 2克 | 0克 | 2克 |
水 | 牛奶 | 果汁 | 融化时间 |
1/6 | 1/6 | 2/3 | - 29.43
- 24.31
- 34.94
- 32.97
|
0 | - 0.5
- 0.5
- 37.36
- 32.89
- 45.69
- 39.06
- 0.5
- 0.5
|
0 | - 33.32
- 28.34
- 41.78
- 35.84
|
1个 | 0 | 0 | - 19.13
- 17.73
- 23.7
- 22.16
|
2/3 | 1/6 | 1/6 | - 24.11
- 22.49
- 29.76
- 25.43
|
1/3 | 1/3 | 1/3 | - 32.08
- 26.29
- 36.97
- 30.13
|
0 | 0 | 1个 | - 30.41
- 23.25
- 31.92
- 29.45
- 0.5
|
0 | - 0.5
- 21.86
- 22.88
- 27.09
- 26.21
|
1/6 | 2/3 | 1/6 | - 37.35
- 28.43
- 42.92
- 39.95
|
0 | 1个 | 0 | - 48.64
- 33.00
- 45.08
- 47.35
|
Wang等。（2013年）拟合了一个线性模型，该模型使用了一个针对f（x）的7项特殊立方和一个针对g（z）的4项阶乘过程模型，该模型具有截距，两个主要作用和2因子相互作用。因此，将所有项相乘时，c（x，z）是公式3中给出的28项线性化模型。有40个游程和28个估计项，估计标准误差还剩下12个自由度。
线性和非线性模型与结果
对于这些设计和数据集中的每一个，也可以考虑使用更小的模型，例如线性加性模型c（x，z）= f（x）+ g（z），当然，该模型没有用于估计相互作用的项混合和过程变量之间以及非线性模型之间的关系。为了估计非线性模型，可以直接找到c（x，z）= f（x）* g（z）的最小二乘解，而无需将项相乘。如前所述，该模型的参数是非线性的。例如，在具有两个混合变量和一个过程变量的简单情况下：
c（x，z）=（ b 1个X 1个+ b 2个X 2个+ b 12 X 1个X 2个）*（一种0 +一个1个z）（4）
假设我们希望估计这5个系数中的每一个，那么我们可以将方程4视为具有5个系数的非线性方程，并使用非线性最小二乘找到一个解决方案。如前所述，由于等式4被过确定，实际上我们只有4个系数可估计，并且将没有唯一的最小二乘解。通过任意设置0 = 1.0，我们通常可以在其他参数中获得唯一的最小二乘解。使用其他一些非零值0不会更改模型指标，例如R 2个，标准错误等。当然，对于非线性最小二乘，无法保证唯一的解决方案。
为了拟合非线性模型，我们在标准MacBook Pro笔记本电脑上运行的JMP Pro 10中使用了非线性回归算法。如前所述，运行非线性模型比线性模型更具挑战性，但是使用现代软件，这无疑是可行的，并且我们建议对于这些类型的问题，这是一个可行的选择。在讨论将线性加性模型和非线性模型拟合到这三个数据集所获得的结果之前，我们简要讨论了非线性模型中系数的解释。我们不讨论线性加性模型，因为混合项的解释已在文献中广泛讨论，例如舍夫（1963），康奈尔（2002）等。
在公式4的非线性模型中估算了项之后，我们可以自由地将估算出的项相乘以帮助解释。请注意，这产生的模型与通过在估计系数之前将各项相乘得到的模型截然不同，后者将产生线性化的模型。此外，决定设置一个0 = 1而不是其他值使模型的解释更直接。在非线性方法中将方程式4的估计项相乘后，我们得到：
= （ 1个X 1个+ 2个X 2个+ 12 X 1个X 2个）*（1 + 1个z）
= （ X 1个+ x 2个+ 12 X 1个X 2个）+ （ X 1个+ x 2个+ 12 X 1个X 2个）* 1个z（5）
在不失一般性的前提下，我们可以假定z被缩放为平均值为0。因此，当z为平均值时，方程式5简化为仅左边的部分，即纯混合模型f（x）。因此，我们可以将混合系数解释为过程变量中点处估计的混合，或者解释为整个设计中的平均混合。这种解释决定了是否与z相互作用。的解释1个更复杂。请注意，方程5中出现的唯一位置z是通过一组相互作用。
这意味着非线性模型无法根据z与混合变量的相互作用来唯一地估计z的主效应。这是因为唯一可用于合并z的主效应及其与x的相互作用的系数一世是1个。尽管可以将f（x）改写为带有截距的松弛变量模型，但我们仍然只有一个自由度可以将z的主要作用及其与混合变量的相互作用结合在一起。我们认为这是非线性方法的缺点，并推测实际结果将是在装配具有较大过程变量主效应以及混合物与过程变量之间存在严重相互作用的曲面时会遇到一些困难。
我们可以将此解释扩展到更大的非线性模型，例如他的鱼肉饼实验中的7项特殊立方混合模型和8项过程变量模型。如果我们直接将c（x，z）= f（x）* g（z）估计为非线性模型，我们将估计7 + 8 – 1 = 14个系数。回想一下，我们设置了一个0 = 1。在使用非线性最小二乘法求解这14个系数后，我们可以将多项相乘以帮助解释。这样做会产生：
[x）*（1 + 1个ž 1个+ 2个ž 2个+ 3 ž 3 + 12 ž 1个ž 2个+ 13 ž 1个ž 3 + 23 ž 2个ž 3 + 123 ž 1个ž 2个ž 3 ），
是1倍（x），再加上1个ž 1个倍（x），再加上2个ž 2个时间（x），依此类推。换句话说，模型中除（x）* 1之外的所有其他术语都涉及一世乘以一个或多个z一世，时间（x）。因此，z的主要影响都不是一世可以从那个z的相互作用唯一地估计一世与混合变量（及其相互作用）相似，类似于等式5中的情况。同样，z之间的相互作用一世，例如z 1个ž 2个例如，不能从该术语与混合术语之间的相互作用唯一地估计。
从实际的角度来看，对于z，无法估计各个系数1个和x 1个ž 1个例如，与无法估计诸如z之类的相互作用的各个系数相比，更令人关注1个ž 2个ž 3和x 1个X 2个X 3 ž 1个ž 2个ž 3 ，从设计的分辨率上讲（Box等。2005年）。也就是说，从业人员很少会担心六因素互动的实际重要性。
将线性加性模型c（x，z）= f（x）+ g（z）和非线性模型c（x，z）= f（x）* g（z）拟合到这三个数据前面讨论过的集合，我们得到的结果如表4所示。对于Cornell和Wang数据集，我们拟合了完整的模型，而没有进行子集选择的尝试。利用Prescott数据，对于线性加性模型和非线性模型，我们仅将Prescott选择的f（x）和g（z）项纳入其最终线性化模型中。具体来说，对于f（x），我们仅使用x 1个，X 2个和x 3 。对于g（z），我们包括z 1个z 2个，，和 。从这个意义上讲，康奈尔和王的比较是“没有苹果子集的苹果”，而普雷斯科特的比较是“苹果到苹果”，子集的选择是普雷斯科特的。
我们使用的数字标准是估计的标准误差或均方根误差（RMSE）。显然，没有单一的指标可以确定模型的“良好”。为了在实践中开发合适的模型，需要查看一些数值标准，评估残差图，将结果与可靠的主题理论进行比较，等等。读者不应推断我们建议仅在模型构建中专注于RMSE。但是，出于模型比较的目的，我们仅将估计的标准误差用作方便的客观标准，以衡量模型能够拟合数据的程度。
从表4中我们可以看到，在两种情况下，线性化模型提供了最小的估计标准误差，并且对于Cornell数据几乎是最小的。这并不奇怪，因为线性加性模型不包含任何交互作用，并且非线性模型具有前面提到的局限性。我们从这三个分析得出的结论是，如果有足够的自由度可用，则基于应用此准则的这三个模型，线性化模型是首选方法。
表4线性，线性加法和非线性模型的RMSE
康奈尔数据普雷斯科特数据王大数据
线性化0 .17 * 21.0 1.36
线性添加剂0 .24 24.3 2.38
非线性的0 .16 23.1 2.05
*使用Lenth方法计算，因为没有df表示错误。
但是，通过仔细检查，我们发现对于康奈尔数据和普雷斯科特数据这两个数据集，模型之间的差异并不像人们期望的那么大，实际上，非线性模型RMSE略有不同。小于Cornell数据的线性化模型RMSE。回想一下，由于没有自由度可以估算误差，因此使用Lenth方法计算线性化模型RMSE。考虑到这些模型中估计系数数量差异的大小，非线性方法的性能令人印象深刻：康奈尔模型为14（线性加法或非线性）与56（线性化），Prescott完整模型为12对42 （如果仅使用Prescott的简化模型项，则为7对15；对于Wang的模型，则为10对28。非线性和线性加性模型更为简化。
线性加法和非线性方法为什么不适用于Wang数据的一种可能的解释是，混合物和过程变量与该数据之间存在高度显着的相互作用。例如，线性模型中的牛奶*糖*牛奶类型（x 2个ž 1个ž 2个），以及牛奶*果汁*糖*牛奶类型（x 2个X 3 ž 1个ž 2个）在.01级别上均具有统计意义。水*牛奶*糖*牛奶类型的术语（x 1个X 2个ž 1个ž 2个）在.01级别（p值= .0101）几乎是显着的。根据我们的经验，发现如此重要的四因素相互作用是非常不寻常的。线性模型（不包括过程变量和混合物变量之间的任何交互作用项）显然将无法有效地对这种交互作用进行建模。非线性模型根本没有足够的项来提供良好的近似值。具有如此显着的高阶交互作用，可能需要线性化方法。
考虑到表4中相对较低的差异，我们似乎有可能通过减少初始实验量来节省大量时间和金钱。当然，在Prescott非线性模型中使用所有项估算12个项时，无需进行90次运行，而在Cornell非线性模型中估算14个项时，无需进行56次运行。为了回答这个问题，我们评估了这些模型中的每一个将如何适应实际运行的设计的一部分。
分式设计的结果
我们讨论的每个设计都是通过将混合设计与过程设计交叉而产生的。因此，总运行次数为n 1个* n 2个，其中n 1个是混合物设计中的数字，而n 2个工艺设计中的编号。 对于康奈尔（Cornell）的鱼肉饼设计，这是7 * 8 = 56。给定上面显示的非线性模型的结果，一个逻辑问题要问：是否实际需要全部56次运行，或者康奈尔是否能够运行更小的设计并获得几乎相同的结果？康奈尔（2002）给出的进行56次运行设计的理由之一是需要估计线性化模型中的所有系数。
Cornell（2002）还指出，如果实验者无法进行完整的设计，则可以通过在混合空间的每个点上运行一部分过程设计来创建部分设计。为了确保可以估计尽可能多的项，康奈尔建议切换过程设计的哪一部分在混合物设计的不同点进行。例如，在三个过程变量的情况下，我们可以运行z 1个ž 2个ž 3 =约一半混合设计点的一半，z 1个ž 2个ž 3 =另一半为-1。康奈尔大学还建议，如果可能的话，在混合空间的质心处进行全过程设计。他指出，如果运行这种分数设计，则实验者将无法估计完整的线性化模型，而只能用于估计这些项的子集。
在鱼肉饼的情况下，混合物设计有7分，工艺设计有8分。在质心处运行所有8个点，然后在所有其他点处运行4个（半个分数）将得到32个点的分数设计。这一点不足以估计线性化鱼肉模型中的所有项，而足以估计非线性或线性加性模型中的14个项。在图6中，我们显示了z的分数设计1个ž 2个ž 3 = 1在纯混合模式下运行，z 1个ž 2个ž 3 = -1以50至50的比例混合。为了简化图形化解释并与图3进行比较，我们再次显示了混合点在过程设计的每个点上运行，尽管构造方法如上所述。
除了查看非线性模型对简化数据集的拟合程度外，我们还提供了自然保留样本以更好地评估模型。也就是说，仅使用32次运行来估计非线性模型。因此，一旦我们估计了模型项，就可以使用该模型来预测未用于估计该模型的24个运行。此类保留样本通常被认为是评估估计模型的更有效准则，因为该模型尚未看到此数据，并且在拟合过程中不会受到该数据的影响。表5显示了将线性加法模型和非线性模型首先拟合到图6所示的分数设计时的结果，以及预测保持数据时的预测标准误差（RMSE）。请注意，康奈尔模型有太多项无法使用分数设计进行估算，因此线性化模型不是一种选择。
显然，可以任意逆转纯混合料与50-50混合料的分馏设计。因此，出于完整性考虑，我们将图6所示的设计视为分数设计1，并将分数设计2定义为其中z 1个ž 2个ž 3 = -1以纯混合方式运行，z 1个ž 2个ž 3 = 1以50至50的混合比例运行。同样，全部8个过程设计点都在质心处运行。
表5：康奈尔分数设计的预测结果
*使用Lenth方法计算，因为没有df表示错误。
请注意，在表5中，对于两种分数设计，非线性模型都很好地拟合了“训练”数据，并合理地拟合了保留数据。两种分数设计的预测RMSE均为0.22，高于原始的0.16 RMSE，但在合理的范围内，考虑到我们只使用了原始56次运行中的32次，减少了43％。线性加性模型还可以与整个数据集保持一致。如前所述，如果我们的唯一目标是最大化模型拟合，则首选带有线性化模型的全交叉设计。但是，如果时间和成本是重要的考虑因素，则应考虑具有较低预测精度的非线性模型，但是需要花费较少的实验工作才能获得。
Prescott的混合物设计是一个单纯形晶格，每个纯混合物之间有两个边缘点，并且有一个质心。这个越过了3 2个流程设计。这样的组合在确定在启发式意义上将是平衡的分数设计方面提出了更大的挑战。考虑各种选项后，我们将分数设计1定义为完整的3 2个在质心处，z的点1个ž 2个在纯混合中，以及在其中z的点处= 0 1个= z 2个= 0以及z 1个ž 2个在以下三个边缘点处= +/- 1：（2 / 3、1 / 3、0），（0、2 / 3、1 / 3）和（1 / 3、0、2 / 3）。 这导致了39次运行的分步设计（9 + 5 * 3 + 5 * 3），如图7所示。请注意，分数设计的点数不到原始90次运行设计的一半。通过再次运行完整的3获得分数设计2 2个在质心处，但反转处理点时，纯混合与三个边缘点相反。
表6显示了Prescott分数设计的预测结果。请注意，对于Prescott线性化模型，最终模型中仅使用了Prescott保留的15个项，因此我们可以使用分数设计来估计该模型。这使我们能够将线性化模型与线性加性模型进行比较，并将非线性模型与派系数据进行比较。当然，如果Prescott在7个术语中运行了完整的特殊立方混合模型，而在6个术语中进行了析因过程设计，则我们将没有42个自由度来估计所有术语。
从表6中我们可以看到，线性模型在使用训练数据进行分数设计时表现出色。实际上，两种设计的均方根均方根值均低于通过完整数据集获得的均方根均方根值。Prescott从整个数据集中确定了线性化模型中所需的参数这一事实可以部分解释这一点。从这个意义上说，当我们将线性化模型拟合到分数数据时，我们将使用来自完整数据集的信息。但是，我们无法使用这39个数据点来估计完整线性化模型中的所有项。但是请注意，线性化模型在预测保留数据方面的表现要差得多。实际上，对于两种分数设计，线性化预测RMSE均大于线性和非线性模型。
同样，对于两种设计，线性加法和非线性模型都提供了与训练集的RMSE相当接近的预测RMSE。就像康奈尔（Cornell）的数据一样，我们看到将线性加法或非线性模型与分数设计拟合可以为运行完整的90次设计提供一种可行的替代方案。
表6 Prescott分式设计的预测结果
Wang的原始设计是10个运行的单纯形，带有50-50个边缘点和检查点，并与2个交叉2个流程设计，得出10 * 4 = 40次运行。我们通过运行完整的2获得分数设计1 2个在质心和纯混合物中，半分数z 1个ž 2个在50-50个边缘点= 1，且一半分数z 1个ž 2个= -1在检查点。结果是4 * 4 + 2 * 3 + 2 * 3 = 28次运行，如图8所示。分数设计2是通过反转在50-50个边缘点和检查点运行的分数而获得的。
使用这些分数设计，我们再次根据预测均方根误差（RMSE）比较了线性化，线性加性和非线性模型。由于Wang所运行的线性化模型具有28个参数，因此尽管没有剩余的自由度来估计误差，我们仍能够估计该完整模型。因此，出于比较的目的，我们再次使用Lenth的伪标准误差代替RMSE进行线性化模型。这些比较的结果示于表7。
表7 Wang分式设计的预测结果
*使用Lenth方法计算，因为没有df表示错误。
表7中最值得注意的也许是线性化模型的不良预测。在很大程度上，这很可能是由于分数设计的估计误差的自由度为零。我们认为，从中得出的一个关键教训是使用没有或只有很少自由度的回归模型来预测新数据的危险。模型评估和验证是艰巨的任务；这样做时，错误的自由度很小或没有，很可能导致较差的预测。线性加性模型和非线性模型的效果更好，就样本外预测而言，它们彼此大致相当。请注意，线性加法模型和非线性模型均未产生与具有完整数据集的线性化模型接近的RMSE。但是，当从样本中进行预测时，它们的性能都比线性化模型好。同样，我们认为这提供了一些证据，证明在分数设计上运行的线性加法和非线性模型是在实践中考虑的可行替代方案。
我们学到了什么？
我们使用两个已发布的混合过程数据集和一个新的数据集比较了线性化，线性加性和非线性模型。此外，我们不仅在拟合原始数据集方面进行了比较，而且在拟合可能已经运行的潜在分数设计（而不是全交叉（混合时间处理）设计）方面进行了比较。我们重申，我们的目的不是在绝对意义上找到最佳设计或最佳模型。相反，我们提出了一种统计工程方法来确定面对潜在交互作用来解决混合过程问题的最佳策略。这种策略将考虑部分设计和顺序方法的实际好处。
简而言之，我们认为我们从这些比较中学到了以下内容：
- 如果有足够的自由度，则通过将混合模型的项与过程模型的项相乘而获得的线性化模型很可能最适合数据，并且可以提供最佳的样本数据预测。
- 线性加法模型（忽略混合物与过程的相互作用）和非线性模型，为线性化模型提供了可行的替代方案，并且在估计项数方面具有显着优势。
- 当实验人员考虑选择线性加法或非线性模型时，以分数设计开始的顺序策略可能会显着减少开发有用模型所需的实验总量。
- 如果线性加法模型和非线性模型不能很好地拟合原始分数设计，则实验人员可以运行其余的全交叉设计，并拟合线性化模型。从这个意义上讲，通过考虑采用顺序策略，实验者可以收获很多，而损失却很少。
- 另一个不可忽视的问题是，对于残留误差而言具有很少或没有自由度的模型可能很好地适合样本数据，但是使用样本数据之外的预测存在风险。
我们建议的策略如图1所示。通过最初运行分数设计，我们有潜力显着减少拟合适当模型所需的实验量。表8汇总了各种模型中的不同分数设计和系数数量，以进行比较。
表8完整设计和部分设计的大小以及模型中的系数数
数据集 | - 不。运行完整设计
| - 不。运行分数设计
| 减少 | - 不。线性化模型系数
- 不。线性相加模型系数
- 不。非线性模型系数
|
康奈尔 | 56 | 32 | 43％ | 56 | 14 | 14 |
普雷斯科特 | 90 | 39 | 57％ | 42 | 12 | 12 |
Wang等。 | 40 | 28岁 | 30％ | 28岁 | 11 | 11 |
我们建议对分数数据同时运行线性加法模型和非线性模型。如果非线性模型拟合得更好，则表明混合物和过程变量之间存在值得注意的相互作用。当然，不能保证线性加法模型或非线性模型都能很好地拟合。特别地，由于混合物和过程变量之间的高度交互作用，可能需要线性化模型。
如果实验者对分数设计生成的模型不满意，他们可以选择运行其他分数–最初未运行的分数，以完成整个设计。该选项应该是研究开始时采用的策略的一部分。这种方法将能够估计完整的线性化模型。在第一部分和第二部分之间，需要一个自由度来随时间有效地阻止设计。否则，假设可以顺序进行实验，则此方法没有任何实际缺点。我们再次承认，非线性模型的基础理论不如线性模型的理论发展。
当然，图1中的模型适当性步骤不应仅限于评估RMSE。该决策步骤旨在包括对模型适当性的完整评估，包括仔细检查残差，评估潜在异常值，与有关该问题的当前领域知识进行比较，等等。假设对线性化模型进行了这种评估，因此我们没有将其作为图1中的另一步骤。我们在此图中的目标是显示如何以顺序方式评估不同的模型，而不是像Box等人所讨论的那样描述声音统计模型构建的细节。（2005）。
读者可能会注意到，在本文中，我们没有研究计算机辅助设计选择适合非线性设计的最优分数的潜力。我们相信，对于非线性模型在混合过程问题中的计算机设计应用的研究可能会比我们目前提供的结果更好。我们将其留待将来研究。
制定，测试和说明了可行的策略
我们考虑了设计具有混合变量和过程变量的实验和拟合模型的问题，这些变量和过程变量可能相互影响。解决此类问题的常用方法是在过程变量中进行全混合设计，再进行全因子设计。这种设计允许估计线性化模型中的所有系数，线性模型是通过将混合模型中的所有项与过程模型中的所有项相乘而创建的模型。但是，估计模型所需的模型和设计往往都很大。例如，在Prescott的面包制作示例中，使用了90次运行的设计。康奈尔（Cornell）的鱼肉饼设计需要运行56次。
我们考虑了这样一种情况，实验者想要一个好的模型，也许不是最佳模型，并且想要以比90或56次运行少得多的实验来获得这样的模型。在这些情况下，我们认为使用顺序实验，最初小得多的分数设计以及考虑线性加法或非线性模型的统计工程策略可提供更好的整体方法。重复一遍，我们不认为非线性模型在RMSE或预测RMSE方面可能优于线性化模型。我们也没有声称分数设计包含的信息与完全交叉的设计一样多。从这个意义上讲，我们本身并没有提出一个特定的设计，也没有提出一个特定的模型。
而是，我们提出了一种解决此类问题的策略，我们认为总体上它优于当前文献中提出的方法。从这个意义上讲，我们提出的策略是一种统计工程方法。根据此处显示的结果，我们得出结论，这种方法是优越的，因为它有可能节省大量的实验时间和精力，并且假设顺序方法是可行的，而实际上没有不利的一面。尤其是，非线性模型非常容易通过现代统计软件（例如R，JMP，Minitab或SAS）进行估算，因此该软件不必成为考虑非线性模型的障碍。我们进一步相信，类似的方法可能会在其他响应面应用程序中更普遍地使用-除了混合/过程变量模型之外，但这是未来研究的主题。
参考
Anderson-Cook，CM和Lu，L.（Guest Editors）（2012年）。“统计工程方面的特殊问题”，质量工程，24（2）。
Box，GEP，Hunter，JS和Hunter，WG （2005）。实验者统计，2 nd版，约翰·威利父子（John Wiley and Sons），新泽西州霍博肯。
康奈尔，JA （2002）。混合物实验：混合物数据的设计，模型和分析，3 rd版，约翰·威利父子，纽约州霍博肯。
康奈尔，JA （2011）。混合物实验入门，约翰·威利父子（John Wiley and Sons），新泽西州霍博肯。
RW Hoerl和RD Snee （2010）。“质量改进中的统计思维和方法：对未来的展望”质量工程，22（3）：119-139。
RV Lenth （1989）。 “快速轻松地分析未复制的阶乘”，技术计量学，31（4）：469-473。
蒙哥马利（DC） （2012）。实验设计与分析，第8版，John Wiley and Sons，新泽西州霍博肯。
Prescott，P.（2004年）。“在混合实验中建模，包括与过程变量的交互。”品质技术与量化管理1（1）：87-103。
舍夫，H。（1963）。“用于混合物实验的单形质心设计”，皇家统计学会杂志B ，25（2）：235-263。
RD的Snee和RW的Hoerl （2011）。”正确混合；统计工程与应用统计之间的正确组合，”质量进度，六月：46-49。
王琳徐J.， Wu，S.，and Zhang，K.（2013）。自制冰块融化速度的研究，未发表的项目报告。
