<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />罗杰·W. Hoerl 博士，联合学院 Brate-Peschel 统计学助理教授
罗纳德·D. Snee 博士，Snee Associates 总裁
使用非线性模型进行高效的混合/过程实验
9/2015
罗纳德·D. Snee, Snee Associates, 特拉华州纽瓦克
罗杰·W. Hoerl，联合学院，斯克内克塔迪，纽约
Gabriella Bucci，户外学院，佛罗里达州萨拉索塔
版权所有：罗纳德·D. 斯诺，罗杰·W. 霍尔和加布里埃拉·布奇 2015
注：本文目前正在接受编辑评审，标题为：“过程变量混合实验的统计工程方法”
抽象的：对混合物成分和过程变量进行实验，特别是当这两组变量之间可能存在相互作用时进行讨论。 我们在解决实际混合物/工艺问题的背景下考虑设计和分析问题。 我们专注于解决此类问题的策略，而不是为给定的数据集寻找最佳的设计或最佳的模型。 从这个意义上说，使用了统计工程框架。特别是，当我们考虑拟合简约非线性模型而不是较大的线性化模型的潜力时，我们发现了减少实验设计规模的重要机会。 在实践中很难知道哪种类型的模型最适合结果数据。 因此，建议采用集成的顺序设计和分析策略。 使用两个已发布的数据集和一个新数据集，我们发现在某些情况下，非线性模型或忽略交互作用的线性模型可以减少大约 50% 的实验。 在其他情况下，非线性模型可能还不够。 因此，我们提供了这种方法何时可能成功的指导方针，并针对此类问题提出了总体策略。
关键词：混合物、混合物模型、混合物实验、非线性模型
介绍
混合问题（成分比例之和必须为 1.0）出现在许多行业和应用领域，例如食品、药品和化学品的开发等。 在许多混合物应用中，影响最终响应的不仅仅是配方，还有过程变量。 例如，在生产混合葡萄酒时，最终的味道和其他重要特征不仅取决于所用葡萄品种的比例，还取决于过程变量，例如生长季节的气候条件、葡萄收获时的温度、发酵过程的各个阶段、使用的陈酿桶类型等等。
在某些情况下，混合物组分和过程变量不会相互作用。 在葡萄酒的例子中，这意味着可以优化发酵和其他加工，而无需考虑使用的葡萄品种。 这种情况将导致人们使用将混合模型与过程变量模型相结合的附加模型。 在其他情况下，这种添加方案将不适用，因为最佳加工条件可能取决于所使用的品种。 在这种情况下，混合物和过程变量之间会相互作用。 交互场景将产生包含术语来解释混合物和过程变量之间交互的模型。
当预期这种相互作用时，通常使用的实验设计往往很大，以便容纳包含相互作用的线性模型中的项数（Cornell 2002，2011）。 当然，如果人们从主题知识或先前的实验中知道最终的模型形式是什么，则可以设计最佳或接近最佳的实验来估计该特定模型。 我们考虑更常见的情况，即实验者怀疑相互作用，但在运行设计和获取后续数据之前没有信心指定最终模型形式。 因此，我们的重点既不是给定模型的最优设计，也不是给定数据集的最优模型。 相反，我们专注于解决此类问题的策略，考虑替代设计、替代模型，并考虑在实践中解决问题的效率需求。
从这个意义上说，我们采用统计工程方法（Hoerl 和 Snee 2010，Anderson-Cook 和 Lu 2012）来确定最有效和高效的方法来解决商业、工业、研究或政府中发生的混合物/过程应用。特别是，我们发现认真考虑参数非线性模型可以为参数线性的传统模型提供有效的替代方案。 虽然拟合非线性模型比拟合线性模型更具挑战性，但现代软件（例如 R、JMP、Minitab 或 SAS）允许用户相当轻松地估计和解释非线性模型，至少与 10 种商业软件相比是这样。到20年前。
对于相同的混合物/过程问题，非线性模型需要估计的参数较少。 例如，在康奈尔大学的鱼饼应用程序中（Cornell 2002），线性模型中需要估计 56 项，而非线性模型中需要估计 14 项。 因此，如果非线性模型提供了可行的替代方案，则可以采取更积极的分数设计策略来显着减少初始实验。 我们承认，对于诸如系数标准误差之类的非线性模型，其理论不如线性模型那么发达，并且通常依赖于渐近或近似结果（Montgomery 2012）。
换句话说，由于非线性模型需要更少的参数来适应过程和混合变量之间的相互作用，因此最初可以运行更小的分数设计。 显然，假设实验成本不可忽略，则不需要运行 56 次来估计 14 项。 如果非线性模型，甚至没有相互作用的加性线性模型证明足够，那么问题可以通过初始设计来解决。
通过考虑非线性模型，我们可以获得很多好处，但损失也很小（如果有的话）。 如果这些较小的模型不能提供足够的精度，则可以按顺序进行额外的实验。 这样，最好的情况是我们将解决问题所需的实验效果减少最多 50%，而最坏的情况是我们最终不得不运行一个典型的具有交互作用的线性模型的所有实验。会需要。 图 1 说明了这一总体策略。 我们认为，统计工程的核心是强调解决问题的最佳整体方法，而不是专注于给定模型的最佳单独设计或给定数据集的最佳单独模型。
本文的其余部分组织如下：我们首先回顾了混合实验中使用过程变量（包括相互作用变量）的典型模型和设计。 接下来，我们回顾统计工程的基础知识，并讨论它们如何应用于这个特定问题。 然后我们介绍三个数据集，其中两个是之前发布的，一个是新的数据集。 使用这些数据集，我们在拟合数据方面比较线性加性、线性交互和非线性模型。 此外，我们注意到非线性模型系数的潜在解释。 接下来，我们考虑通过针对每个问题的分数设计可能发现的假设结果。 也就是说，我们根据分数设计分析实际数据的子集，拟合不同的模型，并使用模型来预测模型未使用的数据。 最后，我们考虑了该分析的含义，并提出了解决怀疑相互作用的混合物/过程问题的策略。
混合/过程问题中使用的典型模型
有许多潜在的设计和模型可应用于具有过程变量的混合问题。 在这里，我们重点介绍应用中最常见的模型和设计，特别是 Scheff型号（首席1963 年，康奈尔大学 2002 年），但没有试图提供全面的审查。 我们首先考虑混合模型本身，然后考虑具有无交互作用的过程变量的混合模型，然后考虑具有交互作用的混合模型。 一旦我们完成了模型，我们就会讨论通常运行的设计来拟合这些模型。
由于公式成分总和为 1.0 的约束，导致失去一个自由度，因此通常简单地从标准线性回归模型中删除常数项。 例如，对于 q 个混合分量，线性 Scheff模型将写为：
由于各分量之和为 1.0，因此最有意义的不是系数的绝对值，而是系数之间的关系。 例如，如果 b 1 =10，b 2 =20，并且b 3 =30，具有三个分量，那么我们会说 x 1对响应有负面影响，因为增加 x 1我们必须减少 x 2或 x 3等量，因此增加 x 的净影响1就是减少E(y)。 有关混合系数解释的更多信息可以在 Cornell (2002) 中找到。
请注意，对于本文提出的所有模型，我们假设一个加性随机误差项，独立且同分布的正态分布，平均值为 0，标准差为。 虽然误差项在任何统计模型中显然都很重要，但这不是本文的重点，因此我们将很少谈论这个误差项。
还可以考虑其他混合模型，例如“松弛变量”模型，其中我们删除其中一种混合成分以避免混合约束，并将常数项添加回模型中。 当存在曲率时，通常拟合二次方程希夫模型，其中包含线性项以及组件之间所有可能的叉积项：
由于每个分量都可以被视为一减去所有其他分量的总和，因此我们通常不会将叉积项视为传统意义上的交互建模，而是通常对非线性混合进行建模。 当存在额外的非线性混合并且有足够的自由度可用时，我们可以拟合特殊的三次希夫楷模：
这被认为是“特殊”三次，因为它不包括所有三阶项，而是二次模型加上三项之间所有可能的叉积。 例如，特殊三次方不包括术语X 2 。 一个完整的立方体希夫模型是：
其中 d ij是二元过剩或“协同作用”的三次系数（Cornell 2011 p. 1）。 31）。 当我们的模型中有过程变量时，我们将使用 x我对于混合变量，例如我对于过程变量，b我为混合系数，以及我为过程变量系数。 我们不考虑d ij条款。 此外，通用术语 f(x) 将用于仅具有混合物成分的模型，而 g(z) 将用于仅具有过程变量的模型。 包含两者的组合模型将写作 c(x,z)。
同样，有许多潜在的模型可以应用于过程变量以及混合物成分和过程变量的组合。 在这里，我们重点关注应用中最常用的标准设计。 线性过程变量模型是：
,
其中我们有 r 个自变量。 二阶（完全二次）过程变量模型为：
请注意，双重求和包括 i=j，因此完整二次模型在模型中包括平方（二次）项。 显然，拟合这样的模型需要两个以上的设计层次。 对于双水平设计，可以使用阶乘模型 - 线性项和二阶交互作用，但没有二次（平方）项：
当然，通过全因子设计，我们也可以估计更高阶的相互作用。
在同时存在混合物和过程变量的情况下，一个关键的考虑因素是预期混合物和过程变量之间相互作用的程度。 如果我们的理论或经验表明混合物和过程变量不会相互影响，那么我们可以分别拟合混合物和过程模型。 换句话说，整体模型将变为：
c(x,z) = f(x) + g(z) (1)
我们将方程 1 称为线性加性模型。 在这种情况下，f(x) 将是适合混合物成分的任何模型，而 g(z) 将是适合过程变量的任何模型。然而，在许多情况下，混合物成分和过程变量会相互作用。 换句话说，烘烤蛋糕的最佳时间和温度可能取决于蛋糕中的成分。 红葡萄酒通常不像白葡萄酒那样冷藏，等等。 在这些情况下，许多作者，例如 Cornell (2002, 2011) 和 Prescott (2004)，建议将混合物和过程变量模型相乘，而不是相加。 换句话说，为了适应混合过程交互，我们可以使用以下模型：
c(x,z) = f(x)*g(z) (2)
该乘法模型的参数不是线性的 (b我和一个我），因此无法以封闭形式或通过标准线性回归软件获得最小二乘解。 解决此问题的一种方法是乘以 f(x)*g(z) 中的各项。 考虑存在三个混合变量和两个过程变量的情况。 为简单起见，假设我们知道这些模型的形式为：
f(x) = b 1 X 1 + b 2 X 2 + b 3 X 3 + b 12 X 1 X 2 + b 13 X 1 X 3 + b 23 X 2 X 3 + b 123 X 1 X 2 X 3 ， 和
g(z) = a 0 + 一个1例如1 + 一个2例如2 + 一个12例如1例如2 ,
这将是一个特殊的三次混合模型和一个阶乘过程变量模型。 因此，f(x) 有七个项需要估计，而 g(z) 有四个项需要估计。 如果我们将 f(x) 中的每一项乘以 g(z) 中的每一项，这将在线性回归模型中产生 28 项。 我们将此模型称为线性模型，因为方程 2 实际上是一个非线性模型。 通过将所有项相乘，我们创建了一个包含 28 项的线性模型。 也就是说，我们有：
c(x,z) = f(x)*g(z) = b 1 X 1 *A 0 + b 1 X 1 *A 1例如1 + b 1 X 1 *A 2例如2 + b 1 X 1 *A 12例如1例如2 (3)
+ b 2 X 2 *A 0 + b 2 X 2 *A 1例如1 + b 2 X 2 *A 2例如2 + b 2 X 2 *A 12例如1例如2
+ ................+ b 123 X 1 X 2 X 3 *A 12例如1例如2
请注意，如果我们考虑 b，则方程 3 的参数是线性的1 A 0为一个参数，b 1 A 1成为另一个人，等等。 因此，可以使用标准线性回归软件来估计公式 3，公式 1 也是如此。 当然，当获得最小二乘估计时，x的估计参数1 ，列为“b 1 A 0 ” 在方程 3 中，概率为零等于 x 的估计系数1等式 2 中的 f(x) ( 1 ) 乘以公式 2 中 g(z) 的估计截距 ( 0 ），如果这些单独的项是直接从非线性最小二乘法估计的。 也就是说，公式 3 中的最小二乘估计不能用于确定公式 2 中的非线性最小二乘估计。
稍后我们将讨论公式 2 与公式 3 的比较。 方程 2 是参数的非线性模型。 如果这样估计，只需要估计 11 个参数，其中 f(x) 需要估计 7 个参数，g(z) 需要估计 4 个参数。实际上，只需要 10 个参数，因为等式 2 实际上是过度指定的；该方程不可能有唯一的最小二乘解。 如果有人认为将 f(z) 乘以任意非零常数（例如 m），并将 g(z) 除以 m，则 c(x,z) 的值将保持不变，因此可以立即看出这一点，因为m 和 1/m 将取消。 由于有无数个这样的常数 m 可以与 f(x) 中的每个系数相乘，每个系数都产生相同的残差平方和，因此方程 2 不可能有唯一的最小二乘解。 我们通过设置一个来解决这个过度规范的问题0 = 1.0。 我们并不声称这是解决过度规范的最佳或唯一方法，尽管它确实有助于解释其他系数，正如我们很快就会看到的。
当然，关键点是，如果可以将方程 2 直接估计为非线性最小二乘问题，那么估计参数只需要 10 个自由度，而不是线性化版本所需的 28 个自由度。 当预期相互作用时，这对实验设计具有明显的影响。 当然，如果预计没有相互作用，则可以估计方程 1（线性加性模型）。 这个方程也被过度指定，因为 a 0不需要项，实际上也无法估计项，因为截距已合并到混合模型 f(x) 中。 通过删除截距，我们再次有 10 个参数需要估计，就像我们在非线性模型中所做的那样。
混合/过程问题中使用的典型实验设计
设计和模型显然是齐头并进的，因为我们在设计实验时通常会想到特定的模型，即使我们对确切的形式没有信心。 在混合实验中，有适合估计线性 Scheff 的模型模型，当然还有适合估计二次或特殊三次模型的较大设计。
单纯形设计通常用于混合物实验。 当我们有 q 个分量时，这些通常以 q-1 维表示。 例如，如果我们有三个组件，那么由于混合约束，只有两个自由度，因此设计可以二维显示，如图 2 所示。 请注意，所有三个组件均已表示，因为每个组件都有一个轴。 在无约束混合问题中，每个分量可以在 0 到 1.0 之间变化，因此完整单纯形在每个轴上从 0 变化到 1。 0 点由单纯形的底表示，然后 1.0 将位于与底相对的单纯形点处。 请注意，如果 x 1 = 1.0，则 x 2 = x 3 = 0，因此该点对应于 x 的底2和 x 3轴。 出于显而易见的原因，这些点被称为“纯混合物”。 纯混合以及单纯形设计的其他共同点如图 2 所示。
我们指出，质心对应于因子设计中的中心点，对应于单纯形中间的点 1/3、1/3、1/3。 单纯形设计的其他常见点是所谓的 50-50 混合，其中两个组件的比例为 0.5，第三个组件的比例为 0。 这些 50-50 混合对应于沿着单纯形的每个底的中点。 单纯形设计中经常使用的另一个常见点是“检查点”，通常放置在质心和纯混合之间的中间。 对于三分量单纯形，对于 x，这些将为 2/3、1/6、1/6 1 , 1/6, 2/3, 1/6, 对于 x 2 ，以及 x 的 1/6、1/6、2/3 3 。 这些检查点可以验证模型是否不仅适合单纯形的质心和边界处的数据。 换句话说，良好地拟合检查点表明在单纯形内进行插值相对安全。
正如 Cornell (2002) 所解释的，实践中还使用了更精细的单纯形格子设计，将点均匀地定位在整个单纯形上。 在超过四个组件的实验中，这些设计很难说明，但可以形成相同类型的设计，就像因子设计的情况一样。 当然，配方成分的含量通常会受到限制。 例如，很少有消费者会喜欢由 100% 醋组成的沙拉酱。 在这种情况下，人们可以创建伪组件（Cornell 2002），这是原始组件的转换，或者在由约束创建的异常设计空间中利用计算机辅助设计。 此类设计不是本文的重点。 我们还假设读者熟悉用于过程变量的标准因子设计。
在具有过程变量的混合物设计中，通常使用一些混合设计，以便可以估计混合物效应和模型，以及过程效应和模型。 如果实验者怀疑存在相互作用，那么通常需要能够估计方程 2 的线性化版本中的所有项。 也就是说，所选择的实验设计应该允许估计通过将混合模型中的每一项与过程模型中的每一项相乘而获得的所有效应。 在上述示例中，人们需要一种能够估计公式 3 中所有 28 项的设计。
此类设计通常将因子或部分因子与混合设计相交叉。 例如，康奈尔大学的鱼饼实验（Cornell 2002）交叉了三组分单纯形设计，涉及纯混合物、质心和 50-50 混合物，其中 2 3三个过程变量的因子设计。 该设计如图 3 所示。 请注意，在 2 的每一点3因子设计，运行完整的单纯形设计。 当然，也可以将其描述为单纯形每一点的全因子设计。 由于单纯形设计有 7 个点，而因子设计有 8 个点，因此完整设计有 56 个点，以随机顺序运行以避免分割图（Cornell 2002，2011）。
如果不预期交互，那么设计当然可以小得多。 例如，在康奈尔鱼饼示例中，特殊的三次混合模型将具有 7 个项（3 个线性混合项、三个 2 因子叉积和特殊的三次 3 因子叉积），而全阶乘模型将具有8 个项（1 个截距、3 个主效应、3 个 2 因子交互作用和 1 个 3 因子交互作用）。 因为混合模型 f(x) 包含截距，所以我们可以从 g(z) 中删除截距，留下 7 + 8 – 1 = 14 项在没有相互作用的线性加性模型中进行估计，即 c(x,z ) = f(x) + g(z)。 显然，可以运行更小的部分设计，或者由于模型中没有相互作用，因此可以独立研究混合物和过程变量。
统计工程在具有过程变量的混合模型中的作用
Hoerl 和 Snee (2010) 将统计工程定义为：“研究如何最好地利用统计概念、方法和工具，并将其与信息技术和其他科学相结合，以产生改进的结果。”相反，统计科学可以被视为对基础理论和个别统计方法应用的研究和进步。 关键区别在于统计科学侧重于推进工具本身的基础知识及其应用。 统计工程则侧重于如何利用现有的方法和工具，即现有的统计科学，创造性地将这些工具（往往与非统计工具）联系和集成，以产生更大的影响。 创造性地利用现有科学来实现更大的影响是任何工程领域的本质。
显然，统计领域的发展和增强其对社会的影响需要统计科学和统计工程。 我们认为，虽然需要采取平衡的方法，但该行业当前的重点往往偏向于统计科学（Snee 和 Hoerl 2011）。 特别是，我们认为需要更加重视开发一种如何解决大型、复杂、非结构化问题的基础理论——对于任何一种工具都无法解决的问题。 这些问题显然需要多种统计方法的创造性整合，以及信息技术或其他科学的创造性运用。 显然，需要一种工程方法。 有关统计工程学科的更多背景信息，请参阅质量工程统计工程特别版（Anderson-Cook 和 Lu 2012）。
我们注意到，当用过程变量来解决混合问题时，设计的选择和模型的选择是齐头并进的。 也就是说，我们可以估计的模型是由设计决定的，而适当的设计取决于我们希望估计的模型。 此外，如果我们提前知道具体模型，我们就可以构建最佳设计来估计该模型。 然而，在许多实际情况下，我们的主题知识是有限的，我们不确定最终的模型。 通常，正如 Box 等人所强调的，这会导致设计和分析的迭代方法。 （2005）、蒙哥马利（2012）等。
关键问题是，当我们预期混合物和过程变量之间的相互作用但不确定时，如何最好地解决这种情况。 我们注意到，这是一个非常不同的问题，与询问给定模型的最佳设计是什么，也不同于询问适合给定数据集的最佳模型是什么。 后者更多的是统计科学问题，因为它们涉及单个工具的理论和实践。 此外，人们可以根据客观标准通过分析确定“正确”答案。 然而，如何解决复杂问题并不是一个统计科学问题，因为我们几乎没有已知的数据，也没有商定的客观成功衡量标准。 换句话说，这个问题是非结构化的。
我们认为这个策略问题更适合统计工程，因为我们需要一种将设计和分析结合起来的整体方法，也许以顺序的方式，以获得更好的结果。 多种工具的集成是关键。 在这种情况下，“更好的结果”可能基于统计标准，或基于节省实验工作，包括时间和金钱，或两者兼而有之。 换句话说，它可能基于寻找最佳业务解决方案，而不是寻找最佳统计解决方案。 与在指定条件下获得最佳设计或最佳模型相比，这是一个更复杂且结构性较差的问题。 因此，统计工程观点指导我们对过程变量混合问题的研究和推荐策略。
设计与分析中的三个案例研究
Cornell (2002) 提供了对三种鱼饼进行实验的数据：鲻鱼、羊头鱼和黄花鱼。 此外，每个肉饼都是在不同的烘烤温度、烘烤时间和油炸时间下烹制的（肉饼既烘烤又油炸）。 感兴趣的反应是所得肉饼的质地。 使用的设计是混合物变量中的七次单纯形，包括纯混合物、50-50 混合物和质心。 对于过程变量，八次运行 2 3跑什么 康奈尔大学将混合物设计与工艺设计交叉，如表 1 所列和图 3 所示。 该设计总共有 7*8 = 56 次运行。 康奈尔拟合线性化模型，其中：
f(x) = b 1 X 1 + b 2 X 2 + b 3 X 3 + b 12 X 1 X 2 + b 13 X 1 X 3 + b 23 X 2 X 3 + b 123 X 1 X 2 X 3 ,
g(z) = a 0 +a 1例如1 + 一个2例如2 + 一个3例如3 + 一个12例如1例如2 + 一个13例如1例如3 + 一个23例如2例如3 + 一个123例如1例如2例如3 ， 和
c(x,z) = f(x)*g(z)
表 1 康奈尔鱼饼纹理数据
瞎的 | 油炸时间 |
25 | 40 |
烤箱时间 |
25 | 40 | 25 | 40 |
烤箱温度 |
325 | 第425章 | 325 | 第425章 | 325 | 第425章 | 325 | 第425章 |
鲻 | 羊头 | 黄花鱼 | 质地 |
1 | 0 | 0 | - 1.84
- 2.86
- 3.01
- 4.13
- 1.65
- 2.32
- 3.04
- 4.13
|
0 | 1 | 0 | - 0.67
- 1.10
- 1.21
- 1.67
- 0.58
- 0.97
- 1.16
- 1.30
|
0 | 0 | 1 | - 1.51
- 1.60
- 2.32
- 2.57
- 1.21
- 2.12
- 2.00
- 2.75
- 0.5
- 0.5
|
0 | - 1.29
- 1.53
- 1.93
- 2.26
- 1.18
- 1.45
- 1.85
- 2.06
- 0.5
|
0 | - 0.5
- 1.42
- 1.81
- 2.57
- 3.15
- 1.45
- 1.93
- 2.39
- 2.82
|
0 | - 0.5
- 0.5
- 1.16
- 1.50
- 1.83
- 2.22
- 1.07
- 1.28
- 1.60
- 2.10
|
1/3 | 1/3 | 1/3 | - 1.59
- 1.68
- 1.94
- 2.60
- 1.41
- 1.54
- 2.05
- 2.32
|
由于 f(x) 有 7 项，g(z) 有 8 项，因此当将各个项相乘以创建线性化模型时，c(x,z) 有 7*8 = 56 项。 设计中显然没有自由度来估计 56 次运行的实验误差，产生的均方根误差 (RMSE) 为 0，并且无法估计误差项 (e) 的标准偏差，即标准误。 此外，没有机会评估残差以寻找模型不足的证据，或执行缺乏拟合检验。 因此，康奈尔使用重复测量（不是真正的重复）之间的变化作为标准误差的估计。 显然，这种运行内变异不允许人们估计运行间变异来源，因此不能将其视为与根据真实重复或什至根据剩余自由度估计的标准误差等效的标准误差估计。
为了比较模型，我们应用 Lenth 的 PSE（伪标准误差）方法 (Lenth 1989) 来获得康奈尔模型标准误差的估计值。 Lenth 的方法首先确定看似真实的效应，然后丢弃其余变量，使用获得的自由度来估计标准误差。 它是一个伪标准误差，因为它依赖于从模型中删除适当的项。
Prescott (2004) 使用三种面粉（Tjalve、Folke（均为挪威产品）和 Hard Red Spring（美国产品））测试了面包的体积。 还有两个过程变量，打样时间和混合时间。 三种面粉的含量受到限制：0.25 X 1 1, 0 X 2 .75, 和 0 X 3 .75，其中 Tjalve 是 x 1 ，民间是x 2 ，硬红弹簧为 x 3 。 当应用于单纯形混合空间时，这会在缩小的空间中产生更小的完全单纯形。 通过转换为伪组件（Cornell 2002），仍然可以使用标准单纯形设计。 为了模型比较的目的，并且不失一般性，我们使用普雷斯科特混合设计的伪组件版本。 Prescott 对混合变量使用了 10 次运行的单纯形格子设计，并使用了 3 2 ，即用于过程设计的两个变量的三级阶乘。 当然，这个设计有 9 次试验。
Prescott 再次将混合物设计与工艺设计交叉，创建了 10*9 = 90 次运行设计，如表 2 所列，并如图 4 所示。 对于混合模型 f(x)，普雷斯科特考虑了康奈尔大学使用的具有 7 项的相同特殊三次模型，对于过程模型 g(z)，他考虑了具有 6 项的完整二次模型：
g(z) = a 0 + 一个1例如1 + 一个2例如2 + 一个12例如1例如2 +
表 2 Prescott 面包体积数据
伪组件 混合物 | 打样时间（分钟） |
35 | - 47.5
| 60 |
混合时间（分钟） |
5 | 15 | 25 | 5 | 15 | 25 | 5 | 15 | 25 |
贾尔韦 | 人们 | 硬红弹簧 | 面包体积 |
.25 | .75 | 0 | - 378.89
- 396.67
- 392.22
- 445.56
- 452.22
- 487.78
- 457.22
- 500.56
- 472.78
|
.50 | .50 | 0 | - 388.89
- 423.33
- 416.11
- 460.00
- 488.89
- 475.78
- 472.78
- 478.00
- 506.11
|
.75 | .25 | 0 | - 426.11
- 483.33
- 389.44
- 474.44
- 514.44
- 462.78
- 506.67
- 591.67
- 522.22
- 1.0
|
0 | 0 | - 386.11
- 459.11
- 423.33
- 458.33
- 506.11
- 514.44
- 545.56
- 522.22
- 551.11
|
.25 | .50 | .25 | - 417.78
- 437.22
- 444.56
- 484.44
- 490.00
- 495.00
- 497.78
- 531.11
- 577.78
|
.50 | .25 | .25 | - 389.44
- 447.22
- 415.00
- 490.89
- 528.89
- 507.78
- 517.78
- 567.22
- 538.33
|
.75 | 0 | .25 | - 448.33
- 459.44
- 455.56
- 436.00
- 535.00
- 552.22
- 507.44
- 578.89
- 590.00
|
.25 | .25 | .50 | - 413.89
- 485.56
- 462.22
- 483.89
- 529.44
- 540.00
- 565.00
- 598.89
- 580.56
|
.50 | 0 | .50 | - 415.56
- 514.44
- 437.78
- 493.89
- 583.33
- 578.89
- 524.44
- 649.44
- 640.00
|
.25 | 0 | .75 | - 432.78
- 498.33
- 517.22
- 474.44
- 568.33
- 579.44
- 541.11
- 638.89
- 638.89
|
请注意，二次项是可估计的，因为流程设计是三级设计。 Prescott 运行了几个线性化交互模型，即 c(x,z) = f(x)*g(z) 形式，总共有 7*6 = 42 个项。 运行 90 次后，有足够的自由度来估计完整的 42 项模型，并且仍然有自由度来估计标准误差。 在考虑了几个模型之后，普雷斯科特为此数据建议的最终模型是以下形式的简化模型：
y = 522.8x 1 + 448.1x 2 + 599.3x 3 + 13.0x 1例如1 + 1.7 倍2例如1 + 54.3x 3例如1 + 56.3x 1例如2 + 37.2x 2例如2
+ 73.8倍3例如2 - 39.4倍1 + 3.7倍2 – 46.0x 3 - 10.2倍1 + 28.4倍2 + 1.0 倍3
请注意，模型中删除了一些项，例如涉及 x 的任何叉积的项我，或 z 的相互作用1和 z 2 。 事实上，最终模型中只包含了可能的 42 项中的 15 项。 在比较线性模型与非线性模型时，我们回到这一点。
王等人。 (2013) 进行了混合物/过程实验设计，作为第一作者于 2013 年在罗格斯大学教授的统计课程的课堂项目的一部分。 该实验包括三个混合物变量：水、牛奶和橙汁，以及两个过程变量：糖的添加（0 或 2 克）和所用牛奶的类型（2% 或全脂）。 响应是混合物产生的冰的融化时间（以分钟为单位）。 混合物设计是 10 次运行的单纯形设计，具有纯组件、50-50 混合、检查点和质心，采用伪组件形式。 这是图 2 所示的设计。 对于流程设计，Wang 运行了 2 2四次运行的阶乘。 表 3 给出了 10*4 = 40 次运行的交叉设计和结果响应，并如图 5 所示。
表 3 Wang 等人。 熔化时间数据
混合物 | 牛奶类型 |
2% | 所有的 |
糖 |
0克 | 2克 | 0克 | 2克 |
水 | 牛奶 | 果汁 | 熔化时间 |
1/6 | 1/6 | 2/3 | - 29.43
- 24.31
- 34.94
- 32.97
|
0 | - 0.5
- 0.5
- 37.36
- 32.89
- 45.69
- 39.06
- 0.5
- 0.5
|
0 | - 33.32
- 28.34
- 41.78
- 35.84
|
1 | 0 | 0 | - 19.13
- 17.73
- 23.7
- 22.16
|
2/3 | 1/6 | 1/6 | - 24.11
- 22.49
- 29.76
- 25.43
|
1/3 | 1/3 | 1/3 | - 32.08
- 26.29
- 36.97
- 30.13
|
0 | 0 | 1 | - 30.41
- 23.25
- 31.92
- 29.45
- 0.5
|
0 | - 0.5
- 21.86
- 22.88
- 27.09
- 26.21
|
1/6 | 2/3 | 1/6 | - 37.35
- 28.43
- 42.92
- 39.95
|
0 | 1 | 0 | - 48.64
- 33:00
- 45.08
- 47.35
|
王等人。 (2013) 使用 f(x) 的 7 项特殊三次方程和 g(z) 的 4 项阶乘过程模型拟合线性化模型，该模型具有截距、两个主效应和 2 因子交互作用。 因此，当乘以所有项时，c(x,z) 是公式 3 中给出的 28 项线性化模型。 由于需要估计 40 次运行和 28 项，因此还剩下 12 个自由度来估计标准误差。
线性和非线性模型和结果
对于每一种设计和数据集，人们还可以考虑更小的模型，例如线性加法模型，c(x,z) = f(x) + g(z)，它当然没有用于估计相互作用的项混合物和过程变量之间的关系，以及非线性模型。 为了估计非线性模型，我们可以直接找到 c(x,z) = f(x)*g(z) 的最小二乘解，而无需相乘各项。 如前所述，该模型的参数是非线性的。 例如，在具有两个混合变量和一个过程变量的简单情况下：
c(x,z) = (乙1 X 1 + b 2 X 2 + b 12 X 1 X 2 ）* （A 0 + 一个1 z) (4)
假设我们希望估计这 5 个系数中的每一个，那么我们可以将方程 4 视为具有 5 个系数的非线性方程，并使用非线性最小二乘法来找到解。 如前所述，实际上我们只有 4 个系数需要估计，因为方程 4 是过度确定的，并且没有唯一的最小二乘解。 通过任意设置一个0 = 1.0，一般可以得到其他参数唯一的最小二乘解。 使用一些其他非零值0不会改变模型指标，例如 R 2 、标准误差等。 当然，对于非线性最小二乘法，不能保证唯一的解决方案。
为了拟合非线性模型，我们使用 JMP Pro 10 中的非线性回归算法，该算法在标准 MacBook Pro 笔记本电脑上运行。 如前所述，运行非线性模型比线性模型更具挑战性，但使用现代软件它当然是可行的，我们建议它是解决此类问题的可行选择。 在讨论将线性加性和非线性模型拟合到这三个数据集所获得的结果之前，我们简要讨论非线性模型中系数的解释。 我们不讨论线性加性模型，因为混合项的解释已在文献中广泛讨论，例如希夫（1963）、康奈尔大学（2002）以及许多其他人。
在估计公式 4 中的非线性模型中的项后，我们可以自由地将估计项相乘以帮助解释。 请注意，这会产生一个与通过在估计系数之前相乘各项而获得的模型非常不同的模型，这将产生线性化模型。 于是决定设立一个0 = 1 而不是其他值使得模型的解释更加简单。 将非线性方法中的估计项乘以方程 4 后，我们得到：
= （ 1 X 1 + 2 X 2 + 12 X 1 X 2 )*(1 + 1 z)
= （ X 1 + x 2 + 12 X 1 X 2 ) + （ X 1 + x 2 + 12 X 1 X 2 )* 1 z (5)
不失一般性，我们可以假设 z 被缩放到平均值为 0。 因此，当 z 为其平均值时，方程 5 简化为左侧部分，即纯混合模型 f(x)。 因此，我们可以将混合系数解释为我们在过程变量中点估计的混合，或者解释为整个设计的平均混合。 无论与 z 是否存在相互作用，该解释都成立。 的解释1比较复杂。 请注意，方程 5 中 z 唯一出现的位置是通过一组交互作用。
这意味着非线性模型无法仅根据 z 与混合变量的相互作用来估计 z 的主效应。 这是因为唯一可用于纳入 z 的主效应及其与 x 的相互作用的系数我是1 。 虽然 f(x) 可以重写为具有截距的松弛变量模型，但我们仍然只有一个自由度来合并 z 的主效应及其与混合变量的相互作用。 我们认为这是非线性方法的一个缺点，并推测实际结果将是在拟合具有较大过程变量主效应以及混合物和过程变量之间严重相互作用的表面时遇到一些困难。
我们可以将这种解释扩展到更大的非线性模型，例如他的鱼饼实验中的 7 项特殊立方混合模型和 8 项过程变量模型。 如果我们直接将 c(x,z) = f(x)*g(z) 估计为非线性模型，我们将估计 7 + 8 – 1 = 14 个系数。 回想一下，我们设置了一个0 = 1。 使用非线性最小二乘法求解这 14 个系数后，我们可以将各项相乘以帮助解释。 这样做会产生：
(x)*(1 + 1例如1 + 2例如2 + 3例如3 + 12例如1例如2 + 13例如1例如3 + 23例如2例如3 + 123例如1例如2例如3 ),
是 1 倍 (x)，加上1例如1次 (x)，加上2例如2次 (x)，依此类推。 换句话说，模型中除了 (x)*1 之外的所有其他项都涉及我乘以一个或多个 z我，次(x)。 因此，z 的主效应不存在。我只能根据 z 的相互作用来估计我与混合变量（及其相互作用），类似于方程 5 中的情况。 类似地，z 之间的相互作用我， 例如1例如2例如，不能仅根据该项与混合项之间的相互作用来估计。
从实际角度来看，无法估计 z 的各个系数1和 x 1例如1例如，比无法估计 z 等相互作用的个体系数更令人担忧1例如2例如3和 x 1 X 2 X 3例如1例如2例如3 ，就设计的分辨率而言（Box et al. 2005）。 也就是说，从业者很少会关心六因素相互作用的实际重要性。
将线性加性模型 c(x,z) = f(x) + g(z) 和非线性模型 c(x,z) = f(x)*g(z) 拟合到三个数据集前面讨论的结果，我们得到如表 4 所示的结果。 对于 Cornell 和 Wang 数据集，我们拟合完整的模型，而没有尝试子集选择。 利用 Prescott 数据，对于线性加性模型和非线性模型，我们仅合并 Prescott 在其最终线性化模型中选择的 f(x) 和 g(z) 项。 具体来说，对于 f(x)，我们仅使用 x 1 ， X 2 , 和 x 3 。 对于 g(z)，我们包括 z 1 ，例如2 ， ， 和 。 从这个意义上说，Cornell 和 Wang 的比较是没有子集选择的“苹果对苹果”，而 Prescott 的比较是带有 Prescott 应用子集选择的“苹果对苹果”。
我们使用的数值标准是估计标准误差或均方根误差 (RMSE)。 显然，没有单一的指标可以确定模型的“优劣”。 为了在实践中开发适当的模型，我们需要考虑几个数值标准，评估残差图，将结果与扎实的主题理论进行比较，等等。 读者不应推断我们建议在模型构建中仅关注 RMSE。 然而，出于模型比较的目的，我们仅使用估计标准误差作为方便的客观标准来衡量模型能够拟合数据的程度。
从表 4 中我们可以看出，在两种情况下，线性模型提供了最小的估计标准误差，并且对于康奈尔大学的数据来说几乎是最小的。 这并不奇怪，因为线性加性模型不适应任何相互作用，并且非线性模型具有前面提到的局限性。 我们从这三个分析中得出结论，如果有足够的自由度，则基于应用此标准的这三个模型，线性化模型是首选方法。
表 4 线性化、线性加法和非线性模型的 RMSE
康奈尔数据普雷斯科特数据王数据
线性化0 .17* 21.0 1.36
线性添加剂0 .24 24.3 2.38
非线性0 .16 23.1 2.05
*使用 Lenth 方法计算，因为没有 df 误差。
然而，经过仔细检查，我们注意到，对于其中两个数据集（Cornell 数据和 Prescott 数据），模型之间的差异并不像人们想象的那么大，事实上，非线性模型 RMSE 略有下降。小于康奈尔大学数据的线性化模型 RMSE。 回想一下，由于没有自由度来估计误差，线性化模型 RMSE 是使用 Lenth 方法计算的。 考虑到这些模型中估计系数数量差异的大小，非线性方法的性能令人印象深刻：康奈尔模型为 14（线性加性或非线性）与 56（线性化），普雷斯科特完整模型为 12 与 42 （如果我们仅使用 Prescott 的简化模型项，则为 7 比 15），而对于 Wang 的模型，则为 10 比 28。 非线性和线性加性模型要简洁得多。
对于线性加法和非线性方法对于 Wang 数据效果不佳的一种可能解释是，混合物和过程变量与该数据之间存在高度显着的相互作用。 例如，牛奶*糖*牛奶类型的线性化模型中的项 (x 2例如1例如2 ）、牛奶*果汁*糖*牛奶类型（x 2 X 3例如1例如2 ) 均在 0.01 水平上具有统计显着性。 水*牛奶*糖*牛奶类型的术语（x 1 X 2例如1例如2 ），在 0.01 水平上几乎显着（p 值 = .0101）。 根据我们的经验，发现四个因素的相互作用如此显着是非常不寻常的。 线性模型不包括过程变量和混合变量之间相互作用的任何项，显然无法有效地模拟这种相互作用。 非线性模型根本没有足够的项来提供良好的近似值。 对于如此显着的高阶相互作用，很可能需要线性化方法。
鉴于表 4 中的差异相对较小，我们似乎可以通过减少初始实验量来节省大量时间和金钱。 当然，不需要运行 90 次来使用所有项来估计 Prescott 非线性模型中的 12 项，也不需要运行 56 次来估计 Cornell 非线性模型中的 14 项。 为了回答这个问题，我们评估了每个模型如何适应实际运行的设计的一部分。
分数设计的结果
我们讨论的每一个设计都是通过混合设计与工艺设计交叉产生的。 因此，总运行次数为 n 1 *n 2 ，其中 n 1是混料设计中的数字，n 2工艺设计中的数量。对于康奈尔大学的鱼饼设计，这是 7*8 = 56。 鉴于上面显示的非线性模型结果，一个合乎逻辑的问题是，是否真的需要所有 56 次运行，或者康奈尔大学是否能够运行更小的设计并获得几乎相同的结果？ Cornell (2002) 给出的运行 56 次试验设计的理由之一是需要估计线性化模型中的所有系数。
Cornell (2002) 还指出，如果实验者无法运行完整的设计，他们可以通过在混合空间的每个点运行过程设计的一部分来创建部分设计。 为了确保尽可能多的项是可估计的，康奈尔建议切换过程设计的哪一部分在混合物设计的不同点运行。 例如，在三个过程变量的情况下，我们可以运行 z 1例如2例如3 = 1 半分数，大约一半的混合物设计点，和 z 1例如2例如3 = -1 在另一半。 康奈尔大学进一步建议，如果可能的话，在混合物空间的质心运行完整的工艺设计。 他指出，如果运行这种分数设计，实验者将无法估计完整的线性化模型，而只能估计这些项的子集。
在鱼饼案例中，混合物设计有 7 分，工艺设计有 8 分。 在质心运行所有 8 个点，然后在所有其他点运行 4 个点（半分数）将得到 32 个点的分数设计。 这些点不足以估计线性鱼饼模型中的所有项，但足以估计非线性或线性加性模型中的 14 项。 在图 6 中，我们展示了带有 z 的分数设计1例如2例如3 = 1 在纯混合物中运行，并且 z 1例如2例如3 = -1 以 50-50 混合度运行。 为了简化图形解释并能够与图 3 进行比较，我们再次显示了在流程设计的每个点运行的混合点，尽管构造方法如上所述。
除了查看非线性模型对简化数据集的拟合程度之外，我们还有一个自然的保留样本来更好地评估模型。 也就是说，仅使用 32 次运行来估计非线性模型。 因此，一旦我们估计了模型项，我们就可以使用该模型来预测未用于估计该模型的 24 次运行。 这种保留样本通常被认为是评估估计模型的更有效标准，因为模型没有看到这些数据，并且在拟合过程中不会受到它的影响。 表 5 显示了首先将线性加性模型和非线性模型拟合到图 6 所示的分数设计的结果，以及预测保留数据时的预测标准误差 (RMSE)。 请注意，康奈尔大学的模型有太多项无法通过分数设计进行估计，因此线性化模型不是一个选择。
显然，人们可以任意颠倒纯混合物与 50-50 混合物的分数设计。 因此，为了完整性，我们将图 6 中所示的设计视为分数设计 1，并将分数设计 2 定义为其中 z 1例如2例如3 = -1 在纯混合下运行，并且 z 1例如2例如3 = 1 以 50-50 混合运行。 同样，全部 8 个流程设计点都在质心运行。
表 5 康奈尔分数设计的预测结果
*使用 Lenth 方法计算，因为没有 df 误差。
请注意，在表 5 中，对于两种部分设计，非线性模型都能很好地拟合“训练”数据，并且相当好地拟合保留数据。 两种分数设计的预测 RMSE 均为 0.22，高于原始 0.16 RMSE，但考虑到我们只使用了原始 56 次试验中的 32 次，这在合理范围内，减少了 43%。 线性相加模型的表现也与整个数据集的拟合一致。 如前所述，如果我们的唯一目标是最大化模型拟合，那么首选与线性化模型完全交叉的设计。 然而，如果时间和成本是重要的考虑因素，则应考虑预测精度较低但实验工作量少得多的非线性模型。
普雷斯科特的混合物设计是一个单纯形格子，每个纯混合物之间有两个边缘点和一个质心。 这是与 3 交叉的2流程设计。 这种组合在确定在启发式意义上平衡的分式设计方面提出了更多挑战。 考虑各种选项后，我们将部分设计 1 定义为完整 3 2在质心处，z 所在的点1例如2 = 0 在纯混合处，并且 z 的点1 = 例如2 = 0 并且还有 z 1例如2 = 在以下三个边缘点处为 +/-1：(2/3, 1/3, 0)、(0, 2/3, 1/3) 和 (1/3, 0, 2/3)。这将产生 39 次试验的部分设计 (9 + 5*3 + 5*3)，如图 7 所示。 请注意，分数设计的点数不到原始 90 次试验设计的一半。 部分设计 2 是通过再次运行完整 3 获得的2在质心，但反转在纯混合与三个边缘点运行的过程点。
Prescott 部分设计的预测结果如表 6 所示。 请注意，对于 Prescott 线性化模型，最终模型中仅使用了 Prescott 保留的 15 项，因此我们可以使用分数设计来估计该模型。 这使我们能够将线性化模型与线性加法以及非线性模型与派系数据进行比较。 当然，如果 Prescott 运行了 7 项的完整特殊立方混合模型以及 6 项的阶乘过程设计，我们就不会拥有估计所有项所需的 42 个自由度。
从表 6 中我们可以看到，线性化模型在使用训练数据的分数设计中表现得非常好。 事实上，两种设计的 RMSE 都低于使用完整数据集获得的 RMSE。 这可以部分解释为普雷斯科特从完整数据集中确定了线性化模型所需的参数。 从这个意义上说，当我们将线性化模型拟合到部分数据时，我们正在使用来自完整数据集的信息。 然而，我们无法使用这 39 个数据点来估计完整线性化模型中的所有项。 但请注意，线性化模型在预测保留数据方面表现较差。 事实上，对于两种分数设计，线性化预测 RMSE 都大于线性和非线性模型的 RMSE。
同样，对于两种设计，线性加性和非线性模型提供的预测 RMSE 相当接近训练集的 RMSE。 与康奈尔大学数据的情况一样，我们发现用分数设计拟合线性加法或非线性模型为运行完整的 90 次试验设计提供了可行的替代方案。
表 6 Prescott 分数设计的预测结果
Wang 的原始设计是一个 10 次运行的单纯形，具有 50-50 个边缘点和检查点，并与 2 2流程设计，导致 10*4 = 40 次运行。 我们通过运行完整的 2 获得部分设计 1 2在质心和纯混合物处，半分数 z 1例如2 = 1 在 50-50 个边缘点，半分数 z 1例如2 = -1 在检查站。 这将导致 4*4 + 2*3 + 2*3 = 28 次运行，如图 8 所示。 分数设计 2 是通过反转在 50-50 个边缘点和检查点运行的分数而获得的。
使用这些分数设计，我们再次在预测 RMSE 方面比较线性化、线性加性和非线性模型。 由于 Wang 运行的线性化模型有 28 个参数，因此我们能够估计这个完整模型，尽管没有剩余的自由度来估计误差。 因此，出于比较目的，我们再次使用 Lenth 伪标准误差代替线性化模型的 RMSE。 这些比较的结果如表 7 所示。
表 7 Wang 分数设计的预测结果
*使用 Lenth 方法计算，因为没有 df 误差。
也许表 7 中最值得注意的是线性模型的糟糕预测。 在很大程度上，这可能是由于分数设计的误差估计自由度为零。 我们认为，从中得出的一个重要教训是，使用没有或很少有误差自由度的回归模型来预测新数据是危险的。 模型评估和验证是一项艰巨的任务；如果错误自由度很小或没有，可能会导致预测结果不佳。 线性加性模型和非线性模型表现更好，在样本外预测方面大致相当。 请注意，线性加性模型和非线性模型所产生的 RMSE 都不接近具有完整数据集的线性化模型。 然而，当预测样本外时，它们的表现都比线性化模型更好。 我们再次认为，这提供了一些证据，表明在分数设计上运行的线性加性和非线性模型是在实践中考虑的可行替代方案。
我们学到了什么？
我们使用两个已发布的混合过程数据集和一个新数据集比较了线性模型、线性加性模型和非线性模型。 此外，我们不仅在拟合原始数据集方面比较了这些方法，而且还在拟合可能运行而不是完全交叉（混合时间过程）设计的潜在分数设计方面进行了比较。 我们重申，我们的目的不是寻找绝对意义上的最佳设计或最佳模型。 相反，我们提出了一种统计工程方法来确定面对潜在相互作用时解决混合过程问题的最佳策略。 这样的策略将考虑分步设计和顺序方法的实际好处。
简而言之，我们认为我们从这些比较中学到了以下内容：
- 如果有足够的自由度，通过将混合模型的项与过程模型的项相乘获得的线性化模型可能最适合数据，并提供样本外数据的最佳预测。
- 忽略混合过程相互作用的线性加性模型和非线性模型为线性化模型提供了可行的替代方案，并在估计项数方面提供了显着的优势。
- 当实验者考虑线性加性或非线性模型的选择时，从分数设计开始的顺序策略有可能显着减少开发有用模型所需的实验总量。
- 如果线性加性和非线性模型不能很好地拟合原始分数设计，实验者可以运行剩余的全交叉设计，并拟合线性化模型。 从这个意义上说，通过考虑顺序策略，实验者可以获得很多好处，而损失却很少。
- 另外一点不容忽视的是，残差自由度很少或没有的模型可能很好地拟合样本数据，但使用样本数据进行预测是有风险的。
我们建议的策略如图 1 所示。 通过最初运行部分设计，我们有可能显着减少拟合适当模型所需的实验量。 表 8 总结了不同模型中的不同分式设计和系数数量以供比较。
表 8 完全设计和部分设计的大小以及模型中的系数数量
数据集 | - 不。 运行完整设计
| - 不。 运行分数设计
| 减少 | - 不。 线性化模型系数
- 不。 线性相加模型系数
- 不。 非线性模型系数
|
康奈尔大学 | 56 | 32 | 43% | 56 | 14 | 14 |
普雷斯科特 | 90 | 39 | 57% | 42 | 12 | 12 |
王等人。 | 40 | 28 | 30% | 28 | 11 | 11 |
我们建议对分数数据运行线性加性模型和非线性模型。 如果非线性模型明显拟合得更好，则表明混合物和过程变量之间存在值得注意的相互作用。 当然，不能保证线性加性模型或非线性模型都能很好地拟合。 特别是，由于混合物和过程变量之间存在高度相互作用，可能需要线性化模型。
如果实验者对部分设计生成的模型不满意，他们可以选择运行另一个部分（最初未运行的部分）来完成完整的设计。 该选项应该是研究开始时采用的策略的一部分。 这种方法将能够估计完整的线性化模型。 随着时间的推移，需要一个自由度来有效地阻止第一部分和第二部分之间的设计。 否则，假设可以按顺序进行实验，则这种方法没有真正的缺点。 我们再次承认，非线性模型的理论并不像线性模型那样发达。
当然，图 1 中的模型充分性步骤不应仅限于评估 RMSE。 此决策步骤旨在包括对模型充分性的完整评估，包括仔细检查残差、评估潜在异常值、与有关该问题的当前领域知识进行比较等。 线性化模型的这种评估是假设的，因此我们没有将其作为图 1 中的另一个步骤。 我们在此图中的目标是展示如何以顺序方式评估不同的模型，而不是描述合理的统计模型构建的细节，如 Box 等人所讨论的。 （2005），例如。
读者可能会注意到，在本文中，我们没有研究计算机辅助设计选择最佳分数来拟合非线性设计的潜力。 我们相信，对混合过程问题中非线性模型的计算机设计应用的研究可以提供比我们目前提出的更好的结果。 我们将其留给未来的研究。
可行的策略已经制定、测试和说明
我们考虑用混合物变量和过程变量设计实验和拟合模型的问题，这些变量被认为可能彼此相互作用。 解决此类问题的常见方法是在过程变量中运行与完整因子设计相交叉的完整混合设计。 这种设计允许估计线性模型中的所有系数，该模型是通过将混合模型中的所有项与过程模型中的所有项相交叉而创建的模型。 然而，估计它们所需的模型和设计往往都非常大。 例如，在 Prescott 的面包制作示例中，使用了 90 次运行的设计。 康奈尔大学的鱼饼设计需要 56 次运行。
我们考虑这样一种情况：实验者想要一个好的模型，也许不是最优的模型，并且希望通过比 90 或 56 次运行少得多的实验来获得这样的模型。 在这些情况下，我们认为使用顺序实验、最初更小的分数设计以及考虑线性加性或非线性模型的统计工程策略提供了更好的整体方法。 重申一下，我们并不声称非线性模型在 RMSE 或预测 RMSE 方面可能优于线性化模型。 我们也不声称分数设计包含与完全交叉设计一样多的信息。 从这个意义上说，我们本身并不是提出具体的设计，也不是提出具体的模型。
相反，我们提出了一种解决此类问题的策略，我们认为该策略总体优于当前文献中提出的方法。 从这个意义上说，我们提出的策略是一种统计工程方法。 根据这里显示的结果，我们得出结论，这种方法是优越的，因为它有可能节省大量的实验时间和精力，同时假设顺序方法是可行的，几乎没有缺点。 特别是，使用现代统计软件（例如 R、JMP、Minitab 或 SAS）可以相当直接地估计非线性模型，因此软件不必成为考虑非线性模型的障碍。 我们进一步认为，除了混合物/过程变量模型之外，类似的方法可能在其他响应面应用中具有更普遍的用途，但这是未来研究的主题。
参考
Anderson-Cook, CM 和 Lu, L. （客座编辑）（2012）。 “统计工程特刊”，品质工程，24（2）。
盒子，GEP， 亨特 (JS) 和亨特 (WG) （2005）。 实验者统计, 2 ND版，John Wiley and Sons，新泽西州霍博肯。
新泽西州康奈尔大学 （2002）。 混合物实验：混合物数据的设计、模型和分析, 3大约版本，John Wiley and Sons，纽约州霍博肯。
新泽西州康奈尔大学 （2011）。 混合物实验入门，约翰威利父子公司，新泽西州霍博肯。
Hoerl（RW）和 Snee（RD） （2010）。 “质量改进中的统计思维和方法：展望未来”品质工程，22（3）：119-139。
长度，RV （1989）。 “快速轻松地分析未复制的阶乘”，技术计量学，31（4）：469-473。
蒙哥马利 (华盛顿特区) （2012）。 实验设计与分析，第 8 版，John Wiley and Sons，新泽西州霍博肯。
普雷斯科特，P. （2004）。 “混合实验中的建模，包括与过程变量的相互作用。” 质量技术与定量管理， 1（1）：87-103。
希夫， H。 （1963）。 “混合物实验的单纯形质心设计”，英国皇家统计学会杂志 B ，25（2）：235-263。
Snee（RD）和 Hoerl（RW） （2011）。 ”适当的混合；统计工程和应用统计学之间的正确结合，”质量进步，六月：46-49。
王L., 徐， J., 吴 S. 和张 K. （2013）。 自制冰块融化速度的研究，未发表的项目报告。
