我要揭秘实验设计(DoE) 对一些刚开始时可能会让人们感到困惑的术语和概念进行简单解释。 在这整个系列博文，我们一直在使用一个案例研究，其目的是了解如何在 GC-MS 分析中设置大容量进样器 (LVI)，以检测水样中的痕量杂质。 我们介绍了一个实验计划，该计划包括测试八个 LVI 因子的 26 种设置组合作为示例，以说明我们在设计实验中寻找的一些最重要的属性。
在本系列的早期文章中，我们引入多元线性回归，我们看到我们的 26 次运行实验有用的相关属性用于理解重要的行为，包括主效应、二次效应和两因素相互作用. 然而，我们也发现不可能建立一个具有所有潜在重要影响的多元线性回归模型。 在我们的模型中，每个效应至少需要运行一次，并添加所有主效应、二次和双因素相互作用以及截距，我们计算出总共 44 个参数来估计。 我们把这比作邀请 20 人在一个只有 12 人的房间里开会。
在这篇文章中，我们将了解如何理解所有可能的影响中哪些对我们包含我们的模型很重要。 爱因斯坦曾说过“一切都应该尽可能简单，但不能简单。”[1] 这就是我们在这里所追求的平衡。 我们想要一个系统模型来捕捉我们需要了解的行为，这样我们就可以设置 LVI 以最大化我们的检测信号。 我们不想错过重要的影响，但我们也不想要一个不必要的复杂模型。 我们需要一个吝啬模型。
我们将研究如何使用来自 26 次运行实验的数据来构建仅具有最重要影响的多元线性回归模型。 首先，让我们回到会议的类比，希望不要把它延伸到突破点！
逐步建立最佳会议
What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)如果 20 人想在一个只有 12 人的房间里参加会议怎么办？ （照片来自 https://unsplash.com/search/photos/meeting）我们的会议只能容纳 12 人，而我们可能想参加 20 人。 在这 20 个人中，我们需要谁在房间里为我们提供最好的会议？
我们将使用从步骤 0 开始逐步选择与会者来回答这个问题。
步骤 0。 我们从会议室里没有人开始。
步骤1。 我们对会议中的 20 人中的每一个人进行了单独测试，并保留了能够带来最佳会议质量的人：凯蒂——她是这次会议的最佳人选。 其他人现在都在房间外面。
第2步。 现在我们检查剩下的 19 位可能的与会者，并将他们每个人放在房间里，找出哪一对 Katie + 1 给我们带来了最好的会议。 我们发现 Katie + Robert 是最好的。 其他 18 个人在房间外。
步骤 3。 我们遍历剩余的 18 位与会者，找出 Katie + Robert + 1 的最佳组合。 我们将 Judy 添加到房间。
第4步。 等等…
步骤 12。 …直到我们有一个完整的房间。
这是我们能有的最好的会议吗？ 我们发现迈克尔是加入第 12 位与会者的最佳人选（其他八位都很糟糕，尤其是菲利普）。 迈克尔对会议的贡献是否足以证明他的参与是合理的？ 他会花大部分时间通过点击手机来打断会议吗？ 我们真的需要所有 12 个人参加会议吗？
现在我们看看会议的质量如何从第 0 步变为第 12 步。 我们寻找会议质量最高的地方，并发现它在第 4 步。
Meeting Quality versus Step.会议质量与步骤。
我们得出结论，最好的会面是与凯蒂、罗伯特、朱迪和路易丝。 我们找到了涵盖会议所需理解的最佳平衡。 其他每个可能的与会者都可以做出有用的贡献，但这并不足以抵消房间里有这么多人互相交谈的负面影响。
这是设计会议的好方法吗？ 我不确定。 也许你可以试试并告诉我。 但是，这很好地类比了我们如何使用来自设计实验.
逐步构建最佳模型
对于 PkHt(SUM) 模型，我们有 44 种可能的影响。 我们将决定我们的模型，就像我们决定在我们的会议中应该有谁一样。
步骤 0。 我们首先将仅截距模型拟合到 26 次运行实验的数据中。除非我们的任何因素都对响应没有任何重要影响，否则这个模型太简单而无用。 预测刻画器没有 X 轴，因为我们在模型中没有因子效应：
实际响应结果与模型预测的关系图向我们表明，该模型不是很有用。
每次运行的实际结果与该因子的这些设置的模型预测之间的一致性很差。 对于完美预测的模型，这些点将与 45 度线对齐。 当前模型仅预测一个值。 它告诉我们所有运行的平均 PkHt(SUM) (4862070)，如果我们对因素的影响一无所知，这是对 PkHt(SUM) 的最佳估计。
步骤1。我们寻找具有截距和其他 43 个参数之一的最佳模型。 我们拟合了 43 个不同的可能模型，发现具有截距和 Speed(Inj) 的二次效应的模型是最好的。 在此阶段，所有 42 种其他效应均不在模型中。
这是 Profiler 图，显示了 PkHt(SUM) 相对于 Speed(Inj) 的曲线变化：
实际与预测相比有所改善，但仍然不是很好：
第2步。我们发现 Vol(Inj) 和 T(Inj) 的交互作用是在这一步添加的最佳效果。 我们可以从 Profiler 图中看到这种效果，其中 Vol(Inj) 设置为最低设置……
…并且在最高设置下。
注意 PkHt(SUM) 与 T(Inj) 的斜率如何变化。 再次，实际和预测之间的一致性得到改善。
步骤 3 至 19。 我们以这种方式继续，在每个步骤中添加最重要的效果。
步骤 20。 快进到第 20 步，所有因素的影响都包含在一个具有 20 个影响加上截距的复杂模型中。
实际与预测现在看起来好多了。
我们可以走得更远，直到我们在实验中拟合了尽可能多的参数，但在这个阶段我们可能已经过拟合了。 现在我们回顾一下模型质量如何从第 0 步变为第 20 步。 我们可以看看实际与预测是如何变化的。
我们可以看到，随着我们逐步完成模型的改进，尽管可能以复杂性为代价。 在每一步，我们都添加了产生最佳模型的效果，但我们没有说明“最佳”是什么意思。 为了有一个流程来决定每个步骤的最佳模型和所有步骤的最佳模型，我们需要能够对模型的好坏给出一个数字。 事实上，统计学家已经想出了很多方法来做到这一点。 在这个例子中，我们使用了更正的赤池信息准则或者AICc . 在每一步，我们都添加了使模型具有最低 AICc 的效果。 在这里，我们绘制了 AICc 与步数的关系图：
较低的 AICc 代表更好的模型：AICc 随着数据拟合的提高而降低；向模型添加参数会增加 AICc。 我们可以使用它来找到平衡拟合优度和复杂性的最佳点。 在这种情况下，我们看到 AICc 从第 0 步减小到第 7 步，然后向第 20 步超标增加。 （黄色和绿色波段是一个指导——在这些范围内具有 AICc 的模型在某种程度上等同于最佳模型。）因此，我们可能会在第 7 步选择模型：
前进和后退
我们描述的过程称为逐步回归或者逐步选择. 更具体地说，我们使用向前逐步选择。 你可以使用落后当您的运行次数多于要拟合的参数时进行选择，因此您可以从模型中的所有效应开始，然后通过在每个步骤中取出最不重要的效应来向后工作。 您还可以使用向前和向后的组合。 您的另一个选择是是否指定效应遗传，因此只有当它们的主效应也在模型中时才能包含二阶效应。 服从效应遗传的模型通常是首选。
这些各种选项和其他选项可在软件中的自动逐步过程中使用，例如JMP . 广义回归平台JMP 专业版提供交互式和可视化界面来探索模型的可能性。 这很有用，因为模型的最终选择将不仅仅依赖于 AICc 或任何一种统计测量。
“所有模型都是错误的......
…但有些是有用的。”[2] 这句名言抓住了一个事实，如果你是美国能源部的新手，你会感到担忧：这一切都没有正确的答案！ 该模型将近似真实行为，因此在某种意义上总是“错误”的。 你不应该认为这是一个问题。 以这种方式“错误”的模型使我们能够专注于理解重要的行为，以满足我们的科学和工程目标。 正如我们之前所说，我们的目标是简约的模型。
通过这个例子，我们已经看到了如何通过对相对大量的可能影响进行排序以找到重要的少数来构建有用的模型。 我们还看到了如何使用统计方法以及我们对系统的经验和知识来选择最有用的模型。 我们设计的实验为我们提供了实现这一目标所需的数据，并且实验工作量最小。 在每个步骤中，该方法都可以选择最佳效果，因为设计的相关属性具有清晰性。 同样，带回家的信息是，如果您想有信心有效地获得最有用的解决方案，您需要使用 DoE。
在本系列的最后一篇文章中，我们将尝试总结我们学到的所有内容，并讨论我们错过的内容。
笔记
[1] 事实上，好像爱因斯坦没这么说. 具有讽刺意味的是，他的版本并没有想象的那么简单。
[2] 乔治·博克斯。 看这个维基百科条目更多。
