我想揭开神秘面纱实验设计(DoE) 对一些术语和概念进行了简单的解释，这些术语和概念在人们刚开始时可能会造成混淆。 在这整个过程中系列博文，我们一直在使用一个案例研究，其目的是了解如何在 GC-MS 分析水样中的痕量杂质时设置大体积进样器 (LVI)。 我们引入了一个实验计划，其中包括测试八个 LVI 因素的 26 种设置组合作为示例，以说明我们在设计实验中寻找的一些最重要的属性。
在本系列的早期文章中，我们引入多元线性回归，我们看到我们的 26 次运行实验有有用的相关属性用于理解重要行为，包括主效应、二次效应和双因素相互作用. 但是，我们还透露，不可能建立具有所有潜在重要影响的多元线性回归模型。 我们的模型中每个效应至少需要运行一次，并添加所有主效应、二次方程和双因素交互作用以及截距，我们总共计算了 44 个要估计的参数。 我们将其比作邀请 20 人在只能容纳 12 人的房间里开会。
在这篇文章中，我们将了解如何理解所有可能的影响中哪些对我们包含模型很重要。 爱因斯坦的名言是“一切都应该尽可能简单，但不能更简单。”[1] 这就是我们在这里追求的平衡。 我们需要一个系统模型来捕获我们需要了解的行为，以便我们可以设置 LVI 以最大化我们的检测信号。 我们不想错过重要的影响，但我们也不想要一个不必要的复杂模型。 我们需要一个节俭的模型。
我们将研究如何使用 26 次运行实验中的数据来构建仅具有最重要效应的多元线性回归模型。 首先，让我们回到会议类比，但愿它不会超出临界点！
分步打造最佳会议
What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)如果 20 个人想在一个只能容纳 12 人的房间里参加会议怎么办？ （图片来自 https://unsplash.com/search/photos/meeting）我们的会议只能容纳 12 人，而我们可能想参加 20 人。 在这 20 个人中，我们需要谁在房间里为我们提供最好的会议？
我们将从第 0 步开始逐步选择与会者来回答这个问题。
步骤 0。 我们从会议室里没有人开始。
步骤1。 我们对会议中的 20 人中的每一个人进行了单独测试，并保留了会议质量最好的一个人：凯蒂——她是这次会议的最佳人选。 其他人暂时都在房间外面。
第2步。 现在我们检查剩下的 19 位可能的与会者，并将他们每个人都放在房间里，以找出哪一对 Katie + 1 给我们带来了最好的会议。 我们发现 Katie + Robert 是最好的。 其他18人在房间外面。
第 3 步。 我们通过其余 18 位与会者，找出 Katie + Robert + 1 的最佳组合。 我们将 Judy 添加到房间中。
步骤4。 等等…
第 12 步。 ......直到我们有一个完整的房间。
这是我们能拥有的最好的会议吗？ 我们发现 Michael 是第 12 位与会者的最佳人选（其他八位很糟糕，尤其是 Phillip）。 Michael 对会议的贡献是否足以证明他的参与是合理的？ 他会不会大部分时间都在敲打手机来扰乱会议？ 我们真的需要会议中的所有 12 个人吗？
现在我们看看会议质量从第 0 步到第 12 步是如何变化的。 我们寻找会议质量最高的地方，发现它在第 4 步。
Meeting Quality versus Step.Meeting Quality versus Step.Meeting Quality versus Step.Meeting Quality versus Step.会议质量与步骤。
我们得出结论，最好的会议是与凯蒂、罗伯特、朱迪和路易斯。 我们找到了最好的平衡点，可以涵盖我们会议所需的理解。 其他每个可能的与会者都可以做出有用的贡献，但不足以抵消房间里这么多人互相交谈的负面影响。
这是设计会议的好方法吗？ 我不知道。 也许你可以试试，然后告诉我。 然而，它很好地类比了我们如何使用来自设计实验.
逐步构建最佳模型
对于 PkHt(SUM) 模型，我们有 44 种可能的效果。 我们将以与我们决定会议中应该有哪些人相同的方式来决定我们的模型。
步骤 0。 我们首先将一个仅拦截模型拟合到我们 26 次运行的实验中的数据。除非我们的任何因素都不会对响应产生任何重要影响，否则此模型太简单而无用。 预测刻画器没有 X 轴，因为我们在模型中没有因子效应：
实际响应结果与模型预测的关系图向我们表明该模型不是很有用。
每次运行的实际结果与那些因素设置的模型预测之间的一致性很差。 对于完美预测的模型，这些点将与 45 度线对齐。 当前模型仅预测一个值。 它告诉我们所有运行的平均 PkHt(SUM) (4862070)，如果我们对这些因素的影响一无所知，这是对 PkHt(SUM) 的最佳估计。
步骤1。我们寻找具有截距和其他 43 个参数之一的最佳模型。 我们拟合了 43 种不同的可能模型，发现具有 Speed(Inj) 的截距和二次效应的模型是最好的。 所有 42 个其他效应在这个阶段都不在模型中。
下面是 Profiler 图，显示了 PkHt(SUM) 相对于 Speed(Inj) 的曲线变化：
实际与预测相比有所改善，但仍然不是很好：
第2步。我们发现 Vol(Inj) 和 T(Inj) 的相互作用是在这一步添加的最佳效果。 我们可以在 Vol(Inj) 设置为最低设置的 Profiler 图中看到这种效果……
......在最高的设置。
请注意 PkHt(SUM) 与 T(Inj) 的斜率如何变化。 同样，实际和预测之间的一致性得到改善。
步骤 3 至 19。 我们以这种方式继续，在每一步添加最重要的效果。
步骤 20。 快进到第 20 步，所有因素的影响都包含在一个具有 20 个影响加上截距的复杂模型中。
实际与预测现在看起来好多了。
我们可以走得更远，直到我们拟合了与我们在实验中运行的参数一样多的参数，但是在这个阶段我们可能已经过拟合了。 现在我们回顾一下模型质量从第 0 步到第 20 步是如何变化的。 我们可以看看实际与预测的变化情况。
我们可以看到，随着我们逐步完成这些步骤，模型得到了改进，尽管可能是以复杂性为代价的。 在每一步，我们都添加了产生最佳模型的效果，但我们没有说明“最佳”是什么意思。 要有一个过程来决定每一步的最佳模型和所有步骤的最佳模型，我们需要能够用一个数字来衡量模型的好坏。 事实上，统计学家已经想出了很多方法来做到这一点。 在这个例子中，我们使用了更正后的赤池信息准则或者AICc . 在每一步，我们都添加了使模型具有最低 AICc 的效果。 在这里，我们有 AICc 与步数的关系图：
较低的 AICc 代表更好的模型：AICc 随着数据拟合的提高而降低；向模型添加参数会增加 AICc。 我们可以用它来找到平衡拟合优度和复杂性的最佳点。 在这种情况下，我们看到 AICc 从第 0 步减少到第 7 步，然后向第 20 步增加超标。 （黄色和绿色带是一个指南——AICc 在这些范围内的模型在某种程度上相当于最佳模型。）因此，我们可能会在第 7 步选择模型：
前进和后退
我们描述的过程称为逐步回归或者逐步选择. 更具体地说，我们使用了向前逐步选择。 你可以使用落后当您的运行次数多于要拟合的参数时进行选择，因此您可以从模型中的所有效果开始，然后通过在每一步中去除最不重要的效果来向后工作。 您还可以使用向前和向后的组合。 您的另一个选择是是否指定影响遗传，因此只有当二阶效应的主效应也在模型中时才能包括二阶效应。 服从效应遗传的模型通常是首选。
这些不同的选项和其他选项在软件中的自动逐步过程中可用，例如JMP . 中的广义回归平台JMP临提供交互式和可视化界面来探索模型的可能性。 这很有用，因为模型的最终选择将不仅仅依赖于 AICc 或任何一种统计度量。
“所有模型都是错误的......
......但有些是有用的。”[2] 如果你是 DoE 的新手，这句名言抓住了一个令人担忧的事实：最终没有正确的答案！ 该模型将逼近真实行为，因此在某种意义上总是“错误”的。 你不应该认为这是一个问题。 以这种方式“错误”的模型使我们能够专注于理解重要的行为，以满足我们的科学和工程目标。 正如我们之前所说，我们的目标是一个简约的模型。
通过这个例子，我们已经看到了如何通过对相对大量的可能影响进行排序以找到重要的少数影响来构建有用的模型。 我们还看到了如何使用统计方法以及我们对系统的经验和知识来选择最有用的模型。 我们设计的实验为我们提供了实现这一目标所需的数据，而且实验工作量最少。 在每个步骤中，该方法都可以选择最佳效果，因为设计的相关属性非常清晰。 再次强调，要点是，如果您想确信有效地获得最有用的解决方案，则需要使用 DoE。
在本系列的最后一篇文章中，我们将尝试总结我们所学到的所有知识，并讨论我们遗漏的内容。
笔记
[1] 事实上，爱因斯坦好像没说过这个. 具有讽刺意味的是，他的版本并没有想象中那么简单。
[2] 乔治·博克斯。 看这个维基百科条目更多。
