帮助：有关 DOE 分块、分割/带状图、协变量、干扰因素和 ANCOVA 的最佳实践大家好，
希望得到专家和集体对上述主题的一些反馈。 我将首先描述场景，然后讨论手头的问题。
设想：我们的业务经常面临这样的情况：由研发人员管理的能源部受到外部干扰因素的影响，而管理此问题以“拯救”能源部有时具有挑战性。 研发人员通常会生成 DOE 来一次测试多个因素。 在此过程中，通常会制作 3 批的倍数，每批都有不同的配方，以便测试影响结果的因素。 配方中的因素都是连续因素，并且根据设计通常分为 2 级（低/高）。 通常包括中心点以帮助估计方差。 研发人员通常生产 3 批、6 批、9 批等。 原因是，在该过程的初始步骤之后，批次需要在烘箱中干燥，并且一次只能干燥三批，因此批次数量为3的倍数。 第一步后立即取出批次进行干燥。干燥后，直接对材料进行研磨。由于一天内的时间有限，每天只能进行固定次数的跑步，同样，这将是 3 的倍数，一天最多可能完成 9 次。
问题：由于烤箱所在位置的物理限制，外部环境温度和湿度（更常见的是湿度）是有害因素。 我称它们为“滋扰”，因为它们是已知的，但无法控制。 可以在将 3 批样品放入烘箱进行干燥时测量环境温度和湿度，但无法控制这些因素或提前知道它们会是什么。 众所周知，湿度会在干燥步骤期间（和/或之后不久）影响材料，并且怀疑环境温度也可能会影响材料。
讨论：我想更好地了解能源部如何管理这些干扰因素。 当然，我们可以按天进行分组，并在每个分组内进行一组分布均匀的随机运行，从而获得对批次生产和干燥当天引入的噪声的估计。 我们还可以将其作为固定效应引入（即使它并不是真正固定的），这将有助于估计每个区块的平均日常差异。 我们甚至可以将“天”视为“非常难以”改变效果，以获得裂区设计，这将有助于了解该因素如何与其他因素相互作用 - 但是 - 我们无法控制湿度和不知道实验开始之前会是什么样子。 我们可以将其视为协变量，这需要进行 ANCOVA 分析以消除响应中干扰因素的影响。 或者，我们可以简单地将干扰因素引入为不受控制的因素。
一些讨论点：
- 这会很好，尽管没有必要估计由于干扰因素而引入的噪声，这表明随机阻塞。
- 估计由干扰因素引起的日常变化也很好，这将建议固定阻塞。
- 如果能看看这些令人讨厌的因素是否或如何与其他已知的主要因素相互作用，那就太好了，这表明将它们列为“非常难以”改变的因素，但实际上它们是不可能改变的，因为我们无法控制它们。
- 执行 ANCOVA 可能有助于消除干扰因素，以便比较不同日期生产的批次。 然而，据我了解，要在 JMP 中执行此操作，只能将单个分类因子与连续协变量因子相结合，以获得正确的分析类型。 我们当然可以将我们的一些主要因素更改为分类数据类型，但问题是我们有几个主要因素必须包含在任何模型中。 执行此操作时，JMP 不再像您对 ANCOVA 所期望的那样将数据拆分为不同的拟合线。 尽管我可能不完全理解 JMP 在模型中有多个因素的情况下如何执行 ANCOVA。 有关该主题的示例数据和在线帮助非常有限。
- 最后，我们可以将其作为不受控变量添加到模型中，将级别留空并在执行运行时填充数据。 稍后对模型的分析应显示不受控制的变量是否对响应有任何影响。
一些问题：
- 在这种情况下，我们通常一次干燥固定数量的批次，并且所有批次都可能受到干扰因素的影响，是否有最好的方法将干扰因素纳入模型中，以了解影响是什么，如果有的话，它有关于响应吗？
- 我们会使用单一方法还是混合方法。 例如，最好只使用随机（或固定）区组，还是使用随机区组，但也将干扰因素作为不受控制的变量？ 同样，是否最好使用“日”作为一个很难改变的因素，同时也将湿度和气温作为不受控制的因素？
- ANCOVA 真的是正确的方法吗？或者这会导致错误的结论吗？
- 您在工作场所是否遇到过类似的情况？如果有，您使用什么方法来管理滋扰因素？
感谢您的帮助，我期待着阅读您的回复。
谢谢！，
DS
实验设计回复：帮助：有关 DOE 分块、分割/带状图、协变量、干扰因素和 ANCOVA 的最佳实践你好@statman ,
我非常感谢您对本次讨论的想法和反馈。 老实说，我有点惊讶 JMP 或该领域其他专业人士没有人参与这一讨论。 我本以为会有其他几个人处于类似的情况，并寻找方法来管理不可控的滋扰/噪音因素。
好吧，根据讨论以及我们小组可以真正操纵噪声因素的内容，在我看来，上面的选项 3 将是我们的最佳选择——这将是一种混合方法，其中生成随机块并将噪声添加为模型中的协变量。 尽管这可能不是最好的方法，如#4，但我认为这是一种务实的方法，我们至少可以用来帮助解决我们面临的一些问题。
再次感谢您的帮助和良好的讨论！
DS
回复：帮助：有关 DOE 分块、分割/带状图、协变量、干扰因素和 ANCOVA 的最佳实践不幸的是，我认为这更多的是一对一的讨论，很难通过这个论坛来完成。 我有几个流程图和模板可以帮助计划实验，但它们不适合一般使用，并且取决于具体情况。 我将为您提供一些一般性指导，当然，这些指导可以进行辩论。 处理噪音有四种“哲学”：
1. 我发现工程师和科学家最典型的是希望在实验过程中保持噪声恒定。 我们的想法是，这将大大减少错误并使因素易于识别。 不幸的是，这减少了推理空间，因此对于分析工作来说是一个糟糕的策略（所以不要这样做）。
2. 典型的方法是进行某种随机复制。 这将增加推理空间，可以提供对随机误差的更好估计，从而提供“更好”的统计测试（并以某种方式提高满足分析假设的可能性）。 这可能会对设计的精度产生负面影响。
3. 另一种统计方法是分配噪声（或一组噪声因子），以便可以从误差估计 (MSE) 中消除其影响，从而提高统计测试的精度。 使用随机块以及协变量可以实现这一点。 这还有增加推理空间的额外好处。 重点是显着性的统计检验。
4. 一种或许更具分析性的方法是首先识别噪声，提出有关潜在噪声影响的假设，然后有目的地操纵这些噪声因素。 这可以使用块作为固定效应来实现（因为您实际上组合了多个噪声因子并将它们全部设置在实验中的极端水平）。 这种方法增加了推理空间，同时不会对精度产生负面影响，并且还可以估计鲁棒性。
“阻止你能阻止的事情，随机化你不能阻止的事情。” 通用电气公司 盒子
当您有可以在实验中操纵和分解的特定噪声变量时，可以使用裂区实验思想。 这通过噪声相互作用提供了更大的推理空间、更高的精度以及设计因素的出色分辨率。
我强烈推荐这篇论文：
盒子，GEP， 斯蒂芬·琼斯 (1992)，“用于稳健产品实验的裂区设计”,应用统计学杂志，卷。 19号1号
回复：帮助：有关 DOE 分块、分割/带状图、协变量、干扰因素和 ANCOVA 的最佳实践你好@statman ,
感谢您的回复和想法/评论。 以下是对您的问题的一些答复。
- 不幸的是，我无法分享太多细节，但我会分享我能分享的内容（一般而言）：通常，研发部门会开发最终将在连续过程中生产的产品配方。 所以，在某种程度上，它既是一个秘诀，也是一个过程。 实验室规模的材料是批量生产的，而该过程是一个连续的过程。 我们不需要考虑混合物，因为没有固定的规则要求所有成分的总和必须等于某个值。 更重要的是一个组成部分与整体的比例。 例如，X1 可能是整体的 0.05%，X2 可能是整体的 0.1%，但不存在 X1+X2+X3+...Xn 必须等于 1 的限制。 我们知道，从实验室批量工艺到连续工艺并不是直接 1:1 或成分的固定比例变化，但一旦我们拥有了强大的实验室产品，就可以非常直接地将其转移到连续生产中过程。
- 配方的不同成分对测量结果的影响是众所周知的。 我们知道，改变不同的X会导致某些Y的相应变化。 然而，当客户要求具有特定属性的材料时，我们可以更改 X，以实现客户想要的 Y。 按照上面的示例，一个客户可能将 X1 设置为 0.025%，将 X2 设置为 0.075%，而另一位客户可能将 X1 设置为 0.1%，将 X2 设置为 0.1%；这一切都取决于他们的需求。 研发部门在此阶段进行 DOE，因为有几种不同的方法可以改变 X，实际上可以在干燥和研磨阶段后产生非常相似的 Y。 其中一些方法比其他方法更稳健，其中一些（不一定相同）在过程的第二阶段之后会产生更好的材料 - 然而，这是另一回事，并且有自己的一组 DOE 从第一阶段获取材料轮作为协变量输入第二阶段的下一轮 DOE - 意思是：基于某个结果 Y_target，Y_target +/-w 单位内的批次将被选择（使用 JMP）作为新组的协变量输入X在第二阶段。 但正如我所说，这是过程中的不同阶段，不受环境温度和湿度的影响，因为实验室过程的这一部分是在受控环境中进行的。
- 我们对我们的原材料供应商、原材料的使用年限、实验室设备的清洁度等进行了评估，发现这些因素引入的噪声远小于测量系统的噪声。 话虽这么说，我们还测试了我们的测量系统是否有能力，并且它是针对我们测量的响应 - 考虑到实验运行之间要检测的标准偏差和差异。
- 至于实际的制造过程，是的，我们已经绘制出来并知道最大的噪音源在哪里。
- 我想说的是，一般来说，研发部门希望从能源部那里找到符合客户规格的最坚固（噪音）材料。 但是，外部噪声因素（主要是温度和相对湿度）可能会改变结果。 我们希望了解湿度和温度如何影响结果，并解释 DOE 内的这种变化，以便我们可以比较不同日期制作的样品。 我曾提到，测量系统的噪声大于批次间差异、原材料供应商或进货批次材料等产生的噪声。但是，环境温度和相对湿度引入的噪声可能大于测量噪声。 例如，如果使用相同配方的 3 个批次单独生产，并一起干燥和研磨，则在我们系统的典型测量误差范围内，它们都将显示相同的 Y 响应。 然而，如果在相对湿度较高的一天重复相同的配方（实际上，这通常接近 75-80%+ 相对湿度水平），则对相同 Y 响应的测量将导致显着不同的值。 正如第一篇文章中提到的，我们无法控制相对湿度或环境温度，我们也无法告诉研发人员永远不要在高相对湿度的日子里进行实验，因此拥有一个可以解决这一天的 DOE 框架 -今天的变化，甚至希望解释一下噪音如何影响我们的 Y 结果将会非常有帮助。
我知道没有一种方法可以设计实验，但是拥有一些通用框架会很有帮助，这样研发人员就可以管理这种噪音，而不会迷失或浪费时间试图恢复受这种噪音影响的能源部。 即使是一种流程图概念也会对他们有所帮助，以便他们拥有某种结构化方法。
我发现困难的是，在这篇文章的标题中提到的是，实验者何时以及为什么应该使用随机阻塞、固定阻塞、分割/带状图、协变量、不受控制的变量或ANCOVA来管理外部噪声，就像我们的那样重新经历。 目标是了解噪声如何以及为何影响我们的 Y 结果，以便开发出一种能够抵抗此类噪声（温度/相对湿度）的方法。 困难之一是，这会根据 X1、X2、X3 等的相对数量而变化，而每个客户的需求不同，这些相对数量也不同——结果是，一旦我们针对一种情况弄清楚了这一点，我们就不会必然能够将其扩展到所有其他情况。 我知道该方法不应该一成不变，但至少有一个逻辑决策路径总比没有好。 到目前为止，我还没有在 JMP 帮助或在线网络研讨会中找到太多内容来很好地区分不同的方法，以及何时/为何/何处应考虑某种方法而不是另一种方法。
我希望这有助于更好地理解我们正在处理的问题。 再次感谢您的反馈和想法/评论。 我也希望听到其他人对此事的看法，因为我确信我们不是唯一必须处理此类问题的人。
谢谢！，
DS
回复：帮助：有关 DOE 分块、分割/带状图、协变量、干扰因素和 ANCOVA 的最佳实践DS，首先让我说你的文章写得很好而且很详细，尽管有一些关键的遗漏点。 什么是研发设计食谱对于批量生产的产品？ 或者它是一个过程用于批量生产？ 或者是其他东西？ 您需要考虑配方的混合物成分吗？ 您是想“挑选一个获胜者”还是想研究因果结构并了解它如何以及为何起作用......这需要迭代？ 其次，没有一种正确的方法来计划实验。 进行尽职调查（提出假设，识别所有 x，将假设与 x 联系起来。确定需要估计的效果，预测模型效果/对模型效果进行排序（至少通过二阶）等），设计多个计划，预测所有可能的情况结果（以及您将在每个结果中做什么）并权衡获得的潜在知识与获得该知识的成本。
话虽如此，正如您所指出的，肯定有很多选择。 以下是我的初步想法：
1.我会打电话给你的滋扰因素噪音。 我建议可能不止您在帖子中指定的内容（例如，测量误差、成分的批次差异、混合时间的一致性、批次内的温度梯度、桶的清洁度、遵守的能力）食谱，烤箱变化等），但我当然知道你指定的那些是你有强烈假设的。 虽然我知道您从事研发工作，但有人研究过实际的制造流程（已完成任何流程图吗？）？ 是否进行了变异研究（即定向抽样）的任何组成部分来估计批次变异、批次间变异、成分批次间变异、环境条件、烤箱之间的测量误差等？ 充分了解噪声的变化程度有助于确定如何将噪声纳入实验中。 此外，如何在短期内管理噪音也会影响使用哪些选项。
2. 什么是响应变量？ 测量系统是否足够？ 您对因子对均值和变异的影响感兴趣吗？ 您可能需要重复来估计方差响应。 对于批次变化等短期噪声成分特别有用。
3. 在研发环境中，通常您希望设计的是抗噪声能力强。 对于设计师来说，噪音通常是制造过程、原材料以及客户手中产品的使用。 我将设计的鲁棒性定义为不存在噪声与因素之间的相互作用，这意味着设计人员正在寻找一种能够在变化的噪声下始终如一地执行的设计。 因此，设计人员需要在设计过程中尽早暴露潜在的噪声与因素之间的相互作用。 这将为设计人员提供最多的选择来纠正这种情况（而不是在生产中发现问题）。 考虑到这一点，您可以：
a) 运行块，故意在块内保持噪声尽可能恒定（您可能需要使用设备来在短时间内管理噪声），然后改变噪声，夸大以适当扩大推理空间（参见 CoV 研究）。 将这些块视为固定效应，并获得逐个因子的交互来估计稳健性。
b) 运行裂区，其中噪声可能位于整个图或子图中（叉积数组，类似于田口概念，仅分析裂区）。 这些设计为整个图和子图提供了出色的分辨率和更高的精度。
4. 虽然您也许可以测量噪声并解释模型中的变化（协变量），虽然这会提高统计测试的精度，但它可能无法提供您所需的见解。 问题仍然是你想要一个赢家或理解吗？ 您想要一个无论理解如何都似乎有效的模型吗？
