每个 DOE 的努力你好，
我做过几次实验设计 (DOE)，但一个反复出现的挑战是所需的试验次数太多。例如，当使用包含 7 次实验的筛选设计时，我们通常每次运行测试 4 到 6 次重复实验来评估可重复性。这意味着每个 DOE 总共需要进行 28 到 42 次试验。
然而，在进行所有这些试验之后，模型性能往往不尽如人意——R² 值在 0.55 到 0.59 之间。此外，由于置信区间过宽且参数估计不一致，我们很难找到一个可靠或可重复的模型。在许多情况下，即使在受控条件下收集 Y 值数据，模型也缺乏一致性，无法提供结论性的见解。因此，我们需要从每次实验中收集大量的过程数据。
这越来越令人沮丧。我们如何才能有效地解决这个问题，减少浪费的努力，同时提高模型的可靠性？
实验设计回复：每个 DOE 的努力给你一些想法：
1. 在筛选模式下，尽量不要过于纠结于模型性能……在筛选模式下，你的主要目标是识别活跃的效应/因素，而较少关注模型本身及其预测的有效性。问问自己这个问题：“我们是否识别出了值得进一步研究的因素？”如果是，则继续进行研究。如果没有，则开始问其他问题……例如，
a. 我们选择的电平是否不够宽，导致信号无法高于噪声？
b. 是否存在影响我们反应的潜在噪声变量……如果是的话，我们将来该如何处理它们……阻塞？
c. 我们还需要考虑其他因素吗？
2. 通过所有这些重复实验，你应该能够很好地估计纯误差……如果误差足够大，就会开始淹没信号。你对测量系统相对于响应的变异了解多少？如果变异足够大，你是否需要努力降低测量系统噪声？
我相信其他人也会加入进来...并且像往常一样，如果您可以分享一个实验，也许我们可以提供更多帮助？
回复：每个 DOE 的努力你好@Statexplorer ，
@P_Bartell提供了很多有用的信息和建议。我想补充一下你提到的一些要点，因为你的实验环境似乎比较嘈杂。
您是否尝试分析过噪声/高不确定性的可能原因？模型不充分（缺少交互项或二次效应？）、测量误差过大、干扰变量（日常变量、操作员变量、过程变量？）。评估噪声源将有助于推荐尝试适当的缓解策略：
- 如果模型不充分，您在筛选模式（仅考虑主效应）中经常使用什么模型？残差和/或失拟检验中是否存在可能表明存在问题的特定模式？
您是否期望强相互作用效应和/或多项式或非线性效应？您是否尝试过其他（非线性）建模方法：例如，适合您的数据集大小和复杂度的机器学习算法，如 Bootstrap Forest 和 SVM？
- 如果测量误差较大，能否扩大因子的范围（以便信号相对高于噪声）？能否添加重复测量：除了重复实验之外，还可以减少独立重复实验的次数，并通过重复测量进行补偿，并对每次运行的重复测量结果进行模型响应均值和方差？
- 如果已知干扰变量，或许您可以在设计生成中添加一些保护措施，例如区块，以避免操作员、日常变化、测量设备变化等因素的影响。使用随机区组变量可以从总实验方差中捕获该干扰变量的方差，以防止该方差“隐藏”一些潜在的有效效应。如果干扰变量可以处理/修改并且已知（例如过程变量），您也可以使用田口设计来创建稳健设计，或者使用定制设计平台： 稳健过程和产品设计实验
希望这个答案可以有助于讨论，
回复：每个 DOE 的努力很遗憾，由于缺乏背景信息，我无法提供具体的建议。这些问题无法在全球范围内得到解决。以下是我的初步想法：
1. 我没听说过有7次试验的筛选设计。你是指8次（2^7-4 ResIII）吗？
2. 我不明白重复实验的次数。首先，这些是重复实验（独立运行相同的处理组合）而不是重复实验？实验设计中“牺牲”的一点就是稳定性。如果你想了解稳定性问题，抽样和 COV 研究是首选工具。无论如何，运行 4-6 个重复实验并不能真正获得稳定性。
3. 听起来你的研究有很多噪音。也许你需要一个更好的策略来处理这些噪音（例如，RCBD、BIB、裂区试验）。
4. 由于对情况基本一无所知，我建议在 DOE 之前先进行 COV/采样。
4. R^2 只是您应该用来评估模型的几个统计数据之一（并且它不是最好的）。
回复：每个 DOE 的努力谢谢@P_Bartell
但是，作为筛选设计的一部分，我们需要的最小 Rsq 应该是多少呢？
a. 我们选择的电平是否不够宽，导致信号无法高于噪声？ ——如何找到这些问题？
b. 是否存在潜在的噪声变量影响着我们的反应……如果是这样，我们将来该如何处理它们……阻塞？ ——如何找到这些？
c. Are there other factors we need to think about?- 如何找到这些？
2. 通过所有这些重复实验，你应该能够很好地估计纯误差……如果误差足够大，就会开始淹没信号。你对测量系统相对于响应的变异了解多少？如果变异足够大，你是否需要努力降低测量系统噪声？——我知道MSA的基础知识及其对响应的影响？那么如何在DOE层面运用这些呢？
回复：每个 DOE 的努力谢谢@statman
抱歉，不是 7，而是使用自定义设计运行了 10 次，其中 7 次仅改变了两个连续变量。
3. 听起来你的研究有很多噪音。也许你需要一个更好的策略来处理这些噪音（例如，RCBD、BIBD、裂区分析）——如何在 JMP DOE 中使用这些策略？
4. 我对情况基本一无所知，我建议从 COV/DOE 前的取样开始。如何进行 COV 研究以及如何在 DOE 前选择合适的取样数量？通常我会将整个 DOE 的样本量设置为 38-52 个（即整个 DOE 的单元数）。
4. R^2 只是评估模型的几个统计数据之一（而且并非最佳）。——那么，您能告诉我其他评估模型的最佳统计数据是什么吗？我总是会寻找模式、CI、失拟量、参数估计，有时还会寻找正则化 RMSE。
回复：每个 DOE 的努力谢谢@Victor_G
没有，从未尝试评估噪音原因，因为在制造最终电池之前涉及很多工序。
我没有发现残差中的任何特定模式。
由于这是该工艺的首次实验设计（并非我的经验），我预计不会出现任何多项式或交互效应。我们还没有使用任何机器学习方法。
阻断是尚未完全完成的一件事，但它将如何增加优势，因为如果所有细胞都在同一天、相同的仪器、由同一个人、使用相同的材料完成。
回复：每个 DOE 的努力我认为，任何设计的任何分析都存在一个最小 R^2 值。R^2 只是一个数值，它有助于阐明特定模型所能解释的变异性。你的分析目标并非获得“良好的统计数据”……而是满足你的实验目标和目的。所以，如果这些目标和目的没有得到满足……我根本不在乎 R^2 和任何其他统计数据。至于你提出的另外三个问题“我如何找到这些”……这些问题可以通过领域知识、实验操作、过往经验以及你能运用到手头问题中的任何第一性原理知识来解决。所以，让我开始尝试提供帮助。
1. 关于级别，如果你真的不知道该如何设置级别，那么 DOE 可能为时过早。我不太推荐它……但如果你完全不知道，也许是时候进行一次一个因素的试验，看看能否找到那些级别了。
2. 潜在因素……这时领域知识就发挥了重要作用。例如，你可能需要用两台不同的“机器”进行实验……你希望它们是相同的……但又想防止它们对响应的影响出现不一致的情况。这时，某种形式的阻断就派上用场了。或者有些因素很难改变……比如容器中的温度，所以你想限制温度的随机化，先将所有低值一起运行，然后再运行高值。在这种情况下，建议使用所谓的“裂区”设计（只是阻断的一种形式）。思考实验及其周围环境，并运用你的领域知识来防范或至少解释这些潜在因素。此外，我总是尽量在实验进行的每一刻都在场，以便“观察”任何可能存在可疑的情况。
3. 早在你计划实验的时候，你是否花了一些时间头脑风暴，思考所有可能产生影响的因素？希望答案是肯定的，并且你列了一个清单，并保存了这份清单。也许在分析之后，是时候重新审视这份清单，尝试一些其他因素了？
4. 关于测量系统变异，我们通常使用的经验法则是，测量系统变异最好是我们试图寻找的信号变异的1/4。您的情况可能完全不同。
希望这有帮助吗？
