为什么要在实验设计中加入重复试验?(设计对比)你好,
我理解设计重复实验的作用(帮助)。运行重复实验有助于了解一般的实验误差(噪声?)。
但是,当您比较使用和不使用重复项生成的自定义设计(保持相同的总运行次数)时,您会发现,在大多数情况下(如果不是所有情况),不使用重复项的设计比使用重复项的设计表现更好。
我创作了两款设计:
- 设计 1(重复实验)
- #3 因子、二阶交互作用和二次函数
- 总共跑了13分
- 2 鲕粒
- Design 2 (No Replicates)
- #3 因子、二阶交互作用和二次函数
- 总共跑了13分
- 0 雷皮卡特斯
对比各设计方案后,评估结果表明:
- 功效分析:方案 2 > 方案 1
- 设计空间占比:设计 2 > 设计 1
- 相关性:设计 2 > 设计 1
- 当限制运行次数时,选择有重复试验的设计而不是没有重复试验的设计,是否存在可量化的理由?
显然,运行次数增加(设计 2 + 重复)会得到更好的设计,但如果是这样的话,为什么我不让 JMP 在运行次数增加的情况下再次优化出最佳设计(不进行重复)呢?
2. 包含复制品的概念是否是传统设计的产物,而较新的定制设计平台通常可以通过算法提供更好的设计?



实验设计视窗回复:为什么要在实验设计中加入重复试验?(设计比较)你好@MetaLizard62080 ,
我对你所展示的情况和对比并不感到意外。接下来,我们来解释一下原因:
首先,区分“副本”和“重复运行”非常重要。在 JMP 中,有两种选择:
- 在“经典设计”中,JMP 会显示“重复次数”,这里指的是每次运行的执行次数(即除了原始运行/设计之外,执行整个设计的次数)。您也可以在“增强”平台中使用此选项: 复制设计
- 在“自定义设计”中,JMP 会显示“重复运行次数”,这里指的是要重复运行的次数。您在帖子中使用了此选项。
根据您的设置,您的设计包含 3 个因子,并假设采用响应曲面模型(包含所有主效应、交互效应和二次效应)。对于 3 个因子,这意味着您需要估计 10 个项:1 个截距、3 个主效应、3 个双因子交互效应和 3 个二次效应。因此,最小运行次数设计至少应包含 10 次运行。
利用这额外的 3 次机会,确实有两种选择:
- 将这些运行用作重复运行,以改进对某些效应的估计,并有可能进行拟合优度检验。
- 让自定义设计从 27 种可能的独特组合中选择要在设计中添加的其他单元;由于您假设一个完整的 RSM 模型,每个因子都可以在 3 个水平上看到,因此独特的因子组合数量为 3^3 = 27。
选项 1 可以比不使用重复试验更准确地估计某些效应。在您的设计中,第 2 次和第 5 次试验以及第 6 次和第 11 次试验是重复试验。如果您查看设计比较报告,可以看到此设计选项 1 可以略微降低交互效应估计的相对标准误差(因此这些效应的相对估计效率略高于 1)。此外,由于您使用了重复试验,因此可以使用失拟检验,这有助于评估模型的适用性(以及其他可视化工具,例如实际值与预测值对比和残差分析/可视化)。
选项 2 允许您测试除模型效应估计绝对必需的 10 个因子组合之外的其他因子组合。这有助于降低项之间的相关性,并更好地覆盖设计空间,从而降低项之间的相关性( 参见相关性颜色图),并整体降低平均方差预测值。
关于您的问题,没有标准答案,因为这取决于您的需求(和习惯):
- 您或许会更有信心通过重复试验来运行拟合优度检验,从而评估模型的适用性;或者通过重复试验来更精确地估计特定效应项。请注意,对于最后一点,A-最优设计可能更合适,因为它可以通过A-最优参数权重来定义您希望比其他效应更精确估计的效应。更多信息,请参阅“为什么二次因子在实验设计中的功效如此之低” 。
- 为了确保对这些效果进行相对无偏的估计,您可能希望尽可能减少效果之间的相关性,因此让自定义设计从所有可能的组合中选择最相关的组合是有意义的。
关于你的第二个问题,我认为这取决于你的研究领域。有些领域总是会进行重复实验,甚至多次重复实验,因为这些领域的系统变异性非常高(例如生物系统)。所以,这取决于你预期得到的信噪比。在某些行业,重复实验是研究的强烈推荐或强制要求。
但从总体上看,自定义设计将提供与您的参数相关的最佳设计,因此,如果您没有强烈的动机使用重复运行,我建议让算法选择信息量最大的运行。
希望这个回答对您有所帮助。
回复:为什么要在实验设计中加入重复试验?(设计比较)我有几点建议,您可以忽略。首先,要谨慎对待设计评估统计数据。这些数据都是基于先验假设,而实际情况可能未知。其次,重复实验的方法不止一种。如果您使用随机区组设计(RCBD)或基于个体的实验设计(BIB),则可以在提高设计精度的同时扩大推断空间。
回复:为什么要在实验设计中加入重复试验?(设计比较)感谢@Victor_G 的回复,
我在制药工艺开发领域工作。我成功运用过两种设计方法(模型能够提供有意义的结果,从而改进工艺)。正因如此,我不太确定哪种方法“最佳”。我个人认为,如果我们可以信任 JMP 设计评估,那么我倾向于选择方案二。 @statman指出(他的观点是正确的),这确实是一个假设。
总的来说,我的许多同事完全不认同“无需重复实验即可得出统计结论”这种观点。我认为这源于重复实验本身提供的直观性,以及他们对JMP自定义设计器所使用的抽象概念的理解困难。需要说明的是,我们都不是统计学家,我们对统计方法的理解程度也各不相同(从浓厚的兴趣和广泛应用,到对统计学普遍抱有恐惧或不信任)。
出于好奇,您在陈述的最后提到,选项 2 是更好的选择。为什么您的直觉/习惯会倾向于这个选项呢?
回复:为什么要在实验设计中加入重复试验?(设计比较)你好@MetaLizard62080 ,
我完全理解你的处境,实际上我也感同身受(就背景而言,我是一名化学配方工程师)。
我的一些同事在为实验室创建和推荐设计方案时,也更倾向于推荐带有重复实验的设计方案;这样,就可以用一种简单直观的方式来评估实验的纯误差/可重复性。
我理解他们的观点,但我对这种情况并非完全放心。即使我们解释了重复实验背后的原理,有些人为了节省时间,也会选择进行重复测量而不是重复运行,因为他们认为重复实验是浪费时间和材料。因此,最终我们能够观察/分析的并非实验装置的纯粹误差/完全可重复性(包括实验误差和测量误差),而仅仅是测量误差,这会导致对纯粹误差的评估过于乐观。
对于没有重复试验的设计(例如您案例中的设计 2),使用其他组合运行作为额外运行可以探索设计空间中的更多组合,提高统计功效,降低大部分设计空间中的预测方差。如果实验预算足以支持该主题且模型不太复杂,这些额外运行将有助于估算误差/方差。关于模型评估,不使用重复试验或重复运行将无法进行拟合优度检验,但有足够的工具和可视化方法可以评估设计的充分性。此外,在某些设计情况下(例如确定性筛选设计),不能添加重复运行,因为这可能会导致项之间产生相关性(例如主效应和交互作用),并且由于设计结构发生变化,某些分析方法将无法使用(例如确定性筛选拟合) 。
因此,最终这更多地取决于假设和习惯,以及对实验装置和测量系统的了解程度。我倾向于推荐一种循序渐进的方法,先进行范围界定设计(初步测试),以评估装置的变异性、曲率和可重复性,然后再推荐一个全面探索该主题的设计(在实验预算允许的范围内)。
这个问题没有“完美”答案,但我希望我的回答能帮助你确定最适合你使用场景的方案。