为什么我的混料设计的功效如此之低,即使效应大小为 20 个标准差?大家好,
我会很感激任何建议。我正在帮助我公司的一位科学家设计一个包含 5 种成分的混合实验。我们希望测量主效应和一阶相互作用。
我要求科学家提供成分浓度的最小值和最大值、测试精度标准偏差,并估计主要成分的影响大小。我依靠 Power 来决定需要运行多少次。主要成分的影响大小约为 20 个标准差。我发现运行 30 次,这种成分的功效只有 0.168。对于 60 次运行,它是 0.33。
20 个标准差的效应量显然非常大,所以我不明白为什么这种情况下的 Power 如此之低。
我通过使用适当的系数和标准差对 5 个响应变量实例的结果进行了进一步研究,在所有 5 个实例中,具有大效应量的成分均具有统计学意义(p < 0.001)。
我能做些什么?我不确定我是否相信这种情况下的功率计算。我是否遇到了功率计算的限制?我如何提供有关所需运行次数的指导?
这位科学家的设计目标是完全合理的,我感到很沮丧,因为我不能给他他需要的指导。
非常感谢!如果您愿意看一下,我附上了带有模拟响应的模型的功率、.jmp 设计和文本输出的屏幕截图。

美国能源部回复:为什么我的混料设计的功效如此之低,即使效果大小为 20 个标准差?在确定混合设计的大小时,您可能希望按照 Brad 的建议进行操作,并以与优化响应的响应曲面设计相同的方式看待它们。 在这种情况下,请考虑使用设计空间的一部分(FDS) 图检查您的实验已经足够大,使您能够准确地预测您的平均响应,就像您对 RSM 设计所做的那样。
混合模型中的配方成分或成分之间的相互作用实际上是混合:两种成分、成分的两部分混合、三种成分、三部分混合,等等。 组件之间的这些交互或混合会导致响应出现曲率,这就是为什么您在舍夫模型。 当您包括混合时,您通常会尝试构建一个模型来寻找最佳配方,就像您可能会寻找从涉及过程因子的响应面实验中得出的最佳配方一样。 因此,使用 FDS 图来评估混料设计的能力,就像设置响应面一样。 由于所有好人在此线程上提到的所有充分理由(例如,多重共线性和飙升的 VIF),功效计算不仅不适合响应面目标,而且也不适合混合设计。
回复:为什么我的混料设计的功效如此之低,即使效果大小为 20 个标准差?您应该将混合实验视为响应面实验,而不是筛选实验。 由于由于混合约束,主效应和主效应之间的内在相关性与二因子交互作用,系数估计实际上是没有意义的。 因此,混合实验很难进行模型选择。 一种可能性是考虑将所有双因素交互作为一个组来考虑。 如果回归平方和没有显着下降,则可以消除所有这些影响。 一般来说,消除个体效应的效用值得怀疑。
然而,实验区域内新响应的预测方差通常非常低,尤其是在误差方差不大的情况下。 因此,您可以依靠预测并根据您想要的响应选择新的操作设置。
回复:为什么我的混料设计的功效如此之低,即使效果大小为 20 个标准差?马克和丹的建议真的很棒! 关于混合设计(或任何优化设计策略)的关键点是,理论上,您已经筛选出不重要的变量(可能通过多次迭代,从粗体级别设置开始)并且您现在正在尝试优化一个(或可能更多)响应变量。 统计意义(和相关统计数据)不再那么重要。 通常,将系数相互比较以确定相对重要性,但是在混合实验中,项的顺序会影响相对重要性。还X 1 X 2不被解释为交互,而是非线性的混合关系(我认为它是对线性的背离)。

回复:为什么我的混料设计的功效如此之低,即使效果大小为 20 个标准差?伪分量编码会使范围尽可能大,但仍然可能不是很大。 对于狭窄的范围,您只能做这么多。 建模很可能无法区分纯线性模型(对于两个分量:Y=B1*X1 + B2*X2)和纯二次模型(Y=B11*X1*X2)。 您无法确定模型中的哪些效应是真实的,因为它们是相互关联的,并且看起来非常相似,尤其是在所选范围内。 因此,低功率。
回复:为什么我的混料设计的功效如此之低,即使效果大小为 20 个标准差?感谢大家对我的问题的关注!
JMP 通过减去最小值将变量编码为伪分量。 我认为这将解决与受限范围相关的问题。回复:为什么我的混料设计的功效如此之低,即使效果大小为 20 个标准差?马克的所有好建议还有几点要补充。 配方中的低功率通常是由狭窄的因子范围引起的,在这种情况下确实如此。 此外,混合实验中的功率概念很难思考。 功效是检测到真实效果的概率。 如果 X3 有影响,那么其他因素(至少组合起来)是否有意义,因为它们必须相对于 X3 发生变化? 人们常常认为权力好像这些因素是独立的,但实际上并非如此。
最后,请记住,双向项是 Scheffe 混合模型中的二次项,并描述了沿实验窗口边缘的曲率。 沿着该边缘,在不受约束的情况下,您可能具有如下所示的形状:

这确实是一个很大的影响。 但是,因为您将范围限制为(大致)0 到 0.1,所以您实际上是在估计这个形状:

即使放大,它看起来也好不了多少:

看起来很大的影响,由于与其他因素的相互作用和范围的限制,可能没有你想象的那么大。 换句话说,该模型将很难区分纯线性模型或纯二次模型——它们在这个狭窄的范围内无法区分。 仅复制并不能充分解决此类问题。
所以,功率是一件好事,但在许多混合实验中,重点更多地放在预测响应上。 正如 Mark 所说,即使在低功耗的情况下,您也可以获得非常好的预测模型。
回复:为什么我的混料设计的功效如此之低,即使效果大小为 20 个标准差?通常,但并非总是如此,我们进行混合实验以优化某种配方,而不是筛选组件。 我们对权力没那么感兴趣。 相反,我们对候选设计可能的模型预测性能感兴趣。 即便如此,在不受约束或独立因素的情况下,这种性能也不会像我们习惯的那样好。
你的情况没有什么新鲜事。 您之前只是不知道该问题或其根源。 尽管存在相关性以找到最佳混合物,但我们已成功使用此类设计数十年。
我建议 ”配方开发策略:使用 JMP 的分步指南” 由 Ronald Snee 和 Roger Hoerl 作为参考,以防您需要。 这个建议不是背书,因为还有其他关于混合实验的优秀教科书,但这个是严谨和实用的。
回复:为什么我的混料设计的功效如此之低,即使效果大小为 20 个标准差?非常感谢马克的详细回复。 得到一些指导是一种解脱。
我对成分 3 使用了系数“200”来进行功率计算和模拟(RMSE 为 1)。 因为成分 3 在设计中的范围从大约 0 到大约 0.1,所以我判断这会产生大约 20 个标准差 (200 * 0.1) 的效应大小。
从我幼稚的观点来看,我以一致的方式设置了功率计算和模拟。 当我拟合模拟数据时,模型的 RMSE 约为 1,响应范围约为 0 - 20,因此它似乎仍然不稳定。 这种想法有错误吗?
回到根本问题...您已经看到变量之间存在很多相关性,这会夸大估计值的方差。 这是否意味着即使运行 60 次也无法估计具有 5 个成分、主效应和一阶交互作用的混合设计?
我有一个备用计划,仅使用具有主要影响的模型来估计功率,一旦收集到数据,就可以将任何交互作用的估计视为“奖励”。 你怎么看待这件事? 是不是太失败主义了?
非常感谢。 我非常感谢您的洞察力。回复:为什么我的混料设计的功效如此之低,即使效果大小为 20 个标准差?这是使用具有 30 次运行的设计所产生的相关性的颜色图。

这种相关性夸大了估计的方差,如估计效率大纲所示:

您的模拟使用 400 个标准差的相对效应,而不是 20 个。 我使用 10 的系数来对应大小为 20 的效果。 JMP Pro 提供了一个内置功能,可以非常轻松地模拟数据,并为每个重新采样快速生成结果,例如拟合最小二乘法中参数估计值大纲中的估计值列。 这是从 2500 次模拟中估算出的成分 5 的结果。

我附上了模拟中的表格,以便您可以自己探索它。
要记住的混料设计和建模的另一个方面是 JMP 针对参数为 0 的原假设进行检验。 该测试在线性模型的通常上下文中是有意义的,而预测变量之间没有约束。 它不仅仅是一个没有截距项的模型。 截距是线性效应估计值的一部分。 因此,线性参数的检验应该针对参数是平均响应的零假设。
回复:为什么我的混料设计的功效如此之低,即使效果大小为 20 个标准差?谢谢回复! 我了解多重共线性如何降低设计功效,但这难道不应该影响我的模拟数据模型中的回归系数吗? 为什么多重共线性对幂的破坏性如此之大,但对回归系数却没有?
回复:为什么我的混料设计的功效如此之低,即使效果大小为 20 个标准差?混合分量总和为 1 的约束引入了参数估计之间的相关性。 这种相关性夸大了参数估计的标准误差,从而降低了功效。 如果你...
- 使用总和 < 1,
- 用下限 > 0 或上限 < 1 限制组件范围,
- 包括对组件的线性约束,
- 在模型中包含高阶项,
相关性越高,效果越明显。
检查设计评估大纲中相关性的颜色图。