为什么我的混合设计的功效如此低,即使效应大小为 20 个标准差?大家好,
我将不胜感激任何建议。我正在帮助公司的一位科学家设计一个包含 5 种成分的混合实验。我们希望测量主效应和一阶相互作用。
我要求科学家提供成分浓度的最小值和最大值、测试精度标准偏差,并估计主要成分的效应大小。我依靠 Power 来决定需要运行多少次。主要成分的效应大小约为 20 个标准差。我发现 30 次运行后,该成分的功效仅为 0.168。对于 60 次运行,该值为 0.33。
20 个标准差的效应量显然非常大,所以我不明白为什么这种情况下的功效如此之低。
我通过使用适当的系数和标准差模拟响应变量的 5 个实例的结果进行了进一步研究,并且在所有 5 个实例中,具有大效应量的成分具有统计显着性 (p < 0.001)。
我能做些什么?我不确定我是否相信这种情况下的功率计算。我是否遇到了功率计算的限制?我如何提供有关所需运行次数的指导?
科学家的设计目标是完全合理的,但我因无法给他所需的指导而感到沮丧。
非常感谢!如果您愿意看一下,我附上了电源、.jmp 设计和模型的文本输出以及模拟响应的屏幕截图。

质量和工艺工程回复:为什么我的混合设计的功效如此低,即使效应大小为 20 个标准差?在调整混合设计大小时,您可能需要按照 Brad 的建议进行操作,并以与优化响应的响应曲面设计相同的方式对待它们。 在这种情况下,请考虑使用设计空间的分数(FDS) 图来检查您的实验大小是否足够,使您能够精确预测平均响应,就像 RSM 设计一样。
混合物模型中配方组分或成分之间的相互作用实际上是混合:两种组分、成分的两部分混合物、三种组分、三部分混合物等。 组件之间的这些相互作用或混合会导致响应出现曲率,这就是为什么您在方程中看不到纯二次项的原因。舍夫模型。 当您包含混合时,您通常会尝试构建模型来寻找最佳配方,就像您从涉及过程因素的响应面实验中寻找最佳结果一样。 因此,使用 FDS 图来评估混料设计的能力,就像设置响应面一样。 出于所有好人在该线程中提到的所有充分理由(例如,多重共线性和飙升的 VIF),功效计算不仅不适合响应面目标,而且也不适合混合设计。
回复:为什么我的混合设计的功效如此低,即使效应大小为 20 个标准差?您应该将混合实验视为响应面实验而不是筛选实验。 由于混合约束导致主效应和双因素相互作用的主效应之间存在内在相关性,因此系数估计实际上毫无意义。 因此,通过混合实验进行模型选择是非常困难的。 一种可能性是考虑将所有两因素相互作用作为一个整体删除。 如果回归平方和没有显着下降,那么您可以消除所有这些影响。 一般来说,消除个体效应的效用值得怀疑。
然而,实验区域内新响应的预测方差通常相当低,特别是当误差方差不大时。 因此,您可以依靠预测并根据您所需的响应选择新的操作设置。
回复:为什么我的混合设计的功效如此低,即使效应大小为 20 个标准差?马克和丹的建议真的很棒! 关于混合设计(或任何优化设计策略)的关键点是,理论上,您已经筛选出了不重要的变量(可能通过多次迭代,从大胆的级别设置开始),并且您现在正在尝试优化一个(或可能多个)响应变量。 统计显着性(以及相关统计数据)不再那么重要。 通常,将系数相互比较以确定相对重要性,但是在混合实验中,项的顺序会影响相对重要性。还X 1 X 2 不被解释为交互,而是被解释为非线性混合关系(我认为它偏离了线性)。

回复:为什么我的混合设计的功效如此低,即使效应大小为 20 个标准差?伪分量编码将使范围尽可能大,但仍然可能不会很大。 你只能在狭窄的范围内做这么多。 建模很可能无法区分纯线性模型(对于两个分量:Y=B1*X1 + B2*X2)和纯二次模型(Y=B11*X1*X2)。 您无法确定模型中的哪些效应是真实的,因为它们是相互关联的,并且看起来极其相似,尤其是在选定的范围内。 因此,功率低。
回复:为什么我的混合设计的功效如此低,即使效应大小为 20 个标准差?感谢大家对我的问题的关注!
JMP 通过减去最小值将变量编码为伪分量。 我认为这可以解决与限制范围相关的问题。回复:为什么我的混合设计的功效如此低,即使效应大小为 20 个标准差?在马克的所有伟大建议中还有几点需要补充。 配方中的低功效通常是由较窄的因子范围引起的,在本例中确实如此。 此外,混合实验中的功率概念很难理解。 功效是检测到真实效果的概率。 如果 X3 产生影响,那么其他因素(至少在组合中)产生影响是否有意义,因为它们必须相对于 X3 发生变化? 人们常常认为这些因素是独立的,但实际上它们并不是独立的。
最后,请记住,双向项是 Scheffe 混合模型中的二次项,描述沿实验窗口边缘的曲率。 沿着该边缘,在不受约束的情况下,您可能会得到如下所示的形状:

这确实是一个很大的作用。 但是,因为您将范围限制为(大致)0 到 0.1,所以您实际上是在估计此形状:

即使放大后,看起来也好不了多少:

由于与其他因素的相互作用以及范围的限制,看似很大的影响可能并不像你想象的那么大。 换句话说,该模型很难区分纯线性模型或纯二次模型——它们在这个狭窄的范围内无法区分。 仅靠复制并不能充分解决此类问题。
因此,功率是一件好事,但在许多混合实验中,重点更多地放在预测响应上。 正如马克所说,即使功耗较低,您也可以获得非常好的预测模型。
回复:为什么我的混合设计的功效如此低,即使效应大小为 20 个标准差?一般来说,但并非总是如此,我们进行混合实验来优化某种配方,而不是筛选成分。 我们对权力没那么感兴趣。 相反,我们感兴趣的是候选设计可能实现的模型的预测性能。 即便如此,在不受约束或独立因素的情况下,这种性能也不会像我们习惯的那样好。
你的情况没有什么新的。 您只是之前没有意识到这个问题或其根源。 尽管存在相关性,但我们已经成功地使用此类设计数十年,以找到最佳的混合物。
我建议 ”配方开发策略:使用 JMP 的分步指南”由 Ronald Snee 和 Roger Hoerl 撰写,作为参考,以防您需要。 这一推荐并不是对其他关于混合实验的优秀教科书的认可,但这一本是严谨和实用的。
回复:为什么我的混合设计的功效如此低,即使效应大小为 20 个标准差?非常感谢马克的详细回复。 得到一些指导是一种解脱。
我对 Ingredient3 使用系数“200”进行功效计算和模拟(RMSE 为 1)。 由于设计中 Ingredient3 的范围约为 0 到约 0.1,因此我判断这会产生约 20 个标准差 (200 * 0.1) 的效应大小。
从我天真的观点来看,我以一致的方式设置了功率计算和模拟。 当我拟合模拟数据时,模型的 RMSE 约为 1,响应范围约为 0 - 20,所以它看起来仍然很活跃。 这种想法有错误吗?
回到根本问题...您会发现变量之间存在很多相关性,这会夸大估计值的方差。 这是否意味着即使运行 60 次,也无法估计包含 5 种成分、主效应和一阶相互作用的混合物设计?
我有一个后备计划,即仅使用具有主效应的模型来估计功效,并且一旦收集了数据,就将任何对相互作用的估计视为“奖励”。 你怎么看待这件事? 是不是太失败了?
非常感谢。 我非常欣赏这种洞察力。回复:为什么我的混合设计的功效如此低,即使效应大小为 20 个标准差?以下是使用 30 次试验的设计所得出的相关性颜色图。

这种相关性扩大了估计的方差,如估计效率大纲中所示:

您的模拟使用 400 个标准差(而不是 20 个)的相对效应。 我使用系数 10 来对应大小为 20 的效果。 JMP Pro 提供了一个内置功能,可以非常轻松地模拟数据并快速生成每次重新采样的结果,例如拟合最小二乘中参数估计大纲中的估计列。 以下是 2500 次模拟中成分 5 的估计结果。

我附上了模拟的表格,以便您可以自己探索。
混合设计和建模需要记住的另一个方面是 JMP 针对参数为 0 的原假设进行测试。 该测试在线性模型的通常背景下是有意义的,并且预测变量之间没有限制。 它不仅仅是一个没有截距项的模型。 截距是线性效应估计的一部分。 因此,线性参数的检验应该反对参数是平均响应的原假设。
回复:为什么我的混合设计的功效如此低,即使效应大小为 20 个标准差?谢谢回复! 我了解多重共线性如何降低设计功效,但这是否也会影响我的模拟数据模型中的回归系数? 为什么多重共线性对功效的损害如此之大,但对回归系数却没有影响?
回复:为什么我的混合设计的功效如此低,即使效应大小为 20 个标准差?对混合分量总和为 1 的约束引入了参数估计之间的相关性。 这种相关性增大了参数估计的标准误差,从而降低了功效。 如果你...
- 使用总和 < 1,
- 将组件范围限制为下限 > 0 或上限 < 1,
- 包括对组件的线性约束,
- 在模型中包含高阶项,
相关性越高,效果越明显。
检查设计评估大纲中相关性的颜色图。