我应该考虑 DOE 中的功率分析吗?有人告诉我,在评估 DOE 时,我们需要保持功率 >=80%,但为什么使用 PB 设计时功率如此低? 例如,如果我用 11 个因子进行 12 次实验,功效约为 0.27。 我可以相信这种低功耗的设计吗? 谢谢。
实验设计回复:我应该考虑 DOE 中的功率分析吗?@Victor_G的答案真的很好。
关于问题 2,我想补充一点,你不能仅根据 alpha = 0.5 和 RMSE = 1 来计算功效。 正如我在之前的回复中所说,您还需要估计需要检测的信号大小。
我还要补充一点,在 Excel 中计算幂并不容易。 我不建议尝试这个。
如果您真的想了解功率,我建议您运行一些模拟。
1. 创建您的实验设计
2. 确定一个模型来计算每次运行的响应,其中包含每个“活跃”因子效应的参数(在 JMP 中,这些是“预期系数”)
3. 向每个响应值添加随机噪声(例如,标准差为 1,平均值为 0)
4. 分析模拟数据以确定主动效应在您确定的 alpha 水平上是否显着(最常用的是 0.05,0.5 将是一个奇怪的选择!)
5. 使用新的随机噪声重复步骤 3 和 4 多次。
6. 计算每个有效效果被宣布显着的次数
您应该发现主动效应被声明显着的次数比例与 JMP 计算的功效相匹配。
这种模拟是在 JMP Pro 中非常容易做到。 事实上,它用于以下情况先验功率估计是不可能的。 例如,响应是二进制的。 我曾经用它来帮助营销公司确定实验的力量,以了解影响对其促销活动的响应(响应/不响应)的因素!
在 JMP 中进行此类模拟会花费更多精力,并且需要编写一些脚本。 但我仍然认为这比尝试在 Excel 中计算幂更能有效利用时间。
回复:我应该考虑 DOE 中的功率分析吗?添加到@Victor_G的解释中,“宏观”观点具体用方差分析表中的F比来回答。 原假设是只有截距参数不为零。 另一种假设是不仅截距不为零。 “微观”视图是效果测试提供的术语级别测试或参数估计提供的参数级别。 效果测试针对整个术语,而参数估计测试针对各个参数。 除非您有超过两个水平的分类因素,否则它们是相同的。 效果测试可能在模型选择中更有用,因为通常您删除一个项,而不是一个参数。 效果检验基于 F 比,参数估计基于 t 比。 t 比率是(估计值 - 假设估计值)/估计值的标准误差。 他们假设这些测试的值为零(没有效果)。
回复:我应该考虑 DOE 中的功率分析吗?你好@lazzybug ,
我会尽力回答您的问题:
1. 在 DoE 中,您可以在“宏观”视图(模型本身)和“详细”视图(每个参数的重要性)中实现假设检验。 这可以在 DoE 响应建模的“拟合最小二乘”报告中看到,其中为一般模型给出了 p 值(在“实际与预测”可视化下),让您了解模型的重要性与“效果汇总表”中每个因素的值和 p 值的平均值的比较。
- 在“宏观”观点(整个模型)下,零假设是:响应的变化与因子的变化不相关(或者因子的估计值接近于 0)。 另一种假设是响应的变化与至少一个因素相关(或者至少一个因素的估计值与 0 显着不同)。
- 在“详细视图”下(对于每个因素),原假设为:该因素对最终结果没有影响(水平(-1)=水平(+1))。 备择假设:该因素对最终结果有影响(级别(-1)!=级别(+1))。
该主题的有趣资源:多变量分析实验设计的基础知识 - JMP 用户社区
2. 不确定在哪里和/或如何找到它,但您可以在这里找到答案:
功率计算 (jmp.com)
预期样本量和功效 (jmp.com)
您还可以在示例数据索引中查看不同的计算器和模拟:帮助 -> 示例数据 -> 教学资源,或者在统计索引中然后搜索“power”。
@菲尔_凯和其他 JMP 技术专家将能够完成或更正我的答案:)
我希望这能帮到您,
回复:我应该考虑 DOE 中的功率分析吗?嗨,维克多,非常感谢您提供的材料。 我会把DSD引入到我们组以后的优化工作中。
您能解释一下我关于能源部的问题吗?
1. 我知道统计中的 I 类和 II 类错误,以及我们如何将它们应用到 DoE 中。 例如,I 型错误(alpha):H0 为真,我们拒绝它的机会。 II型错误(beta):Ha为真,我们接受H0的机会。 对于特定的 DoE,H0 和 Ha 是多少?假设我们有 6 个因素,我们是否应该有 6 个零假设,每个假设都像 H0:级别 (-1) = 级别 (+1),Ha:级别 (-1)!=级别 (+1)?
2. 您是否有一个示例来解释我如何根据 alpha = 0.5、RMSE =1(如 JMP DoE 中所示)手动计算主效应、交互作用和二次项的功效? 我想用Excel手动计算功率。
再次非常感谢您的帮助。
回复:我应该考虑 DOE 中的功率分析吗?你好@lazzybug ,
由于您的目标是从大量因素中检测出哪些因素是重要的,因此您肯定会使用筛选设计。
根据我的阅读,有两种主要设计可能非常适合您的情况,具体取决于因素的类型和数量:
- D-最优定制设计(通过“定制设计”平台,指定您的因素和范围,JMP将为您的实验空间找到最佳设计)。 一个非常方便的设计平台,为因素类型提供了很大的灵活性,可以限制随机化(当你有难以改变的因素时),并且可以添加协变量、块因素......
- 明确筛选设计,当您想要以非常有效的方式筛选大量因素(对于 5 个以上因素有用),但这种类型的设计有限制:只能是连续或 2 级分类因素,并且无法添加分块因子(例如,如果每次设备运行只能测量 10 次实验,则可以为每次运行添加 10 次测量的分块因子,以考虑不同设备运行之间的差异)。 但是,如果重要因素数量较少,您也许可以使用此设计来筛选交互作用和二次效应,这使其非常高效。 值得注意的是,主要效应彼此不相关(正交),并且与双因素相互作用和二次效应也不相关(正交)。
您还可以尝试更经典的方法(例如 Plackett-Burmann 筛选设计),但这些经典设计有时可能很难适应特定问题。
最后,设计的选择将是您在实验设置(因素的数量和类型、约束、最大实验数量……)和设计规范/特性之间可以找到的最佳折衷方案。 我强烈建议尝试不同的设计和运行次数,并使用“比较设计”平台(DoE -> 设计诊断 -> 比较设计)对每个设计的优点和缺点有一个很好的概述,以确定哪种设计和设置将针对您的特定主题做出最佳妥协。
无论您选择哪种设计,一旦完成筛选并确定重要因素/主效应,您就可以增强您的设计,以创建完全自定义的响应面来优化这些因素。
有关最终筛选设计的一些资源:
明确筛选设计:简单定义、何时使用 - 统计方法
明确筛选设计 - JMP 用户社区
对确定性筛选设计的强大分析:利用其特殊性... - JMP 用户社区
希望对你有帮助,
回复:我应该考虑 DOE 中的功率分析吗?@Victor_G和@菲尔_凯,非常感谢您的解释。 了解功率和 RMSE 对我来说非常有用。 我还有一个问题。 对于我的实验,我只想通过筛选设计来检测许多因素中哪些因素对我的响应很重要,然后我将使用响应面来优化这些选定的因素。 在实验之前,我不知道什么是RMSE,以及功率分析中要设置什么系数。 您能详细解释一下我应该如何设计我的实验吗? 再次感谢你。
我刚刚注意到这是一个提问的好地方。 我希望我早点认识这个社区。
回复:我应该考虑 DOE 中的功率分析吗?我同意一切@Victor_G说。 我只是想重申,只有在以下情况下,这种力量才有意义:
- 您知道需要检测的信号大小并且...
- 您对实验和响应测量噪声 (RMSE) 有良好的估计
(您还需要决定显着性水平)
缺少其中一项或两项是很常见的。 在这些情况下,功率仍然有用,但只能作为比较替代设计的一种方式。
如果您只是使用 JMP 中的默认信号和噪声估计值,那么担心功效是否低于 80% 是没有多大意义的。
我附上了一些我创建的幻灯片,用于解释 JMP DOE 中电力的工作原理。
我希望这有帮助,
菲尔
回复:我应该考虑 DOE 中的功率分析吗?你好@lazzybug ,
功效是指检测有效存在的显着效果的能力。
这 80% 是评估您的筛选设计是否能够有效检测主效应的实用经验法则,但请记住,功效计算不仅取决于设计(及其样本量),还取决于显着性水平(通常为 0.05)、要检测的差异大小以及响应的预期信噪比(或 RMSE)。
因此,如果您的预期 RMSE 较低(响应测量更精确且方差较低)和/或您想要检测的差异大小较高,您可能会期望效果具有较高功效。
在优化设计(混合设计、空间填充设计...)的情况下,考虑功率可能不是很有趣,因为它们的主要重点是响应预测精度,而不是估计计算精度。 但在筛选设计的情况下,权力是最重要的,就像你的情况一样。
很难判断我们是否可以相信您的设计包含这些信息,因为它不仅取决于设计本身及其期望(RMSE、显着性水平、要检测的差异大小……),还取决于您想要筛选的因素,您期望看到哪些显着的、预期的差异来检测...... = 领域专业知识。
也许您的一种解决方案是尝试计算不同的设计,以便比较不同筛选设计的优点和缺点。
查看自定义设计,如果我对 11 个连续因子进行 12 个实验(所需的最少运行次数),我发现主效应的功效也接近 0.21(因此,如果存在显着效应,则有 21% 的机会看到显着效应)。 但如果将游程数增加到 16(JMP 建议的“默认”设置),主效应功效将上升到 0.84。 如果实验成本不是太多,增加样本量可能会帮助您对自己的筛选能力更有信心。
希望对你有帮助,