模型简化你好,
根据用于 DOE 分析的 JMP 学习模型,可以从不显著的高阶交互作用(= 模型简化)开始,删除模型中的不显著项。
然而,事情真的这么简单吗?在删除不重要的项之前,还有其他事情需要考虑吗?删除不重要的项是否一定意味着该因素对您的输出/响应变量没有影响或影响很小?
此外,模型简化也适用于 REML/混合模型吗?
感谢您对此事的任何澄清。
萨拉
实验设计回复:模型简化事情没那么简单。删除模型项与否与 p 值的使用/滥用/误用等同。事实上,对我来说,这就像同一枚硬币的两面。
话虽如此,但我可以肯定地说,删除模型项并不意味着参数估计中涉及的因素“...对您的输出/响应变量没有或影响很小?”它只是意味着您决定在特定的推理空间中不将该项包含在模型中。这一决定与向上帝和所有愿意倾听的人宣告“没有或影响很小”相去甚远。也许您选择的水平(如果对设计实验进行建模)太窄,信号无法超越噪声。也许推理空间中的噪声压倒了因素的影响。不要让我开始解释“p 值”......所有项在某个 p 值下都是“显著的”。谁选择那个显著性值?根据什么标准?
在我看来,几乎任何建模方法(REML/混合和其他)都可以这样说。
回复:模型简化你好,P_Bartell,
我理解这个问题的复杂性。但是,我的理由是,在某个时候,您希望能够根据您执行的 DOE 的结果进行推断。否则,执行它的目的是什么...那么从实际的角度来看,您如何处理不重要的项?
谢谢
萨拉
回复:模型简化当然,Pete 的建议是正确且明智的。特别是推理空间问题。当你进行实验时,研究中的噪音有多具代表性?研究中如何处理噪音?(例如,你是否限制、阻止、重复、复制、用分割图进行分区)?MSE 的估计是否合理,它是否代表了真正的随机误差?如果不是,那么统计显著性就毫无意义。请记住,统计显著性是一个条件语句!
在进行模型简化时,您应该考虑以下事项:
1. 实际意义。这与统计意义无关,统计意义是将效应与 MSE 进行比较。这些因素/相互作用是否具有实际意义?换句话说,您应该根据科学或工程价值来评估模型。是否有合理且合乎逻辑的假设来支持识别有趣和不有趣的术语?
2. R 平方-R 平方调整后的增量。当您从模型中删除不感兴趣的项时,增量应该会减小。R 平方的大小也会调整。
3. 残差。它们看起来怎么样?删除项时是否有任何异常值、不寻常的模式等?
4. p 值。这些值在第一次切割时可能很有用,但随着迭代,它们就没那么有用了(或毫无用处)。不显著的均方会发生什么?它们被添加到 MSE 中,DF 本质上会降低 MSE 并以有偏的方式增加 F 值。
5. 实用。模型必须实用。任务不是创建你能得到的最复杂的模型,而是创建一个具有预测性和实用性的模型。
当然,JMP的优点之一是能够快速改变模型并重新评估。
回复:模型简化回答你的问题“否则,进行这项实验的目的是什么……”。我假设“它”是一个设计好的实验……我将从我承认有些偏颇的参考框架来回答这个问题,这个参考框架来自工业界,而不是研究环境。
毫无疑问,我们进行设计实验的主要目的不是“...做出推论...”。而是为了解决实际问题。我并不是说寻找“推论”(我将它定义为新的新颖知识)不值得努力...只是我们并没有找到自己的方向。那么进行这些设计实验的最终目的是什么?如果是为了解决实际问题...那么我会尝试两种方法...使用和不使用“不重要”项进行建模,并在解决手头的实际问题的背景下查看模型的效用。如果是新知识,那么我会考虑进行额外的实验,然后再做出“无影响/影响最小”之类的笼统陈述,以扩大不同噪音(供应商、设备、操作员、可扩展性等等)和干扰变量以及其他问题(如因子水平间距、测量系统噪音等)下的推理空间...而且这很少能通过一次实验完成。在我工作的地方,我们称之为“理解代表性风险”。
这是一个简单纯粹的说明性例子,但我们遇到的情况比我们任何人都想的要多得多。我们会在试验设备上运行 DOE,并推断“涂层速度”对感兴趣的响应没有影响。但随后我们扩大到生产设备……突然间“涂层速度”确实有影响。怎么会这样?新流程……新噪音。这是关于实验对未来条件的“代表性”程度。戴明详细阐述了与枚举研究和分析研究相关的问题。
枚举研究与分析研究
只有了解了这个广阔的前景,人们才能自信地做出“无影响或影响很小”之类的笼统陈述。
回复:模型简化考虑到这些回应,我认为 JMP DOE 学习模块过于简化了 DOE 的分析。
回复:模型简化公平地说,JMP 学习模块旨在介绍产品和“销售产品”。我花了 6 个月的时间通过多次动手实验和许多实际案例研究来教授实验设计的基础知识。恕我直言,在线教授这门课程几乎是不可能的(尽管我在 Covid 期间尝试过)。学习模块旨在介绍方法,并向可能没有任何先验知识的个人展示潜在的应用。在这些模块结束时,如果您能够确定哪些情况会从这些方法中受益,那么它们就达到了目的。
关于实验设计的使用,我和 Pete 的看法略有不同。恕我直言,有两个“动机”推动着调查工作:
1. 解释性——存在问题,你正在尝试了解问题及其可能的原因。当然,DOE 在这里可能有用,但我倾向于使用定向抽样和变异成分研究来了解这些事件。我当然可以通过 DOE 制造问题,但这可能不是问题发生的原因。
2. 预测——了解因果关系,使研究人员能够开发有用的预测模型。这是 DOE 的亮点,实际上没有其他方法能像 DOE 一样强大。
回复:模型简化谢谢你的解释。
查看更多...删除不重要的项可以简化模型,但重要的是要考虑上下文、模型假设和潜在的多重共线性。不重要的项并不一定意味着该因子没有影响;它可能表示功效不足或测量不当。模型简化也适用于 REML/混合模型,但必须谨慎。在我上大学期间,我经常寻求帮助来写我的学术论文。在进行了一些研究后,我偶然发现了 DoMyPaper,它有很多积极的评价。我决定访问
domypaper.com寻求帮助,结果证明这是一次很棒的体验。DoMyPaper 拥有一支专家团队,他们帮助学生提高写作技巧。现在,我依靠他们的服务来帮助我完成学术写作工作。
回复:模型简化嗨@SaraA ,
JMP 模块中的示例旨在为想要“入门”的非统计学家提供设计和分析基础知识。显然,数据集易于跟踪,分析也简化了,以便每个人都能理解和尝试。
但正如@statman提到的,建模的主题比“仅仅”依赖p值要广泛得多(有时也很复杂)。根据您的目标,您可能有不同的模型评估和选择路径:
- 解释模型 :在解释模式中,您更关注对响应确实有影响的术语,因此您可能会根据统计显著性(借助 p 值和预定义阈值,如 0.05)和实际显著性(估计值的大小,基于领域专业知识的选择)评估是否需要包含不同的术语。R²、R² 调整(以及两者之间的差异,需要最小化)可能是了解已识别术语解释多少变化的良好指标,并选择相关模型来解释您正在研究的系统。
- 预测模型 :在预测模式下,您更关注那些帮助您最小化预测误差的术语,因此,您可以通过实际与预测图的可视化以及误差的大小(残差图)来评估是否需要根据这些术语如何改善预测性能来包含不同的术语。RMSE 可能是评估哪些模型具有最佳预测性能的良好指标(目标是最小化 RMSE)。
您可能还对这两个部分的组合感兴趣,因此可以使用不同的指标来帮助您评估和选择模型,例如 信息标准 (AICc、BIC)有助于在模型的预测性能和复杂性之间找到一个折衷点。根据这些标准评估和选择模型时,这些标准越低越好。您也可以使用最大似然法,它类似但不包含对模型复杂性的惩罚。
我建议谨慎对待 p 值并避免“统计显著性崇拜”: 已解决:回复:统计显著性 - JMP 用户社区
要创建模型,JMP 中有很多平台可用( 拟合模型和广义回归模型、 拟合两级筛选、 拟合确定性筛选等),它们使用不同的技术、估计或验证标准,有时取决于您的设计选择。您可以尝试它们,看看您的模型如何以及何时一致,以及何时/何处不一致。尝试通过光栅图或更简单的图(例如此图)绘制不同结果的结果:

根据所使用的平台,您可以检查模型的一致性,并且使用适合您的目标的特定指标,您可以更轻松地选择一个或多个模型。
回到你最初的问题,在对响应进行建模时应该考虑统计意义和实际意义,并且生成的模型应该与领域专家进行对比以及进行实验验证。
希望这个补充答案能有所帮助,即使晚了,