Fit 最终筛查平台混乱运行 DSD 并点击“Fit Definite Screening”按钮后,程序输出以下内容:
- 第一阶段 - 主要效应估计
- 第二阶段 - 偶数阶效应估计 &
- 组合模型参数估计
- 以及预测分析器。
如果在第一阶段菜单中,Prob>|t| 值小于 0.01 表明有几个主效应显著,但在组合模型参数估计菜单中,这些效应的 Prob>|t| 值却达到 0.20 或更高,我应该如何解释这种情况?这是否意味着需要简化模型?
JMP 文档中提到,预测分析器是针对组合模型的——是指“拟合最终筛选”表中列出的组合模型,还是指该组合模型的简化形式?
我还想知道——我们是否每次分析后都需要选择“运行模型”并手动缩小模型规模?
实验设计回复:Fit Definitive 筛查平台的困惑你好@MJZ82 ,
最终主效应的p值有所增加,是因为其计算所用的自由度与第一阶段不同。第一阶段仅研究主效应,因此设计的自由度较高,故采用0.05的阈值来检测主效应。
在第二阶段,您已经使用了一些自由度将主效应纳入模型,因此,由于剩余的自由度较少,无法像第一阶段那样对高阶效应进行相同的检验,所以高阶效应需要使用更高的阈值 p 值(通常为 0.2)才能纳入模型。您可以在此处阅读更多关于方法论的信息: Fit 最终筛选平台的统计详情
在最终的组合模型面板中,p 值的计算方式如同将该模型中的各项同时输入到一个简单的最小二乘模型中一样,因此其 p 值与之前两个阶段计算出的 p 值不同(且更高)。最后显示的分析器对应于最终的组合模型。
我不会基于合并模型参数估计面板中的p值进一步简化模型,因为拟合最终筛选方法采用的是顺序方法:首先识别对响应变量影响的主效应,然后基于先前拟合的主效应模型的残差识别活跃的二阶效应。同时纳入所有项(如合并模型参数估计面板中所示)计算出的p值并不能反映识别和纳入模型项的过程,因此这些p值不可靠,可能存在偏差,不应仅基于此信息来决定是否移除某些项。此外,在拟合实验设计(DoE)模型时,必须考虑效应遗传性,因此,如果模型中存在显著的交互作用或同一因素的二次效应,则不应移除该效应的主效应。
您仍然可以尝试使用不同的建模平台,例如Fit 最终筛选平台、 Fit 两级筛选平台、 标准最小二乘模型、 广义回归模型等等,并比较这些方法识别出的共同术语和差异术语。建模的主题远比“仅仅”依赖 p 值要广泛(有时也更复杂)。根据您的目标,您可能需要采用不同的方法来评估和选择模型:
- 解释模型 在解释性模式下,您更关注那些对响应有影响的术语,因此您可以根据统计显著性(借助 p 值和预定义的阈值,例如 0.05)和实际意义(估计值的大小、基于领域专业知识的选择)来评估是否需要包含不同的术语。R²、调整后的 R²(以及两者之间的差异,需要尽量减小)可能是了解已识别术语解释了多少变异,并选择相关模型来解释所研究系统的良好指标。
- 预测模型 在预测模式下,您更关注那些有助于最小化预测误差的项,因此您可以根据实际值与预测值对比图以及误差大小(残差图)的可视化结果,评估是否需要包含不同的项,以及这些项如何提高预测性能。均方根误差 (RMSE) 可能是一个评估哪些模型具有最佳预测性能的良好指标(目标是最小化 RMSE)。
您可能也会对这两部分的组合感兴趣,因此可以使用不同的指标来帮助您评估和选择模型,例如 信息标准 (AICc、BIC)有助于在模型的预测性能和复杂度之间找到平衡点。基于这些标准评估和选择模型时,数值越低越好。
希望这个回答对您有所帮助。
回复:Fit Definitive 筛查平台的困惑感谢您的详细回复。
如果我的“组合模型参数估计”中列出的 9 个项(不包括截距)中只有 1 个项被证明是显著的,那该怎么办?
我的“第一阶段 - 主效应估计”列出了 5 个主效应中的 3 个显著。然后,我的“组合模型参数估计”列出了这 3 个主效应 + 3 个交互项 + 3 个二阶项。在这 9 个组合项中,只有 1 个二阶项显著,而其他许多项的 p 值都大于等于 0.20。
即使我在“组合”模型中的 9 个项中有 8 个没有显著的 p 值,通常也不建议在运行“拟合最终筛选”平台后尝试进一步减少模型输出吗?
回复:Fit Definitive 筛查平台的困惑正如我之前所述,组合模型中 p 值的计算方法(同时检验)与“拟合最终筛选”中基于效应的序贯分层检验的方法不同。这种“拟合最终筛选”可能比传统的检验和模型构建方法更敏感,因此即使第一阶段或第二阶段已经检测到某些项,最终的组合模型面板中也可能出现不具有统计学意义的项。
但这并不意味着这些术语在实践中不重要,或者对模型没有用处。
在评估多个模型时,验证回归假设(通过残差分析)、不同的指标(用不同的评估方法比较模型)以及领域专业知识来指导建模过程非常重要。