在缩小模型时何时去除异常值?你好,
当我简化模型时,我会观察外部学生化残差,以了解异常值何时出现。在整个模型简化过程中,我应该何时删除这些异常值?
如果当模型包含所有项时我没有看到异常值,但是当我删除一个项并且出现异常值时,您是否会立即删除该异常值并继续减少,还是继续减少然后在最后删除异常值?
实验设计视窗回复:在缩小模型时何时去除异常值?你好@MetaLizard62080 ,
您是否阅读过@statman和我对您之前的帖子“选择从 DoE 中排除 2 个相等异常值”的回复?
为了清楚起见,重复一遍,学生化残差可能是识别异常值的好方法 基于假设模型。有关如何计算学生化残差的更多信息,请参见此处: 行诊断 (jmp.com)
“位于红色界限之外的点应被视为可能的异常值。位于绿色界限之外但在红色界限之内的点应被视为可能的异常值,但确定性较低。 ”
您可以将它们用作模型诊断,以判断模型在数据上的拟合复杂度是否适当。这特别说明了学生化残差结果如何/为何依赖于模型,因为在模型中删除/添加一个项会改变哪些点可能是基于模型的异常值的诊断:这些点的行为无法通过模型很好地描述/预测,但这并不意味着它们在所有其他情况/建模选项中都是异常值。
您不应该根据基于模型的异常值分析丢弃/删除点,这些工具非常适合在其他统计指标和标准(R²/R²调整、RMSE、p值、信息标准如AICc/BIC等)的帮助下完善您的模型并调整其复杂性。
在建模之前,应该使用适当的工具来识别和分析异常值。如果您想调查数据集中的点是否可能是异常值,请尝试使用基于距离的多元方法,如马哈拉诺比斯距离、刀切距离或 T² 距离: 异常值分析您还可以在菜单探索异常值中进行一系列其他分析。
无论如何,统计分析不足以丢弃可能为异常值的点,您必须调查这些奇怪的点并了解这些点的测量值与其他点相比如何/为何显得奇怪:测量误差、实验误差、操作员变化/错误,或者可能发生了意想不到的事情?
希望这个答案能帮到你,
回复:在缩小模型时何时去除异常值?嗨,维克多,
我确实读了回复。在我的工作中,检测结果经常存在很大差异,这很容易解释可能被视为异常值的不稳定结果。
我通常使用多变量平台 JackKnife Z 开始分析,以评估一般反应。但这并不总是能揭示模型中的异常值。例如,在我的上一个 DoE 中,JackKnife 显示异常值 < 2,而外部学生化残差在每个案例中都会发现该异常值。我无法找到该点是异常值的原因,但如果不移除它,我的模型显示调整 R^2 为 0.61,而移除该点后,调整 R^2 增加到 0.99。除此之外,移除该点后的模型也具有“科学意义”,而没有移除该点的模型通常是混乱的。
当我移除异常值时,我总是喜欢比较可能的模型,看看是否对预测有显著影响。在这种情况下,根据我移除模型缩减点的时间(在开始、中间或结束),我确实发现我有不同的模型,但实际预测能力大致相同。例如,在一种情况下,我有一个非常轻微的二次函数,但它不是主导因素。虽然在这种情况下,所有三个模型很可能同样有用,但我想知道确定最有可能的模型的最佳实践。
我理解,删除点不仅仅是遵循学生化残差过程,但是,如果我知道存在异常值或强烈感觉到可能存在异常值,最好在模型缩减之前、中间或之后将其删除,因为这会影响模型收敛的结果。
回复:在缩小模型时何时去除异常值?你好@MetaLizard62080 ,
如果您预计分析结果会有较高的变异性,您是否会使用阻塞来解释这个噪声源?
如果您能拥有一个能够利用领域专业知识进行验证的模型,那就太好了,这应该可以减少出错的可能性。您是否可以重复那些看起来奇怪的测试(或仅重复测量)?这可以帮助您确定它是“系统性错误”还是“随机性错误”,并为您的决策提供参考。
我不会直接删除那些看起来奇怪且模型没有准确描述的点,而是仍然使用它们,但降低它们对模型的影响,方法是创建一个列“权重”,将“正常”点的值为 1,“奇怪”点的值为较低的值,并在“模型”对话框中将此“权重”列用作“拟合模型启动窗口中的权重变量:元素”
为了让模型收敛得更快而删除一些点将会导致模型产生偏差,并且可能产生错误乐观的模型结果。
希望这些观点对你有帮助,