在拟合模型和预测时抑制异常值的影响我认为学生化残差是识别异常值的一种好方法。(如果我错了,请纠正我)。我的问题是如何在 JMP 预测模型中过滤掉这些异常值的影响?模型会自动避免这些异常值吗?还是我们应该删除它们以获得更准确的预测?

实验设计回复:在拟合模型和预测时抑制异常值的影响你好@Victor_G
非常感谢您的详细解释。这真的很有帮助。
回复:在拟合模型和预测时抑制异常值的影响亲爱的巴特尔,
非常感谢您的回答。我想我应该在这里澄清一下。我随问题发送的图片只是我拟合模型的一个例子。您说得完全正确,最后几个数据点并不是任何异常或错误数据点。这是一个在不同温度下使用不同涂层的 DOE。它们是由高温下涂层的一些问题引起的。
回复:在拟合模型和预测时抑制异常值的影响你好@Mathej01 ,
学生化残差可能是一种基于假设模型识别异常值的好方法。有关如何计算学生化残差的更多信息,请参见此处: Row Diagnostics (jmp.com)
“位于红色界限之外的点应被视为可能的异常值。位于绿色界限之外但在红色界限之内的点应被视为可能的异常值,但确定性较低。 ”从定义中可以看出,对于异常值的性质并没有明确的确定性,它可能取决于你所暗示的假设模型。
我完全赞同并同意@P_Bartell的评论,对于可能的异常值的存在可能有几种解释(潜在变量、噪音、不同的操作符......)。
在对异常值采取行动之前,最重要的建议可能是:了解你的异常值。根据异常值的来源、类型(全局、局部/上下文或集体异常值)以及发现异常值的技术,异常值各不相同,检测方法也不同,并且可能对创建的模型产生不同的影响:
- 全局异常值:在单变量数据中,箱线图可以轻松检测它们。在多变量数据中,基于密度的聚类(DBSCAN、光学等)或异常检测算法(孤立森林)可能会有所帮助。它们可能是记录/测量错误或异常样本造成的。
- 上下文(条件)异常值:由于异常值可能不是数据所有维度上的异常值,因此 K-最近邻、马哈拉诺比斯距离、主成分分析、刀切距离可能值得研究。在模型中考虑这些异常值很有趣,因为它们的异常值是由特定上下文产生的。
- 集体异常值:在这种情况下,聚类技术可能会有所帮助:可以考虑 K-Means、高斯混合、层次聚类和其他算法。它们可以被视为一个群体。
一个好的建议是了解可能的异常值是否对模型有影响,因为并非所有异常值都是(高)杠杆点。您可以尝试在有和没有此点的情况下并行拟合同一模型,以查看此异常值是否(也是)高杠杆点。查看实际与预测图、残差图和RMSE PRESS 和 R² PRESS等指标,以更好地评估异常值是否对模型有任何影响。
尝试分析是什么导致了最后 4-5 个点的较高变异性(导致高噪音的特定因素水平、操作员/测量设备的变化,......?)。
希望这个补充答案能帮助你,
回复:在拟合模型和预测时抑制异常值的影响检查残差可能是识别“异常值”的有效方法。对于你最后一个问题的前半部分,“模型是否会自动避免这些异常值……”,答案是否定的。
现在让我们回顾一下。在分析中排除一些点只是为了得到一个更好的拟合模型可能类似于把婴儿和洗澡水一起倒掉。你花了一些时间和精力来检查这些奇怪点的根本原因吗?这项调查是否告诉你一些值得了解的事情?如果图中显示的数据是“真实的”,我的眼睛会发现系统中最后 4 或 5 行发生了一些与所有前几行不同的事情。比如,如果行号是生产序列,或者可能是设计实验的运行顺序,那么一些潜在的干扰因素就会进入系统并导致这些扰动。你考虑过这个问题吗?