883609_zh-CN

liliconcom

如何通过拟合模型预测异常值

大家好，

目前，我尝试使用“拟合模型”来创建模型，以便能够根据输入变量预测输出，并判断预测是否为异常值。然而，我遇到的一个问题是，在得到模型后，模型无法清晰地指出异常值（以红色突出显示）。

即使我尝试对数据源进行预处理，例如从数据源中排除异常值，然后训练模型，但异常值并没有真正被筛选出来

有什么方法可以训练模型，以便区分异常点

谢谢

基础数据分析与建模回复：如何通过拟合模型预测异常值

你好@PhamBao ，

异常值检测和分类可能是一个很深很深的领域，有很多不同的方法可以让你涉足其中。你应该考虑的一件事是如何定义异常值（这在你的文章中没有明确说明）：你是在寻找与你的模型不匹配的异常值，还是你定义的红色区域中的点就是异常值？

简单来说，这里有一些可以尝试的领域：

- Cooks D 异常值 - 这定义了如果移除一个点，模型系数会发生多大的变化 - 通常，任何大于 4/n（n= 行数）的阈值都是一个不错的起点。此链接提供了许多关于 Cooks D 的指南。

- 学生残差图 - 这些图可以很好地可视化行中的残差，并有助于将进入某个区域的点定义为可能的异常值。

查看此处和此处的两个链接以获取更多信息。

谢谢，

本

回复：如何通过拟合模型预测异常值

你好@PhamBao ，

我同意@Ben_BarrIngh的观点，处理异常值问题时有很多可能性。

首先要考虑的是异常值的性质：基于模型（与特定模型拟合相关）还是与模型无关？

识别异常值的方法取决于其性质：

• 与模型无关的异常值检测方法，例如马氏距离，不依赖于特定模型，仅基于变量/因子/特征比较点之间的距离。因此，通过此类方法识别出的异常值表明该点看起来“奇怪”，并且似乎不属于其他点的因子分布。请参阅“多变量平台”中的“异常值分析”选项。
• 基于残差（学生化残差，或其他指标，如 PRESS RMSE/R2……）的模型异常值检测方法，能够识别模型拟合/预测不佳的异常值。这可能表明模型缺少一些重要项（如交互作用或非线性效应），或者模型可能不适用于数据。您可以使用其他诊断面板/工具，根据模型的统计显著性，以及根据您的目标使用不同的指标，如信息准则/RMSE/R2……来检查模型是否与您的数据拟合良好。您还可以通过计算库克距离来检查检测到的基于模型的异常值是否对您的模型产生重大影响： https://www.jmp.com/en_us/statistics-knowledge-portal/what-is-multiple-regression/mlr-residual-analy...如果这些点的值较高和/或异常，则表明这些点可能对模型产生影响，并可能产生偏差。您应该调查这些点是什么，以及测量值是否有效，然后再决定是减少它们对模型的影响还是移除它们。模型拟合完成后，请参阅平台“拟合模型”或“模型拟合选项”中的“行诊断”选项。

请格外注意异常值的原因/来源及其正确处理方式。移除异常值或许能让分析更容易，但这并不能解决您的问题，也无法阻止异常值再次出现。

希望这个答案能对你有所帮助，

回复：如何通过拟合模型预测异常值

你好@Victor_G和@Ben_BarrIngh ，

非常感谢您的意见。就我而言，我对拟合模型和统计数据的知识有限，所以只是想寻求更多建议。让我先明确一下我想要什么。根据下图，红色数据点是根据我们的制造标准确定的坏数据点。我想要的是将坏数据点从拟合线中分离出来。第一次，我使用模型1，但发现坏数据点离拟合线并不远。第二次，我尝试使用与模型1相同的输入，但这次我对一个参数进行了二次多项式计算，然后我发现与模型1相比，坏数据点离拟合线更远。

1. 相比之下，模型 1 和模型 2 的拟合度表总结起来是可以比较的，但模型 2 似乎才是我想要的。问题：有没有方法可以将实际中远离拟合线的坏数据点分离出来？
2. 对于模型 1，我不太明白为什么坏数据点会如此靠近拟合线。有什么方法可以将它们分离出来吗？
我期待你的答复

回复：如何通过拟合模型预测异常值

在 JMP 中，您可以通过拟合模型（例如回归或分类模型）并分析残差或预测误差来预测异常值。拟合模型后，查找残差、杠杆率或影响力异常大的数据点（例如，使用 Cook 距离或学生化残差）。JMP 还提供诸如杠杆率与残差图之类的可视化工具，以帮助识别潜在的异常值。标记后，您可以进一步探索这些点，以确定它们是真正的异常值还是数据输入问题。

回复：如何通过拟合模型预测异常值

你好@PhamBao ，

您的问题中有几个主题，一个与模型拟合（和模型比较+验证）有关，另一个与异常值检测有关。

• 关于模型拟合，我建议比较模型的指标并分析残差。在您最后一张截图中，您可以看到除了模型 2 中添加了二次效应之外，其他模型非常相似。在 R²/R² 调整后和 RMSE 方面，添加这个二次效应仅有轻微的改善。它还会在残差中强制呈现非随机曲率模式，因此我对模型的评估和比较非常谨慎。或许使用验证点或将数据集拆分为训练集和验证集，可以帮助区分最适合您数据的模型。
• 关于异常值检测，正如我在第一条回复中提到的，有很多方法可供选择。如果您已经知道这些点是异常的或不正常的，为什么不将它们标记为异常值，并尝试了解哪些因素（以及范围值）可能导致这些点？您可以创建一个分类模型（例如逻辑回归），其中您的响应将是二分类响应（例如“正常”和“异常值”），而您的因素将是您的输入变量（如所示的模型中所示）。
  根据该分类模型的结果/性能（混淆矩阵、错误分类率等），您可以调查哪些因素导致了这种情况，并使用预测概率公式根据测量值预测新点可能奇怪/异常的概率。

希望这些建议能对你有所帮助，

回复：如何通过拟合模型预测异常值

我认为 Victor_G 的第二点完全正确。您指出的“不好”的点实际上并非传统意义上的异常值——它们距离回归线并不远。真正的问题是您（根据专业知识）知道这些数据点存在问题。所以，您需要一个能够预测这些问题的模型，而您提供的回归模型并不能做到这一点。我不会寻找其他回归模型——我认为您真正想要的是一个分类模型来预测您已知有问题的点。这是一种不同类型的模型，大多数相同的方法都可以在 JMP 中使用，但使用的是名义响应变量，而不是您使用的连续响应变量。

回复：如何通过拟合模型预测异常值

感谢 Victor 和其他成员。我一定会尝试你们的建议。