很棒的博客系列杰里!
以我的经验,“异常值”的最常见原因是数据输入错误。 有人滑了一个小数点,或者倒了两个数字,或者错过了击中列中下一个数据点条目的“返回”键,或者只是简单地错过了在手动输入数据时敲击键盘上的键。 如果看起来可疑的数据以图形方式出现,请务必先检查源数据!
本博客系列加强了ALWAYS在数值分析工作之前始终以JMP认为的所有方式绘制数据的最佳实践。
非常有趣的话题,谢谢分享!
要添加到前面的评论中,我们一直试图做的是应用“ PGA”:
- P实际的:数据来自何处,如何收集,在什么时期等。
- G夸张的:总是先绘制数据,然后尝试查看数据是否有意义,是否存在关系,“异常值”等。
- 一种分析:只有这样才能开始进行数值/统计分析...
期待未来的博客!
快速测验:什么是离群值?
- 可能影响建模结果的奇特数据点需要解决。
- 奇怪的数据点需要进一步调查,可能会为您的过程提供新的见解。
- 马尔科姆·格拉德威尔(Malcolm Gladwell)的一本非常好的书。 (异常值,2008年)
答案当然是“以上所有”。
如果您正在查看数据,那么您会不时遇到“异常值”,这些数值读数不属于数据的正常模式。 结果,我们的数据的最小二乘拟合(例如)可能会失真。 因此,我们需要快速识别它们并进行适当处理。
这是博客系列中探讨异常值的第一篇。 今天,我们将研究视觉识别异常值。 在下一集中,我们将检查异常值总体上是好是坏。最后几集将探讨用于检测异常值的不同方法和算法。
离群值示例-视觉识别
识别离群值的最简单方法之一是视觉。 希望您已经在绘制数据以查找趋势等。根据绘制数据的方式,异常值通常会很明显。 下面的示例使用一些简单的图帮助描述离群值。
示例1:一维数据
图1显示了从正态分布总体中抽取的1,000个样本的点图(平均值= 0,标准差= 1)。
图1:一维数据示例。
X1 = 4处的点以红色突出显示。 在这种情况下,与平均值相差4个标准差。 对于正态分布(如上面所示的正态分布),这种情况极不可能发生。 实际上,我们期望仅在0.01%的时间内从均值0和标准偏差为1的正态分布中得出“ 4”。 这绝对是不寻常的观察。
示例2:二维数据,独立变量和正态分布变量
在下面显示的示例中,我们有两个输入变量:X1和X2:
图2:具有独立且正态分布的变量的2D示例。
在图2中,我们有两个正态分布的独立变量X1和X2。 每一个旁边的直方图可用于推测正态性。 注意在(4,4)用红色标记的点。 同样,我们有一个视觉上明显的离群值,因为它离X1或X2均值很远。
示例3:二维数据,正态变量和自变量,均值和标准差不同
让我们进一步介绍两个变量的示例。 这次,我们有不同的均值和标准差。
图3:具有不同均值和标准偏差的2D示例。
大约(1,27)处的点可能被视为离群值。 它在X1发行版内部,但显然在X3发行版外部。
但是(4,5)的红点呢? 是离群值吗? 我们的眼睛告诉我们可能是这样,但是我们怎么知道呢? 我们如何通过算法进行评估? (要获得答案,您必须等待后续的博客文章!)
示例4:变量之间具有相关性的二维数据
以下是另一个二维示例,这次是两个变量之间的相关性:
图4:一个2D示例,其中两个变量之间具有相关性。
在视觉上,图4中(-3,6)处的红点对眼睛来说很明显。 但是,独立查看任何一个变量都将表明该点在X1维度和X4维度上均表现良好。 (这是一个很好的示例,说明为什么绘制数据很重要!)
示例5:棘手的二维离群值
下图显示了二维中的另一个奇异离群值:
图5:更复杂的二维离群值。
同样,它对眼睛来说很明显,但是在算法上更难检测。 仍然有办法! (请参阅以后的博客文章。)
示例6:二维以上
如果我们有两个以上的维度怎么办? 事情变得更加难以可视化。 对于三个维度,您可以尝试使用3D散点图并将其旋转以识别异常值。 对于三个以上的维度,您可以尝试进行一系列散点图处理以覆盖所有变量对(例如在Analyze / Multivariate平台中),但是请记住,离群值可能很难发现。
随着维数的增加,我们开始转向专门开发的算法以帮助识别异常值,这些将在以后的文章中介绍。
未来博客集
在接下来的文章中,我们将讨论JMP ,包括它们在上述示例(以及更多示例)上的工作方式以及何时使用它们。 这些算法包括:
查看有关该系列的所有文章了解离群值。