快速测验：什么是异常值？
- 可能影响建模结果并需要解决的奇怪数据点。
- 需要进一步调查的奇怪数据点，可能会为您的流程提供新的见解。
- 马尔科姆·格拉德威尔写的一本非常好的书。 （离群值，2008）
答案当然是“以上都是”。
如果您从事查看数据的工作，您会时不时地遇到“异常值”，即那些不属于数据正常模式的数值读数。 因此，我们对数据的最小二乘拟合（例如）可能会失真。 因此，我们需要快速识别它们并进行适当的处理。
这是关注异常值的博客系列中的第一篇。 今天，我们将通过视觉方式来识别异常值。 在下一集中，我们将研究异常值通常是好还是坏；最后几集将研究用于检测异常值的不同方法和算法。
异常值示例 - 视觉识别
识别异常值的最简单方法之一是视觉。 希望您已经绘制数据以寻找趋势等。根据您绘制数据的方式，异常值通常会很明显。 下面的示例有助于使用一些简单的绘图来描述异常值。
示例 1：一维数据
图 1 显示了从正态分布总体中抽取的 1,000 个样本的点图（平均值 = 0，标准差 = 1）。
Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.图 1：一维数据的示例。
X1=4 处的点以红色突出显示。 在本例中，它与平均值有 4 个标准差。 对于正态分布（如上所示），这种情况发生的可能性很小。 事实上，我们预计只有 0.01% 的概率会从均值为 0、标准差为 1 的正态分布中得出“4”。 这绝对是一个不寻常的观察。
示例 2：二维数据、独立变量和正态分布变量
在下面所示的示例中，我们有两个输入变量：X1 和 X2：
Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.图 2：二维示例，具有独立且正态分布的变量。
在图 2 中，我们有两个正态分布的自变量 X1 和 X2。 每个旁边的直方图可用于推测正态性。 注意 (4,4) 处用红色标记的点。 同样，我们有一个视觉上明显的异常值，因为它远离 X1 或 X2 的均值。
示例 3：二维数据、正态变量和自变量、不同均值和标准差
让我们进一步讨论二变量的例子。 这次，我们有不同的均值和标准差。
Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.图 3：具有不同均值和标准差的 2D 示例。
大约 (1,27) 处的点可能被视为异常值。 它位于 X1 发行版内部，但显然位于 X3 发行版之外。
但是 (4,5) 处的红点呢？ 这是异常值吗？ 我们的眼睛告诉我们可能是这样，但我们怎么知道呢？ 我们如何从算法上评估它？ （这个问题的答案还得等待后续博文！）
示例 4：变量之间具有相关性的二维数据
下面是另一个二维示例，这次是两个变量之间的相关性：
Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.图 4：二维示例，其中两个变量之间存在相关性。
从视觉上看，图 4 中 (-3,6) 处的红点非常明显。 但独立观察任一变量都表明该点在 X1 维度和 X4 维度上都表现良好。 （这是一个很好的例子，说明了为什么绘制数据很重要！）
示例 5：更棘手的二维异常值
二维中的另一个奇怪异常值如下图所示：
Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.图 5：更棘手的二维异常值。
同样，它肉眼可见，但更难以通过算法检测。 不过，还是有办法的！ （请参阅未来的博客文章。）
示例 6：多于二维
如果我们有两个以上的维度怎么办？ 事情变得更加难以想象。 对于三个维度，您可以尝试使用 3D 散点图并将其旋转以识别异常值。 对于三个以上的维度，您可以尝试制作一系列散点图来覆盖所有变量对（例如在分析/多元平台中），但请记住，异常值可能很难发现。
随着维度的增加，我们开始转向专门开发的算法来帮助识别异常值，这将在以后的帖子中介绍。
未来的博客剧集
在接下来的文章中，我们将讨论可用的各种异常值算法联合管理计划，包括它们如何处理上述示例（以及更多示例）以及何时使用它们。 这些算法包括：
查看本系列的所有帖子了解异常值。
很有趣的话题，谢谢分享！
为了补充之前的评论，我们总是尝试做的是应用“PGA”：
- 磷实际的：数据从哪里来、如何收集、什么时期等。
- G raphical：始终首先绘制数据并尝试看看它是否有意义，是否看到关系、“异常值”等。
- A分析：然后才开始进行数值/统计分析......
期待即将到来的博客！
很棒的博客系列杰瑞！
根据我的经验，“异常值”最常见的原因是数据输入错误。 有人漏掉了小数点，或者颠倒了两个数字，错过了在列中输入下一个数据点的“回车”键，或者只是在手动输入数据时错过了按下键盘上的按键。 如果可疑数据以图形方式出现，请务必先检查源数据！
本博客系列强化了在数值分析工作之前始终在 JMP 中以您能想到的方式绘制数据的最佳实践。
