异常值消除嗨,Jmp 团队,
我有一个生产数据集,我必须分析包含近 5000 行的 5 列。
其中几乎80%都是异常值,并且都在规格限度之内。
现在我想对这 5 列进行箱线图比较,以查看几天内的趋势。
在这种情况下,我是否需要消除所有的异常值,还是应该保留它们以供比较?
基础数据分析与建模数据混合和清理数据探索与可视化回复:异常值消除为什么不同时尝试测试您的选项呢?您可以创建新列,在其中将行标记为异常值,并在可视化中使用它。在某些情况下,您可能希望堆叠数据,这样您就可以从单个测量中排除异常值,而不是所有异常值(宽数据与高数据)。
回复:异常值消除你好@Statexplorer :必须承认,当我读到你的问题时,我的第一个念头是“你的 80% 的数据怎么会是异常值?”
您能解释一下吗?如果您使用某种基于正态性的“异常值”检验,并且 80% 的数据在尾部,则您的数据不是正态分布的,您的异常值检验不合适。
抱歉,我实在无法理解“我的数据中有 80% 是异常值”这个概念。也就是说,异常值是“不寻常的”观测值;它们中的 80% 怎么会是“不寻常的”呢?
回复:异常值消除感谢您的建议,我使用 IQR 方法进行异常值检验,当我看到方框时,发现 80% 的数据是异常值,大多数点都是异常值回复:异常值消除您好@Statexplorer :IQR 方法基于数据的正态性。如果 80% 的数据处于极端值,则数据不服从正态分布,而这 80% 的数据不是“异常值”。从概念上讲,您的大多数数据不可能是“异常的”(根据异常的定义)。
那么如何从非正态/重尾/偏斜分布中识别异常值呢?这是一个非常复杂的问题,没有简单的答案。
如果您分享一些有关您的数据等的详细信息,也许可以找到适合用途的解决方案。
回复:异常值消除你好@Statexplorer :回到你的问题。我不会删除任何数据……但不要使用箱线图来识别“异常值”。话虽如此,箱线图可以成为你数据的良好可视化工具:显示中位数、显示 IQR,以及最小值和最大值。因此,就趋势而言,你仍然可以看到中位数和差值随时间的变化。
回复:异常值消除你好@MRB3855 ,当数据不遵循正态分布时,我应该使用什么方法来消除异常值?并且它是一个高度偏斜的分布。(在这种情况下,大多数异常值都在 USL 和 LSL 范围内)
回复:异常值消除你好@Statexplorer :这可能有助于我们了解你问题的背景;你为什么要尝试识别异常值?