異常值消除嗨,Jmp 團隊,
我有一個生產資料集,我必須分析 5 列,其中包含近 5000 行。
其中近 80% 為異常值,且均在規格限內。
現在我想在這 5 列之間進行箱線圖比較,以了解這些天的趨勢。
在這種情況下,我是否需要消除所有異常值,或者我應該保留它們以進行比較?
基礎資料分析與建模資料混合與清理數據探索和視覺化回覆:異常值消除為什麼不同時嘗試測試您的選擇?您可以建立新列,將其中的行標記為離群值,並在視覺化中使用它。在某些情況下,您可能想要堆疊數據,因此您可以僅從單一測量中排除異常值,而不是全部測量(寬數據與高數據)。
回覆:異常值消除@Statexplorer你好:必須承認,在閱讀你的問題時我的第一個想法是“你的數據怎麼可能 80% 是異常值?”
你能解釋一下嗎?如果您使用某種基於常態性的「離群值」測試,並且 80% 位於尾部,那麼您的資料不是常態分佈的,而且您的離群值測試不合適。
抱歉,我無法理解「80% 的資料都是異常值」的概念。即,異常值是「不尋常」的觀察結果;怎麼會有80%的人「不尋常」呢?
回覆:異常值消除感謝您的建議,我使用 IQR 方法進行離群值測試,當我看到方框時,80% 是資料離群值,大多數點都是離群值回覆:異常值消除@Statexplorer您好:IQR 方法基於資料的常態性。如果 80% 的資料處於極端值,則資料不呈常態分佈,這 80% 的資料不是「異常值」。從概念上講,大部分的數據不能是「異常」的(根據異常的定義)。
那麼如何辨識非常態/重尾/偏態分佈中的異常值呢?這是一個非常複雜的問題,沒有簡單的答案。
如果您分享有關您的數據等的一些詳細信息,也許可以找到適合目的的解決方案。
回覆:異常值消除嗨@Statexplorer :然後,回到你的問題。我不會刪除任何資料......但不要使用箱線圖來識別“異常值”。也就是說,箱線圖可以成為資料的一個很好的視覺化工具:顯示中位數、IQR、最小值和最大值。如何變化隨著時間的推移。
回覆:異常值消除你好@MRB3855 ,當資料不遵循常態分佈時,我應該使用什麼方法來消除異常值?且分佈高度偏斜。
回覆:異常值消除你好@Statexplorer :這可能有助於我們了解你問題的背景;為何要嘗試識別異常值?