很棒的博客系列傑里!
以我的經驗,“異常值”的最常見原因是數據輸入錯誤。 有人滑了一個小數點,或者倒數了兩個數字,或者錯過了擊中列中下一個數據點條目的“返回”鍵,或者只是簡單地錯過了在手動輸入數據時敲擊鍵盤上的鍵。 如果看起來可疑的數據以圖形方式出現,請務必先檢查源數據!
本博客系列加強了ALWAYS在數值分析工作之前始終以JMP認為的所有方式繪製數據的最佳實踐。
非常有趣的話題,謝謝分享!
要添加到前面的評論中,我們一直試圖做的是應用“ PGA”:
- P實際的:數據來自何處,如何收集,在什麼時期等。
- G誇張的:總是先繪製數據,然後嘗試查看數據是否有意義,是否存在關係,“異常值”等。
- 一種分析:只有這樣才能開始進行數值/統計分析...
期待未來的博客!
快速測驗:什麼是離群值?
- 可能影響建模結果的奇特數據點需要解決。
- 奇怪的數據點需要進一步調查,可能會為您的過程提供新的見解。
- 馬爾科姆·格拉德威爾(Malcolm Gladwell)的一本非常好的書。 (異常值,2008年)
答案當然是“以上所有”。
如果您正在查看數據,那麼您會不時遇到“異常值”,這些數值讀數不屬於數據的正常模式。 結果,我們的數據的最小二乘擬合(例如)可能會失真。 因此,我們需要快速識別它們並進行適當處理。
這是博客系列中探討異常值的第一篇。 今天,我們將研究視覺識別異常值。 在下一集中,我們將檢查異常值總體上是好是壞。最後幾集將探討用於檢測異常值的不同方法和算法。
離群值示例-視覺識別
識別離群值的最簡單方法之一是視覺。 希望您已經在繪製數據以查找趨勢等。根據繪製數據的方式,異常值通常會很明顯。 下面的示例使用一些簡單的圖幫助描述離群值。
示例1:一維數據
圖1顯示了從正態分佈總體中抽取的1,000個樣本的點圖(平均值= 0,標準差= 1)。
圖1:一維數據示例。
X1 = 4處的點以紅色突出顯示。 在這種情況下,與平均值相差4個標準差。 對於正態分佈(如上面所示的正態分佈),這種情況極不可能發生。 實際上,我們期望僅在0.01%的時間內從均值0和標準偏差為1的正態分佈中得出“ 4”。 這絕對是不尋常的觀察。
示例2:二維數據,獨立變量和正態分佈變量
在下面顯示的示例中,我們有兩個輸入變量:X1和X2:
圖2:具有獨立且正態分佈的變量的2D示例。
在圖2中,我們有兩個正態分佈的獨立變量X1和X2。 每一個旁邊的直方圖可用於推測正態性。 注意在(4,4)用紅色標記的點。 同樣,我們有一個視覺上明顯的離群值,因為它離X1或X2均值很遠。
示例3:二維數據,正態變量和自變量,均值和標準差不同
讓我們進一步介紹兩個變量的示例。 這次,我們有不同的均值和標準差。
圖3:具有不同均值和標準偏差的2D示例。
大約(1,27)處的點可能被視為離群值。 它在X1發行版內部,但顯然在X3發行版外部。
但是(4,5)的紅點呢? 是離群值嗎? 我們的眼睛告訴我們可能是這樣,但是我們怎麼知道呢? 我們如何通過算法進行評估? (要獲得答案,您必須等待後續的博客文章!)
示例4:變量之間具有相關性的二維數據
以下是另一個二維示例,這次是兩個變量之間的相關性:
圖4:一個2D示例,其中兩個變量之間具有相關性。
在視覺上,圖4中(-3,6)處的紅點對眼睛來說很明顯。 但是,獨立查看任何一個變量都將表明該點在X1維度和X4維度上均表現良好。 (這是一個很好的示例,說明為什麼繪製數據很重要!)
示例5:棘手的二維離群值
下圖顯示了二維中的另一個奇異離群值:
圖5:更複雜的二維離群值。
同樣,它對眼睛來說很明顯,但是在算法上更難檢測。 仍然有辦法! (請參閱以後的博客文章。)
示例6:二維以上
如果我們有兩個以上的維度怎麼辦? 事情變得更加難以可視化。 對於三個維度,您可以嘗試使用3D散點圖並將其旋轉以識別異常值。 對於三個以上的維度,您可以嘗試進行一系列散點圖處理以覆蓋所有變量對(例如在Analyze / Multivariate平台中),但是請記住,離群值可能很難發現。
隨著維數的增加,我們開始轉向專門開發的算法以幫助識別異常值,這些將在以後的文章中介紹。
未來博客集
在接下來的文章中,我們將討論JMP ,包括它們在上述示例(以及更多示例)上的工作方式以及何時使用它們。 這些算法包括:
查看有關該系列的所有文章了解離群值。