快速測驗：什麼是異常值？
- 可能影響建模結果並需要解決的奇怪數據點。
- 需要進一步調查的奇怪數據點，可能會為您的流程提供新的見解。
- 馬爾科姆·格拉德威爾寫的一本非常好的書。 （離群值，2008）
答案當然是“以上都是”。
如果您從事查看數據的工作，您會時不時地遇到“異常值”，即那些不屬於數據正常模式的數值讀數。 因此，我們對數據的最小二乘擬合（例如）可能會失真。 因此，我們需要快速識別它們並進行適當的處理。
這是關注異常值的博客系列中的第一篇。 今天，我們將通過視覺方式來識別異常值。 在下一集中，我們將研究異常值通常是好還是壞；最後幾集將研究用於檢測異常值的不同方法和算法。
異常值示例 - 視覺識別
識別異常值的最簡單方法之一是視覺。 希望您已經繪製數據以尋找趨勢等。根據您繪製數據的方式，異常值通常會很明顯。 下面的示例有助於使用一些簡單的繪圖來描述異常值。
示例 1：一維數據
圖 1 顯示了從正態分佈總體中抽取的 1,000 個樣本的點圖（平均值 = 0，標準差 = 1）。
Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.Figure 1: An example with one-dimensional data.圖 1：一維數據的示例。
X1=4 處的點以紅色突出顯示。 在本例中，它與平均值有 4 個標準差。 對於正態分佈（如上所示），這種情況發生的可能性很小。 事實上，我們預計只有 0.01% 的概率會從均值為 0、標準差為 1 的正態分佈中得出“4”。 這絕對是一個不尋常的觀察。
示例 2：二維數據、獨立變量和正態分佈變量
在下面所示的示例中，我們有兩個輸入變量：X1 和 X2：
Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.Figure 2: A 2D example, with independent and normally distributed variables.圖 2：二維示例，具有獨立且正態分佈的變量。
在圖 2 中，我們有兩個正態分佈的自變量 X1 和 X2。 每個旁邊的直方圖可用於推測正態性。 注意 (4,4) 處用紅色標記的點。 同樣，我們有一個視覺上明顯的異常值，因為它遠離 X1 或 X2 的均值。
示例 3：二維數據、正態變量和自變量、不同均值和標準差
讓我們進一步討論二變量的例子。 這次，我們有不同的均值和標準差。
Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.Figure 3: A 2D example, with different means and standard deviations.圖 3：具有不同均值和標準差的 2D 示例。
大約 (1,27) 處的點可能被視為異常值。 它位於 X1 發行版內部，但顯然位於 X3 發行版之外。
但是 (4,5) 處的紅點呢？ 這是異常值嗎？ 我們的眼睛告訴我們可能是這樣，但我們怎麼知道呢？ 我們如何從算法上評估它？ （這個問題的答案還得等待後續博文！）
示例 4：變量之間具有相關性的二維數據
下面是另一個二維示例，這次是兩個變量之間的相關性：
Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.Figure 4: A 2D example, with correlation between the two variables.圖 4：二維示例，其中兩個變量之間存在相關性。
從視覺上看，圖 4 中 (-3,6) 處的紅點非常明顯。 但獨立觀察任一變量都表明該點在 X1 維度和 X4 維度上都表現良好。 （這是一個很好的例子，說明了為什麼繪製數據很重要！）
示例 5：更棘手的二維異常值
二維中的另一個奇怪異常值如下圖所示：
Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.Figure 5: A trickier two-dimensional outlier.圖 5：更棘手的二維異常值。
同樣，它肉眼可見，但更難以通過算法檢測。 不過，還是有辦法的！ （請參閱未來的博客文章。）
示例 6：多於二維
如果我們有兩個以上的維度怎麼辦？ 事情變得更加難以想像。 對於三個維度，您可以嘗試使用 3D 散點圖並將其旋轉以識別異常值。 對於超過三個維度，您可以嘗試製作一系列散點圖來覆蓋所有變量對（例如在分析/多元平台中），但請記住，異常值可能很難發現。
隨著維度的增加，我們開始轉向專門開發的算法來幫助識別異常值，這將在以後的帖子中介紹。
未來的博客劇集
在接下來的文章中，我們將討論可用的各種異常值算法聯合管理計劃，包括它們如何處理上述示例（以及更多示例）以及何時使用它們。 這些算法包括：
查看本系列的所有帖子了解異常值。
很有趣的話題，謝謝分享！
為了補充之前的評論，我們總是嘗試做的是應用“PGA”：
- 磷實際的：數據從哪裡來、如何收集、什麼時期等。
- G raphical：始終首先繪製數據並嘗試看看它是否有意義，是否看到關係、“異常值”等。
- A分析：然後才開始進行數值/統計分析......
期待即將到來的博客！
很棒的博客系列傑瑞！
根據我的經驗，“異常值”最常見的原因是數據輸入錯誤。 有人漏掉了小數點，或者顛倒了兩個數字，錯過了在列中輸入下一個數據點的“回車”鍵，或者只是在手動輸入數據時錯過了按下鍵盤上的按鍵。 如果可疑數據以圖形方式出現，請務必先檢查源數據！
本博客系列強化了在數值分析工作之前始終在 JMP 中以您能想到的方式繪製數據的最佳實踐。
