歡迎來到我關於異常值的第二篇博客。 在本集中，我將介紹如何使用分位數範圍來檢測異常值。
在第 1 集中，我們著眼於描述和直觀地識別異常值。 您可能還記得，在一些簡單的一維（或單變量）情況下，我們需要識別異常值。 這些是最容易識別的，分位數範圍是查找它們的絕佳方法。
對於多維異常值檢測，您必須等待我的下一篇文章！
什麼是分位數？
分位數非常容易理解。 假設我們有一系列 20 個數字。 我們可以將數字從低到高排序。 然後，我們可以將這些點分組為分位數，這些分位數由排序數據中的分割點來標識，這些分割點描述了 X% 的數據落在以下的點。
請注意，分位數通常表示為分數（從 0 到 1）。 它們與範圍從 0 到 100 的百分位數完全對應。 我將在這篇文章中交替使用它們。
圖 1 顯示了排序前後的 20 個數字，以及 0.20 和 0.50 分位數（或 20 th和 50 th百分位數）。
Figure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sortedFigure 1: Data from 20 point sample, random order and sorted圖 1：20 個點樣本的數據，隨機排序和排序
50的切入點th百分位數是樣本的中位數。 （在本例中，中位數為 32.5，即 40 和 25 之間的中點。）
其他一些有趣的定義包括：
- 四分位數，將數據分為 25% 的組。 第一個四分位數表示落在最低 25% 的數據點，第二個四分位數表示落在 25% 和 50% 之間的數據點，依此類推。
- 四分位數範圍 (IQR)，定義 2 所涵蓋的範圍ND和 3 RD四分位數。
請注意，在討論分位數時，沒有對分佈的形狀做出任何假設。
JMP 中哪裡可以找到分位數計算？
您可以在以下三個位置找到列出的分位數聯合管理計劃。 分佈平台和圖形生成器都使用相同的計算。 探索離群值/分位數範圍離群值在離群值敏感性方面為用戶提供了更大的靈活性。 讓我們逐一看看。
分銷平台
在分佈中，所有連續/數值數據直方圖都包含表格分位數摘要。 默認情況下，JMP 顯示多個感興趣的分位數。 在圖 1 中標記為“原始數據”的列上使用“分佈”平台會得到以下輸出：
幾個常見的分位數如圖 2 的中心表所示。 您可以通過選擇紅色熱點並選擇“顯示選項”，然後選擇“設置分位數增量”或“自定義分位數”來更改此表中顯示的分位數。
圖 2 中還顯示了箱須圖。 圖中顯示的符號在圖 2 中進行了註釋。
晶須的末端對於檢測異常值最感興趣。 請注意，晶須長度是根據四分位距的最小值和最大值測量的，並且晶須在該範圍 1.5 倍以內的最後一個數據點處結束。 這是異常值檢測的常見經驗法則。 落在這些鬍鬚之外的點可能值得進一步研究。
但在圖 1 和圖 2 所示的數據集中，該技術沒有檢測到異常值。 這種情況並不少見，尤其是在樣本量較小的情況下。
圖 3 顯示了我之前博客文章中 1,000 個樣本數據的分發平台輸出。 這些樣本是從隨機正態分佈中抽取的，平均值為 0.0，標準差為 1.0。 我還包括了 X1=4 處的點，該點在我之前的文章中被直觀地識別為異常值：
Figure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distributionFigure 3: Distribution platform output for 1,000 point sample from normal distribution圖 3：正態分佈 1,000 點樣本的分佈平台輸出
隨著樣本量的增加，一些點現在看起來是異常值（至少按照晶須末端的定義）。 在這種特殊情況下，由於我們知道數據來自具有 1,000 個點的正態分佈總體，因此看到至少一個值為 4 的點可能並不罕見。 在現實世界的案例中，鬍鬚之外的點可能需要額外的調查。
在圖形生成器中製作箱線圖
您還可以在圖形生成器中生成箱線圖和須線圖。 整個圖形生成器設置如圖 4 所示：
Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)圖 4：盒須圖的圖形生成器設置（正態分佈的 1,000 個點樣本）
請注意圖表上方的圖表類型圖標（紅色圓圈），它啟用箱線圖類型。
與分佈平台一樣，須線長度為 1.5*四分位數範圍，並從 25 向下延伸th 75%以上th百分位數。
探索異常值
如果我們想選擇其他晶須限制怎麼辦？
如上所述，1.5*IQR 的晶須長度是識別異常值的常見做法。 我相信這可能來自於大樣本正態分佈的觀察。 超出四分位數範圍的 1.5*IQR 可以顯示包含 99.30% 的正態分佈（在每個尾部留下 0.3488% 的數據）。 如果服從正態分佈，這將識別相對罕見的事件。
但如果沒有正態分佈怎麼辦？ 如果分佈看起來像這樣怎麼辦？
Figure 5: Skewed distributionFigure 5: Skewed distributionFigure 5: Skewed distributionFigure 5: Skewed distribution圖 5：偏態分佈
圖 5 顯示了 N=100 個點的偏態分佈，根據 1.5*IQR 方法，在上須線之外有 5 個異常值。 但 X1=3 處的點真的是異常值嗎？ 或者也許鬍鬚隱藏了其他需要進行異常值調查的點。 我們如何調整這個1.5*IQR規則呢？
JMP 允許您在分析/篩選/探索離群值下執行此操作，然後選擇分位數範圍離群值選項。 調出此選項後，將出現如圖 5 中總結的 100 點示例的輸入屏幕，如下所示。
Figure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample outputFigure 6: Quantile Range Outliers user interface and sample output圖 6：分位數範圍離群值用戶界面和示例輸出
“分位數範圍離群值”面板有兩個主要輸入：
- 尾分位數 (TQ)。 該分數描述了晶須計算中將使用的分佈中的最小分割點。 （1-尾分位數）描述分佈中的上切點。 這些分割點之間的差異描述了後續計算中使用的範圍。
- 對於前面描述的 IQR 計算，尾部分位數將為 0.25，表明須線將從 25 開始th和 75 th百分位數，範圍將是四分位數範圍（或 75 th -25 th百分位數）。
- 分位數範圍異常值中尾部分位數的默認值為 0.1，表示須線將從 10 開始th和 90 th百分位數，長度取決於 (90 th -10 th百分位）範圍。
- 問。 這是用於確定晶須長度的乘數。
- 在之前的 IQR 計算中，該值為 1.5，因此四分位距乘以 1.5 即可得到晶須長度。
- 分位數範圍離群值中 Q 的默認值為 3，表示晶須長度將由 (90 th -10 th百分位數）範圍乘以 3。
分位數範圍異常值的輸出顯示在圖 6 面板的底部。 在這裡我們看到 X1 列有 10 th百分位為 -1.283，90 th百分位數為 1.65556。 晶須的末端（在輸出中分別表示為低閾值和高閾值 [LT 和 HT]）基於以下計算：
LT = 10 th分位數 – (90 th分位數 – 10 th分位數）* Q
= -1.283 – (1.65556 – -1.283) * 3
= -10.099
高溫=90 th分位數 + (90 th分位數 – 10 th分位數）* Q
= 1.65556 + (1.65556 – -1.283) * 3
= 10.4713
在這種情況下，該列中只有一個值超出了高閾值，即值 12.0，該值顯示在報告的底部，如圖 6 所示。
對尾分位數和 Q 的敏感性
異常值檢測靈敏度顯然由尾分位數和 Q 的值決定。 傳統的 1.5*IQR 和 3*(90 th -10 th分位數）方法都是可以接受的，前者對於檢測異常值更為敏感。 您可以使用分位數範圍離群值平台根據特定情況的需要調整這些值。
雖然尾分位數和 Q 選擇的有效性取決於您的特定分佈，但我們可以通過查看正態分佈來深入了解它們的行為。 下表顯示了尾部分位數和 Q 的幾種組合，以及正態分佈尾部落在須線之外的值的百分比：
Table 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTable 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and Q表 1：在大樣本正態分佈中針對不同尾分位數和 Q 值檢測到的異常值百分比
擴展這個想法，我們可以創建一個等值線圖，更完整地顯示表 1 中的數量：
Figure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and Q圖 7：在大樣本正態分佈中針對不同尾分位數和 Q 值檢測到的異常值百分比
圖 7 清楚地表明，高尾分位數值和低 Q 值的組合使計算對異常值更加敏感，而低 TQ 值和高 Q 值使我們不太敏感。
下一集
下次我們再討論馬哈拉諾比斯距離，用於檢測多個維度的異常值。
查看本系列的所有帖子了解異常值。
你好@瘋狼，謝謝你的帖子。
您會發現分佈平台使用 1.5*IRQ 方法，而分析/篩選/探索異常值默認使用 3*（第 90-10 個分位數）方法。兩者都是幫助識別異常值的合法方法。
請記住，此類工具旨在識別“潛在”異常值。因此，他們只是助手。您可以嘗試兩種方法，看看結果是否不同。如果發現異常值（無論採用哪種方法），我會提醒您仍應對其進行調查，而不是簡單地立即丟棄。這些數據可能試圖告訴您一些重要的事情！因此，在丟棄異常值時要謹慎。
在我看來，這兩種方法都會捕獲“非常糟糕”的異常值。如果你讀過我的第三篇博文關於馬哈拉諾比斯距離，以及我（即將發布）關於折刀距離的第四篇文章，您會發現更多方法來幫助識別本文中評論的棘手情況下的異常值。
祝你好運！
你好呀，
感謝這篇文章。 這對我來說非常有洞察力。
你提到：“傳統的 1.5*IQR 和 3*(90 th -10 th分位數）方法都是可以接受的”
我如何知道是否應該選擇傳統的 1.5*IQR 還是 3*（第 90-10 個分位數）（這是 JMP 的默認值）？
此外，我是否繼續掃描並排除異常值，直到最終掃描顯示不再存在異常值？
