歡迎回到我的離群值部落格系列。 在前幾集中，我們已經了解了：
今天，在快速（但必要）回顧馬哈拉諾比斯之後，我們將研究折刀距離。
快速回顧馬哈拉諾比斯距離
還記得第 3 集的三維 10 點數集嗎？ 多元散佈圖矩陣如下所示聯合管理計劃:
Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)Figure 1: Scatterplot matrix of 10 data points with one outlier (red)圖 1：包含 10 個資料點和 1 個異常值（紅色）的散佈圖矩陣
與其他九個點相比，紅點似乎是個異常值。 這一點在突出顯示的圖中尤其明顯。
然而，當我們執行馬氏距離計算時，紅點似乎並不是「可怕的」異常值：
Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1Figure 2: Mahalanobis distance for 10 data point sample shown in Figure 1圖 2：圖 1 所示 10 個資料點樣本的馬哈拉諾比斯距離
在圖 2 中，紅點位於顯著線上方，但幅度不大。 根據圖 1 的散點圖矩陣，這似乎違反直覺，其中紅點似乎是明顯的異常值。
但請記住，馬氏計算涉及在考慮資料的協方差結構時測量與整體的距離。 如果我們從圖 1 中選取突出顯示的散佈圖並為其擬合一條直線，我們會得到如下所示的結果（來自圖形產生器）：
Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)Figure 3: Simple plot of X1 vs X2, including best-fit line (from ordinary least squares)圖 3：X1 與 X2 的簡單圖，包含最佳擬合線（來自普通最小平方法）
直線擬合是這兩個變數（X1 和 X2）之間協方差結構的直觀表示。 請注意，紅色離群點對線的位置影響很大；它將線拉向它，使其自身到線的距離小於應有的距離。
此外，如果紅點沒有對線產生如此強烈的影響，則擬合不佳的線也使得其他數據點看起來離線比實際距離更遠。 例如，資料點 6（在圖 3 中標記）似乎遠離該線，如果選擇這條特定的最佳擬合線，則可能位於異常值的邊界上。
有沒有更好的方法來檢測異常值？
折刀技術
折刀技術非常簡單，但非常強大，依賴使用「留一」技術的計算。 從概念上講，如果我們將紅色離群值排除在直線擬合計算之外，它將產生具有最佳擬合線的散佈圖，如下所示：
Figure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlierFigure 4: Simple plot of X1 vs X2, including best fit line based on all points EXCEPT for red outlier圖 4：X1 與 X2 的簡單圖，包括基於紅色異常值之外的所有點的最佳擬合線
現在很明顯，紅色異常值確實被視為異常值，值得進一步調查。
一般來說，回想一下第 3 集中用來計算馬哈拉諾比斯距離的方程式：
要計算折刀距離，請使用“留一法”技術併計算
向量和
所有點的矩陣除了興趣點。 接下來，只需將興趣點放入
向量併計算馬哈拉諾比斯距離，現在稱為折刀距離。
對所有點重複計算，每次離開興趣點
的計算中
和
。
折刀圖如下圖所示：
Figure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sampleFigure 5: Jackknife distance plot for 10 point sample圖 5：10 點樣本的折刀距離圖
現在很明顯紅點是異常值。
折刀的歷史
每維基百科John Tukey 提出了「折刀」這個名字，因為它是一種強大的多用途工具，可以在各種情況下使用，儘管該技術最初是由 Maurice Quenouille 在 20 世紀 50 年代初中期開發的。
與其他技術的相似之處
如果您熟悉其他驗證方案（例如 K 折驗證）或引導森林和提升樹技術等，您會認識到，在分析中保留一個（或多個）觀察結果是一種非常常見且強大的方法。從統計分析中獲得更多收益。
下一集
回程的路上第1集，我提到第 5 集將涉及 T 2距離。 然而，我已經指出第3集那個T 2只是馬哈拉諾比斯距離的平方，所以我們不需要另一集來討論它。
相反，我關於異常值的第五篇也是最後一篇部落格文章將討論異常值的多元 K 最近鄰檢測。 敬請關注！
感謝您對 Jackknife 離群值計算的精彩解釋。 我真的很喜歡這一系列的貼文！
有沒有辦法獲得刀切分析後每個數據點的詳細距離計算，而不僅僅是圖形/數字？
