在半導體數據中,通常遇到電氣短路的探針測量會顯示遠在分佈中的測量值,即它們是離群 。當我們測試這些方法是相同的時,這些外圍值會誇大我們對標準偏差的估計 Σ|。 請記住,使用每個點與其預測值的平方距離來估計標準偏差,因此遠距離值對標準偏差估計具有不成比例的大影響。由於誇大的方差估計,它們通常也會對均值不敏感的測試進行測試,從而導致更大的不太重要的p值。
幸運的是,有一些方法可以補償這些異常值: 穩健的方法 。我們喜歡的強大方法是 Huber M Estimator 。基本上,這個估計意味著和sigma,使得當點距平均值比兩個西格瑪更遠時,它們是向下加權的,因此計算作為絕對值敏感,而不是偏差的平方。
穩健的方法計算起來更加昂貴。Huber-M估計器是一種迭代方法,可以多次循環數據以獲得估計和測試。但是我們現在擁有快速的計算機,所以在大多數情況下沒有理由不考慮可靠的估算。
我對所有118個變量的生產數據的批次差異進行了強有力的擬合。左邊是非魯棒LogWorth的魯棒LogWorth的關係。45度線是他們平等的地方。它們非常相同,所有點都在線附近。數據表現良好,未被異常值感染。


但是在工程變更數據中,所有384個響應,在右邊的相應圖中,LogWorth都是非常重要的,並且當估計穩健時,大多數響應非常不同。如果做得很好,大多數測試都會更加重要。
讓我們選擇其中一個測試,其中強大的測試是重要的,但非健壯的測試不是。

非魯棒的ANOVA p值為.1007,而穩健的ANOVA p值為5.98E-16-差別很大。不僅如此,但當非強健適合時,“新”的意思更大。但是對於強大的版本,對舊組中的所有異常值進行下調,“舊”的平均值更大,相反的順序。(非強健的手段是綠線,強壯的手段是薰衣草)。事實證明,當估計穩健時,測試並不總是變得更加重要;在這個例子中的387個測試中,其中138個具有不太強大的強大測試。
經驗教訓是,除非我們知道數據表現良好,否則我們應該嘗試使用穩健的估算。否則,我們可能會對標準(非強健)方法未檢測到的實際差異感到盲目。
JMP 11 在許多新的地方擁有強大的Huber M方法:分佈,單向,雙變量,響應篩选和擬合模型 - 響應篩選個性。
注意: 這是一部分大統計 John Sall撰寫的一系列博客文章。讀完他的全部內容大統計帖子 。