注意：本文最初出現在 JMPer Cable，第 15 期，2004 年夏季。
SAS Institute Inc. 執行副總裁 John Sall @John_Sall
布拉德利瓊斯，JMP 開發@布拉德利瓊斯
每個統計程序都涉及假設。 我們被教導要害怕違反這些假設。 例如，比較均值的標準程序，兩個樣本t-測試，配對噸-test 和 ANOVA 都包含殘差是正態分佈的假設。 如果誤差呈正態分佈，並且所有其他假設成立，則所有檢驗統計量都有其聲稱的分佈，置信區間和假設檢驗是可信的。 我們甚至擁有豐富的分析工具來探索我們的假設，例如分發平台中的特徵，這些特徵可以根據正態分佈進行測試和繪圖。 如果殘差不是正態分佈怎麼辦？ 從業者應該在多大程度上擔心殘差是否正常？ 很少有文章和更少的書籍詳細說明對正態性假設的擔憂程度。
具有正態分佈的殘差是一個我們可能不需要太擔心的問題，因為：
- 在大樣本中，很容易檢測到非正態性，但這並不重要。
- 在小樣本中，非正態性可能很重要，但您無法檢測到它。
對於大樣本，中心極限定理指出，即使數據不是正態的，隨著樣本量的增加，類似均值的統計量也會接近正態分佈。 對於小樣本，檢驗統計量不一定是正常的，但我們沒有足夠大的樣本來判斷。
JMP 開發人員經常收到要求執行殘差正態性測試作為我們擬合平台的便利功能。 但這只有在可以檢測到非正態性的樣本量時才有用。 讓我們使用模擬進行調查。
對於我們的模擬，我們使用兩種不同的非正態誤差分佈比較兩組的平均值：雙指數和移位污染正態分佈。 雙指數是對稱的，但呈尖峰態， IE ，比正態分佈更尖峰和更重的尾巴。 偏移正態分佈是通過在隨機選擇的 5% 樣本中添加三個標準差的偏移而向右偏斜的正態分佈。
雙指數由以下 JMP 公式模擬：
if(randomUniform()>0.5,1,-1)*log(randomUniform())
移位污染分佈使用以下 JMP 公式：
10+5*(randomNormal() + (randomUniform()<0.05)*3)
這些是您可能在實際數據中看到的強烈但不是極端的非正態性的特徵。
圖 1 顯示了模擬雙指數的 10,000 個點，圖 2 顯示了移位污染分佈。 實心紅色對角線是數據在符合正態分佈時的外觀的參考。 請注意，數據低於小分位數的線，而高於大分位數的線。 他的特徵是尖峰分佈。 它們在中間有很多概率質量，尾巴長但人口稀少。
移位污染分佈的正態分位數圖中的數據（圖 2）落在大分位數的紅色實線對角線上方。 這是右偏分佈的特徵。 如果數據是正態分佈的，直方圖的頂部將在 30 左右結束，而不是繼續超過 40 點。
Fig. 1: Distribution results for the double-exponential distribution.圖 1：雙指數分佈的分佈結果。
Fig. 2: Distribution results for the shift-contaminate distributions.圖 2：移位污染分佈的分佈結果。
運行了一個 JSL 腳本，該腳本生成了 10,000 個 Monte Carlo 樣本，其中包含針對這兩個非正態分佈的 10 個觀測值。附上腳本 (MonteCarlo.jsl)。 （注意：該腳本需要一段時間才能運行。）每個樣本被分成大小相等的兩組。 按照設計，兩組的均值沒有差異。 我們還為標準正態分佈生成了 10,000 個樣本作為對照。 對於每個樣本，我們進行單向分析以測試均值的差異，並進行分佈以測試殘差的正態性。 我們對大小為 20、30、50、70 和 100 的樣本重複了整個過程。
當總體均值沒有差異時檢驗均值
首先，讓我們看一下我們10,000的地塊p - 非正態分佈的值。 請記住，我們的程序旨在使每個樣本的均值沒有真正的差異。 由於隨機變化， p - 我們的 10,000 個單向分析的值應均勻分佈在零和一之間。 均勻分佈函數是對角線 F(x) = x。
為了生成圖 3a 和 3b 中的圖，我們首先對 10,000 p -價值觀。 這是的-axis是10,000的比例p -值小於或等於給定的顯著性概率。 這X -軸顯示顯著性概率（ p值）。 每個樣本大小以不同的顏色顯示。
Fig. 3a: Probability plot of p-values for the double-exponential distribution.圖 3a：雙指數分佈的 p 值概率圖。
Fig 3b: Probability plot of p-values for the shift-contaminated distribution.圖 3b：移位污染分佈的 p 值概率圖。
對於圖和所有樣本量， p -值看起來接近均勻累積分佈函數的對角線。 正如我們所希望的那樣，無論是改變分佈還是改變樣本量都不會對等均值方差分析檢驗的顯著性概率的準確性產生太大影響。
讓我們仔細看看我們正在判斷顯著性的 0.05 附近的低標度。 圖 4a 和 4b 中的圖放大了該區域。
Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.圖 4a：非正態雙指數分佈的 p 值概率圖的放大比例視圖。
Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.圖 4b：非正態移位污染分佈的 p 值概率圖的放大比例視圖。
請注意，對應於具有五個觀察值的兩組均值相等檢驗的紅色對角線偏離線 y = x 稍下方。 這是什麼意思？
我們知道，如果我們選擇 0.05 的顯著性概率，我們將拒絕我們的均值在 5% 的實驗中相等的假設，因為機會的變化無常，即使均值確實相等。 也就是說，有 5% 的時間我們會犯第一類錯誤——當假設為真時，我們將拒絕均值相等的假設。
這個 5% 的 I 類錯誤率是內置的，如果我們選擇 0.05 的顯著性概率，我們會期望什麼。 如果這看起來錯誤太多，那麼您需要選擇一個較小的顯著性概率。
當紅色對角線與垂直虛線 x = 0.05 相交時，其是的-值為 0.043。 這意味著我們沒有拒絕我們的均值等於 5% 的時間這一假設，而是僅拒絕了 4.3% 的時間。 我們稱這是一個保守的結果，因為我們犯的 I 類錯誤比我們預期的要少。 如果你要錯過，最好保守地錯過。
另一方面，假設一條線在 CumProb 值為 0.06 時在 0.05 處穿過垂直虛線。 然後，我們實際上會看到 6% 的 I 類錯誤，而不是預期的 5% I 類錯誤。 我們稱這樣的測試過於寬鬆，因為真正的錯誤率比預期的要大。
令人欣慰的是，在唯一偏離 45 度線的情況下，它是保守的。 班次污染案例也有n =10 的情況轉移到保守的一邊，但不如雙指數。
圖 5 顯示了具有純正態曲線的 Monte Carlo 模擬，以顯示 Monte Carlo 研究中的自然隨機變化。
Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.圖 5：標準正態分佈的 p 值概率圖的放大比例視圖。
測試非正態性
下一個問題是我們是否可以檢測到錯誤是非正常的。 我們首先計算我們之前所做的每個單向分析的殘差。 使用分發平台，我們測試這些殘差的正態性。 因此，對於每個分佈和样本量，我們進行 10,000 次 Shapiro-Wilks 正態性檢驗。 圖 6 中的圖顯示了作為夏皮羅-威爾克斯檢驗中顯著性概率函數的正態性檢驗結果的累積百分比。
Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.圖 6：非正態分佈的 Shapiro-Wilkes 檢驗的功效圖。
這些情節告訴我們什麼？ 首先，我們知道在雙指數情況和移位污染正態情況下，殘差的分佈都是不正態的。 我們想知道我們的測試檢測到這種非正態性的可能性有多大。 換句話說，我們想知道我們的測試有多強大。
一個非常強大的測試將有一個看起來像希臘字母 gamma，Γ 的圖表。相比之下，沒有冪的測試將有一個看起來像對角線的圖表。
對於雙指數分佈的殘差，我們可以看到，100 個觀測樣本的圖在最左側迅速上升，正如所願。 不幸的是，隨著樣本量的下降，圖表與 Γ 的相似性會下降。 當樣本量為 10 時，函數看起來更像對角線（沒有檢測能力）。
對於移位污染的正態分佈殘差，Shapiro-Wilks 檢驗的檢測能力對於每個樣本大小都較差。
當殘差確實正常時，如圖 7 所示，我們看到每個樣本大小都有一條對角線。 這就是我們想要的。 我們不希望檢測不存在的非正態性。 在這裡，測試的“功效”是 I 類錯誤的概率。 測試不可能比這更強大。
Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.圖 7：標準正態分佈的 Shapiro-Wilkes 檢驗的功效圖。
現在讓我們展開p -值區域，因此我們可以檢查 alpha=0.05 時的功率，如圖 8a 和 8b 所示。 底部曲線（樣本量n = 10) 圖 8 中的垂直網格線 x=0.05 在值 0.10 處相交。 這意味著如果 Shapiro-Wilks 顯著性概率為 0.05，則您有 10% 的機會檢測到殘差是非正態的。 我們說夏皮羅-威爾克斯檢驗的功效是 10%。 這並不令人印象深刻。
Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.圖 8a：雙指數非正態分佈的擴展功率圖。
Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.圖 8b：移位污染非正態分佈的擴展比例功率圖。
另一種說法是，第二類錯誤的概率是 90%。 也就是說，在 90% 的情況下，Shapiro-Wilks 檢驗（給定此誤差分佈和顯著性水平）將錯誤地無法拒絕正態殘差假設。
相比之下，上面的曲線（樣本量n = 100) 在值 0.78 處穿過垂直網格線 x=0.05。 因此，該測試的功效接近 80%。
對於移位污染的正態殘差，功效曲線具有相似的形狀，但所得功效甚至更小。 例如，頂部曲線（樣本大小 n = 100）與 0.05 線相交的位置約為 0.63（功效為 63%）。
因此，我們看到，對於少量觀察，您無法檢測到非正態性。 對於大量觀察，您不必關心錯誤是否不正常，因為我們模擬的 I 類錯誤率與大樣本量的預期率相匹配。
這項研究傾向於支持不在擬合平台中實施正態性檢驗。 包含此功能只會鼓勵人們擔心他們看不到或無關緊要的事情。
為殘差分佈添加圖形和診斷特徵是另一回事。 您不是在測試，而是在尋找圖形異常，例如異常值，或者可能是模式的某些隱藏結構的線索的模式。 異常值和模式通常是重要發現的主要線索。
W. Edwards Deming 的誡命之一是“驅除恐懼”，但作為統計學家，我們通常做相反的事情，向我們的客戶和學生灌輸非理性的恐懼。 通過這項您可以輕鬆複製的研究，我希望您現在有足夠的勇氣與“leptokurtosiphobia”作鬥爭。
少擔心一件事情不是很好嗎？
