注意：本文最初出现在 JMPer Cable，第 15 期，2004 年夏季。
SAS Institute Inc. 执行副总裁 John Sall @John_Sall
布拉德利琼斯，JMP 开发@布拉德利琼斯
每个统计程序都涉及假设。 我们被教导要害怕违反这些假设。 例如，比较均值的标准程序，两个样本t-测试，配对吨-test 和 ANOVA 都包含残差是正态分布的假设。 如果误差呈正态分布，并且所有其他假设成立，则所有检验统计量都有其声称的分布，置信区间和假设检验是可信的。 我们甚至拥有丰富的分析工具来探索我们的假设，例如分发平台中的特征，这些特征可以根据正态分布进行测试和绘图。 如果残差不是正态分布怎么办？ 从业者应该在多大程度上担心残差是否正常？ 很少有文章和更少的书籍详细说明对正态性假设的担忧程度。
具有正态分布的残差是一个我们可能不需要太担心的问题，因为：
- 在大样本中，很容易检测到非正态性，但这并不重要。
- 在小样本中，非正态性可能很重要，但您无法检测到它。
对于大样本，中心极限定理指出，即使数据不是正态的，随着样本量的增加，类似均值的统计量也会接近正态分布。 对于小样本，检验统计量不一定是正常的，但我们没有足够大的样本来判断。
JMP 开发人员经常收到要求执行残差正态性测试作为我们拟合平台的便利功能。 但这只有在可以检测到非正态性的样本量时才有用。 让我们使用模拟进行调查。
对于我们的模拟，我们使用两种不同的非正态误差分布比较两组的平均值：双指数和移位污染正态分布。 双指数是对称的，但呈尖峰态， IE ，比正态分布更尖峰和更重的尾巴。 偏移正态分布是通过在随机选择的 5% 样本中添加三个标准差的偏移而向右偏斜的正态分布。
双指数由以下 JMP 公式模拟：
if(randomUniform()>0.5,1,-1)*log(randomUniform())
移位污染分布使用以下 JMP 公式：
10+5*(randomNormal() + (randomUniform()<0.05)*3)
这些是您可能在实际数据中看到的强烈但不是极端的非正态性的特征。
图 1 显示了模拟双指数的 10,000 个点，图 2 显示了移位污染分布。 实心红色对角线是数据在符合正态分布时的外观的参考。 请注意，数据低于小分位数的线，而高于大分位数的线。 他的特征是尖峰分布。 它们在中间有大量的概率质量，尾巴长但人口稀少。
移位污染分布的正态分位数图中的数据（图 2）落在大分位数的红色实线对角线上方。 这是右偏分布的特征。 如果数据是正态分布的，直方图的顶部将在 30 左右结束，而不是继续超过 40 点。
Fig. 1: Distribution results for the double-exponential distribution.图 1：双指数分布的分布结果。
Fig. 2: Distribution results for the shift-contaminate distributions.图 2：移位污染分布的分布结果。
运行了一个 JSL 脚本，该脚本生成了 10,000 个 Monte Carlo 样本，其中包含针对这两个非正态分布的 10 个观测值。附上脚本 (MonteCarlo.jsl)。 （注意：该脚本需要一段时间才能运行。）每个样本被分成大小相等的两组。 按照设计，两组的均值没有差异。 我们还为标准正态分布生成了 10,000 个样本作为对照。 对于每个样本，我们进行单向分析以测试均值的差异，并进行分布以测试残差的正态性。 我们对大小为 20、30、50、70 和 100 的样本重复了整个过程。
当总体均值没有差异时检验均值
首先，让我们看一下我们10,000的地块p - 非正态分布的值。 请记住，我们的程序旨在使每个样本的均值没有真正的差异。 由于随机变化， p - 我们的 10,000 个单向分析的值应均匀分布在零和一之间。 均匀分布函数是对角线 F(x) = x。
为了生成图 3a 和 3b 中的图，我们首先对 10,000 p -价值观。 这是的-axis是10,000的比例p -值小于或等于给定的显着性概率。 这X -轴显示显着性概率（ p值）。 每个样本大小以不同的颜色显示。
Fig. 3a: Probability plot of p-values for the double-exponential distribution.图 3a：双指数分布的 p 值概率图。
Fig 3b: Probability plot of p-values for the shift-contaminated distribution.图 3b：移位污染分布的 p 值概率图。
对于图和所有样本量， p -值看起来接近均匀累积分布函数的对角线。 正如我们所希望的那样，无论是改变分布还是改变样本量都不会对等均值方差分析检验的显着性概率的准确性产生太大影响。
让我们仔细看看我们正在判断显着性的 0.05 附近的低标度。 图 4a 和 4b 中的图放大了该区域。
Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.图 4a：非正态双指数分布的 p 值概率图的放大比例视图。
Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.图 4b：非正态移位污染分布的 p 值概率图的放大比例视图。
请注意，对应于具有五个观察值的两组均值相等检验的红色对角线偏离线 y = x 稍下方。 这是什么意思？
我们知道，如果我们选择 0.05 的显着性概率，我们将拒绝我们的均值在 5% 的实验中相等的假设，因为机会的变化无常，即使均值确实相等。 也就是说，有 5% 的时间我们会犯第一类错误——当假设为真时，我们将拒绝均值相等的假设。
这个 5% 的 I 类错误率是内置的，如果我们选择 0.05 的显着性概率，我们会期望什么。 如果这看起来错误太多，那么您需要选择一个较小的显着性概率。
当红色对角线与垂直虚线 x = 0.05 相交时，其是的-值为 0.043。 这意味着我们没有拒绝我们的均值等于 5% 的时间这一假设，而是仅拒绝了 4.3% 的时间。 我们称这是一个保守的结果，因为我们犯的 I 类错误比我们预期的要少。 如果你要错过，最好保守地错过。
另一方面，假设一条线在 CumProb 值为 0.06 时在 0.05 处穿过垂直虚线。 然后，我们实际上会看到 6% 的 I 类错误，而不是预期的 5% I 类错误。 我们称这样的测试过于宽松，因为真正的错误率比预期的要大。
令人欣慰的是，在唯一偏离 45 度线的情况下，它是保守的。 班次污染案例也有n =10 的情况转移到保守的一边，但不如双指数。
图 5 显示了具有纯正态曲线的 Monte Carlo 模拟，以显示 Monte Carlo 研究中的自然随机变化。
Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.图 5：标准正态分布的 p 值概率图的放大比例视图。
测试非正态性
下一个问题是我们是否可以检测到错误是非正常的。 我们首先计算我们之前所做的每个单向分析的残差。 使用分发平台，我们测试这些残差的正态性。 因此，对于每个分布和样本量，我们进行 10,000 次 Shapiro-Wilks 正态性检验。 图 6 中的图显示了作为夏皮罗-威尔克斯检验中显着性概率函数的正态性检验结果的累积百分比。
Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.图 6：非正态分布的 Shapiro-Wilkes 检验的功效图。
这些情节告诉我们什么？ 首先，我们知道在双指数情况和移位污染正态情况下，残差的分布都是不正态的。 我们想知道我们的测试检测到这种非正态性的可能性有多大。 换句话说，我们想知道我们的测试有多强大。
一个非常强大的测试将有一个看起来像希腊字母 gamma，Γ 的图表。相比之下，没有幂的测试将有一个看起来像对角线的图表。
对于双指数分布的残差，我们可以看到，100 个观测样本的图在最左侧迅速上升，正如所愿。 不幸的是，随着样本量的下降，图表与 Γ 的相似性会下降。 当样本量为 10 时，函数看起来更像对角线（没有检测能力）。
对于移位污染的正态分布残差，Shapiro-Wilks 检验的检测能力对于每个样本大小都较差。
当残差确实正常时，如图 7 所示，我们看到每个样本大小都有一条对角线。 这就是我们想要的。 我们不希望检测到不存在的非正态性。 在这里，测试的“功效”是 I 类错误的概率。 测试不可能比这更强大。
Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.图 7：标准正态分布的 Shapiro-Wilkes 检验的功效图。
现在让我们展开p -值区域，因此我们可以检查 alpha=0.05 时的功率，如图 8a 和 8b 所示。 底部曲线（样本量n = 10) 图 8 中的垂直网格线 x=0.05 在值 0.10 处相交。 这意味着如果 Shapiro-Wilks 显着性概率为 0.05，则您有 10% 的机会检测到残差是非正态的。 我们说夏皮罗-威尔克斯检验的功效是 10%。 这并不令人印象深刻。
Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.图 8a：双指数非正态分布的扩展功率图。
Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.图 8b：移位污染非正态分布的扩展比例功率图。
另一种说法是，第二类错误的概率是 90%。 也就是说，在 90% 的情况下，Shapiro-Wilks 检验（给定此误差分布和显着性水平）将错误地无法拒绝正态残差假设。
相比之下，上面的曲线（样本量n = 100) 在值 0.78 处穿过垂直网格线 x=0.05。 因此，该测试的功效接近 80%。
对于移位污染的正态残差，功效曲线具有相似的形状，但所得功效甚至更小。 例如，顶部曲线（样本大小 n = 100）在大约 0.63 处与 0.05 线相交（功效为 63%）。
因此，我们看到，对于少量观察，您无法检测到非正态性。 对于大量观察，您不必关心错误是否不正常，因为我们模拟的 I 类错误率与大样本量的预期率相匹配。
这项研究倾向于支持不在拟合平台中实施正态性检验。 包含此功能只会鼓励人们担心他们看不到或无关紧要的事情。
为残差分布添加图形和诊断特征是另一回事。 您不是在测试，而是在寻找图形异常，例如异常值，或者可能是模式的某些隐藏结构的线索的模式。 异常值和模式通常是重要发现的主要线索。
W. Edwards Deming 的诫命之一是“驱除恐惧”，但作为统计学家，我们通常做相反的事情，向我们的客户和学生灌输非理性的恐惧。 通过这项您可以轻松复制的研究，我希望您现在有足够的勇气与“leptokurtosiphobia”作斗争。
少担心一件事情不是很好吗？
