大于 2000 的样本的 Shapiro-Wilk 测试？JMP 帮助页面指出“对于正态分布，夏皮罗- 当样本量小于 2000 且没有固定参数时，也会报告正态性的 Wilk 测试。 “
我有一个客户，他的样本有时超过 2000 个，但他的内部程序告诉他使用 Shapiro-Wilk 测试。 一些在线资源提到 5000 个观察值作为此测试样本量的上限。 我的客户询问为什么 JMP 将 Shaipiro-Wilk 检验的可用性限制为 2000 个观测值。 计算时间会不会太长？ 还是有其他原因？
回复：大于 2000 的样本的 Shapiro-Wilk 测试？如果我没记错的话，p 值需要通过模拟或近似生成。 可能是我们只生成了最多 N=2000 的值。
回复：大于 2000 的样本的 Shapiro-Wilk 测试？只有开发商知道。作为@DonMcCormack提到此测试模拟了 p 值。 SAS还限制了样本量<=2000；对于 n>2000，测试不可用；查看详情PROC UNIVARIATE：拟合优度检验 (sas.com)
回复：大于 2000 的样本的 Shapiro-Wilk 测试？这是一个很好的参考，描述和比较了几种不同类型的正态性检验（ https://www.tandfonline.com/doi/pdf/10.1080/00949655.2010.520163 ).我们暂时删除了 SW 测试（我认为是在 v14 或 15.0 中），但在 v15.1 中将其带回来，样本量小于 2000。我的问题是，为什么他们要用如此大的样本量测试正态性？对于样本统计，中心定理将适用于它们，并适用于实际分布重要的分析（估计公差区间、百分位数、控制图，也许？）。那么经验统计应该没问题。
回复：大于 2000 的样本的 Shapiro-Wilk 检验？谢谢@萨姆加德纳我确实向他提到过，样本量如此之大，即使偏离正态性最小，测试也可能很重要。 他意识到这一点并同意了，我也不再勉强了。 他是雅培实验室的统计学家。 我会使用您提供的信息跟进他。 谢谢@DonMcCormack和@剑草也为了回应。
回复：大于 2000 的样本的 Shapiro-Wilk 检验？这维基百科文章在这个测试中给出了更多的细节和背景。之所以限制为 2000，是因为检验统计使用的系数基于标准正态分布阶数统计的协方差矩阵的期望值和逆矩阵。这在计算上是繁琐的，当首次提出该方法时，对于大样本量这样做是不可行的。SW 最初是为最多 50 个样本量提出的。Royston 在 80 年代末/90 年代初提出了一种近似方法来计算这些系数或样本量 n=3 到 n=1999。我还没有找到任何其他研究将 SW 测试扩展到更大的样本量。
回复：大于 2000 的样本的 Shapiro-Wilk 测试？我正在为另一位客户深入研究这个问题，并想借此机会巩固我的想法，并感谢你们将其发布到社区中。 重申一下，根据 SAS 文档，对 [Shapiro-Wilk] W 检验统计数据使用归一化转换来确定检验的 p 值（对于样本量，n ≥ 4）。该归一化转换中使用的常数源自依赖于 n 的模拟结果。 但是 p 值本身并未针对测试进行模拟。常数最多为 1,999；因此，对于 n ≥ 2000，测试不会在 JMP 或 SAS 中计算。 我认为我们可以达到 5000，我的猜测是这只是历史先例（可能来自也可能不是来自出版物参考）。为什么要将其限制为“大”样本量呢？ （除了开发该方法时的计算限制外， @萨姆加德纳提及）
对于 SW，它与计算时间无关（尽管对于 AD，它是）。 我相信这与 W 是使用协方差计算计算的事实有关（在正常顺序统计矩阵上@萨姆加德纳提及）。协方差随着 n（或自由度）的增加而增加，这可能会使检验统计量的估计产生偏差（通过夸大其标准误差）。2000 可能是一个任意的选择，但限制它的想法是我们希望最小化协方差膨胀风险，因此 W 检验统计量（它是 n 的函数）是一个无偏估计量（超过数千个大小为 n 的样本).这就是我的看法。
同意对如此大的样本量进行正态性测试的注意事项。当然，这取决于应用程序，但在我的医疗设备产品制造商中。经验，我从来没有见过这么大的样本量来自一个连续的过程（即只有一个可变性来源的过程）。
（幻灯片由 JMP Education 提供）
通常它看起来像这样，在这里您可以用 Lot 替换单词“Batch”（并且 Lot 大小通常在几百个数量级）。
回复：大于 2000 的样本的 Shapiro-Wilk 测试？计算时间限制是实际使用模拟或数值积分和矩阵运算来确定 SW 系数所花费的时间。我尝试了一种模拟方法，此处显示了计算时间与 n 的关系图。内存需求也增加了，至少是 n^2 阶，所以这样做是不可行的。此外，对于每个样本大小 n，您需要存储要使用的 n 个系数的列表，因此所需的总存储量增长 n*(n+1)/2，这也是 n^2 阶。
但@PatrickGiuliano正确的是，使用现代计算，这可能会扩展到大于 2000 的样本量，但不会太大。
