如何比较小样本的组间差异?大家好,
我有 3 个不同的组,我的目标是比较它们,看看是否存在任何统计上的显着差异。然而,我的样本量非常小:第 1 组有 3 个样本,第 2 组有 2 个样本,第 3 组有 3 个样本。由于样本量很小,我无法测试正态性。
为了分析数据,我进行了 Kruskal-Wallis 测试,然后进行了 Steel-Dwass 测试(作为事后分析)。我附上了其中一个变量的输出屏幕截图,但其他变量也有类似的结果。
现在,我对结果有几个疑问:
Kruskal-Wallis 表下方的脚注提到了“小样本量”,并建议参考统计表进行检验,而不是依赖大样本近似值。有人可以澄清这意味着什么,以及在这种情况下该怎么做吗?
我注意到 Kruskal-Wallis 检验报告了方差的显着差异,而 Steel-Dwass 检验则报告没有任何差异。这是事后测试报告不同结果的常见结果吗?
最后,我将不胜感激任何有关替代测试或方法来评估三组之间显着差异的建议。最初,由于样本量较小,我没有进行任何测试,但我的文章的审稿人要求我进行测试来评估差异。
感谢您的帮助!
基础数据分析和建模数据探索和可视化回复:如何比较小样本的组间差异?老实说,我不知道统计测试可以在图表中添加什么内容。也许具有更好统计背景的人可以阐明原因,但我不在乎这种情况下的 p 值是 0.03、0.1 还是 0.4。该图表明中间组最高,但第三组高于第一组的“证据”稍弱。这是一个好的开始,我将其视为探索性分析 - 因此不需要 p 值。我认为 p 值不会给图表显示的内容增加任何内容。您需要更大的样本量,这些结果表明值得追求,并且是否可以根据您从这些初步结果中看到的内容设计适当的实验。
回复:如何比较小样本的组间差异?在这种情况下,您可能可以使用传统的方差分析。非参数检验不解决小样本量问题,它们只是假设不同的基础统计模型(或对基础统计模型做出较少的假设)。
要确定统计检验的 p 值,需要了解原假设为真时该检验统计量的预期分布。对于较大的样本量,这些分布可以通过众所周知的分布来近似,但对于较小的样本量,通常需要枚举或统计模拟来确定分布的百分位数。您可以在很多地方找到 Wilcoxon / Kruskal-Wallace 检验的小样本量临界值,例如https://onlinepubs.trb.org/onlinepubs/nchrp/cd-22/manual/v2appendixc.pdf (见表C-7)。
Steel-Dwass 多重比较检验也是非参数的,并且由于它控制总体 I 类错误率,因此很难显示每对的统计显着性。在您的情况下,样本大小可能不允许计算置信区间。
回复:如何比较小样本的组间差异?嗨@SamGardner
如果你好的话,由于我的样本量很小,所以无法计算置信区间;因此我不能使用非参数检验,这是正确的吗?
但我也不能使用方差分析,因为由于样本大小,我无法再次测试正态性
那么这种情况下该怎么办呢?
回复:如何比较小样本的组间差异?您仍然可以进行方差分析,保存方差分析中的残差(它将把它们保存到名为“以“建模并制作直方图、QQ 图……这是我作为一名统计学家的发言……不要过多考虑正态性。没关系。唯一可能不会的原因是,如果你有一个非常大的离群值或者您知道产生结果的过程将具有明显非正态的响应分布。方差分析对于小到中度偏离正态性的情况相当稳健。

回复:如何比较小样本的组间差异?@SamGardner我看到你通过组合所有数据点进行了正态性测试,所以你最终得到了 9 个数据点,我认为你应该对每组进行测试
回复:如何比较小样本的组间差异?你好@ELH残差应该是正态分布的(残差是通过减去组平均值“校正”的数据,用于组之间的差异,这样您就可以评估残差对所有观察结果的正态性)。但正如@SamGardner所说,与正常状态的微小偏离无需担心。恕我直言,恒定方差比正态性更重要;非正式地,这意味着每个组内的数据分布应该大致相同。因此,一般来说,如果您的残差图(残差与预测)看起来是随机的,没有模式可言,那么请保持冷静并继续。