双样本 t 检验的简单而诚实的解释？这只是一次闲聊，与工作无关。
我从事统计工作已有大约 30 年，但我仍然无法找到很好的方法来解释双样本 t 检验这种非常简单且流行的统计检验。
我想解释一下这些假设以及（稍微有限的）稳健性。以下是我的拙劣尝试。有没有好的教科书可以简单而诚实地解释这些事情？
即使 3 + 5 = 8，x1 + x2 = 8 的解也不仅仅是 x1 = 3 和 x2 = 5。同样的事情在统计学中也经常发生。
t 检验最初源自 X_1, ..., X_n1 -- iid N(mu_1, sigma^2) 和 Y_1, ..., Y_n2 -- iid N(mu_2, sigma^2)，但这并不意味着只有当数据由该特定模型生成时，t 检验统计量才服从 t 分布。
但稳健性会根据每种情况而变化。
（1）违反 iid 会导致悲剧性的结果。例如，如果你从 Twitter (X) 收集政治观点，并试图推断日本普通民众，结果就会变得非常偏颇。
（2）即使违反方差相等假设，如果两组样本大小几乎相等，结果仍然近似有效。
（3）即使违反正态性假设，如果样本量相对较大，并且分布不是那么偏斜或尾部严重，结果仍然近似有效。
（4）如果样本量相对较大，双样本 t 检验也近似于随机化检验。因此，你可以将双样本 t 检验视为非参数检验，其零假设为 H0：对于所有 y，F1(y) = F2(y)（尽管许多烹饪书都说 t 检验是参数检验）。
回复：双样本 t 检验的简单而诚实的解释？统计知识门户对此有很好的解释： https://www.jmp.com/en_us/statistics-knowledge-portal/t-test/two-sample-t-test.html
回复：双样本 t 检验的简单而诚实的解释？感谢您的信息， @mzwald -san。
我个人认为（Student 和 Welch 的）双样本 t 检验的假设和稳健性更加复杂。
作为示例，页面中写了以下解释。
>如果我的两组的方差不相等怎么办？
>您仍然可以使用双样本 t 检验。您使用不同的标准差估计值。
我猜上面的句子暗示如果方差相等，则应该使用 Student t 检验，如果方差不等，则应该使用 Welch t 检验。（“标准差”我猜是“标准误差”的意思。）但如果样本量大致相等，则 Student t 检验和 Welch t 检验的结果非常接近。此外，如果两组的方差非常接近，则 Student t 检验和 Welch t 检验的结果也非常接近。
目前的上述解释似乎是说，我们不能对等方差使用 Welch t 检验，或者我们总是不能对等方差使用 Student t 检验。
我认为另一个重要的特性是双样本 t 检验是随机化检验的近似值。此特性使 t 检验在随机临床试验中的使用具有有效性。临床试验从不使用随机抽样。它只使用随机分配。因此，它们的数据不是随机样本。即便如此，双样本学生 t 检验作为 H0:F1(x) = F2(x) 的随机化检验仍然有效。
回复：双样本 t 检验的简单而诚实的解释？嗨@yusuke_ono
双样本 t 检验是一种广泛使用的统计方法，用于确定两个独立组的平均值之间是否存在显著差异。它通常用于研究场景，即人们试图比较两个不同组的平均结果，以评估观察到的任何差异是否具有统计显著性或可能是偶然发生的。
|
方面
|
描述
|
例子
|
|
双样本 t 检验的假设
|
|
观察的独立性
|
每组中的观测值必须彼此独立。
|
通过测试小组一起学习的学生来研究新教学方法的效果。如果学生在考试期间互相讨论和帮助，他们的成绩就不再是独立的
|
|
常态
|
每组中的数据应近似呈正态分布，这对于小样本量尤其重要。
|
衡量收入分配不均的两个城市的收入。
|
|
方差相等
|
两组的方差（扩展或可变性）应该大致相等。
|
将一组中一致的数据与另一组中高度可变的数据进行比较。
|
|
双样本 t 检验的稳健性
|
|
违反独立性
|
t 检验对独立性违反的稳健性不强，从而导致结果有偏差。
|
对班上讨论答案的学生进行调查——如上所述（会导致有偏差的结果）。
|
|
违反常态
|
t 检验对于违反正态性具有相当强的稳健性，尤其是在样本量较大的情况下。
|
比较两组数据略有偏差的人对视频游戏的反应时间。
|
|
违反方差相等
|
t 检验对方差不等的情况具有中等稳健性，尤其是在样本大小相似的情况下。当方差不等且样本大小不同时，请使用 Welch t 检验。
|
比较两所具有不同分数差异的学校的考试成绩。
|
请注意：
- 虽然 Welch t 检验通过适应不等方差提供了更灵活的方法，但在许多样本大小相等或方差相似的实际场景中，学生 t 检验和 Welch t 检验的结果将紧密收敛。
- 虽然双样本 t 检验被归类为参数检验，假设数据来自正态分布的总体。但是，当样本量足够大时，t 检验也可以被视为非参数检验的近似值。在这种情况下，它检验了两个组的分布相同的零假设，这使其在某些条件下有点类似于非参数检验。
关于临床试验的最后一点：//在临床试验中，双样本 t 检验作为随机化检验的近似值//
鉴于将受试者随机分配到治疗组的设计，临床试验中收集的数据不是传统意义上的随机样本。
然而，双样本 t 检验在这种情况下仍然有效，因为它能够在生理和药理学意义上近似随机化检验（在严格的纳入标准之上） - 这意味着 t 检验仍然可以准确地检验零假设，尽管没有随机抽样，双样本 t 检验仍为随机试验中的假设检验提供了一种可靠的方法。
这是指在零假设下，t 检验统计量的分布（在随机实验的背景下）近似于从排列或随机化检验中获得的检验统计量的分布。此属性证明了在随机试验中使用双样本 t 检验的合理性，其中使用随机分配而不是随机抽样，因为 t 检验可以近似完全随机化检验的结果，即使在没有传统随机抽样的情况下也使其有效。
从统计学上来说，它被称为基于随机化的推理。
热门参考：
统计学习简介
数据科学家的实用统计学
统计学：从数据中学习的艺术和科学，第三版（推荐）
主要参考文献：
统计方法
临床试验参考文献：
随机化测试
临床试验的设计与分析：概念和方法请参阅第 3、4 和 5 章
相信这些输入对您有帮助。
回复：双样本 t 检验的简单而诚实的解释？@yusuke_ono深入探究我们拥有的最基本、最实用的统计测试是一件好事，也很有趣。看起来您有一份白皮书的开端，类似于“对卓越的双样本 T 检验的考虑”。自然的起点是原始测试，其中所有假设都完全满足。然后考虑偏离这些假设的各种方向和程度，以及它们对测试的抽样属性（大小和功效）的影响。
从工程角度来看，t检验统计数据非常直观地就是信噪比。
与随机推理的联系引人注目，但却未被充分重视。
@Chandramouli_R这是很棒的总结材料。我希望看到混合模型添加到非独立分支的流程图中，最常见的情况是配对或更一般地说是阻塞。我们有出色的混合模型理论和 Kenward-Roger 自由度计算，仍然使用近似 t 分布进行测试，并且具有表现良好的小样本属性。
回复：双样本 t 检验的简单而诚实的解释？感谢您的想法， @Chandramouli_R -san。
我喜欢文字部分的解释。虽然这只是我的个人偏好，但我个人不喜欢顶部的流程图本身（尽管我在许多食谱中都看到过它）。
首先，当两个方差不相等时（即使两组的样本大小相等），Wilcoxon 检验不会维持 alpha 误差。这被称为“非参数 Behrens-Fisher 问题”。有 Welch 版本的 Wilcoxon 检验（Brunner,E. 和 Munzel,U. (2000) 非参数 Behrens-Fisher 问题：渐近理论和小样本近似。）
其次，虽然我也经常听到“中心极限理论不适用于 n<=30”这样的都市传说，但我觉得这很大程度上取决于人口分布。据我查，这个都市传说来自 Kendall 的《高级统计学理论》。但原文如下。
...对于某些分布，特别是平均值分布，较低的 n 值可以给出相当令人满意的近似值，比如 n > 30....（第 6 版第 341 页）
如果我解释一下上面的句子，我认为作者只是说了这样的话：“即使样本量非常小（如 n= 30），CLT 也适用于某些总体分布中的某些统计数据”。以下是一个简单的例子。如果总体分布是均匀的，即使 n = 5，CLT 近似似乎也很好。但如果总体分布是高度重尾的，那么即使 n = 100，CLT 近似也不起作用。
Random Reset(1111111);
y1 = J(5, 10000, Random Uniform());
y2 = J(100, 10000,Random SHASH(0.1, 0.1, 2, 3));
dt = As Table(VMean(y1)`||VMean(y2)`);
dt << Distribution(Y(1::2));
第三，Wilcoxon 检验通常不是对两个均值或两个中位数之间的差异的检验。因此，如果您对均值或中位数的差异感兴趣，我认为您不应该使用 Wilcoxon 检验。以下是一个非常人为的幼稚示例。样本中位数相等，但 Wilcoxon 检验非常显著。
y1 = J(1000,1,Random Lognormal(0,1));
y2 = -y1;
y1 = y1 - Median(y1);
y2 = y2 - Median(y2);
dt = As Table( (J(NRow(y1),1,1)||y1)|/ (J(NRow(y2),1,2)||y2), <<COLUMN names=""></COLUMN>
<P><BR />第四，从统计建模的角度来看，流程图本身在 McElreath, R. (2020) Statistical Rethinking: A Bayesian Course with Examples in R and Stan (2nd ed.), CRC Press 的第 1.1 节中受到了批评。</P>
<P>此外，如果你用其他统计检验来判断流程图中的“是/否”，这种预检验也经常受到批评。例如，在双样本 t 检验或单因素方差分析之前用统计检验来检查方差的齐性，人们说“对方差进行初步检验就像是驾着小船出海，看看海况是否足够平静，可以让远洋班轮离开港口！（第 333 页，Box，GEP（1953 年）。非正态性和方差检验）。而且，即使预检验在统计上有效，当 p 值很大时，我们也不能强烈接受 H0。</P>回复：双样本 t 检验的简单而诚实的解释？谢谢你的建议， @russ_wolfinger -san
大约 20-30 年前，当我还是一名使用 Base SAS 和 SAS/STAT 进行基础统计分析的讲师时，我向 SAS 用户推荐使用 UNIVARIATE 检查非正态性，使用 TTEST 中的 F 检验检查方差的齐性（对非正态数据使用 Wilcoxon，方差不同时使用 Welch 检验）。部分原因是 TTEST 在同一页中输出均值的 t 检验和方差的 F 检验结果。我的记忆有些模糊，但 SAS/ASSIST 可能也使用了相同类型的流程图或食谱逻辑。
但我现在认为，这种仪式或习俗没有统计学上的理由。
然而，在 2016 年的 p 值声明中，有这样的说法：“非正式地，p 值是在指定的统计模型下，数据的统计摘要（[...由 Ono 删减...]）等于或大于其观测值的概率。”我认为这种解释至少部分与 t 检验不符。t 检验的统计模型最初基于正态分布。但即使数据非正态（即数据偏离原始假设模型），p 值也可能很大（当样本均值几乎相等时）。
众所周知，随机临床试验通常根本不使用随机抽样，而只使用随机化。因此，我认为我们无法从随机抽样框架（即 Lehmann 术语中的“人口模型”）中给出在 RCT 中使用 t 检验的合理统计理由。
回复：双样本 t 检验的简单而诚实的解释？两位顶级应用统计学家对随机化持有不同观点的几个经典参考文献：Kempthorne： https 
/www.jstor.org/stable/2281178 Harville： https://www.jstor.org/stable/2683676
