我们都听过别人说一些不“正确”的话。有时你会选择不去理会，要么是因为这件事不值得质疑，要么是因为你不想与说话的人发生冲突。
这是一系列我认为“令人尴尬”的统计数据中的第一条。我最初将这些统计数据发布在社区讨论区是为了征求大家的反馈。很高兴看到你们中的一些人（感谢社区成员@dale_lehman 、 @P_Bartell 、 @statman 、 @他们 、 @Georg和@brady_brady ）给出了非常深刻且富有洞察力的回复。请继续讨论！请找到我今天发布的第二个“令人尴尬的统计数据”讨论！
请继续阅读，了解我对为什么这第一句话令人尴尬的看法。
介绍
在统计学领域，我最讨厌的事情之一就是与假设检验相关的最基本的陈述。通常，如果t检验（或方差分析）的p因子相对较高，统计学家/分析师会说：“p>0.05，所以我们无法证明两个总体的均值不同。因此，我们得出结论，总体均值相同。”
该陈述的前半部分是正确的。如果 p>0.05（并且我们寻求 95% 的置信度，并且样本来自正态分布的总体，等等），那么我们就不能得出两个总体的均值不同的结论。
但这并不意味着两个总体的均值相同！我经常听到这种说法，即使是那些本该更了解情况的人也会这么说。很容易就陷入这种错误的结论。如果听者不熟悉统计学，这可能会造成损害！
一个简单的例子：男性与女性的平均身高
举个简单的例子，假设我们想确定成年男性的身高是否与成年女性的身高不同。由于资源有限，本次测试只能测量三名男性和三名女性的身高。我们在街上随机拦下三名男性和三名女性，测量他们的身高（如下图所示）：
我们使用JMP的“以 X 拟合 Y”平台执行 t 检验，比较两个样本的均值。结果 p 值为 0.7096。假设我们希望结论的置信度为 95%，由于 p>0.05，我们得出结论，无法 95% 地确定样本来自均值不同的总体。换句话说，基于这个样本，我们不能断言男性的平均身高与女性不同。
但这并不意味着男性和女性的平均身高相同。（你可以查一下……根据《今日医学新闻》的报道，2017年男性平均身高为67英寸。而根据克利夫兰诊所的数据，2018年女性平均身高为64英寸。）
为什么会发生这种情况？为什么t检验不能证明男性（平均）比女性高？这是因为抽样问题。我们无法测量所有男性和女性，所以我们选择在本次检验中分别只抽取三名。我们碰巧选择了三名身高与平均水平相当的男性，但随机选择的三名女性恰好比平均身高略高。再加上测量值的极差，导致男女真实平均身高存在相当大的不确定性，因此p值较高。
这是一件“大事”吗？
是的，我相信这确实很重要！我们举一个更实际的工业例子。假设您有一台机器，用于将粉末灌装到小瓶中。您的公司想要扩大产能，所以您购买了第二台机器。您需要确保机器 B 的灌装重量与机器 A 相同。
你做了一个快速测试，从机器 A 和机器 B 各取了几个小瓶样品，然后进行了 t 检验。结果显示 p 值为 0.35。你应该去找老板说两台机器的灌装量相同吗？不！如果你这样做，你可能会犯错。如果机器 B 的所有小瓶的平均灌装重量实际上都高于机器 A，那么你赠送“免费”物料就是在浪费公司的钱。如果机器 B 的平均灌装重量实际上低于机器 A，那么你可能会让客户不满意。
我们能做些什么呢？
如果你希望平均值更加确定，可以增加样本量。这也能让男性和女性身高的比较结果更加准确。但你仍然只能断言这两个群体要么被证明存在差异，要么没有被证明存在差异。你并没有得出他们“相同”的结论。
您还可以进行等价性检验（涉及多个 t 检验）。如果您感兴趣，我建议您点击此处了解更多信息。至于等价性检验，我暂且不谈，因为这超出了本文的讨论范围。
结论
所以，关键在于，虽然你可以用t检验（或方差分析）来证明某些事物存在差异，但你无法（至少单独使用）用它来证明某些事物是相同的。请务必谨慎使用你的术语和结论，以免在应用中犯错！
如果你以前说过这些话，也别难过。以我的经验来看，这是一个极其容易犯且常见的错误。（坦白说：我自己也犯过！）所以，尽管在我之前很多人已经说过很多次了，但我认为还是值得再说一遍。
