我们都听过有人说一些不“正确”的话。 有时你只是放手，要么是因为它不够重要，无法挑战，要么是你不想与演讲者发生冲突。
这是我认为“令人畏惧”的一系列统计报表中的第一个。 我最初是在社区讨论论坛中发布这些声明以获取其他人的反馈。 令人高兴的是，你们中的一些人（向社区成员喊话@dale_lehman , @P_Bartell , @statman , @ih , @乔治， 和@brady_brady ) 给出了非常周到和有见地的答复。 请继续讨论！ 找到我今天发布的第二个 Cringeworthy Statistics 讨论！
继续阅读我对为什么这第一个陈述令人畏缩的看法。
介绍
我在统计学界的“烦恼”之一与与假设检验相关的最基本陈述有关。 通常，如果 t 检验（或方差分析）以相对较高的 p 因子结束，统计学家/分析师会说，“我们的 p > 0.05，所以我们无法证明两个总体的均值不同。 因此，我们得出结论，总体均值相同。”
该陈述的前半部分是正确的。 如果 p>0.05（并且我们正在寻找 95% 的置信度，并且样本来自正态分布的总体，并且...），那么我们不能得出两个总体的均值不同的结论。
但这并不意味着两个群体的手段是一样的！ 我经常听到这种说法，即使是从那些应该更了解的人那里也是如此。 很容易滑入这个错误的结论。 如果听众不熟悉统计数据，这可能是有害的！
一个简单的例子：男性与女性的平均身高
举个简单的例子，假设我们要确定成年男性的身高是否与成年女性的身高不同。 由于资源有限，本次测试只能测量三男三女的身高。 我们在街上随机拦住三男三女，测量他们的身高（如下图）：
我们用JMP的 Fit Y by X 平台执行 t 检验来比较两个样本的均值。 得到的 p 值为 0.7096。 假设我们希望我们的结论有 95% 的置信度，并且由于 p>0.05，我们得出结论，我们不能 95% 确定样本来自具有不同均值的总体。 换句话说，根据这个样本，我们不能说男性的平均身高与女性的不同。
但这并不意味着男性和女性的平均身高相同。 （你可以查查看... 根据今日医学新闻，2017年男性平均身高为67”。 而根据克利夫兰诊所，2018年女性平均身高为64”。）
为什么会这样？ 为什么 t 检验不能证明男性（平均）比女性高？ 这是因为抽样。 我们无法测量所有男性和所有女性，因此我们选择在本次测试中每人只抽取三个样本。 我们碰巧选择了三个身高平均水平的男性，但随机选择的三个女性恰好比平均身高略高。 将其与测量范围相结合，导致男性和女性的真实平均身高可能存在相当大的不确定性，因此 p 值较高。
这是“大事”吗？
是的，我相信这确实是一件大事！ 让我们举一个更实际的工业例子。 假设您有一台机器正在用粉末填充小瓶。 你的公司想扩大产能，所以你买了第二台机器。 要求您确保机器 B 灌装的重量与机器 A 相同。
您运行一个快速测试，从机器 A 和机器 B 中取样几个小瓶，然后运行 t 检验。 它返回的 p 值为 0.35。 你应该去找老板说机器生产的填充水平相同吗？ 不！ 如果你这样做，你就有犯错的风险。 如果来自机器 B 的所有小瓶实际上具有比机器 A 更高的平均填充重量，那么您通过赠送“免费”材料而让公司付出代价。 如果 B 的平均填充重量实际上低于 A，那么您就有可能让客户不满意。
我们对于它可以做些什么呢？
如果您希望平均值更加确定，则可以增加样本量。 这样也能对男女身高的对比做出更准确的评估。 但是你仍然面临着只能声明这两个种群要么被证明不同，要么没有被证明不同。 您并没有断定它们是“相同的”。
您还可以运行等价检验（涉及多个 t 检验）。 如果有兴趣，我会指导你在这里获取更多信息. 我就此打住，因为等效性测试超出了本文的范围。
结论
所以要点是，虽然您可以使用 t 检验（或方差分析）来证明某些东西是不同的，但您不能使用它（至少它本身）来证明某些东西是相同的。 请注意您的条款和结论，以免在您的申请中犯错误！
如果您过去做过这些陈述，请不要难过。 根据我的经验，这是一个非常容易犯的错误。 （完全披露：我一直对自己制作它感到内疚！）所以尽管我之前的很多人都说过很多次，但我认为它值得重复。
