令人尴尬的统计数据第 2 条解释:统计显著性与实际重要性
我们都听过有人说一些不“正确”的话。有时你会选择不去理会,要么是因为这件事并不重要,不值得质疑,要么是因为你不想与说话者发生冲突。
这是“令人尴尬的统计学”博客系列的第二期。一般来说,它的运作方式如下:首先,我在JMP社区讨论主题中发布一些与统计学相关的问题。鼓励社区用户回复。大约一周后,我会在类似这样的博客文章中说明我对该声明的错误看法。
以下是迄今为止讨论主题和博客文章的表格。非常感谢那些回复每个讨论帖子(和/或在博客上发表评论)的人!
那么让我们来看看我发布的第二条令人尴尬的声明……
我对 Cringeworthy #2 的看法
回想一下,在我们的场景中,我们进行了一项研究,试图确定生产过程中产量下降的原因。我们进行了 t 检验,以研究两个供应商的子组件之间的差异。事实上,t 检验显示 p 值非常低,表明两个供应商的零件均值存在高度差异。
团队经理想要抓住 p 值很小这一事实。他想立即开始研究为什么这两个总体平均值不同。(也许他是受过去经验的驱使,认为这些供应商之间的差异曾经造成过问题。)但经理没有提到的是,这种差异是否“具有实际重要性”。
根据我的经验,人们常常混淆“统计意义”和“实际重要性”。
- 统计显著性只是一个数学表述,即我们可以在一定的置信水平下检测到两个总体的平均值存在一定程度的差异。这很好,但它并没有说明这种差异对是否重要。
- 实际重要性取决于您的判断、经验和智慧。也许统计检验检测到两种处理之间有 0.1 个单位的差异。0.1 的差异对您的应用重要吗?如果不是,那么也许投入资源来发现这种差异的根源会比寻找可能导致产量低的其他来源更好。
也许不幸的是,“significance”一词在英语中可以解释为“importance”。我不知道还有什么比significance更好的词,但它可能会误导一些人。
这个故事的寓意是:在解释统计分析结果时,一定要理解统计意义和实际重要性之间的区别!
现在,请来到令人畏惧的讨论#3 !

“这具有统计意义!我们应该投入资源来解决这个问题!”
这句话让你感到尴尬吗?看看我第二个讨论主题的总结,看看我为什么认为这是一个令人尴尬的说法。
回复:令人畏惧的统计声明 #2 解释:统计意义与实际重要性我现在使用可辨别的差异和实际重要性。 感觉好多了。 希望其他人会效仿。 你是对的。 这是个英语问题。 重要的同义词是重要的、关键的、关键的、有意义的、关键的、严重的和重要的。 所以滥用这个词是有道理的。
我们如何让很大一部分人使用更合适的表达方式、话语、术语或单词?
我不太会说话。 我会坚持数字。 写最后一句话花了我太多时间。 我无法选择正确的表达、话语、术语或单词。 所以,我把它们都用了。
再次感谢, @杰瑞鱼,
抢
回复:令人畏惧的统计声明 #2 解释:统计意义与实际重要性哈哈谢谢@DirtyDataCoLLC !
我也听说@Craige_Hales , 谁发的这个链接关于同一个讨论话题。在其中,由于 SS 的误导性含义,作者推荐使用“可辨别差异”而不是“统计显着性”。对我来说很有意义!
回复:令人畏惧的统计声明 #2 解释:统计意义与实际重要性
我知道很多人会喜欢你对统计显着性与实际重要性的解释。几年前,FDA 没有分享您的智慧,因此必须重写 BLA 的整个部分。 FDA 的意见用了一年时间修改。
虽然,如果我们考虑人类进化尺度上的时间,有人可能会争辩说一年是微不足道的。 所以我想这实际上并不重要。