如果您曾经服用过任何统计数据或者科学课，您可能听说过“p 值”这个术语。从技术上讲，p 表示概率：p 值是某件事发生的概率，但我想告诉你，p 可以代表很多事情，例如可能性，令人困惑，和部分。
可能性
让我们从技术部分开始。 当我们进行假设检验时，我们要做的第一件事就是假设零假设为真。然后我们收集一些数据。 我感兴趣的是非洲燕子与欧洲燕子的空速之间是否存在差异。 我拿起我的捕鸟工具，找了一群鸟，测量它们的飞行速度，发现非洲燕子平均比欧洲燕子快 5 英里/小时。
然后我问：“如果非洲燕子和欧洲燕子之间没有区别，而我只是随机抓一些鸟，那么我抓到两组平均速度差异大于 5 英里/小时的燕子的概率是多少？”发生这种情况的概率是我的 p 值：获得与我的数据一样极端或更极端的值的概率 - 假设零假设为真。
但我们怎么知道所有这些事情发生的可能性有多大呢？ 对于每个检验统计量，我们都有一个分布。 举几个例子，我们有一个 z 分布， t 分布，F-分布，和卡方分布。 它们都有不同的形状——有些甚至会根据样本量的大小而变化——但它们都告诉我们每个检验统计量获得所有不同值的相对概率。
因此，我们根据数据计算检验统计量（例如 t 值），然后在心里在该值处画一条线。 我们的 p 值是比该线更极端的分布比例。
它就像一个饼图——或者更好的是一个饼图。 您的 p 值是您在切片中得到的原假设饼图的比例。 当你的馅饼变得越来越小，你会变得越来越心烦意乱，直到它变得如此小，最后你说“管它的馅饼，我去买一些替代假设馅饼！”
令人费解
也许看起来很简单，但最近关于 p 值存在很多争议。 该问题源于对 p 值的广泛误解。 这是 p 值的简短列表不是:
- 原假设为真的概率。
- 如果您获得显着的 p 值，则结果为假的概率。
- 如果 p 值不显着，则实际产生影响的概率。
- 表明您的结果的实际意义有多大。
那么为什么 p 值如此令人困惑呢？ 原因之一是它们不太直观。 我们希望统计数据能够告诉我们假设正确的可能性，或者相反，零假设不正确的可能性，但这不是频率论假设检验告诉你的。 用概率表示法来说，就是：
然而，频率测试告诉我们在原假设成立的情况下获取数据的概率：
您可以看到，这两者不是同一件事，但我们将 P(data | H0) 视为 P(H0 | data) 的代理，这既造成了混乱，也导致了关于显着 p 值含义的错误陈述。 如果没有清楚地教授 p 值，就会令人困惑，但是考虑到您在 Chuck-E-Cheese 的情况下成为儿童的概率与您在 Chuck-E-Cheese 的概率之间存在差异鉴于你还是个孩子。
部分
那么我们该怎么办？ 我们是否会效仿某些学术期刊并废弃 p 值？ 我认为不。 最后的p是一部分。 P 值只是我们理解数据及其对我们周围世界的影响所需的一部分；它们告诉我们某件事只是偶然发生的可能性有多大。
另一个重要部分是效应大小。 效应大小衡量的是相对于总体中事物变化的程度，你的效应有多大。 如果我发现金发女郎平均重 3 磅，那么如果我谈论的是新生儿比所有成年人，那就更有趣了，因为新生儿的体重差异比成年人小。 效应大小将你的效应（在我们的例子中为 3 磅）除以你的人口变化程度（对于成年人来说很多，对于新生儿来说很少）。
p 值和效应大小一起可以让您更好地了解数据和周围的世界。 它们告诉你更多的实际意义。 说您发现体重有 3 磅的统计学显着差异并没有多大意义，除非您知道这是针对婴儿（差异很小）还是针对成人（差异很大）。
因此，在使用或谈论 p 值之前，请记住它们是可能性如果零假设为真，有时会获取数据令人费解的要谈论的事情，只有部分大局观。
但回到那些燕子（我发誓在撰写本文时没有任何鸟类受到伤害）......
当您查看空速速度的方差分析并发现吞咽类型的显着影响时，您可以使用“分析”>“分布”平台联合管理计划或者计算效果大小插件还可以查看数据的效应大小。 （附 JMP 文件；#AfricanSwallowsForAllCoconutTransport。）
注：本文的一个版本最初是与我们的朋友一起发布的偏导数。
非常感谢切尔西的好文章并且喜欢这些插图！随着围绕 p 值的争议持续不断，我们希望确保每个人都知道如何在 JMP 平台上出现的许多地方正确解释它们。
关于频率论与贝叶斯方法以及符号 P(data|H0) 与 P(H0|data) 的说明：概率论是数学的，可以通过多种不同的方式应用于现实生活中的问题。贝叶斯方法通常将概率测度 P() 定义为主观信念程度，表达统计模型中关于数据和参数的命题的不确定性。所有严格的数学和优美连贯的理论都是由拉普拉斯和德菲内蒂等伟人开发的，通常是由投注场景激发的，并且可以使用马尔可夫链蒙特卡罗技术进行计算。贝叶斯方法的两个大问题是需要指定先验，以及这种默认的微妙但非常重要的认知表达 P() 的方式。完成所有这些后，您可以很好地描述调换条件的危险，并确保理解贝叶斯 P(|) 表示法中条形图左侧和右侧的内容。
相比之下，频率论方法通过设置不同的概率度量来映射到现实世界，该概率度量捕获我们研究的科学系统的假定数据生成机制中的频率变化。想象一下在测量燕子空速时累积的所有令人惊讶的微小力量：通过空气分子、微肌纤维、仪器技术的风速，我们甚至可以将所有这些进一步推向量子水平。这里，中心极限定理和大数定律确实变得栩栩如生，并且可以为根据现实世界频率定义的 P() 的正常理论线性模型提供合理的证明。通过这种概率测量，模型中的未知参数映射到某种物理常数，因此，P(H0) 和 P(H0|data)（先验和后验）实际上没有意义。统计文献中的惯例是在假设 H0 为真时使用分号或下标符号，并使用“under H0”等短语。由 Fisher、Neyman 和 Pearson 首创的 p 值等频率论方法侧重于控制错误率，并涉及置信区间、功效和严重性等相关概念（请参阅 Deborah Mayo 的书和博客）。
我发现上述区别在处理 p 值的评论时很有帮助，当然，一旦认识到贝叶斯概率和频率概率之间的差异，我们就可以尝试在它们之间建立联系和协调。我还想提醒所有读者警惕任何涉及“概率”的陈述。作者通常会考虑贝叶斯概率或频率概率度量，但通常不会说明这一点，有时它们甚至在没有警告的情况下自由地来回流动。我们这里最典型的例子是 p 值，它是一个频率统计量，但如果需要，通常可以用贝叶斯方法解释。
