统计功效是指您检测总体中存在某种效应的能力。 假设您正在测试 Firebolt 是否比 Nimbus 2001 更快 - 显然是这样，但让我们通过统计来进行测试。 统计功效是当扫帚速度确实存在差异时，您拒绝零值（H0：速度没有差异）的概率。
假设检验
要了解功效，您需要了解假设检验。 当我们使用基本的推论检验（如 t 检验或 F 检验）时，我们会问我们观察到的差异是否极端到足以表明我们是漂亮的肯定它不是来自没有差异的人群。 我们通过比较 a) 如果我们从没有差异的总体中随机抽取样本数据的概率与 b) 我们选择的某个阈值来确定它是否足够罕见—称为 alpha（通常为 0.05，又名 5%）。
我发现 Firebolt 和 Nimbus 之间的平均速度差异为 12 MPH（算了，Malfoy）；如果 Firebolt 和 Nimbus 在总体中没有差异，那么我们获得差异为 12 或更大的样本的可能性有多大？ 这是我们的 p 值。 然后我们将 p 值与 alpha 进行比较。 如果我们的 p 值小于 alpha，我们就拒绝原假设。
I 类错误（阿尔法）
在下图中，垂直线代表我们的 alpha 级别。 放置它时，零 (H0) 分布中 5% 的区域位于垂直线的右侧。 当我们选择 alpha 时，我们知道，如果 null 为真，并且 Firebolt 和 Nimbus 之间没有差异，那么 5% 的情况下，我们将获得样本数据，这些数据将具有足够大的差异，导致我们拒绝 null即使 null 为 true。 这被称为I 类错误—即使它是真的，也拒绝零值的概率。 I 类错误的发生率在我们的控制之下；它永远是我们选择的阿尔法！
II 类错误（测试版）
在此图中您还可以看到备择假设分布 Ha。 在我们的示例中，如果 Firebolt 和 Nimbus 的速度存在一定差异，这将是它们之间差异的分布。 它与零分布重叠，更重要的是与垂直线重叠。 无论分布如何，任何速度差异都会影响左边垂直线的位置将导致我们无法拒绝零点，以及垂直线上的任何东西正确的垂直线的变化将导致我们拒绝零值。 因此，有时，即使我们应该拒绝零值，我们也可能无法拒绝它（因为 Ha 为真）。 这发生在上图中的网格区域（标记为Β ）。 Β代表我们的II 类错误—即使零值在总体中是错误的，也无法拒绝零值的概率。
做出正确的决定
第一类和第二类错误是我们做出的决定与大众不一致，但我们也可以做出正确的选择！ 我们可以正确地保留原假设—如果是假的—或者我们可以正确地拒绝原假设—如果这是真的。 线左侧空值分布的比例表示空值为真并且我们正确保留空值的次数。 当 Null 确实为 true 时，发生这种情况的概率为 1-alpha。
当零值在总体中实际上是错误的时，我们也可以正确地拒绝零值。 替代分布代表零假设为假的时间，因此该分布中线右侧的任何内容都代表我们正确拒绝零假设的时间。 这……鼓声……是我们的统计力量—正确检测效果（如果确实存在）的能力，并且其概率为 1-Beta。
如果您要花时间运行一群参与者、飞一堆扫帚或培养一堆细胞培养皿，那么力量非常重要。 您要确保，如果确实存在差异，您将能够通过统计方式检测到它。 从视觉上看，您可以看到分布重叠得越多，功效就越小，因为更多的替代分布将位于 alpha 截止的左侧。
有几件事会影响分布的重叠—以及因此的力量。 让我们来看看它们：
规模效应：效应大小会影响两个分布之间的间距。 如果我们的扫帚有 12 MPH 的差异，它将比 4 MPH 的差异更容易检测，但比 34 MPH 的差异更难检测。 我们无法控制效果大小，所以我会给它 1 颗星（满分 5 颗星），因为我们有能力使用它来改变功率。
Α ：Alpha 是 p 值的比较水平。 如果我们的 alpha = 0.10，那么我们会将线向左移动，这意味着更多的替代分布将在线的右侧，从而增加功效。 然而，我们也会增加犯第一类错误的机会。 各个领域通常都有自己的 alpha 标准（流行的标准是 0.05），因此更改 alpha 的唯一真正方法是从双尾测试切换到单尾测试。
当我们进行双尾测试时，我们实际上将 alpha 分成两部分，一部分用于下尾，一部分用于上尾。 如果您的 alpha 值为 0.05，则分布的前 2.5% 和分布的后 2.5% 将位于“拒绝 Null”区域。 不拆分就意味着所有 5% 都可以集中在一个人身上—这意味着不太极端的值仍将位于拒绝区域内。 下面划线但非网格区域中的任何内容都是示例示例，在这些示例中，您不会通过双尾测试拒绝 null，但会通过单尾测试拒绝 null。 有时这是合理的，但当您使用单尾检验时，人们可能会持怀疑态度。
样本量：啊，样本量。 研究人员最好的朋友。 增加样本量完全在您的控制范围内，并且会挤压您的零分布和替代分布并使它们更瘦（想想卡戴珊腰部训练）。 它们越细，重叠的可能性就越小。这是因为较大样本的均值往往比较小样本的均值更接近总体均值（更多数据意味着我们不太可能错误地估计总体均值，这一特性称为“渐近一致性”）。 更好的消息是：当样本较大时，即使总体不是正态分布，均值的分布也会更加正态分布； #回归中心极限定理。
数学原因是样本均值分布中的误差项是标准误差或（差异的合并标准差），两者的分母中都有 n —哎呀，太拗口了！ 基本上，n 越大，标准误差/合并标准差就越小（这会挤压分布；记住，数据越多越好）。 这些误差项越小，t 值就越大，即使两组之间的差异相同！
当您收集数据时，通常会向您提供其中一些值（通常为您设置 alpha 和效果大小），然后让您计算其余的值。 我需要测试多少个甜筒冰淇淋才能有 80% 的机会检测到 1 盎司的甜筒尺寸差异？ 通过代入这些因素的数字（α、n、效应大小、标准差），我们可以计算我们的统计功效。 或者我们可以指定一个目标功效（如果有的话，我需要多久能够检测到一种效果？）并计算所需的样本量。 但在你拿出铅笔和计算器之前，所有这些事情都可以使用联合管理计划的样本量和功效计算器！
注意：本文的一个版本最初是由我们的朋友们偏导数。
