統計功效是指您檢測總體中存在某種效應的能力。 假設您正在測試 Firebolt 是否比 Nimbus 2001 更快 - 顯然是這樣，但讓我們通過統計來進行測試。 統計功效是當掃帚速度確實存在差異時，您拒絕零值（H0：速度沒有差異）的概率。
假設檢驗
要了解功效，您需要了解假設檢驗。 當我們使用基本的推論檢驗（如 t 檢驗或 F 檢驗）時，我們會問我們觀察到的差異是否極端到足以表明我們是漂亮的肯定它不是來自沒有差異的人群。 我們通過比較 a) 如果我們從沒有差異的總體中隨機抽取樣本數據的概率與 b) 我們選擇的某個閾值來確定它是否足夠罕見—稱為 alpha（通常為 0.05，又名 5%）。
我發現 Firebolt 和 Nimbus 之間的平均速度差異為 12 MPH（算了，Malfoy）；如果 Firebolt 和 Nimbus 在總體中沒有差異，那麼我們獲得差異為 12 或更大的樣本的可能性有多大？ 這是我們的 p 值。 然後我們將 p 值與 alpha 進行比較。 如果我們的 p 值小於 alpha，我們就拒絕原假設。
I 類錯誤（阿爾法）
在下圖中，垂直線代表我們的 alpha 級別。 放置它時，零 (H0) 分佈中 5% 的區域位於垂直線的右側。 當我們選擇 alpha 時，我們知道，如果 null 為真，並且 Firebolt 和 Nimbus 之間沒有差異，那麼 5% 的情況下，我們將獲得樣本數據，這些數據將具有足夠大的差異，導致我們拒絕 null即使null 為true。 這被稱為I 類錯誤—即使它是真的，也拒絕零值的概率。 I 類錯誤的發生率在我們的控制之下；它永遠是我們選擇的阿爾法！
II 類錯誤（測試版）
在此圖中您還可以看到備擇假設分佈 Ha。 在我們的示例中，如果 Firebolt 和 Nimbus 的速度存在一定差異，這將是它們之間差異的分佈。 它與零分佈重疊，更重要的是與垂直線重疊。 無論分佈如何，任何速度差異都會影響左邊垂直線的位置將導致我們無法拒絕零點，以及垂直線上的任何東西正確的垂直線的變化將導致我們拒絕零值。 因此，有時，即使我們應該拒絕零值，我們也可能無法拒絕它（因為 Ha 為真）。 這發生在上圖中的網格區域（標記為Β ）。 Β代表我們的II 類錯誤—即使零值在總體中是錯誤的，也無法拒絕零值的概率。
做出正確的決定
第一類和第二類錯誤是我們做出的決定與大眾不一致，但我們也可以做出正確的選擇！ 我們可以正確地保留原假設—如果是假的—或者我們可以正確地拒絕原假設—如果這是真的。 線左側空值分佈的比例表示空值為真並且我們正確保留空值的次數。 當 Null 確實為 true 時，發生這種情況的概率為 1-alpha。
當零值在總體中實際上是錯誤的時，我們也可以正確地拒絕零值。 替代分佈代表零假設為假的時間，因此該分佈中線右側的任何內容都代表我們正確拒絕零假設的時間。 這……鼓聲……是我們的統計力量—正確檢測效果（如果確實存在）的能力，並且其概率為 1-Beta。
如果您要花時間運行一群參與者、飛一堆掃帚或培養一堆細胞培養皿，那麼力量非常重要。 您要確保，如果確實存在差異，您將能夠通過統計方式檢測到它。 從視覺上看，您可以看到分佈重疊得越多，功效就越小，因為更多的替代分佈將位於 alpha 截止的左側。
有幾件事會影響分佈的重疊—以及因此的力量。 讓我們來看看它們：
規模效應：效應大小會影響兩個分佈之間的間距。 如果我們的掃帚有 12 MPH 的差異，它將比 4 MPH 的差異更容易檢測，但比 34 MPH 的差異更難檢測。 我們無法控制效果大小，所以我會給它 1 顆星（滿分 5 顆星），因為我們有能力使用它來改變功率。
Α ：Alpha 是 p 值的比較水平。 如果我們的 alpha = 0.10，那麼我們會將線向左移動，這意味著更多的替代分佈將在線的右側，從而增加功效。 然而，我們也會增加犯第一類錯誤的機會。 各個領域通常都有自己的 alpha 標準（流行的標準是 0.05），因此更改 alpha 的唯一真正方法是從雙尾測試切換到單尾測試。
當我們進行雙尾測試時，我們實際上將 alpha 分成兩部分，一部分用於下尾，一部分用於上尾。 如果您的 alpha 值為 0.05，則分佈的前 2.5% 和分佈的後 2.5% 將位於“拒絕 Null”區域。 不拆分就意味著所有 5% 都可以集中在一個人身上—這意味著不太極端的值仍將位於拒絕區域內。 下面劃線但非網格區域中的任何內容都是示例示例，在這些示例中，您不會通過雙尾測試拒絕 null，但會通過單尾測試拒絕 null。 有時這是合理的，但當您使用單尾檢驗時，人們可能會持懷疑態度。
樣本量：啊，樣本量。 研究人員最好的朋友。 增加樣本量完全在您的控制範圍內，並且會擠壓您的零分佈和替代分佈並使它們更瘦（想想卡戴珊腰部訓練）。 它們越細，重疊的可能性就越小。這是因為較大樣本的均值往往比較小樣本的均值更接近總體均值（更多數據意味著我們不太可能錯誤地估計總體均值，這一特性稱為“漸近一致性”）。 更好的消息是：當樣本較大時，即使總體不是正態分佈，均值的分佈也會更加正態分佈； #回歸中心極限定理。
數學原因是樣本均值分佈中的誤差項是標準誤差或（差異的合併標準差），兩者的分母中都有 n —哎呀，太拗口了！ 基本上，n 越大，標準誤差/合併標準差就越小（這會擠壓分佈；記住，數據越多越好）。 這些誤差項越小，t 值就越大，即使兩組之間的差異相同！
當您收集數據時，通常會向您提供其中一些值（通常為您設置 alpha 和效果大小），然後讓您計算其餘的值。 我需要測試多少個甜筒冰淇淋才能有 80% 的機會檢測到 1 盎司的甜筒尺寸差異？ 通過代入這些因素的數字（α、n、效應大小、標準差），我們可以計算我們的統計功效。 或者我們可以指定一個目標功效（如果有的話，我需要多久能夠檢測到一種效果？）併計算所需的樣本量。 但在你拿出鉛筆和計算器之前，所有這些事情都可以使用聯合管理計劃的樣本量和功效計算器！
注意：本文的一個版本最初是由我們的朋友們偏導數。
