如果你曾經服用過任何統計數據或者科學課，您可能聽過「p 值」這個術語。從技術上講，p 表示機率：p 值是某件事發生的機率，但我想告訴你，p 可以代表很多事情，例如可能性，令人困惑，和部分。
可能性
讓我們從技術部分開始。 當我們進行假設檢定時，我們要做的第一件事就是假設零假設為真。然後我們收集一些資料。 我感興趣的是非洲燕子與歐洲燕子的空速之間是否存在差異。 我拿起我的捕鳥工具，找了一群鳥，測量它們的飛行速度，發現非洲燕子平均比歐洲燕子快 5 英里/小時。
然後我問：“如果非洲燕子和歐洲燕子之間沒有區別，我只是隨機抓一些鳥，那麼我抓到兩組平均速度差異大於 5 英里/小時的燕子的機率是多少？”發生這種情況的機率是我的 p 值：獲得與我的數據一樣極端或更極端的值的機率 - 假設零假設為真。
但我們怎麼知道所有這些事情發生的可能性有多大呢？ 對於每個檢定統計量，我們都有一個分佈。 舉幾個例子，我們有一個 z 分佈， t 分佈，F-分佈，和卡方分佈。 它們都有不同的形狀——有些甚至會根據樣本量的大小而變化——但它們都告訴我們每個檢定統計量獲得所有不同值的相對機率。
因此，我們根據資料計算檢定統計量（例如 t 值），然後在心裡在該值處畫一條線。 我們的 p 值是比該線更極端的分佈比例。
它就像一個餅圖——或者更好的是一個餅圖。 您的 p 值是您在切片中得到的原假設圓餅圖的比例。 當你的餡餅越來越小時，你會變得越來越心煩意亂，直到它變得如此小，最後你說“管它的餡餅，我去買一些替代假設餡餅！”
令人費解
也許看起來很簡單，但最近關於 p 值存在著許多爭議。 這個問題源於對 p 值的廣泛誤解。 這是 p 值的簡短列表不是:
- 原假設為真的機率。
- 如果您獲得顯著的 p 值，則結果為假的機率。
- 如果 p 值不顯著，則實際產生影響的機率。
- 表明您的結果的實際意義有多大。
那麼為什麼 p 值如此令人困惑呢？ 原因之一是它們不太直觀。 我們希望統計數據能告訴我們假設正確的可能性，或相反，零假設不正確的可能性，但這不是頻率論假設檢定告訴你的。 用機率表示法來說，就是：
然而，頻率測試告訴我們在原假設成立的情況下獲取數據的機率：
您可以看到，這兩者不是同一件事，但我們將P(data | H0) 視為P(H0 | data) 的代理，這既造成了混亂，也導致了關於顯著p 值含義的錯誤陳述。 如果沒有清楚地教授 p 值，就會讓人感到困惑，但是考慮到您在 Chuck-E-Cheese 的情況下成為孩子的概率與您在 Chuck-E-Cheese 的概率之間存在差異鑑於你還是個孩子。
部分
那我們該怎麼辦？ 我們是否會效仿某些學術期刊並廢棄 p 值？ 我認為不。 最後的p是一部分。 P 值只是我們理解數據及其對周圍世界的影響所需的一部分；它們告訴我們某件事只是偶然發生的可能性有多大。
另一個重要部分是效應大小。 效應大小衡量的是相對於總體事物變化的程度，你的效應有多大。 如果我發現金髮女郎平均重 3 磅，那麼如果我談論的是新生兒比所有成年人，那就更有趣了，因為新生兒的體重差異比成年人小。 效應量將你的效應（在我們的例子中為 3 磅）除以你的人口變化程度（對於成年人來說很多，對於新生兒來說很少）。
p 值和效應大小一起可以讓您更好地了解數據和周圍的世界。 它們告訴你更多的實際意義。 說您發現體重有 3 磅的統計學顯著差異並沒有多大意義，除非您知道這是針對嬰兒（差異很小）還是針對成人（差異很大）。
因此，在使用或談論 p 值之前，請記住它們是可能性如果零假設為真，有時會取得數據令人費解的要談的事情，只有部分大局觀。
但回到那些燕子（我發誓在撰寫本文時沒有任何鳥類受到傷害）...
當您查看空速速度的變異數分析並發現吞嚥類型的顯著影響時，您可以使用「分析」>「分佈」平台聯合管理計劃或者計算效果大小插件還可以查看資料的效應大小。 （附 JMP 檔案；#AfricanSwallowsForAllCoconutTransport。）
註：本文的一個版本最初是與我們的朋友一起發布的偏導數。
非常感謝切爾西的好文章並且喜歡這些插圖！隨著圍繞 p 值的爭議持續不斷，我們希望確保每個人都知道如何在 JMP 平台上出現的許多地方正確解釋它們。
關於頻率論與貝葉斯方法以及符號 P(data|H0) 與 P(H0|data) 的說明：機率論是數學的，可以透過多種不同的方式應用於現實生活中的問題。貝葉斯方法通常將機率測度 P() 定義為主觀信念程度，表達統計模型中關於資料和參數的命題的不確定性。所有嚴格的數學和優美連貫的理論都是由拉普拉斯和德菲內蒂等偉人開發的，通常是由投注場景激發的，並且可以使用馬可夫鏈蒙特卡羅技術進行計算。貝葉斯方法的兩個大問題是需要指定先驗，以及這種預設的微妙但非常重要的認知表達 P() 的方式。完成所有這些後，您可以很好地描述調換條件的危險，並確保您理解貝葉斯 P(|) 表示法中條形圖左側和右側的內容。
相較之下，頻率論方法透過設定不同的機率度量來映射到現實世界，該機率度量捕捉我們研究的科學系統的假定資料生成機制中的頻率變化。想像一下在測量燕子空速時累積的所有令人驚訝的微小力量：透過空氣分子、微肌纖維、儀器技術的風速，我們甚至可以將所有這些進一步推向量子水平。在這裡，中心極限定理和大數定律確實變得栩栩如生，並且可以為根據現實世界頻率定義的 P() 的正常理論線性模型提供合理的證明。透過這種機率測量，模型中的未知參數映射到某種物理常數，因此，P(H0) 和 P(H0|data)（先驗和後驗）實際上沒有意義。統計文獻中的慣例是在假設 H0 為真時使用分號或下標符號，並使用「under H0」等短語。由 Fisher、Neyman 和 Pearson 首創的 p 值等頻率論方法專注於控制錯誤率，並涉及置信區間、功效和嚴重性等相關概念（請參閱 Deborah Mayo 的書和部落格）。
我發現上述區別在處理 p 值的評論時很有幫助，當然，一旦認識到貝葉斯機率和頻率機率之間的差異，我們就可以嘗試在它們之間建立聯繫和協調。我還想提醒所有讀者警惕任何涉及「機率」的陳述。作者通常會考慮貝葉斯機率或頻率機率度量，但通常不會說明這一點，有時它們甚至在沒有警告的情況下自由地來回流動。我們這裡最典型的例子是 p 值，它是一個頻率統計量，但如果需要，通常可以用貝葉斯方法解釋。
