純隨機數據有5％的可能性是顯著的。從許多隨機數據測試中選擇最重要的p值，您將過濾掉僅偶然重要的測試。
假設我們有一個我們知道穩定且一致的過程。我們測量了大量的回复，並且我們還有一個Lot ID。問題是：批次之間的反應是否存在顯著差異？因此，我們對它們運行ANOVA，提取p值，對它們進行排序，並從最小到最大看到它。我們有13個重要的測試，即低於0.05的線。對於隨機數據，我們預計大約5％是顯著的，即.05 * 118 = 5.9，所以我們有一些比我們預期的更多。
注意p值的分佈 - 在數據的一部分上，它們遵循從0到1的直線。這是價值均勻分佈的特徵。對於純隨機獨立測試，p值遵循均勻分佈。我們非常清楚這裡沒有真正的差異，但有13個測試很重要。我們的主要目標是尋找重大差異，因此我們總是希望按p值進行排序和過濾。但是我們需要調整一些東西來觀察大量的測試。否則，我們有選擇偏差 - 多次測試偏差 - 重合濾波器。
現在我們已經從數據中看到了沒有差異的模式，讓我們看看當許多測試真正重要時它會是什麼樣子。在這裡，超過60％的數據看起來很重要。
從圖的右側看，看起來像.05以上的所有值都沿著直線朝向1，但是在.10或.05左右，線的斜率似乎變化很大，並且變得非常密集靠近底部。看看像這樣的p值 - 尋找斜率的變化 - 結果成為Schweder和Spjotvoll（Biometrika 1982，p493-502）論文的主題，開始研究人員考慮觀察整個p值群體。這個推理類似於Cuthbert Daniel在20多年前註意到的一個類似情況，當時你從一個因子實驗中繪製了估計 - 中間附近的小值似乎遵循正常的分位線，但是顯著的影響偏離了這個斜率。
嗯，碰巧有大量關於多種測試偏差的文獻以及調整測試以解釋它們的方法。當只有少數方法可以進行比較或測試時，這些技術運作良好。一個非常簡單的過程就是要求p值小於alpha / m，其中m是測試次數，alpha是顯著性水平。1961年，OJ Dunn證明了（使用了邦費羅尼不平等）這個標準為你提供了所有測試的全面保護。
如果我們查看第一組p值，最低p值為0.00055，並且有118個測試。所以我們的標準是.05 / 118 = 0.0004，我們得出結論，沒有什麼重要的。
但Bonferroni是一個非常保守的標準，使得大多數涉及許多測試的實驗難以獲得結果，因此開發了許多其他方法。
1995年，Benjamini和Hochberg（BH）完全改變了比賽。他們沒有控制是否有任何差異被錯誤地宣佈為重要，而是將標準改為控制重要性聲明的錯誤率。如果您對錯誤發現的容忍度為5％，那麼您只需確保預期的錯誤發現數量僅為您聲明重要數據的5％。他們能夠構建一種非常簡單的方法來控制錯誤發現率。您將p值從高到低排序。對於最高p值，您可以使用錯誤發現率（FDR）率α，例如.05作為標準。對於每個下一個最高p值，您的標準會縮小一點，減去alpha / m，形成一個斜坡。在斜坡的底部是最小p值的標準，即α/ m，Bonferroni標準。任何屬於該斜坡的p值都被認為是顯著的，並且BH證明了對於獨立測試，您可以使用此方法控制錯誤發現率。
左邊是批次數據，Benjamini-Hochberg斜坡顯示為紅線，從右邊的.05開始，一直到.05 / 118，沒有一個紅色的p值設法在坡道下。右邊是工程變更數據;紅點在坡道下潛水，超過60％的反應明顯不同。
您還可以轉換p值，使得新的FDR調整的p值與錯誤發現率（例如.05）相比具有錯誤發現屬性。經FDR調整的p值由藍色標記顯示，藍色標記在0.05的藍線下潛入紅色標記在紅線下潛的相同測試。請注意，當p值在左側均勻分佈時，FDR調整後的p值會向上調整很多。但是當p值從右向左快速下降時，FDR調整要小得多。
如果測試不是獨立的怎麼辦？在大多數情況下，特別是當測試之間存在正相關時，事實證明BH FDR調整是保守的，為您提供所需的保護。虛假髮現率的想法已經發展成為豐富的文獻，包括在某些情況下值得做的改進。
在大統計時代，當您進行數百，數千甚至數百萬次測試時，FDR調整後的p值應該是新的標準最佳實踐。你不會只是過濾掉巧合;你會知道你捕獲的大部分內容都是真正的效果。
你可以得到錯誤發現率PValue加載項來自JMP文件交換。（下載需要免費的SAS配置文件。）此外，FDR調整是標準配置響應篩選平台和適合的人格 JMP 11 。
注意： 這是一部分大統計 John Sall撰寫的一系列博客文章。讀完他的全部內容大統計帖子 。
