純粋にランダムなデータは、5％の確率で有意な確率を持ちます。ランダムデータの多くの検定から最も重要なp値を選択してください。そうすると、偶然だけで重要な検定を除外できます。
安定した一貫性のあるプロセスがあるとします。私たちはたくさんの回答を測定しています、そしてまた私たちはロットIDを持っています。問題は次のとおりです。回答はロット間で大きく異なりますか？そこで、それらに対してANOVAを実行し、p値を抽出し、それらをソートし、そして最小値から最大値までこれを見ます。有意な13のテストがあります。つまり、0.05の線の下です。ランダムデータでは、約5％が有意であると予想されます。これは0.05 * 118 = 5.9です。
p値の分布に注意してください - データの端数全体にわたって、それらは0から1の近くまで直線に従います。これは一様な値の分布の特徴です。純粋にランダムな独立した検定では、p値は一様分布に従います。ここには本当の違いはないことをほとんど知っていますが、それでも13のテストが重要です。私たちの主な目標は大きな違いを探すことですので、私たちは常にp値でソートしてフィルターをかけたいと思います。しかし、たくさんのテストを見て調整するための何かが必要です。それ以外の場合は、選択バイアス - 多重テストバイアス - 同時計数フィルタがあります。
違いがないところでデータからパターンを見たので、テストの多くが本当に重要であるときそれがどのように見えることができるか見てみましょう。ここでは、データの60％以上が重要に見えます。
グラフの右側を見ると、.05より上のすべての値は1に向かっていくらか直線に沿っているように見えますが、.10または0.05前後では、線の傾きが大きく変化しているように見え、非常に濃くなります。底の近く。このようにp値を見る - 傾きの変化を探す - ことはSchwederとSpjotvoll（Biometrika 1982、p493-502）による論文の主題であり、研究者はp値の全集団を見ることを考え始めました。。この推論は、階乗実験の推定値をプロットしたときにCuthbert Danielが20年以上前に気付いた類似の状況と似ていました - 中央付近の小さい値は通常の分位数線に従うように見えましたが、有意な効果はその勾配から外れました。
まあ、それは複数のテストバイアスとそれらを考慮してテストを調整する方法に関する膨大な文献があることが起こります。これらのテクニックは、比較するための手段やテストする手段がほんの少ししかない場合にうまく機能しました。非常に単純な手順の1つは、p値がalpha / mより小さいことを確認することです。ここで、mはテスト数、alphaは有意水準です。1961年に、OJダンは証明した（ ボンフェローニこの基準はあなたにすべてのテストに対する全体的な保護を与えました。
p値の最初のセットを見ると、最小のp値は0.00055で、118のテストがあります。だから我々の基準は.05 / 118 = 0.0004であり、そして我々は何も重要ではないと結論を下す。
しかし、Bonferroniは非常に保守的な基準であり、多くのテストを含むほとんどの実験で結果を得るのは困難なので、他の多くの方法が開発されました。
1995年、BenjaminiとHochberg（BH）がこのゲームを一変させました。差異が誤って重要であると宣言されているかどうかを管理するのではなく、重要性の宣言が誤っている割合を管理するように基準を変更しました。誤検出に対する許容度が5％であれば、誤検出の予想数が重要であると宣言したものの5％にすぎないことを確認する必要があります。彼らは、誤発見率を制御するための非常に単純な方法を構築することができました。p値を高いものから低いものへと並べ替えます。最も高いp値の場合、基準として誤発見率（FDR）率α、例えば0.05を使用できます。次に高いp値ごとに、基準は少し縮小し、alpha / mを引いてランプを形成します。ランプの一番下にあるのは、ボンフェローニ基準であるalpha / mの最小p値の基準です。その勾配に該当するp値はすべて有意であると宣言され、BHは独立したテストではこの方法で誤った発見率を管理できることを証明しました。
左側にはロット間データがあり、Benjamini-Hochbergのランプは赤い線で示されています。右側の.05から始まり、.05 / 118まで下がっています。ランプの下に入る。右側は設計変更データです。赤い点はランプの下で急降下しているため、応答の60％以上が大きく異なります。
また、誤検出率と比較したときに新しいFDR調整p値が誤検出特性を持つようにp値を変換することもできます（例：0.05）。FDR調整されたp値は、青いマーカーで表示されます。赤いマーカーが赤い線の下に飛び込むのと同じテストでは、0.05の青い線の下に飛びます。p値が左側に一様に分布しているように見える場合は、FDR調整されたp値が大きく上方調整されていることに注意してください。しかし、p値が右から左に向かって急激に下がると、FDR調整ははるかに少なくなります。
テストが独立していない場合はどうなりますか？ほとんどの場合、特にテスト間に正の相関があるときは、BH FDRの調整は控えめであり、必要な保護が得られます。誤った発見率のアイデアはそれ以来、いくつかのケースでやる価値のある洗練されたものを含む、豊富な文献を生み出しました。
Big Statisticsの時代には、数百、数千、さらには数百万ものテストを実施する場合、FDR調整されたp値が新しい標準のベストプラクティスになるはずです。偶然の一致を除外するだけではありません。あなたはあなたがキャッチするもののほとんどが実際の効果になることを知っているでしょう。
あなたは得ることができます誤検出率のPValueアドイン JMPファイル交換から。（ダウンロードには無料のSASプロファイルが必要です。）また、FDRの調整は標準です。応答スクリーニングプラットフォームと人格にフィット JMP 11 。
注意： これはの一部です大きな統計 John Sallによる一連のブログ投稿。彼のすべてを読むビッグ統計の投稿 。
