統計的検出力とは、母集団内に影響がある場合にそれを検出する能力です。 Firebolt が Nimbus 2001 より速いかどうかをテストしているとします。明らかに速いのですが、これを統計的にやってみましょう。 統計的検出力は、実際にほうきの速度に差がある場合にヌル (H0: 速度に差がない) を拒否する確率になります。
仮説検定
検出力を理解するには、仮説検定を理解する必要があります。 t テストや F テストなどの基本的な推論テストを使用するとき、観察した違いが、「次のことを行っている」と言えるほど極端であるかどうかを尋ねます。かわいい確かに、それは何の違いもない集団から来たものではありません。 a) 差異のない母集団からランダムに抽出した場合にこのサンプル データが得られる確率と、b) 選択したしきい値を比較することによって、それが十分にまれであるかどうかを判断します。 —アルファと呼ばれます (通常は 0.05、別名 5%)。
ファイアボルトとニンバスの間には平均時速 12 マイルの差があることがわかりました (くそー、マルフォイ)。母集団にファイアボルトとニンバスの間に差がなかった場合、差が 12 以上のサンプルを取得できる可能性はどのくらいでしょうか? これが p 値です。 次に、p 値をアルファと比較します。 p 値がアルファより小さい場合、帰無仮説は棄却されます。
タイプ I エラー (アルファ)
下の図では、垂直線がアルファ レベルを表しています。 ヌル (H0) 分布の領域の 5% が垂直線の右側になるように配置されます。 アルファを選択すると、ヌルが真でファイアボルトとニンバスの間に違いがなかった場合、5% の確率でヌルを拒否するに足る十分な差があるサンプル データが得られることがわかります。 null が true であっても。 これはと呼ばれますタイプ I エラー— null が true であっても拒否される確率。 タイプ I 過誤の割合は私たちが制御しています。それは常に私たちが選ぶアルファです!
タイプ II エラー (ベータ)
また、この図には対立仮説の分布 Ha が示されています。 この例では、Firebolt と Nimbus の速度に一定の違いがある場合、これはそれらの差の分布になります。 これはヌル分布と重なり、さらに重要なことには垂直線とも重なります。 ディストリビューションに関係なく、速度の違いは、左垂直線の境界線があると、null やその上のすべてを拒否できなくなります。右垂直線が大きいと、null が拒否されます。 したがって、場合によっては、null を拒否する必要があるにもかかわらず、null を拒否できないことがあります (Ha が true であるため)。 これは、上の図のグリッド領域 (ラベル付き) で発生します。 Β ）。 Β私たちのことを表しますタイプ II エラー—母集団内で null が偽である場合でも、null を拒否できない確率。
正しい決断を下す
タイプ I および II のエラーは、母集団と一致しない決定を下す場合に発生しますが、正しい選択をすることもできます。 帰無仮説を正しく維持することができます。 —それが嘘なら—あるいは帰無仮説を正しく棄却することもできます—それが本当なら。 線の左側の Null 分布の割合は、Null が true であり、Null が正しく保持されている時間を表します。 Null が本当に true である場合にこれが発生する確率は 1-alpha です。
また、母集団内で null が実際に false である場合に、null を正しく拒否することもできます。 代替分布は帰無仮説が偽である時間を表すため、その分布内の線の右側にあるものはすべて、帰無を正しく棄却した時間を表します。 これは...ドラムロール...私たちの統計力です—効果が本当に存在し、その確率が 1-Beta である場合に、その効果を正確に検出する能力。
時間をかけて大勢の参加者を走らせたり、ほうきを飛ばしたり、細胞の入った皿をたくさん育てたりする場合、電力は非常に重要です。 本当に違いがある場合、それを統計的に検出できることを確認したいと考えています。 視覚的には、分布が重なり合うほど、代替分布の多くがアルファ カットオフの左側にあるため、検出力が低下することがわかります。
分布の重複にはいくつかの要因が影響する可能性があります—そしてそれゆえに力も。 それらを見てみましょう:
効果の大きさ: 効果の大きさは、2 つの分布間の間隔に影響します。 私たちのほうきに時速 12 マイルの差がある場合、時速 4 マイルの差よりも検出しやすいですが、時速 34 マイルの差よりは検出が困難です。 効果の大きさを制御することはできないので、これを使用してパワーを変更できるという点で、5 つ星のうち 1 つを与えます。
アルファ: アルファは、p 値の比較レベルです。 アルファ = 0.10 の場合は、ラインを左にシフトすることになります。これは、より多くの代替分布がラインの右側にあり、パワーが増加することを意味します。 ただし、タイプ I のエラーが発生する可能性も高くなります。 通常、フィールドには独自のアルファ基準 (0.05 が一般的) があるため、アルファを変更する唯一の実際の方法は、両側検定から片側検定に切り替えることです。
両側検定を行う場合、実際にはアルファを 2 つに分割し、1 つは下部の尾部、もう 1 つは上部の尾部に割り当てます。 アルファが 0.05 の場合、分布の上位 2.5% と下位 2.5% は「Null を拒否」ゾーンに入ります。 分割しないということは、5% すべてが 1 つにある可能性があることを意味します—つまり、それほど極端ではない値は依然として拒否領域内にあることになります。 以下の罫線はあるがグリッドではない領域は、両側検定では null を拒否しないが、片側検定では null を拒否するサンプルの例です。 場合によってはこれが正当化されることもありますが、片側検定を使用すると懐疑的になる可能性があります。
サンプルサイズ：ああ、サンプルサイズですね。 研究者の親友。 サンプル サイズを増やすことは完全に制御でき、ヌル分布と代替分布が圧縮され、より細くなります (カーダシアンのウエスト トレーニングを思い出してください)。 細いほど、重なり合う傾向が少なくなります。これは、大きなサンプルの平均値が小さなサンプルの平均値よりも母集団の平均に近づく傾向があるためです（データが多いほど、母集団の平均値を誤って推定する可能性が低くなります。これは「漸近一貫性」と呼ばれる特性です）。 さらに良いニュース: たとえ母集団が正規分布していなくても、サンプルが大きければ平均値の分布はより正規分布になります。 #中心極限定理への逆戻り。
数学的な理由は、標本平均の分布における誤差項が標準誤差または (差異のプールされた標準偏差) であり、どちらも分母に n が含まれるためです。 —やったー、それは一口です！ 基本的に、n が大きくなるほど、標準誤差/プールされた標準偏差は小さくなります (分布が圧縮されます。データが多いほど良いことを覚えておいてください)。 2 つのグループの差が同じであっても、誤差項が小さいほど、t 値は大きくなります。
データを収集するときは、通常、これらの値の一部 (通常はアルファとエフェクト サイズが設定されます) が渡され、残りは計算されます。 コーンサイズの 1 オンスの違いを 80% の確率で検出するには、何個のアイスクリームコーンをテストする必要がありますか? これらの因子 (アルファ、n、効果の大きさ、標準偏差) の数値を代入することにより、統計的検出力を計算できます。 または、目標検出力 (効果がある場合、どれくらいの頻度で効果を検出できるようにする必要があるか) を指定し、必要なサンプル サイズを計算することもできます。 しかし、鉛筆と電卓を取り出す前に、これらのことはすべて次のコマンドを使用して実行できます。 JMPさんのサンプルサイズと検出力の計算ツール！
注: この記事のバージョンは元々、友達部分的にデリバティブ。
