重要なアイデア
実際の重要性と統計上の重要性、低消費電力
バックグラウンド
ジョン・ケリッチは、第二次世界大戦中にデンマークの捕虜収容所にいた英国の数学者でした。 これにより、彼のカレンダーはかなり解放されました。 彼は時間を節約するために、確率に関する一連の実験を行いました。
ほとんどの統計学者は、コインは公正であると主張しており、これにより、Kerrich はこの主張をテストする機会を得ました。 彼はコインを 10,000 回投げ、表が 5,067 回、裏が 4,933 回になりました (生命科学における統計学の実践、第 2 版、Baldi および Moore、209 ページ)。
タスク
これが公正なコインかどうかを判断します。 「フェア」とは、表と裏が発生する可能性が等しいことを意味します。
データKerrich.jmp
データセットには、結果と各結果のカウントが含まれています。
結果頭か尾か
カウント 10,000 回のフリップでの表と裏の数
分析
まず、10,000 回のフリップで表と裏が出る頻度を調べることから始めます。
資料1結果の分布
([分析] > [分布] を選択します。結果Y、列およびカウント[OK] をクリックします。水平レイアウトの場合は、上部の赤い三角形の下にある [スタック] を選択します)。
確かに、コインが現れる公平を期すために、サンプルにはほぼ同じ数の表と裏があります。
95% の信頼区間 (図表 2) は、表が出る最も妥当な確率が 0.4969 から 0.5165 の範囲であることを示しています。
図表 2 結果の信頼区間
(分布出力から、下の赤い三角形をクリックし、信頼区間 > 0.95 を選択します。)
これらのデータは、公正なコインで見られる結果と一致しています。 ただし、コインが公正であるとは言えません。帰無仮説を肯定することはできません。
仮説検定は適合度検定です。
Ho:コインは公正です。
Ha:コインは公正ではありません。
適合度検定 (図表 3) の p 値はどちらも 0.1802 です。 コインが公正ではないという証拠はありません。 ここでも、帰無仮説が肯定されるのを避けるために、二重否定が必要です。
図表 3 結果の適合度検定
(分布の出力から、下の赤い三角形をクリックし、[確率の検定] を選択します。 表と裏の両方の Hypoth Prob に 0.5 と入力し、[完了] をクリックします。)
適合度検定の仕組み
尤度比とピアソン検定の両方で、観測されたカウントを比較します ( o私) を期待カウント (e私）。 この場合、観察されたカウントは、頭の 5,067 です ( o頭) およびテールの場合は 4,933 ( o尾）。 表と裏の両方の予想カウント ( e頭とe尾) は 5,000 です。
尤度比検定統計量が次のとおりであることを確認できます (演習)。
ピアソン検定の統計量は次のとおりです。
検出力とサンプルサイズ
この状況でのデータの基本的な分析は非常に簡単ですが、単純なコンテキストでいくつかの重要なアイデアを探る機会を提供します。 サンプル サイズが大きく異なる 2 つのデータ セットを考えてみましょう。
資料 4小さなサンプル (小さなカウント) と非常に大きなサンプル (大きなカウント)
小さなデータ セットの場合、サンプル比率ヘッドは 0.62 ですが、大きなデータ セットの場合、サンプル比率は 0.502 です。 コインが不公平であるというより強力な証拠を提供するのはどれですか? 仮説検定のいくつかの側面に慣れるまで、結果は驚くべきものになるかもしれません。
大量サンプルの分析
確かに、コインは公平に見えます (図 5)。 グラフから、表と裏のどちらがより頻繁に発生するかを判断するのは困難です。 ヘッドは、実際には 50.2% の確率でしか発生しませんでした。 このコインは、初心者には、ジョン・ケリッチが投げたコインよりも公平に見えます。
図表 5の分布結果
推論は別の話をします。 実際、コインが公正ではないという主張には強力な証拠があります (図 6)。p 値は 0.0047 です!
別紙6大きなサンプルの推論
これは間違いですか？ いいえ。 信頼区間は実際にこの主張を裏付けています。 間隔の見積もりは、長期的には、50.006% から 50.34% の確率でコインが表を出すことです。 間隔は 50% を除外しているため、コインはランド ヘッドにロードされます。
これが奇妙な結果のように思われる場合は、大きなサンプルが仮説検定に与える影響に慣れていない可能性があります。 統計検定には、サンプル サイズが大きい場合に、帰無仮説からの非常に小さな偏差を検出する能力があります。 ここで、帰無仮説は、コインは公正であり、コインは公正ではないように見えるというものです。 もちろん、コインはそれほど不公平ではありませんが、表側にわずかに偏っているように見えます. これは、公正なコインとは、あなたが本当に意味するものかもしれませんし、そうでないかもしれません. あなたとあなたのルームメイトがこのコインを使って誰がゴミを出すかを決めるなら、このコインは完全に公平かもしれません. しかし、カジノがこのコインを表に賭けるのに使用し、常連客が裏に賭ける場合、1 時間あたり 10 ドルの賭けが 100,000 回ある場合、これはカジノを幸運にする可能性があります。
統計学では、仮説検定の検出力は、帰無仮説が偽である場合にその検定がそれを棄却する確率です。 サンプルサイズが大きい場合、テストの検出力は大きくなります。 実際、サンプル サイズが非常に大きい場合、帰無仮説を棄却するのは日常的なことかもしれません。 これは、実際の重要性と統計的重要性の違いになります。 信頼区間、R などの実用上の重要性を示す尺度2などは、サンプル サイズが大きい場合、p 値よりも重要になる場合があります。
非常に小さなサンプルの分析
ここで、小さなサンプルの結果を検討します。
図表 7 の棒グラフと度数分布から、コインが裏よりも表のほうが多く着地することは明らかな証拠のように思えます。 コインは、サンプルでは 62% の確率で実際に表が出ましたが、Kerrich のデータでは 50.67% でした。 しかし、前と同じように、推論は別の話をします。
別紙7の分布結果、非常に小さいサンプル
実際、p 値は両方とも有意水準 0.05 を上回っているため、コインが公正であるという帰無仮説を棄却することはできません。
別紙8非常に小さなサンプルの推論
図表 8 の信頼区間を調べると、再び明らかになります。 サンプルサイズが小さいため、信頼区間は非常に広いです。 コインが表を出す時間の割合の長期的な見積もりの間隔は、0.48 から 0.74 です。 この間隔には 0.50 を超える値と未満の値が含まれるため、公正なコインを除外するのに十分な証拠はありません。
道徳
サンプルサイズは、統計的推論において大きな役割を果たします。 サンプルサイズが大きい場合、違いが検出される場合がありますが、その違いは実際には重要ではない場合があります。 サンプルサイズが小さい場合、何かが起こっているように見えても、(サンプルと帰無仮説の間の) 違いを検出できない場合があります。 通常、サンプル数が多いと、違いを検出する検出力が高いことを意味しますが、サンプル数が少ないと検出力が低くなります。
ランダムに生成されたデータ、散布図、および回帰を使用した例は、この考え方をさらに示しています。
Kerrich Power.jmp でデータを生成するには:
まず、2,000 行のランダムな正規値 (エラー) は、JMP Formula Editor を使用して平均ゼロ、標準偏差 1 で作成されました。
次に、 x 値 ( x_big ) が生成されました。 これらの値は、1 から 8 までのランダムな整数です。
最後に、y 値 ( y_big ) は、ランダムな正規値 (エラー) と x 値 ( x_big ）。
線がこのデータに適合しないように見えるかもしれませんが、大きなデータ セット (n = 2,000) では驚くべき結果が得られます。 図表 9 の散布図に傾向が見られますか?
図表 9大きなデータセットの散布図 ( y_bigとx_big )
(分析、X による Y の適合; 使用y_big Y、応答およびx_big X、係数として。)図表 10 では、回帰直線をデータに当てはめています。 線はデータに適合しますか?
図表 10大きなデータセットの回帰 ( y_bigとx_big )
(二変量フィットの出力から、赤い三角形をクリックし、[フィット ライン] を選択します。)
Rながら2はわずか 0.056 であり、変動のわずか 5.6% を示しています。 y_bigを使用した回帰によって説明されます。 x_bigの場合、p 値は 0.0001 未満です (帰無仮説はデータに傾向がなく、別の仮説はデータに傾向があるということです)。
これが大きなサンプルの力です。小さな傾向が検出されます。 ただし、この傾向は実際には重要ではない可能性があります。 確かに、これが私の給料の上昇率であるなら、私は感銘を受けません!
次に、非常に小さなサンプルを見てみましょう。大きなサンプルから y と x の値が引き出されています。 コラムy_小とx_小5 つの観測が含まれています。
図表 5 のプロットでは、データに強い線形傾向があるように見えます。 ただし、データには明確なパターンがありますが、サンプル サイズが非常に小さい (n = 5) ことに注意してください。
図表 10非常に小さなデータセットの回帰 ( y_小とx_小)
これがどこに向かっているのか、あなたは推測したかもしれません。
Rながら2は 64.2% であり、変動の多くがy_小の回帰によって説明できます。 x_小、p 値は 0.1031 です。 これは、線がデータに適合するという弱い証拠しか (せいぜい) しかないことを意味します。 それで、何が起こっているのですか？
小さなデータセットでは、線がデータに適合しているように見えますが、明らかなパターンの別の説明として偶然を排除することはできません. P 値は、偶然にこのようなパターンが生成された可能性を評価する方法です。 パターンがあるように見えますが、ポイントがランダムに生成され、実際の関係がない場合、10.04% の確率で、これほど強力なパターン、またはさらに強力なパターンが得られた可能性があります。 x_小とy_小.
まとめ
統計的洞察
大きなサンプルは微妙なパターンを検出できますが、これらのパターンは実際には重要ではない場合があります。 非常に小さい p 値は、特にサンプル サイズが大きい場合、何か重要なことが起こっていることを常に意味するわけではありません。 小さなサンプルは比較的明確なパターンを示している可能性がありますが、パターンが本物であり、偶然の変動によって生成されたものではないことを確認することはできません. 大きな p 値は、特にサンプル サイズが小さい場合は特に、何も起こっていないことを意味するわけではありません。
含意
科学において最も有益な結果のいくつかは、検出力とサンプルサイズについて述べたことと結果が矛盾しているように見える場合に発生します。 多くの場合、サンプル サイズが非常に小さいパイロット スタディでは、目に見える効果が見られます。 このような場合、検定の検出力が低いにもかかわらず何かが見つかったため、p 値が特に小さくなくても、科学者はしばしば励まされます。 このような結果は、多くの場合、より大規模な研究でさらに追求する価値があります。
一方、巨大なサンプルサイズを含むいくつかの研究では、効果が見つからない場合があります。 帰無仮説を肯定することは決してできませんが、いくつかの非常に大規模な研究のすべてで効果の証拠が得られない場合、ある時点でその主張に非常に懐疑的になります.
たとえば、多くの (ほとんどではないにせよ) バスケットボール ファンは、一部の選手にはシュート ストリークが激しいものと冷たいものがあると考えています。 認知心理学者のグループは、NBA からのいくつかの大規模なデータ セットを使用して、この主張のさまざまなバージョンをテストしました。 彼らは、連続射撃の証拠を発見しませんでした (「バスケットボールの「ホットハンド」に関する冷たい事実」、Amos Tversky および Thomas Gilovich、Chance、Vol. 2、1989、ページ 16-21)。 ストリーク シューティングが発生しないとは言えませんが (それは帰無仮説を肯定することを意味します)、さまざまなデータ セットの数、データ セットのサンプル サイズが大きいこと、および人々がランダム パターンを誤認する理由についての説明が組み合わさって、極端な懐疑論が生まれることになります。現象としての連射に向かって。
サンプルサイズが小さい (結果として検出力が低い) 場合、効果の証拠を見つけることが重要になる可能性があります。 サンプルサイズが大きい (検出力が高い) 場合、効果が見つからないことは注目に値します。
JMP ®特徴とヒント
このケースでは、Distribution プラットフォームを使用して棒グラフと度数分布を作成し、比率の信頼区間を作成し、適合度検定を実施しました。
フォーミュラ エディターを使用して、回帰状況におけるサンプル サイズおよび検出力との関係を説明するためのランダム データを生成しました。 Fit Y by X を使用して散布図を生成し、回帰直線を当てはめました。
演習
- Kerrich のコイン投げの練習用 ( Kerrich.jmp )、母集団とサンプルは? サンプルは単純な無作為サンプルですか? サンプルが単純な無作為サンプルでない場合、それは代表的なサンプルだと思いますか? なぜですか、そうでないのですか？ コイントスは独立していると思いますか?
- ピアソン検定統計量の名前が付けられた有名な統計学者であるカール ピアソンは、コインを 24,000 回投げ、12,012 回表が出ました。 JMP でデータ テーブルを作成し、上記と同様にこのデータの分析を実行します。 あなたの帰無仮説は何ですか？ どのような結論を導き出すことができますか?
- 大規模なサンプルの例では、251,000 の表と 249,000 の裏が観察されました。 (公平なコインの場合) 250,000 回の表と 250,000 回の裏が見られると予想していました。
- 指定された式を使用して、尤度比とピアソン検定統計量を検証します。
- 多くの教科書では、次の検定統計量を使用して、(公正なコインの) 1 つの割合を含む検定で実行します。
ほ: p = p o対
ハ：p≠p o
この検定の検定統計量は次のとおりです。は頭数の仮説比率であり、 nサンプルサイズです。
コンピューティングぜと確認します。 つまり、これがピアソン検定統計量の別の形式であることを確認します (p 値が同じであることも確認できます)。
