重要なアイデア
実用的な重要性と統計的な重要性、低消費電力
背景
ジョン・ケリッチはイギリスの数学者で、第二次世界大戦中にデンマークの捕虜収容所にいた。 これにより彼のカレンダーは大幅に解放されました。 時間を有効活用するために、彼は確率に関する一連の実験を実行しました。
ほとんどの統計学者はコインは公平であると主張しており、これがケリッヒ氏にこの主張を検証する機会を与えた。 彼にはコインを 10,000 回投げる時間があり、その結果、表は 5,067 回、裏は 4,933 回になりました (生命科学における統計の実践、第 2 版、Baldi および Moore、209 ページ）。
タスク
これが公正なコインであるかどうかを判断します。 「まあまあ」とは、表と裏が同じくらい発生する可能性があることを意味します。
データケリッヒ.jmp
データセットには、結果と各結果の数が含まれています。
結果表か裏か
カウント 10,000 回のフリップにおける表と裏の数
分析
まず、10,000 回のフリップにおける表と裏の頻度を調査します。
別紙1成果の分配
([分析] > [分布] を選択します。結果Y、列、およびカウント「Freq」として入力し、「OK」をクリックします。水平レイアウトの場合は、上部の赤い三角形の下にある [スタック] を選択します)。
確かにコインは表示されます公平を期すために、サンプルにはほぼ同じ数の表と裏が存在します。
95% 信頼区間 (図 2) は、最も妥当な表の確率が 0.4969 ～ 0.5165 の範囲であることを示しています。
図表 2 結果の信頼区間
(分布出力から、下の赤い三角をクリックし、信頼区間 > 0.95 を選択します。)
これらのデータは、公正なコインで得られる結果と一致しています。 ただし、コインが公正であるとは言えません。帰無仮説を肯定することはできません。
仮説検定は適合度検定です。
Ho: コインは公正です。
ハ: コインは不公平です。
適合度検定 (図表 3) の p 値はどちらも 0.1802 です。 コインが不公平であるという証拠はありません。 繰り返しますが、帰無仮説の肯定を回避するには、二重否定が必要です。
図表 3 結果に対する適合度テスト
([分布] 出力から、下の赤い三角形をクリックし、[確率のテスト] を選択します。 [表と裏の両方の仮説確率] に「0.5」と入力し、[完了] をクリックします)。
適合度テストの仕組み
尤度比とピアソン検定の両方で、観測されたカウントが比較されます (ああ私) を期待カウント (e私）。 この場合、観察された頭数は 5,067 です (ああ頭)、尾の場合は 4,933 (ああ尾）。 表と裏の両方の予想されるカウント ( e頭そしてe尾）は5,000です。
尤度比検定統計量が次のとおりであることを検証 (演習) できます。
ピアソン検定統計量は次のとおりです。
検出力とサンプルサイズ
この状況でのデータの基本的な分析は非常に簡単ですが、単純なコンテキストでいくつかの重要なアイデアを検討する機会を提供します。 サンプルサイズが大きく異なる他の 2 つのデータセットを考えてみましょう。
別紙4小さいサンプル (少数) と非常に大きいサンプル (多数)
小さなデータ セットのサンプル比率は 0.62 ですが、大きなデータ セットのサンプル比率は 0.502 です。 コインが不公平であるというより強力な証拠を提供するのはどれでしょうか? 仮説検定のいくつかの側面に慣れるまでは、結果は驚くかもしれません。
大量サンプルの分析
確かに、このコインはきれいに見えます (図表 5)。 表か裏か、どちらがより頻繁に発生するかをグラフから見分けるのは困難です。 実際に表が発生したのは 50.2% のみでした。 このコインは、初心者にとっては、ジョン・ケリッチが投げたコインよりもさらに公平に見えます。
別紙5の配布結果
推論は別の物語を語ります。 実際、コインが不公平であるという主張には強力な証拠があります (証拠 6)。p 値は 0.0047 です。
別紙6大規模サンプルの推論
これは間違いですか？ いいえ。 実際、信頼区間はこの主張を裏付けています。 間隔の推定では、長期的には 50.006% から 50.34% の確率でコインが表に当たります。 インターバルには 50% が含まれていないため、コインはヘッドにロードされます。
これが奇妙な結果のように見える場合は、大規模なサンプルが仮説検定に及ぼす影響についてよく知らないのかもしれません。 統計的検定には、サンプルサイズが大きい場合に、帰無仮説からの非常に小さな逸脱を検出する能力があります。 ここで、帰無仮説は、コインは公平であるが、コインは公平ではないように見えるということです。 もちろん、このコインはそれほど不公平ではありませんが、表に若干の偏りがあるように見えます。 これが公正なコインの本当の意味である場合もあれば、そうでない場合もあります。 あなたとルームメイトが誰がゴミを出すかを決めるためにこのコインを使用している場合、このコインは完全に公平である可能性があります。 しかし、カジノがこのコインを使って表に賭け、常連客が裏に賭け、1時間あたり10ドルの賭けが10万回ある場合、これはカジノを大金にする可能性があります。
統計学における仮説検定の検出力は、帰無仮説が偽である場合に検定で棄却される確率です。 サンプルサイズが大きい場合、テストは大きな力を発揮します。 実際、サンプルサイズが非常に大きい場合、帰無仮説を棄却することは日常的なことになる可能性があります。 これにより、実際的な重要性と統計的な重要性の違いがわかります。 信頼区間、R などの実際的な重要性を示す尺度2サンプルサイズが大きい場合、p 値よりも重要な場合があります。
非常に少量のサンプルの分析
次に、小規模なサンプルの結果を検討します。
図表 7 の棒グラフと度数分布から、コインが裏よりも表の方がはるかに多いことが明らかな証拠のように思えます。 コインが実際に表に着地したのはサンプルでは 62% であったのに対し、Kerrich のデータでは 50.67% でした。 しかし、以前と同様に、推論では別のことがわかります。
別紙7の配布結果、非常に小さなサンプル
実際、p 値は両方とも有意水準 0.05 を上回っているため、コインが公正であるという帰無仮説を棄却できません。
別紙8非常に小さなサンプルの推論
図表 8 の信頼区間を調べると、再び明らかになります。 サンプルサイズが小さいため、信頼区間は非常に広いです。 コインが表になる時間の割合の長期推定の間隔は 0.48 ～ 0.74 です。 この間隔には 0.50 を上回る値と下回る値が含まれるため、実際には公正なコインを除外する十分な証拠がありません。
道徳
サンプルサイズは統計的推論において大きな役割を果たします。 サンプルサイズが大きい場合、差異が検出される可能性がありますが、その差異は実際には重要ではない可能性があります。 サンプルサイズが小さい場合、何かが起こっているように見えても (サンプルと帰無仮説の間の) 違いを検出できない場合があります。 一般に、サンプルが大きいということは、差異を検出する能力が高いことを意味しますが、サンプルが小さいと通常は検出力が低くなります。
ランダムに生成されたデータ、散布図、回帰を使用した例で、この考え方をさらに説明します。
Kerrich Power.jmp でデータを生成するには:
まず、2,000 行のランダムな正規値 (エラー) は、JMP Formula Editor を使用して生成され、平均は 0、標準偏差は 1 でした。
次に、x の値 ( x_big ）が生成されました。 これらの値は 1 ～ 8 のランダムな整数です。
最後に、y 値 ( y_big ) はランダムな正規値 (エラー) と x 値 ( x_big ）。
このデータは直線では収まらないように見えるかもしれませんが、大きなデータ セット (n = 2,000) ではいくつかの驚きが生じます。 図表 9 の散布図に傾向が見えますか?
証拠9大規模なデータセットの散布図 ( y_bigそしてx_big )
(分析、Y を X でフィット、使用y_big Y として、応答およびx_big X、因子として。)図表 10 では、データに回帰直線を当てはめています。 線はデータに適合しますか?
別紙10大規模なデータセットの回帰 ( y_bigそしてx_big )
(二変量近似出力から、赤い三角形をクリックし、線の近似を選択します。)
Rしながら2はわずか 0.056 であり、変動のわずか 5.6% を示しています。 y_bigを使用した回帰によって説明されます。 x_big 、p 値は 0.0001 未満です (帰無仮説はデータに傾向がありません。代替仮説は、データに傾向があるということです)。
これが大きなサンプルの威力です。小さな傾向が検出されます。 ただし、この傾向は実際には重要ではない可能性があります。 確かに、これだけ給料が上がるとしたら、私は感心しません。
ここで、大きなサンプルから抽出された y 値と x 値を含む、非常に小さなサンプルを見てみましょう。 コラムy_smallそしてx_small 5 つの観測値が含まれています。
図表 5 のプロットでは、データに強い線形傾向があることがわかります。 ただし、データには明確なパターンがありますが、サンプル サイズが非常に小さい (n = 5) ことに注意してください。
別紙10非常に小さなデータセットの回帰 ( y_smallそしてx_small )
これが一体どこへ向かうのか、あなたもきっと想像できたと思います。
一方、R 2は 64.2% であり、ばらつきが大きいことを示しています。 y_smallの回帰によって説明できますx_small 、p 値は 0.1031 です。 これは、線がデータに適合するという（良くても）弱い証拠しかないことを意味します。 それで何が起こっているのでしょうか？
データセットが小さい場合、線はデータに適合しているように見えますが、見かけのパターンの別の説明として偶然の可能性を排除することはできません。 P 値は、偶然がこのようなパターンを生成する確率を評価する方法です。 パターンがあるように見えますが、ポイントが単にランダムに生成され、間の真の関係がなかった場合、これほど強力なパターン、またはさらに強力なパターンが得られた可能性は 10.04% です。 x_smallそしてy_small 。
まとめ
統計的洞察
大きなサンプルは微妙なパターンを検出できますが、場合によってはこれらのパターンが実際には重要ではありません。 特にサンプルサイズが大きい場合、p 値が非常に小さいことは、必ずしも何か重要なことが起こっていることを意味するわけではありません。 小さなサンプルでは比較的明確なパターンが示される場合がありますが、そのパターンが本物であり、偶然の変動によって生じたものではないことを確信することはできません。 特にサンプルサイズが小さい場合、p 値が大きい場合でも、必ずしも何も起こっていないことを意味するわけではありません。
意味するところ
科学における最も有益な結果のいくつかは、結果が検出力とサンプル サイズについて述べたことと矛盾しているように見えるときに発生します。 多くの場合、サンプルサイズが非常に小さいパイロット研究では、観察可能な効果が見つかります。 このような場合、たとえ p 値が特に小さくなくても、検定の検出力が低いにもかかわらず何かが見つかったため、科学者はしばしば励まされます。 このような結果は、多くの場合、大規模な研究でさらに追求する価値があります。
一方で、膨大なサンプルサイズを含むいくつかの研究では効果が見つからない場合もあります。 帰無仮説を肯定することはできませんが、いくつかの非常に大規模な研究がいずれも効果の証拠を示さなかった場合、ある時点でその主張に対して非常に懐疑的になるはずです。
たとえば、多くの（ほとんどではないにしても）バスケットボールファンは、一部の選手にはホットなシュートとコールドなシュートの連続性があると信じています。 認知心理学者のグループは、NBA からのいくつかの大規模なデータセットを使用して、この主張のさまざまなバージョンをテストしました。 彼らはストリークシュートの証拠を発見しなかった（「バスケットボールにおける「ホットハンド」に関する冷たい事実」、エイモス・トベルスキーとトーマス・ギロビッチ、チャンス、第2巻、1989年、16-21ページ）。 ストリークシューティングが発生しないとは言えませんが (帰無仮説を肯定することを意味します)、異なるデータセットの数、データセットのサンプルサイズが大きいこと、そして人々がランダムなパターンを誤認識する理由の説明が組み合わさって極度の懐疑論を生み出すことになります。現象としてのストリークシューティングに向けて。
サンプルサイズが小さい場合（結果として検出力が低い場合）、効果の証拠を見つけることが重要になる可能性があります。 サンプルサイズが大きい場合（つまり検出力が高い場合）、効果が見つからない場合は注目に値します。
JMP ®特徴とヒント
このケースでは、Distribution プラットフォームを使用して棒グラフと度数分布を作成し、比率の信頼区間を作成し、適合度検定を実施しました。
数式エディターは、回帰状況におけるサンプル サイズと検出力との関係を示すためのランダム データを生成するために使用されました。 Fit Y by X を使用して散布図を生成し、回帰直線を当てはめました。
演習
- ケリッヒのコイン投げの練習用 (ケリッヒ.jmp )、母集団とサンプルは何ですか? サンプルは単純なランダムサンプルですか? サンプルが単純な無作為サンプルではない場合、それは代表的なサンプルだと思いますか? なぜ、あるいはなぜそうではないのでしょうか？ コイントスは独立していると思いますか？
- ピアソン検定統計量の名前の由来となった有名な統計学者、カール ピアソンは、コインを 24,000 回投げた結果、12,012 の表が出ました。 JMP でデータ テーブルを作成し、上記と同様にこのデータの分析を実行します。 あなたの帰無仮説は何ですか? どのような結論を導き出すことができますか?
- 大規模なサンプルの例では、251,000 個の頭部と 249,000 個の尾部が観察されました。 (公正なコインの場合) 250,000 の表と 250,000 の裏が表示されると予想していました。
- 指定された式を使用して、尤度比とピアソン検定統計量を検証します。
- 多くの教科書では、(公正なコインの場合) 1 つの割合を含むテストを実行するために、次のテスト統計を使用します。
Ho: p = pああ対
は：p≠pああ
このテストのテスト統計量は次のとおりです。サンプル内の頭の割合はどこですか、は頭の仮定された割合であり、 nはサンプルサイズです。
コンピューティングzそして確認してください。 言い換えれば、これがピアソン検定統計量の別の形式であることを確認します (p 値が同じであることも確認できます)。
