私たちは皆、誰かが「正しくない」ことを言っているのを聞いたことがあります。 異議を唱えるほど重要ではないか、話者と衝突したくないという理由で、ただ手放すこともあります。
これは、私が「信じられない」と考える一連の統計的声明の最初のものです。 他の人からのフィードバックを得るために、最初にこれらのステートメントをコミュニティ ディスカッション フォーラムに投稿しています。 幸いなことに、あなたの何人か（コミュニティメンバーへの叫び@dale_lehman 、 @P_バーテル、 @スタットマン、 @ih 、 @ジョージ、 と@ブレイディ_ブレイディ) は非常に思慮深く、洞察に満ちた回答をしてくれました。 続けてくださいディスカッション! 私が今日投稿した 2 番目の Cringeworthy Statistics ディスカッションを見つけてください!
そして、なぜこの最初の声明が屈辱的なものであるかについての私の見解を読んでください.
序章
統計の世界における私の「ペットのおしっこ」の 1 つは、仮説検定に関連する最も基本的なステートメントと関係があります。 多くの場合、t 検定 (または ANOVA) が比較的高い p ファクターで終わる場合、統計学者/アナリストは、「p>0.05 であるため、2 つの母集団の平均が異なることを証明できません。 したがって、母集団の平均は同じであると結論付けます。」
その主張の前半は正しい。 p>0.05 の場合 (そして 95% の信頼度を求めており、標本は正規分布した母集団から得られたものであり、...)、2 つの母集団の平均が異なると結論付けることはできません。
しかし、それは 2 つの母集団の平均が同じであることを意味するものではありません! おそらくもっとよく知っているはずの人々からでさえ、私はいつもこの声明を聞いています. この誤った結論に滑り込むのはとても簡単です。 リスナーが統計に精通していない場合、それは損害を与える可能性があります!
簡単な例: 男性と女性の平均身長
簡単な例として、成人男性の身長が成人女性の身長と異なるかどうかを判断したいとしましょう。 リソースが限られているため、このテストでは男性 3 人と女性 3 人の身長しか測定できません。 路上で無作為に 3 人の男性と 3 人の女性を止めて、身長を測定します (以下を参照)。
を使用しておりますJMPの Fit Y by X プラットフォームで、t 検定を実行して 2 つの標本の平均を比較します。 結果の p 値は 0.7096 です。 結論に 95% の信頼性が必要であると仮定すると、p>0.05 であるため、サンプルが異なる平均値を持つ母集団に由来することを 95% 確実にすることはできないと結論付けます。 つまり、このサンプルに基づいて、男性の平均身長が女性の平均身長と異なるとは言えません。
しかし、これは男性と女性の平均身長が同じであることを意味するものではありません。 (調べればわかる... によると今日の医療ニュース、2017 年の男性の平均身長は 67 インチでした。 そしてによると、クリーブランド クリニック、2018 年の女性の平均身長は 64 インチでした。)
なぜこれが起こったのですか？ t 検定で、男性が女性よりも (平均して) 背が高いことが証明されなかったのはなぜですか? サンプリングによるものです。 すべての男性とすべての女性を測定することはできないため、このテストではそれぞれ 3 人だけをサンプリングすることにしました。 たまたま平均的な身長の男性を 3 人選びましたが、ランダムに選ばれた 3 人の女性はたまたま平均より少し背が高かったのです。 それを測定範囲と組み合わせると、男性と女性の真の平均身長がどこにあるのかについてかなりの不確実性が生じたため、p値が高くなりました.
これは「大当たり」ですか？
はい、これは確かに大きな問題になると思います。 より実用的な産業の例を見てみましょう。 バイアルに粉末を充填する機械があるとします。 あなたの会社は容量を拡張したいので、2 台目のマシンを購入します。 機械 B が機械 A と同じ重量まで充填されていることを確認するよう求められます。
マシン A からいくつかのバイアルをサンプリングし、マシン B からいくつかのバイアルをサンプリングして、簡単なテストを実行し、t 検定を実行します。 0.35 の p 値で返されます。 ボスのところに行って、マシンが同じ充填レベルを生成していると言うべきですか? いいえ！ そんなことをしたら、間違いを犯す危険があります。 機械 B からのすべてのバイアルが実際に機械 A よりも平均充填重量が大きい場合、「無料」の材料を提供することで会社の費用がかかります。 B の平均充填重量が実際に A よりも低い場合、顧客を不幸にするリスクがあります。
私たちはそれについて何ができますか？
平均の確実性を高めるには、サンプル サイズを増やします。 これにより、男性と女性の身長の比較をより正確に評価できます。 しかし、2 つの母集団が異なることが証明されているか、または証明されていないことを宣言することしかできません。 それらが「同じ」であると結論付けているわけではありません。
同等性検定 (複数の t 検定を含む) を実行することもできます。 興味があれば、私はあなたに指示します詳細はこちら. 同等性テストはこの投稿の範囲を超えているため、そのままにしておきます。
結論
つまり、t 検定 (または ANOVA) を使用して何かが異なることを証明することはできますが、それを (少なくとも単独で) 使用して何かが同じであることを証明することはできません。 アプリケーションで間違いを犯さないように、条件と結論には注意してください。
過去にこれらの発言をしたことがあるとしても、気にしないでください。 私の経験では、これは非常に簡単でよくある間違いです。 （完全な開示：私は自分でそれを作ったことに罪悪感を持っています！）だから、これは私の前に多くの人が何度も言ったとしても、繰り返すに値すると思います.
