誰もが、誰かが「正しくない」ことを言うのを聞いたことがあるでしょう。時には、異議を唱えるほど重要ではない、あるいは発言者と衝突したくないという理由で、そのまま放っておくこともあります。
これは、私が「恥ずかしい」と思う統計的発言シリーズの第1弾です。まずはコミュニティディスカッションフォーラムに投稿し、皆様からのフィードバックを伺います。ありがたいことに、何人かの方（コミュニティメンバーの@dale_lehman 、 @ P_Bartell、 @スタットマン 、 @彼ら 、 @ゲオルグ 、 @brady_brady ）から、非常に思慮深く洞察力に富んだご意見をいただきました。ぜひ議論を続けてください！本日投稿した「恥ずかしい統計」に関する2つ目のディスカッションもご覧ください！
この最初の発言がなぜ恥ずかしいのか、私の見解をお読みください。
導入
統計学の世界で私が「どうしても気に入らないこと」の一つは、仮説検定に関する最も基本的な記述に関係しています。t検定（または分散分析）でp値が比較的高い結果になった場合、統計学者や分析者はよく「p>0.05なので、2つの母集団の平均が異なることを証明することはできません。したがって、母集団の平均は等しいと結論付けます」と言います。
この記述の前半は正しいです。p>0.05（そして95%の信頼度を求めており、標本は正規分布する母集団から得られており、…）であれば、2つの母集団の平均が異なると結論付けることはできません。
しかし、だからといって二つの母集団の平均値が「同じ」というわけではありません！この発言はしょっちゅう耳にします。本当はもっとよく知っているはずの人々でさえも。この誤った結論に陥るのは実に簡単です。そして、聞き手が統計学に詳しくない場合、それは有害になりかねません！
簡単な例：男性と女性の平均身長
簡単な例として、成人男性の身長と成人女性の身長に差があるかどうかを判定したいとします。リソースが限られているため、このテストでは男性3名と女性3名のみの身長を測定できます。路上でランダムに男性3名と女性3名を止め、身長を測定します（下図）。
JMPの「YとXの関連づけ」プラットフォームを用いてt検定を実行し、2つの標本の平均値を比較しました。得られたp値は0.7096でした。結論に95%の信頼度を求めると仮定すると、p>0.05であるため、標本が異なる平均値を持つ母集団から得られたものであると95%の確信を持つことはできないと結論付けます。言い換えれば、この標本に基づいて、男性の平均身長が女性と異なると断言することはできません。
しかし、これは男性と女性の平均身長が同じという意味ではありません。（調べてみてください… 今日の医療ニュースによると、2017年の男性の平均身長は67インチでした。また、 クリーブランドクリニックによると、2018年の女性の平均身長は64インチでした。）
なぜこのような結果になったのでしょうか？なぜt検定では、男性が（平均して）女性よりも背が高いことが証明されなかったのでしょうか？それはサンプルの抽出方法に起因します。すべての男性とすべての女性を測定することはできないため、この検定ではそれぞれ3人ずつサンプルを抽出しました。たまたま平均的な身長の男性3人を選んだのに対し、ランダムに選んだ女性3人は平均より少し背が高かったのです。このことと測定値の範囲が重なった結果、男性と女性の真の平均身長がどの程度なのかについてかなりの不確実性が生じ、p値が高くなったのです。
これは「大したこと」ですか？
はい、これは確かに大きな問題になると思います！もっと実際的な産業の例を見てみましょう。バイアルに粉末を充填する機械があるとします。会社が生産能力を拡大したいと考え、2台目の機械を購入するとします。機械Bが機械Aと同じ重量を充填していることを確認するように求められます。
簡単なテストとして、機械Aと機械Bからそれぞれ数本のバイアルをサンプリングし、t検定を実行しました。結果はp値0.35でした。上司に「両機械は同じ充填レベルを生産している」と伝えるべきでしょうか？いいえ！そうすると、間違いを犯すリスクがあります。もし機械Bから生産される全てのバイアルの平均充填重量が機械Aよりも高ければ、「無償」の材料を提供することで会社に損失を与えていることになります。もし機械Bの平均充填重量が機械Aよりも低ければ、顧客に不満を抱かせるリスクがあります。
私たちはそれに対して何ができるでしょうか?
平均値の確実性を高めたいのであれば、サンプル数を増やす必要があります。これにより、男女の身長の比較についてもより正確な評価が可能になります。しかし、それでもなお、二つの集団が異なることが証明されているか、あるいは異なることが証明されていないかのどちらかしか断言できません。つまり、それらが「同じ」であると結論付けることはできないのです。
同等性検定（複数のt検定を含む）を実行することもできます。ご興味があれば、 こちらで詳細をご覧ください。同等性検定についてはこの記事の範囲外なので、これ以上は触れません。
結論
つまり、t検定（または分散分析）は何かが「異なる」ことを証明するためには使えますが、（少なくとも単独では）何かが「同じ」であることを証明するためには使えないということです。応用において間違いを犯さないよう、用語と結論には十分注意してください。
過去にこのような発言をしたことがあるとしても、気にしないでください。私の経験上、これは非常に簡単に、そしてよくある間違いです。（正直に言うと、私自身も同じような間違いを犯したことがあります！）ですから、これは私より前に多くの人が何度も言ってきたことですが、改めて強調しておく価値があると思います。
