T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T 検定は簡単に実行できますが、結果がわかりにくい場合があります。私の中で以前のブログ投稿、私は、エンジニアがプロセスの変更が部品の強度に影響を与えるかどうかを判断する任務を負っているシナリオの概要を説明しました。 エンジニアは、新しい処理 (処理 A) で 3 つの部品をサンプリングし、3 つの標準 (対照) 部品と比較することを選択しました。 結果は標準的な t 検定で分析され、その結果の p 値は 0.05 より大きくなりました (信頼度 95%)。 したがって、新しいプロセスは放棄されました。
エンジニアとしてのキャリアの中で、私はこのシナリオを何度か見てきましたが、エンジニアは優れたプロセスの改善を放棄した可能性があると主張します。
なぜそんなことを言うのでしょうか？ まず、t 検定についての理解が不足していて、何を達成しようとしているのかが明確でなかったため、テストの計画と実行が不十分だったのではないかと思います。 言い換えれば、処理 A はパーツの強度を高めたいという私たちの要望に対する実行可能な解決策であった可能性があります。
t 検定、それから何が期待できるか、そして結果がどのように誤解されることが多いかを見てみましょう。
t 検定から何が期待できるでしょうか?
t 検定で何をしようとしているのでしょうか? エンジニアは、多くの場合、t 検定を使用して、2 つの大きな部品グループ (または母集団) の平均 (または平均) 間の差異を検出しようとします。 母集団が大きすぎてすべての部分を測定できないため、それらが全体を代表することを期待して、各母集団から限られた数のサンプルを抽出します。 しかし、サンプルサイズは限られているため、サンプルの平均値はほとんどの場合、親母集団の平均値とは異なります。 実際、それらはかなり遠くにある可能性があります。 (たとえば、誤って 1 つの母集団から 3 つの高いサンプルを抽出してしまい、サンプルの平均が母集団の平均よりもはるかに高くなる可能性があります。) サンプルの平均だけを比較すると確かに誤解を招く可能性があるため、いくつかの統計 (つまり、t-テスト）一部を許可する「ケンタッキーウィンデージ」サンプル手段の補償として。
典型的な (そして情報に基づいていない) t 検定の解釈
私たちのシナリオでは、エンジニアは各タイプの部品について 3 つのサンプルを作成しました。 (なぜ彼がそんなことをしたのかはわかりません…おそらくそれは彼の会社の単なる伝統だったのでしょう。) 私たちはソフトウェア パッケージに、収集されたサンプルの数と、そのデータにどの程度の信頼レベル (多くの場合 95% の信頼度) が必要かを伝えます。結果。 次に、ソフトウェアに t 検定計算を実行させ、「p 係数」を取得します。この p 因子は、「帰無仮説を反駁」すべきかどうかを評価します。 (なぜ統計学者は平易な英語で話せないのでしょう?) このシナリオでは、95% の信頼度を得るには 0.05 未満の p 係数が必要ですが、これは達成できませんでした。 そのため、改善を断念しました。
この解釈の問題点
信頼水準、p 因子、帰無仮説…これは統計の専門用語であり、理解するのが難しく、不適切な結論につながる可能性があります。 分かりやすい言葉で少し紐解いてみましょう。
- t 検定 (p 係数が 0.05 より大きい) からわかることは、次のとおりです。サンプルデータを考えると(サンプルサイズを含む)、言うことはできません95% の確率で 2 つの大きな母集団の平均値に差があることがわかります。
- t検定とは何ですか言ってないそれは、母集団が同じ手段を共有しているということです。 これは非常に細かいことですが、非常に重要です。 それらが異なることを証明することはできませんでしたが、実際にはまだ異なる可能性があります。 データの分散 (またはノイズ) により、このテストでは違いを検出することができませんでした。 しかし、おそらく、それぞれ 5 つのサンプル (または 10、または 100) を収集していたら、違いを検出できたでしょう。
したがって、私が見た最初の間違いは、失敗した (つまり、p 因子が高い) t 検定から、母集団の平均値は同じであるという結論に達することです。 T 検定は母集団の平均値が異なるかどうかのみを判断できることに注意してください。
(私が見逃した 2 番目の間違いは、結果に必要な信頼レベルを明示的に定義しなかったことです。工学の世界では 95% の信頼度が一般的ですが、医学研究などではさらに高い信頼度が必要になることがよくあります)。
次の間違いへ…
あなたにとって重要な違いは何ですか?
エンジニアは単に 2 つの母集団平均値の間に差が存在するかどうかを調べるだけの実験を開始したことを思い出してください。 しかし、ほとんどの実際的なシナリオでは、治療 A (この例では) によって標準よりも少なくとも一定量の改善が得られるかどうかに関心があります。 私たちのシナリオでは、強度の 0.00001% の向上は重要ですか? おそらく、しかしおそらくそうではありません。 1% の改善は私たちにとって重要でしょうか? それとも10％？
この「重要な違い」は、結局は顧客の声に帰着します。（一般に）プロセスの改善は、顧客が望んでいること、つまり顧客が支払う金額に照らして判断する必要があるからです。 制作会社にとっては、他にもいくつかの考慮事項が含まれる可能性があります。
私たちのシナリオでは、人口の違いが私たちにとって重要であることについては何も述べられていません。 実際、私たちは治療 A の母集団の平均を対照よりも高くしたいとさえ明確に言っていません。 (この場合、部品の強度を上げたいのは明らかですが、おそらく部品が過剰に設計されており、コストを節約するために強度を下げたいと考えています。) 増加するか減少するかは、統計計算のため、これを指定することが重要です。 エンジニアリング チームは、管理者とともに、テスト計画を開始する前に、どのような違いが重要なのか、またそれが増加なのか減少なのかを判断する必要があります。
したがって、私がよく見る 2 番目の間違いは、重要な差の大きさが指定されておらず、差の方向 (増加または減少) も指定されていないことです。
これらの間違いはテスト シナリオにどのような影響を与えましたか?
これらの点を考慮していたら、テストを再設計して、治療 A についてまったく異なる結論に達したかもしれません。しかし、t テストに関する知識が不足していて、達成しようとしていることの定義が不十分だったためです。 、実行可能な解決策として治療 A を見送りました。
次回のブログ投稿では、テスト計画の他の側面について詳しく説明し、最後に「完全な質問をする」で終わります。これは、こうした間違いの多くを回避するのに役立ちます。 約 1 週間後にパート 3 をご覧いただけると幸いです。
将来を見据えて
今後は以下のすべてのテーマについて触れていく予定です。 ぜひご参加くださいシリーズ全体！
- 典型的なシナリオのレイアウト
- t 検定は実際に何を示しますか? （この郵便受け）
- テストに関するその他の考慮事項、および完全な質問をする
- あなたのゲージは機能していますか (そして機能していない場合はどうすればよいですか)?
- テストの計画と実行: サンプルサイズからベストプラクティスまで
- 結果の分析 (ガベージイン = ガベージアウトを含む)
- 最終まとめ
