What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?テストを計画するときに他に何を考慮する必要がありますか?
この第 3 弾では、ブログシリーズ「失敗から学ぶ」 , テストを計画するための前段階についての私の考えをまとめたいと思います。 一般的に t 検定から何が期待できるかについてはすでに説明しました。 したがって、信頼水準を設定し、現状と比較して改善の目標を設定し、改善の方向性 (現状よりも大きいか小さいか) を確立する必要があることがわかりました。 ここで、その他のテストに関する考慮事項について説明し、最後に次の内容で締めくくりましょう。完全な質問をする。
テスト計画前のその他の考慮事項
から思い出すオリジナルのシナリオエンジニアは、新しい治療と対照の間で母集団の平均が変化したかどうかを判断するために、各母集団から 3 つのサンプルを抽出することにしました。 なぜ彼は 3 つのサンプルを選んだのでしょうか? なぜ5つではないのでしょうか？ それとも10？ それとも2? おそらくそれは、「私たちはいつもそうしてきたから」だと思います。おそらく、まだ説明されていない他の考慮事項があったのでしょう。
純粋に統計的/数学的な観点から見ると、サンプル サイズを選択するときは常に、より多くの方が優れています。 結局のところ、母集団からすべての部分をサンプリングできれば、母集団の平均や分散について仮定を行う必要がなくなります。 私たちはそれを知っているでしょう！
残念ながら、私たちの日常業務には、サンプルサイズの選択に影響を与える実際的な考慮事項が数多くあります。 そしてさらに残念なことに、私自身、特定のテストを実行する際の制約や影響をすべて考慮しなかったという罪を犯しています。 急いで時間を無駄にするよりも、テストを開始する前にこれらの要素を考慮する方がはるかに賢明です。
以下に、テストの計画方法に影響を与える可能性のある事項をいくつか紹介します。
- このテストの予算はいくらですか?
- いつ答えが必要ですか?
- 週末までに答えが必要だが、テストが完了するまでに少なくとも 1 か月かかる場合は、答えようとしている質問と、それに答えるために使用している方法論を再考する必要があります。
- どれだけのテストサンプルを作成できるでしょうか?
- これには、部品自体のコストだけでなく、部品を構築するための時間やスケジュールもかかる場合があります。 これらの部品を製造するための生産ラインを停止するのでしょうか?
- 「バッチ」は私たちにとって重要になるでしょうか (部品がバッチで作られると仮定して)。
- その場合は、複数のバッチにわたるサンプリングを検討してください。 もちろん、これは最初のテスト部品を作成する時間と、最終結果が得られるまでの時間に影響します。
- 実際にどれくらいのサンプルをテストできるでしょうか?
- サンプルをテストする研究所は他のことで忙しいですか? サンプルを外部の研究所に送るには費用がかかりますか?
- 本当に正しいパラメータを正しい方法でテストするつもりなのでしょうか? 私たちのシナリオでは、部品の「強度」を高めたいと考えています。 強度を測定する方法は数多くあります (引っ張り試験、反復サイクル、衝撃試験など)。 あるいは、実際には弾性率、デュロメーター、またはその他のパラメータを測定する必要があるかもしれません。 急いで測定を始めないでください。
- 現在の試験装置を使用して、検出したい「重要な違い」を測定することさえできるでしょうか?
- 測定システム分析は、ゲージの変動を理解するのに役立ちます。 ゲージが十分でない場合の対処法も含め、次回のブログ投稿でこれについて詳しく説明します。
- コントロール部品の通常の部品間の強度のばらつきをご存知ですか? 新しいパーツも同じバリエーションになると思いますか? 変動は正規分布すると予想されますか?
- これらの質問は、テストを計画し、結果を分析する際に重要な役割を果たします。
- 部品の平均強度を向上させることに加えて、既存の部品間のばらつきを維持することが製品にとって重要ですか? バリエーションも改善する必要があるでしょうか？ 逆に拡張できるのか？
- 部品の平均強度を向上させても、部品の広がり（バリエーション）を増やすと、実際にはより多くのスクラップが発生するのでしょうか?
- 通常、私たちはプロセスが制御不能になったり、不良部品が製造されたりすることを心配します。 しかし、一貫して優れた部品を製造する管理されたプロセスがある場合、その管理を維持するためにどれだけの費用を費やしているでしょうか?新しい処理部品の大きな変動を許容して、プロセス管理にかかる費用を節約することはできるでしょうか?
これらすべての考慮事項は、仮説のサンプル サイズの選択に組み込まれます。 t検定。 (テストを計画する前に、話し合う必要がある考慮事項が他にもたくさんあると思います。)
したがって、この間違いを次のように呼びます。テスト計画に影響を与える可能性のあるすべての要素を適切に考慮していない。
私たちが答えようとしている完全な質問は何ですか?
「完全な質問をする」時間を確保しておくことで、上記の議論や間違いをすべて軽減できます。 （ここで、私は大声で叫ばなければなりませんビル・カッペレ、私の指導者であり友人であり、何年も前にこの方法を私に教えてくれました。）
「完全な質問をする」とは、上記 (およびパート 1 とパート 2) の議論をすべて検討し、すべてが考慮されていることを確認することを意味します。そのため、適切な量を測定し、テストの制約を定義し、どの程度の差が重要であるかを定義します。私たちへなど
このシナリオでは、すべての関係者および利害関係者と話し合い、質問を次のように書き換えたとします。
「95% の信頼性で、処理 A はプロセスの変動を増やすことなく、現在のプロセスと比較して部品の平均強度を 1 単位以上向上させると言えますか?」
これに続いて、制約をリストします。 そのうちのいくつかは次のとおりです。
- 合計 40 個のパーツを構築してテストする余裕があります (治療 A の全パーツの合計 + コントロール <=40)
- バッチの効果は無視できます
- 答えは 1 か月以内に必要です (このブログ シリーズを完了するには十分な時間です!)
質問をすべて完了したことを確認する
私のこれまでのキャリアを通じて、エンジニアが研究室で問題の真相に到達しようとして多くの時間とリソースを費やした結果、誰も結果を気にしていなかったことが判明するのを見てきました。 問題は最初の考え方やテスト計画にあるわけではありません。 問題はテストの実行にはありません。 問題は、エンジニアが正しい/完全な質問に答えているかどうかを事前に確認しなかったことです。
Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan?上司はあなたの計画に同意しますか?
したがって、このすべての前向きな考え方とテスト計画を完了したら、最後に 1 つ行うことをお勧めします。それは、これが回答する必要がある質問であることに同意するかどうか、マネージャーに尋ねることです。 実際、テストの実行にかなりの時間がかかる場合は、管理者に定期的に連絡して、条件が変わっていないかどうかを確認することをお勧めします。 無駄なテストを実行して時間を無駄にしたくない人はいません。
近日登場
今後は以下のすべてのテーマについて触れていく予定です。 ぜひご参加くださいシリーズ全体！
適切な質問をするための非常に良いアプローチです。
1993 年に、ダグ モンゴメリーと私は同時に「DOE のマスター ガイド」を考案しました。 彼が最初に出版しました (Technometrics、1993)。 それ以来、このガイドを使い続けています。 あなたと同じ質問をします。
私のウェブサイトにコピーがあります ( http://cawseandeffect.com/doe-master-guide/ ）お気軽にご覧ください。
まったく細かいことはなく、 @コーキング！コメントをいただけると嬉しいです。
はい、サンプルサイズにはトレードオフがあり、いくつかの良い点を指摘しています。そして、あなたは私の雷を盗んでいるわけではありません...適切なサンプルサイズを選択することで何が起こるかについての食欲を刺激しているだけです。ご意見とご意見ありがとうございます!
やあ、ジェリー、
あなたのシリーズが大好きです！ 業界での経験がある者として、私が扱っているのと同じトピックを誰かが取り上げている (そして同じ間違いのいくつかを克服している) のを見るのを楽しみにしています。 次に何が起こるか楽しみです!
簡単なコメントがありますが、あまり細かいことにはならないことを願っています :-/。 統計的/数学的な観点からは、サンプルが多い方が常に良いとおっしゃっていました。 私も確かに同意します...ある点までは。 この時点から、収益逓減について検討を開始します。 私の質問に答えるために、追加のサンプルからどの程度の情報が得られますか? 追加のデータを取得するために時間や費用をかけて余分な努力をする価値はあるでしょうか?
おそらく極端な例が私の主張を説明するのに役立つかもしれません。 関心のある母集団全体とその母集団のサブセットのどちらかを選択するよう提案したとします。 もし私がそれをそのままにしておけば、おそらくあなたは間違いなく人口全体を選択するでしょう。 しかし、私が（ローレンス・フィッシュバーンの最高の声とクールなサングラスで）部分集合は人口の1人を除くすべてのメンバーで構成されていると言ったらどうなるでしょうか。 この時点で、選択はおそらくより困難になるでしょう。 「では、実際のところ、この 2 つの違いは何でしょうか?」と疑問に思うかもしれません。 私の質問に完全に答えるために、本当に追加のメンバーが 1 人必要ですか?」 (上記のブログ投稿のガイドとなる質問を使用して判断することになります:) ）。 そうかもしれませんし、そうでないかもしれません。 しかし重要なのは、その選択はもはやそれほど明確ではないということです。有名な作品を思い出します逆説砂粒を一つ一つ取り除くと、砂の山が砂の山ではなくなるときのこと。 逆に考えると、砂（データ）を追加すると貴重な情報が得られるのでしょうか、それとも、既に持っているものよりも少しだけ大きな山が得られるだけなのでしょうか？
さて、明らかに、ほとんどの人の状況は、より多くのデータがあるということは、明らかにより多くの情報があることを意味するというカテゴリーに分類されます。 通常、大規模なサンプルの状況に入るまでは、これについて心配する必要はありません。 しかし、サンプルサイズを決定するために統計的検出力計算を使用したことがあるなら、この収益逓減引数を暗黙的に使用していると私は主張します。 結局のところ、検出力の計算は、統計的目標を達成するために必要な最小サンプル サイズ (適切に使用されていると仮定して) を示すだけであり、余分なデータはおまけに過ぎないという意味合いがあります。
(今後の投稿から衝撃を受けていないことを祈ります :-/。 あるいは、うるさすぎる :-/.)
