私が線形モデルで私の最初のコースを取ったとき実験計画私の教授は、彼が統計コンサルティングで遭遇した最も一般的な質問は「私の結果が統計的に有意であるためにはいくつのサンプルが必要ですか」であるとクラスに話しました。時間やリソースを無駄にしないで研究。
上記の質問は簡単ですが、答えはそうではありません。それは答えがコンサルタントがまだ知らないいくつかの量の値に依存するためです。さらに悪いことに、クライアントはこれらの値も知らないことがよくあります。
これらの問題のある量は何ですか？
最も簡単で重要度が最も低い量は、クライアントが使用することを計画している仮説検定の有意水準です。歴史的には、0.05が標準的な有意水準でした。私は単独でこの1つの選択についてのブログ投稿を構想することができました、しかし私たちが先に進みましょう。
シグナルは最も重要な量です。それは実用的に重要であるのに十分大きい最小の効果です。そのような効果を高い確率で検出したいのですが、その確率がパワーテストの 私の経験では、科学者やエンジニアに、実用上最も重要な最小の効果の値を約束させることは驚くほど困難です。
ノイズはもう1つの必須情報です。この場合のノイズは実験誤差の標準偏差です。エンジニアリングチームは、実験を行ってそれを見積もる前に、この値をどのように知っているべきかを合理的に尋ねることがあります。
統計的検出力の計算は、上記3つの量と応答の分布に関する仮定に依存します。標準的な仮定は、応答が正規分布に従って独立して分散され、分散はすべての可能な因子の組み合わせに対して一定であるということです。
有意水準、信号と雑音、および上記の仮定を考慮すると、統計学者（または統計ソフトウェア実験計画の力をあなたに伝えることができます。
実験の力を高めるために研究者は何ができるでしょうか？
実験の力を高めるためにできることは、次のとおりです。
1）信号のサイズを大きくする
2）騒音を減らす
3）もっとランをする
4）より大きな有意水準を使用する - 例えば0.05ではなく0.1とする
どのようにして信号のサイズを大きくしますか？
明らかに、要因の影響は自然に依存します。ただし、実際に最低限必要な効果を大きくすることもできます。これは不正行為のように思えるかもしれませんが、熟考してみると、最初に指定したものよりも2〜3倍大きい効果を検出できるのであれば、実際に満足できると判断するかもしれません。
どのようにノイズを減らすのですか？
実験誤差は、実験ごとの実験条件のランダムな変動の結果です。この変動を減らす最善の方法は、ランダム変動の原因を特定し、それらをブロッキング要因として実験に含めることです。たとえば、日々の変動があり、実験の実行に5日を要する場合は、日をブロッキングファクタにすることで、誤差の変動からこの変動を取り除くことができます。
もっと実験的な実験は高価です。いくつかのランがどれほどの違いを生み出すでしょうか？
スクリーニング実験では、実験実行とほぼ同じくらい多くの要因があります。飽和設計の極端な場合、ランと同じくらい多くの未知数があります。この場合、フルモデルの誤差分散を推定することはできないため、有意性検定も実行できません。
飽和設計の例は、8回の実行での主効果モデルの7要素実験です。実行が8回あり、全体の平均（または切片の項）と7要素の効果を推定しているため、誤差分散を推定するための情報は残っていません。
1回実行して主効果の1つに対してt検定を実行すると、帰無仮説を棄却するために、信号は雑音の12倍以上でなければなりません。以下の表は、帰無仮説を棄却するためにt検定のS / N比がどれだけ大きくなければならないかを示しています。明らかに、あなたはできません検出する効果がないという仮説を棄却しない限り、効果。そのため、1回余分に実行すると、検出に対する障壁はかなり高くなります。経験則として、未知のパラメーターよりも4〜5回多い実験を実行することをお勧めします。
追加の実行回数が増えるにつれて、t検定に必要なS / N比がどのように低下するか。
有意水準を0.05から0.1に引き上げるコストはいくらですか。
有意水準が0.05の場合、平均して20回のテストごとに1回、実際にはスプリアスである効果が検出されます。レベルを0.1に上げると、スプリアス検出が10テスト中1に増加します。
次は何ですか？
次回の投稿では、電力計算のための新しいインタフェースについて説明します。 JMP 10。だから、この記事は基本的に来週の動機です。
実験を実行するまでは誤差の標準偏差がわからないことに注意してください。したがって、消費電力の計算は、その数がどうなるかについての推測に基づいています。統計ソフトウェアでは、小数点以下第3位までの累乗が報告されていますが、これらの数は大きな粒度の塩で計算する必要があります。
ブラッドリージョーンズ書きました：
ロジスティック回帰分析の力をシミュレートするためのスクリプトを書くことは簡単なことではありませんが、JMPは間違いなくそれを行うことができます。実際、私はしばしば分析結果をそのようなシミュレーションの結果と比較します。
アンドリュー・エクストローム書きました：
私はこの問題に苦しんでいます。応答率が5％と高く、おそらく0.10％に近いかもしれないシステムに対して、異なるべき乗で多重ロジスティック回帰の 'n'を決定する必要があります。私は周りを尋ねて、私はシミュレーションを実行する必要があると言われました。JMPにはこの種のシミュレーションを実行する機能がありますか？
ありがとう。
ジェイ・リー書きました：
有意水準の変更に加えて、アルファが両側検定ではないように、研究は特定の（方向の）仮説を検定することができます。
JMP 10で計画された実験のためのカスタムデザインでの電力解析書きました：
[...]私の前回の投稿では、設計された実験の能力に影響する基本的な量について話しました[...]
ブラッドリージョーンズ書きました：
データがない場合は、すでに持っているデータを見たり、小規模な予備調査を実行したりすることにある程度の価値があります。ただし、すでに持っているデータには、実験条件をブロックするか、またはより慎重に制御することによって、実験で避けることができる変動性がある場合があります。したがって、現在のデータを使用して得られる誤差の標準偏差は不必要に大きい可能性があり、あなたの実験には十分なパワーがないと考えることになります。その結果、必要以上に多くの実行を行わなければならなくなり、それによってコストが増加する可能性があります。
スティーブフィガード書きました：
この重要なトピックについて非常に明快かつ簡潔に説明していただきありがとうございます。さらなる分割払いを楽しみにしています。
マイケルアンダーソン書きました：
実験を実行するまでは誤差の標準偏差がわからないことに注意してください。したがって、消費電力の計算は、その数がどうなるかについての推測に基づいています。
今朝発見された（または製造された）現象を勉強しているのでなければ、どこかに説明的な統計が潜んでいるはずです。だから掘り出しなさい。実際に何もない場合は、実験的なビッグイベントの前にパイロットスタディを計画に絞り込む必要があるので、その厄介な標準偏差の推定値（信頼区間付き）を取得できます。
基礎統計のすべての教師が彼らの学生に「パイロット、それから実験」という考えをあけたならば、我々は曖昧な、力のない実験と調査から数え切れないほどの卒業生を救うでしょう。それを理解するのに10年の教えを要しただけです…
