パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)こんにちは、みんな、
アッセイに関する精密な研究を実行するための社内慣例では、さまざまな分散コンポーネント (例: 日ごと、計量ごとの計量など) に対して複数の CV が生成されます。 このため、「将来の実験計画で統計的検出力を決定するためにこれらの CV を使用できるか?」という疑問が生じます。ということがよく起こります。
答え：
ただし、それは簡単ではありません。 マリアンヌ (MTOF) は、実験計画を取り込み、その計画をアッセイの CV と統合し、実験の実行を 1,000 回シミュレートするワークフローを開発しました。 これから、各固定効果が統計的に有意であると判断された回数を決定し、その効果の検出力を計算します。
残念ながら、このプロセスを手動で実行するとかなり時間がかかります (そして非常に間違いが起こりやすいです)。 そこで、自動化に取り組んできました。
私が添付したアドインはまだプロトタイプですが、MTOF と私はそれを試してみたので、テストの準備ができているはずだと信じています。
それで、それはどのように機能するのでしょうか？
新しいアッセイに関する精密研究を実行するとします。 このアッセイでは、Day-to-Day CV が 4%、Sampling-to-Sampling CV が 3%、Measurement-to-Measurement CV が 2% であることが判明しました。
しばらくして、2台目のマシンを購入しました。 元のマシンと新しいマシンが同様の結果を生み出すかどうかを確認するための、簡単な小規模な調査を計画したいと考えています。
次の単純な実験計画を作成し、それが「十分に良い」かどうかを知りたいと考えています。
(「1 日で、各マシンで 2 つのサンプルを 2 つの測定値でテストします」)
それでは始めましょう:
- アドインを開始する
- 現在開いているすべてのデータ テーブルを示すウィンドウが表示されます。
- 対象の実験計画が現在開いている場合は、メニューから選択して [OK] をクリックします。
- ファイルが開いていない場合は、「新しいファイルをインポート」を選択し、「OK」をクリックします。 エクスプローラーを使用して目的のファイルを選択します。
- メイン インターフェイスが起動し、使用するモデルを定義できるようになります。
-
- 上に示したデモテーブルの場合、固定エフェクトは「Machine」のみなので、モデルに追加します。
-
- 私のランダム効果は、日、サンプリング、測定です。 まず、日とサンプリングのエフェクトを追加します。
-
- 私のテーブルの設定方法により、Day と Sampling の両方のネストが正しく設定されている必要があります。
-
- 次に、「Toggle Selected as Random」ボタンを使用して、日とサンプリングをランダム効果に設定します。
-
- 「ランダム エフェクト CV の定義」サイドバーに 2 つのボックスが表示され、これらのランダム エフェクトの CV を設定できます。 Day に 4%、Sampling に 3% を入れます。
- ここで、「測定から測定へ」の CV も考慮する必要がありますが、この列は入力データ テーブルに追加されていませんでした。 測定は最低レベルの変量効果であるため、残差と混同されます。 したがって、「新しい残差列の作成」を使用して測定誤差用の列を作成し、その CV を 2% に設定します。
-
- 次に、応答列 (「結果」) を選択し、「OK」をクリックします。
-
- 入力データテーブルに基づいて新しいデータテーブルが作成され、ファイル名の末尾に「_PowerSim#」が修正されます。 そのため、元のファイルに悪影響が及ぶことはありません。
- 「シミュレーションの実行」スクリプトが新しいファイルに埋め込まれます。 アイコンをクリックして評価を開始します。
-
- まず、違いを検出したい固定効果を選択します。 この設計では、選択肢は 1 つだけ (マシン) です。
-
- 「検出する差異」サイドバー内にボックスが表示されます。 デフォルトでは、すべてが平均に相当する 100 に設定されます。
- 私の実験計画がマシンに対するレベルの 5% の違いを検出する能力があるかどうかを知りたいとします。 これを取得するには、新しいマシンの値を 105 に変更します。
-
- デフォルトでは、クリティカル アルファ値は 5% に設定されています。 必要に応じて、これは「Crit Value」ボックスで変更できます。 5% で満足なので、[OK] をクリックします。
- ここで、すべてのモデルが実行されるのを待ちます。 将来的には、このステップの速度を上げるように努めますが、現時点では実行に 1 分程度かかります。
- 完了すると、ポップアップに結果が表示されます。
-
- その結果、「Machine」の効果によるアルファ0.05での応答の5%の違いを検出する検出力は23.6%となります。 したがって、素晴らしいデザインではありません。 戻って、検出する差分や使用されるアルファ値を調整することもできますが、より堅牢な設計を作成する方がよいでしょう。
- これは非常に単純な例でした。 もちろん、より複雑なモデルや検査も利用できます。
-
実装されていない特定の機能 (ネストされた固定効果、Nominal*Continuous 以外のインタラクション) や、速度を上げるために実行できる作業 (たとえば、データ テーブル内のすべてのデータを前もって出力する代わりに反復システムに移行するなど) があります。 ）。
ご質問がございましたら、マリアンヌと私にお知らせください。
編集: バージョン 3 に関するメモが見つかります。ここ
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)このアドインのバージョン 3 を最初の投稿に添付しました。
一般的なバグ修正のほかに、機能面で 2 つの注目すべき変更があります。
まず、このツールは実験計画を 1,000 回複製する必要がなくなりました (その結果、データシートのサイズは 1000 × [計画行] 行になります)。 これはバグテストには役立ちましたが、1,000 個のモデルを一度に実行する代わりに、1 つのモデルを実行し、結果をログに記録し、ランダムな寄与列を再構成してから、次のモデルを実行する反復方法に切り替えました。
これはプロセスの高速化にはあまり役に立ちませんが、非常に大規模な実験計画が使用されたときに発生するハング/フリーズを防ぐことができます。
次に、ツールには「エラー処理」を定義するオプションが追加されました。
「通常エラー」処理では、以前のバージョンと同じ正規分布エラーが使用されます。 「微生物プレート誤差」を選択すると、処理が少し異なります。(1) 誤差寄与列は正規分布ではなく対数正規分布になります。(2) 応答は Log10 変換されます (したがって、 [応答列の選択] アウトライン ボックス)、(3) 分散は CV ではなく標準偏差で定義する必要があります、(4) ユーザーは新しいシミュレーションを実行するときに応答レベルを指定する必要があります。
この機能は、微生物プレートのデータをより適切に説明するために導入されました。 この方法論の背後にある方法論はまだ活発に開発中であり、ツールの実装はチェックされていますが、完全には検証されていないため、このエラー処理を使用した結果は割り引いて考えてください。 心配な場合は、これまでと同様に、プレート データのログ変換された応答と並行して「通常のエラー」を使用し続けることをお勧めします。
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)> ある講師は、実験用のランダム化されたブロック設計は、もともとは野外試験 (「ブロック」) でのさまざまなレベルの土壌品質、水の利用可能性などの多くの問題に対処するために、特に植物科学のために考案されたものであるとさえ語っていました。文字通り、畑に作物を植える物理的な正方形のミニプロットでした)。 これにどこまで真実があるのかは分かりませんが、
分割プロットなどの用語はどこから来たと思いますか? 
フィッシャーは農学圃場試験のための実験を設計し、ANOVA を考案しました。 そして、協力者には、フィールドの「同様の」チャンクに沿ってランダム化されたブロック設計を配置することを強くお勧めします。だから私はあなたの賢明な指導者を信じたいと思います。
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)しかし、これらはまだ一般的な考慮事項にすぎません。どのセットアップが最もコスト効率が高く、最高の電力を提供するかを知りたい場合は、Adams の詳細な計算の説明またはアドインを使用してください
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)@jsdejmp
より高いレベルでより多くのレプリケートを追加することは、下位レベルでのレプリケートの数を同じに維持せずに、例のように合計を同じに保つ場合にも実際にはより効果的です（前述のようにセットアップがネストされている限り） 。
履歴書に関係なく、10x5 の方が 5x10 よりも優れていると確信できます。 ネストされている場合、合計をカウントすると、10x5 では 10 回の試行と 50 回のプロットが得られ、5x10 では 10 回の試行と 50 回のプロットが与えられます。 したがって、どちらの場合でも、プロット間の変動は係数 50 で削減され、試行間の変動は係数 10 または係数 5 で削減されます。
ネストされていない場合、つまり、トライアルが同じ場所で 5 回実行されるため、同じ 10 プロットを何度も再利用する場合は、状況は異なりますが、これがフィールドの実行方法であるとは思いません試練？
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)ああ、そのほうが理にかなっています -- おそらく彼は正しいことを言っていて、私が間違って覚えているだけだと思います
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)@ABI
あなたの講師は、農学の圃場試験用に開発された分割区画設計について言及していたと思います。これが名前の由来です。
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)できる限りのお手伝いをさせていただきます。
誤差が正規分布することはなく、正規分布に近似するには変換が必要であるため、プレート データに対して対数変換を使用することに注意してください。
余談ですが、フィールドトライアルの問題については、私は確かにあなたの痛みを感じています。 私の学部生と大学院生の研究はすべて植物ゲノミクスに関するものでした。そのため、私はその戦いを戦ってきました（誰かが温室効果の結果と野外試験の結果を組み合わせるように頼むまで待ってください。ノーと言いましょう！）。 ある講師は、実験用のランダム化されたブロックの設計は、もともとは野外試験でさまざまなレベルの土壌品質、水の利用可能性などの多くの問題に対処するのを助けるために、特に植物科学のために考え出されたとさえ言いました（「ブロック」は文字通り、畑の作物の物理的な正方形のミニプロット）。 ただし、これにどこまで真実があるのかはわかりません:)
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)@ABI 、実験の計画にどのようにアプローチするかについて、よくまとめられた説明とガイドをありがとうございます。 このシステムを実験的なアプローチに応用できると確信しています。 私たちは CV について適切な推定値を得るために取り組んできましたが、あなたが言ったように、最初にさまざまなランダム効果がどのように相互作用するかを理解する必要があります。 この情報の一部を取得するには追加のモデリングを行う必要があると思います。
(ところで、CV をキャプチャするときにログ変換が役立つ理由について言及していただきありがとうございます。ちょうど QC SOP について MSQM と話していたところですが、その理由がわかりませんでした。)
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)こんにちは@MTOF 、
#1 への返信 - より高いレベルでの追加は、より低いレベルでの複製数を維持する場合にのみより効果的です。 予算の制約を考慮すると、問題は「5 トライアル x 10 レップを行うべきか、10 トライアル x 5 レップを行うべきか」に近いです。 この実際的な質問に加えて、より抽象的でよく議論されている質問があります。それは、個々の試験は実験全体を構成するのか、それとも単一のデータ ポイントを構成するのかということです。誰も描いてはいけないのでどれでも治療の結論は 1 回の試験から得られますが、この 1 回の実験には明らかにかなりの設計コストと運営コストがかかり、そのデータには適切な重みがあるはずです。 (作物ごとに圃場感受性が異なるため、CV も異なり、最適な試行回数と繰り返し回数も異なるため、ウサギの穴はさらに深くなります。また、現在、試行を実行する下請け業者ごとに異なるレベルの試験が行われる可能性があるかどうかにも関心があります。現場を管理し、反応を測定する能力。 同じ場所の天候や前年比の変化は言うまでもありません。 母なる自然が私たちの努力をいとも簡単に妨害してしまうと、降参の姿勢が生まれやすくなります。）
#2 への返信 - さらに詳しく説明していただきありがとうございます。このようにアプローチできるかどうかわかりませんでした。
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)こんにちは、ジャミール
「デザインのどの側面にさらに多くのサンプルが必要かを特定する簡単な方法はありますか?」という質問に対するアダムスの追加回答:
1. 「上位」レベルでレプリケートを追加することは、下位レベルで追加するよりも常に効果的です (ただし、通常はコストも高くなります)。
これは、上位レベルでの複製により、すべての下位レベルでの複製も提供されるためです。 少なくとも、私たちがこのツールを作成したように、階層/ネストされたセットアップでは、フィールド トライアルでもそうしていると思います。 たとえば、現在の設定が 2 日 x 2 計量 x 3 プレート (合計 2 日、計量 4 回、プレート 12 枚) の場合、1 日追加すると合計 3 日、計量 6 回、プレート 18 枚となります。
2. CV 間の関係により、レプリケートを追加するのが最も「必要」な場所がわかります。
トライアル間の CV がトライアル内の CV よりもはるかに大きい場合は、トライアルをさらに追加する必要があります (各トライアル内で反復を追加しても、ほとんど貢献しません)。 トライアル間の CV がトライアル内の CV よりもはるかに小さい場合でも、より多くの複製 (土地や植物などの複製) が得られるため、トライアルを追加することは効果的ですが、おそらくトライアル内に複製を追加するのと同じくらい安価で効果的です。
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)こんにちは、ジャミール
はい、これは可能です (おそらくこの特定のツールがなくても)。アッセイの変量効果分散成分 (JMP またはその他から) がある場合、それらの成分値を使用して、特定のアッセイ品質設定の CV を推定できます。
CV コンポーネント (エフェクト) がどのように相互作用するかは、パーセント値よりも重要である可能性があります。 たとえば、担当者の数よりも、拠点の数の方が重要であると考えられます。 実際、場所内での再現はまったく真の再現ではなく、実際に再現された測定値よりもサンプルの再現に近い可能性があります (そのため、あまり有用ではありませんが、実験について詳しく知らなければ、これについてはあまり話せません）。
それでは、私がよく扱うマイクロプレートアッセイの例を見てみましょう。CV コンポーネントが 3 つあるとします。それは、日ごとの変動、計量ごとの変動、めっきごとの変動のランダム効果です。
私たちのアッセイ設計には、次のネストを持つ 3 つの CV コンポーネントがあります。
- 曜日&ランダム
- 計量[日]&ランダム
- プレート[曜日・計量]&ランダム
したがって、毎日のメッキでは X 量の計量 (サブサンプリング) が行われ、毎回の計量では Y 量のプレートが取得されます。
次に、精度を決定するための調査を実行した後、REML テーブルから分散成分の値とそれに対応する CV を取得します (つまり、応答が対数変換された場合、分散成分の CV は「平方分散成分」に等しくなります)。 REML テーブルのフィールド。 変換されない場合、これは REML 表の sqrt 分散成分/適合表の要約の応答平均) に等しくなります。
したがって、Day-to-Day CV が 5% (var コンポーネント 0.0025)、計量間 CV が 10% (var comp 0.01)、めっき間 CV が 8 であるとします。 % (0.0064 の変数成分)。
3 つの成分をすべて合計すると、分散成分の合計値は 0.0189 になります。これは、1 日、計量、プレートが 1 つだけ行われた場合の CV は 13.7% (sqrt[0.0189]) になります。
上で概説したネスティング戦略により、このアッセイでの品質セットアップの予測集団 CV の計算は次の計算に従います。
Excel では、これを数式にして入力し、さまざまな組み合わせを試すだけの簡単な作業です。または、JMP で数式列を作成してそれを実行します。
例：
上には 3 つのデザインがあり、それぞれ合計プレートが 5 枚しかありません。 5 日×1 秤量×1 プレートのセットアップでは、日ごとの変動が最も低い成分 CV であるにもかかわらず、1 日×1 秤量×5 プレートの設計よりもはるかに低い CV が得られることがわかります。
そして、他のデザインを試してみて、現実的に何が最適かを判断できます。
ここに 3 つのデザインがあり、それぞれ 20 枚のプレートがあり、かなり近い CV 値を持っています。次に、どのセットアップが最も実現可能でコストが適切であるかについての議論になります。 推測と確認が必要な場合は、Excel のソルバー ツールをいくつかのルールとともに使用すると便利です。
いずれにせよ、その結果として、より多くの場所やその場所内のより多くのレップが価値があるかどうか、またおよそどれくらいの価値があるかを評価することができます (つまり、別の場所を追加する場合と、すでにそれぞれの場所にさらに 10 個のレップを追加する場合との間の CV の変化はどれくらいか)既存の場所?)。
さて、この特定のツールが構築されたのは、マイクロ プレート アッセイが常に不正確であり、多くのマイクロ研究が「X と Y の間に差がない」ことを示すという望ましい目標を持っているためです (つまり、 X型寒天とY型寒天には違いはありません）。 ただし、実際に統計的に有意な差を見つけるのに十分な検出力が実験に欠けていた場合、アッセイの変更が原因であると結論付けることになる可能性があります (寒天の種類を切り替える) 実際には効果がありません。 それはとても悪いことです。
ただし、実験において偽陰性がそれほど大きな問題ではない場合は、この特定のツールは必要ないかもしれません。 これが必要だと思われる場合は、お知らせください。非常に大きなデータセットで JMP がハングしないように、最適化が必要です。そのため、大規模なデータセットを扱う場合は、このタイプを優先します。まずは最適化から:)
-アダム
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)@ABI 、 @MTOF 、例とツールで指定した値を使用して、設計のどの側面にさらにサンプルが必要かを特定する簡単な方法はありますか? たとえば、最初に挙げた例では、1 日以内に測定値を追加するよりも、さらに多くの日にわたって測定値を追加したほうが、出力が向上しますか (CV は 4% 対 3% であるため)。 CV が高い効果は、より多くの測定値をロードする必要があることを示していますか?
農業分野の試験では、試験内で各処理を 5 回繰り返して 10 回の試験を行う場合、一連のデータからの全体誤差を使用して全体の検出力を計算できます。JMP スタイルのパワー分析の場合、追加のデータは、データがどこから来たのか、より多くの場所やより多くの担当者に関係なく、同様に扱われます。 ただし、実際には、サイト間の変動とサイト内 (担当者) の変動には違いがあります。より多くの場所 ($$) または 1 つの場所内でより多くの担当者 ($) を設定できます。 私は個人的には、より多くの拠点を置くことを好みます。なぜなら、1 つの分野の担当者が増えると、その分野に対する自信がさらに高まるだけだからです。より多くの場所で観察されると、治療の違いが 1 つの場所によって過度に重視されないことが「より確実に」わかります。 あなたのツールはこの問題の解決に役立ちますか?
私は、場所ごとの差異と場所内の差異を比較検討し、特定の予算内で最適化する、実験計画用のよりインテリジェントなアルゴリズムを作成することを想像しています。たとえば、「トウモロコシで Jumpstart を実行するには X ドルがあります...拠点数と担当者の数を分配する最良の方法は何ですか?」
Re: パワー シミュレーター ツール (既存の Precision Study CV を使用したアッセイのパワーの決定)こんにちは、みんな、
非常に大規模な実験計画の読み込み時にクラッシュを引き起こすバグを修正し、最初の投稿に添付しました。 現在採用されている手法は速度に関してまだ最適化されておらず、大規模なデザインでは 1000 回のシミュレーションを実行すると非常に長い時間がかかることに注意してください (十分に大きい場合には、JMP がハング/フリーズする場合もあります)。 ツールを高速化する方法についてはいくつかのアイデアがありますが、MTOF と私には、ランダム効果に使用される分布の適用性を改善する方法、および Novozymes のプレートベースのデータへのアプローチ方法の全体的な見直しについていくつかのアイデアがあります (がこのツールの存在の主な推進力です)。 そのため、当面は速度よりも機能の改善が優先されることになります。
ありがとう！
