| スピーカー |
トランスクリプト |
| マイク・アンダーソン |
やあ。 |
| |
JMP 16 の新機能である検出限界についてお話しましょう。 |
| |
本日お話しするのは、検出限界の定義の背景についてです。 |
| |
検出限界を無視しているのであれば、いくつかの統計的な考慮事項を検討したいと思います。 |
| |
調べてみると、設計された製品、具体的にはCOVID-19の診断検査において堅牢性が欠如しているという、現実世界の証拠と思われるものを見つけました。これらの製品には検出限界が組み込まれています。 |
| |
そして最後に、JMP で検出限界を実際に使用する方法、検出限界を入力する方法、実験計画で検出限界を設定する方法、検出限界を使用してデータを分析する方法を紹介します。 |
| |
何かがそこにあるかどうかはどうやってわかるのでしょうか? |
| |
これは少し難解な質問のように聞こえるかもしれませんが、分析手法を使用する場合、これは難解な質問というよりは、システムがどれだけ優れているかという質問になります。 |
| |
したがって、たとえば、何かの中に非常に微量の不純物を見つけようとしている場合、ある時点で、それを検出するために使用している私たちのシステムは、特定のレベル、つまり検出限界と呼ばれる限界以下の量を検出できなくなります。 |
| |
検出限界の定義にはさまざまな種類があります。 |
| |
彼らです、 |
| |
これらは分野や分析方法によって異なるため、ここにいくつか挙げておきます。FDA によると、分子診断分析の場合、限定検出とは、繰り返し測定で 95% 検出できるターゲットの最低濃度のことです。 |
| |
さて、化学の世界では、方法限定検出とは最小濃度または絶対量と定義されています。 |
| |
分析対象物から得られる信号が、適切なブランクから得られる信号よりも著しく大きいことを意味します。つまり、これら2つの定義は本質的に異なる手法に関するものです。 |
| |
さらに文献を調べたところ、高速液体クロマトグラフィーのようなことをしている場合は、曲線を見るときに信号対雑音比について言及されていることがわかりました。 |
| |
較正曲線を作成する場合、そのための特定の方法論があり、そこにはさまざまな定義があります。 |
| |
検出限界については、各自の分析方法に最も適したものを見つけて、業界固有のガイドラインに従うことをお勧めします。 |
| |
JMPでは、 |
| |
検出限界は列の特性として定義されており、それを超えると |
| |
反応は測定できないので制限され、データを分析するときに実際に行われるのは、データの検閲です。 |
| |
先ほど挙げた例は、下限値となる非常に微量の不純物を探すというもので、これは打ち切りとなるでしょう。 |
| |
しかし、それは上限になる可能性もあるため、たとえば、物体に圧力をかけている場合、圧力計はある上限で停止する可能性があります。 |
| |
実際にはもっと圧力をかけているかもしれませんが、ゲージはそれ以上上がらず、それが上限となり、そのデータはすぐに打ち切られることになりますが、JMP ではすべてまったく同じ方法で処理されます。 |
| |
そこで、データを分析する際に検出限界を無視した場合に何が起こるかの例を説明したいと思います。 |
| |
この例では、 |
| |
下のヒストグラムを見ると、実際の母集団があり、それらはすべて緑色のバーですが、検出が制限されていると仮定してみましょう。 |
| |
10 ではそれ以下では正確な測定ができないので、ゼロではありません。 |
| |
測定しようとしているものがどれだけあるか、つまり粒子がどれだけあるかは分かりません。そのため、正しい統計手法は打ち切りです。Discovery 2017ではJMPのMichael Crotty氏による非常に良い講演があります。 |
| |
さらに詳しい統計情報を知りたい場合は、彼の講演を聞いてみてください。 |
| |
さて、この例を見てみましょう。10の限定的な検出があり、 |
| |
私たちがやろうとしているのは、その人口の一部を |
| |
それが何なのかよく分からないので |
| |
ここにはヒストグラムがあり、右側に実際の母集団が表示されています。 |
| |
ここではいくつかの異なるシナリオがあります。例えば、検出限界が10だとします。 |
| |
そして次の瞬間には 11 になり、その次は 12 です。つまり、ここで私がやっていることは、このデータを取得して、実際に 10 に向かって押し上げることです。 |
| |
これがどのように見えるかお見せしましょう。これは検出限界によって自動的に起こるものではなく、私が構築した例です。 |
| |
したがって、たとえば 7 行目を見ると、私の真の値は 9.22 です。 |
| |
しかし、検出限界が 10 だとします。 |
| |
そうではありません。私は実際には 9.22 という値を知りません。私にできる最善のことは、それを 10 として書き留めることだけです。 |
| |
あるいは、欠落またはゼロとすることもできますが、10 の方が少し現実的かもしれません。 |
| |
さて、私の限定検出が 11 だった場合、その数字を 11 に移動する必要があります。同様に、私の限定検出が 12 だった場合、そのデータ ポイントを移動して 12 に変更します。 |
| |
ここで特に 12 を見てみると、ここにデータをまとめていることがわかります。 |
| |
これが平均値に与える影響は、実際の母集団では平均値が約 10.5 になるということです。 |
| |
10 に関しては 10.7 になり、その後平均値はさらに高くなり、11.2 になり、そして 12 になります。これらの値をすべて下限値に変換すると、平均値は実際に検出限界に達します。 |
| |
つまり、私の本当の平均値である 10.5 からは遠く離れてしまっています。 |
| |
しかし、変動の尺度がどうなるか見てみましょう。私の母集団の標準偏差は1です。 |
| |
検出限界が 10 の場合は 0.8 になり、11 の場合は 0.4 になり、その後ずっと 0.2 まで下がります。 |
| |
つまり、変動の尺度は小さくなってきており、私が実際に行っている測定結果に自信が持てるようになっていますが、これは実際の母集団の実態からは程遠いものです。 |
| |
そこで、次のグラフの中央にそれをまとめました。ご覧のとおり、実際の人口が示されています。 |
| |
そして、私は、この誤った検出レベルを課した他のものから平均値を接続したところ、平均値が劇的に高くなり、真実から遠ざかっていることがわかります。 |
| |
ここのバーは標準偏差で、小さくなっているのがわかります。オレンジ色の部分は私の名前の 95% 信頼区間です。 |
| |
右側の上のグラフでは、平均値と中央値の両方をグラフ化していますが、同じような動きをしていることがわかります。 |
| |
これは驚くべきことです。なぜなら、中央値はもう少し堅牢であると思われるでしょうが、この状況ではそうではなく、実際には役に立たないからです。 |
| |
その下には変動の尺度があり、制限を高く設定するにつれて変動が小さくなっていくのがわかります。 |
| |
かなり順調に進んでいるようですね。平均値の測定に対する自信はかなり高まってきています。 |
| |
かなり小さいですが、実際のところ、私は真の母集団の値からどんどん離れており、離れるほど自信が深まっています。 |
| |
したがって、実際に何が起こっているのかを必ずしも検出できず、物事について誤った自信を持つことになるのではないかという懸念があります。 |
| |
検出限界を計画実験にまで拡張すると、 |
| |
後ほどデモでご覧いただくのは、重要な要素が見つからないことと、要素間の真の関係性が発見されないことです。 |
| |
JMPでこれをお見せする前に、文献をよく調べて、堅牢性の欠如が見られると思われる実際の証拠を探しました。 |
| |
設計された製品の検出限界に関連しています。そして私が行ったのは、COVID-19診断検査との優れた内部比較があることを発見したことです。 |
| |
そこで、2020年の初めに、 |
| |
FDA が緊急使用許可を与えた検査は 20 件以上ありました。 |
| |
これらはすべてリアルタイムPCR検査で、ウイルス量、つまりウイルスゲノムのコピー数を検査します。 |
| |
さて、当初は標準が存在しなかったため、つまりこれは私たちがこれまでに見たことのないまったく新しいものであったため、企業は独自の社内標準を開発して使用することができました。 |
| |
今年後半、FDAは独自の基準を作成し、それを公表して診断検査を再評価しました。そのため、同じ検査を異なる基準で行った2つの異なる時点の結果を比較することができます。 |
| |
そこで、テストの順位付けをしてみることにしました。良いテストと悪いテストってどうやってわかるんですか?どうやって順位付けすればいいんですか? |
| |
ウイルス量(ウイルスが作るゲノムコピーの数)と、 |
| |
そして、診断検査の臨床感度です。X軸には、1ミリリットルあたりのゲノムコピー数、つまりウイルス量が表示されています。 |
| |
小さい方では軽症者を検出します。そして、右端に行くと、非常に重症の感染者、つまりスーパースプレッダーのみを検出します。 |
| |
そして、Y軸は検出された症例の割合です。繰り返しますが、これは実際の証拠です。この黒い線からわかるのは、臨床感度と、どれだけ良いかという関係があるということです。 |
| |
申し訳ありませんが、 |
| |
検出できるウイルス量は少ないです。つまり、検出できるウイルス量が少ないほど良いので、順位付けにはそれを採用しています。 |
| |
そこで、4 月 2 日と 9 月 15 日という 2 つの異なる時点を設定し、それぞれの時点について、各基準に基づいて検出限界の順位付けを行いました。 |
| |
したがって、診断テストが行われる場合、それが堅牢な方法で行われると、ほぼ同じ順位と同様の検出限界が期待できます。 |
| |
これらのテストの設計方法に堅牢性が欠けていた場合、実際には順位の変化や検出限界の変化が見られることが予想されます。 |
| |
それで何を見つけたのでしょうか? |
| |
ここに私が見つけたデータをグラフ化しました。4つの別々の |
| |
私のグラフのここにパネルがあります。 |
| |
各パネルでは、同じ診断検査を2つの異なる日付で接続しています。例えば、左側の紫色の線では、 |
| |
4月2日の順位から9月15日の順位まで上昇し、この特定の診断テストは当初16位にランクされていましたが、その後1位まで上昇しました。 |
| |
また、最終的な検出限界もグラフ化しています。4月2日の初期値をグラフ化していたら、別のパネルでこのグラフはもっとひどいものになっていたでしょう。これが最終値です。 |
| |
この検査は格段に良くなりました。そして、他の検査でも劇的に検出能力が向上した例がいくつかあることが分かりました。 |
| |
検出限界と、より少量のウイルスを検出できる能力が向上しました。 |
| |
しかし、非常に悪化したテストもあり、これもまた数桁の変化を示しています。たとえば、この一番下の赤で示したテストは、4 月 2 日には 3 番目に良いテストでしたが、その後 14 位まで下がっています。 |
| |
つまり、これが示しているのは、一般的に堅牢性が欠如していることと、これらのタスクが最初にどのように作成されたかということだと思います。 |
| |
これらのテストがどのように行われたのか分かりません。 |
| |
彼らが JMP と計画された実験と検出限界を使用したかどうかはわかりませんが、これらの種類の技術を適用することで、検出限界を使用するあらゆるものをより堅牢にすることができると思います。 |
| |
それでは、JMP を見てみましょう。 |
| |
では、検出限界をどのように設定すればよいのでしょうか? |
| |
カスタムデザイナーで直接設定できます。検出限界を入力できるボックスが追加されました。 |
| |
出力テーブルのカスタム デザイナーでこれを行うと、検出の制限を含む列プロパティが作成されます。 |
| |
これを一般化回帰で分析すると、一般化回帰では、 |
| |
これらの検出限界を使用し、検出限界外の変数を打ち切り値として扱います。 |
| |
JMP でこれを行う方法を説明します。 |
| |
実験計画法で設定したデータ テーブルは次のようになります。ここに到達するには、DOE のカスタム デザイナーにアクセスします。 |
| |
ここで、それぞれの応答の検出限界を入力します。 |
| |
私が入力しているのを見るのは退屈なので、この特定のデータ テーブルに対して私がすでにどのように設定しているかをお見せしましょう。 |
| |
ここで私はいくつかの回答をします。 |
| |
検出限界には様々な種類があり、いくつかの反応には上限と下限の検出限界があります。どちらの方向にも片側しか検出できません。 |
| |
ここでは検出下限値のみ、ここでは検出上限値のみを示しています。 |
| |
検出限界がない場合は、空白のままにしておくこともできます。 |
| |
そして見てみると。 |
| |
データ テーブルを見ると、実際にこれが検出限界であることが分かります。 |
| |
ただし、これらすべてを選択することができます。 |
| |
スクロールして、検出限界がどのようになっているか見てみましょう。これは列プロパティの別の項目です。これが上限と下限です。 |
| |
また、上半身と下半身があります。 |
| |
これは私の下限値であり、次のは私の上限値です。 |
| |
粘度には全く設定がないので、手動で設定したい場合や、分析に検出限界を使用している場合は、設計実験で設定しなくても、 |
| |
列プロパティに移動すると、リストに表示されます。これらはすべて、計画実験に適用される列プロパティです。 |
| |
検出限界を追加し、任意の値を入力できます。たとえば、1300 などです。 |
| |
そして |
| |
一方的な制限の場合。 |
| |
それを追加するだけで、そこに表示されます。 |
| |
そうすると、検出限界がわかります。 |
| |
データ テーブルと列のプロパティ。 |
| |
さて、次に検出限界のあるデータを分析する方法についてお話ししましょう。 |
| |
そのため、カスタム デザイナーで設定された実験を分析したいと思います。この実験の目的は、水サンプルからの農薬の検出を最適化することでした。 |
| |
これは 3 つの要因の実験であり、32 回実行され、最適な設計でした。 |
| |
そのうち 9 件は検出限界の 1% を下回っていました。 |
| |
それでは、JMP でデータを分析する方法を紹介します。 |
| |
しかし、私はこの追加の比較も行いたいと思っています。では、検出限界を使用しなかったり、検出限界がなかったらどうなるでしょうか? |
| |
そうですね、私の限られた検出率は 1% で、実際の値が何であるかは不明なので、1 つのケースではゼロとすることができると思います。 |
| |
つまり、水サンプルに農薬が全く含まれていない、あるいは検出限界値と全く同じで1と仮定する、という2つのシナリオです。そして、検出限界値を使用しない場合、 |
| |
すべての要因を発見できるわけではないので、結果は非常に誤解を招きやすく不正確なものになるでしょう。 |
| |
それでは、JMP でこれを実行する方法を説明します。 |
| |
これが私のものです。 |
| |
設計はこのようになっているので、Metacrate を対応策として用意しました。検出の上限と下限は次のとおりです。 |
| |
これが私の3つの要因です。 |
| |
そして私は応答曲面を作成した |
| |
デザインはそれぞれ |
| |
因子、そして二次関数と二元相互作用を計算し、最終的に 32 回の実行設計を実行しました。 |
| |
データは次のようになります。 |
| |
繰り返しますが、これは私の実験計画と私が行ったケースの結果です |
| |
ゼロなので、それが私のマシンの結果です。マシンは何も検出されなかったと表示しましたが、実際には検閲されており、実験計画の設定から検出限界がここにあります。 |
| |
これを一般化回帰法で分析します。 |
| |
通常の最小二乗法で検出限界を計算します。このスクリプトを実行することはできますが、実際にこれをどのように設定するかをお見せしたいと思います。 |
| |
そこで、Metacrate を結果変数として、一般化回帰を使用します。 |
| |
ここで、正規分布はデータに適合する適切な分布ですが、負の予測値になり、私が持っている農薬の量に負の値というものは存在しません。 |
| |
したがって、これを正の値に保つために、実際にこれを対数正規分布に変更して、すべての予測値が正になるようにします。 |
| |
ここで、打ち切りについては何も入力する必要がないことに注意してください。ここではオプションがありますが、JMP が自動的にこれを処理します。 |
| |
実験分析の設計と回帰の一般化を行う際には、前向き選択がよい選択です。これは、皆さんがよくご存知のステップワイズ回帰やステップワイズ回帰を行うのと非常によく似ています。 |
| |
フィットモデルプラットフォーム内。 |
| |
私のモデルの概要を見ると、検出限界があることが分かります。 |
| |
そして私の RSquare は 0.91 なので、これは本当によく適合しています。 |
| |
ここで何が起こっているのか詳しく見てみると、 |
| |
解の経路と一般化回帰についてよく知らない場合は、パラメータがどのようにモデルに入力されるかを見ることになります。つまり、前向き選択です。 |
| |
そして、それらは効果の大きさに応じて調整されます。最初に入力されたのはジクロロメタンで、結果にプラスの効果があります。 |
| |
しかし、次に来たのは2次関数で、これは負の値を持ちます。 |
| |
マイナスの効果なので、文字通りマイナスの見積もりとなります。 |
| |
このように、これを見て操作するのは楽しいです。全体として、最小の AIC スコアに基づく最適なモデルには 5 つのステップがあります。 |
| |
ここで、予測プロファイラーを使用して方程式を視覚化したいと思います。 |
| |
これを少し単純化して、少し大きくしてみます。 |
| |
予測プロファイラーが示しているのは、結果変数 Metacrate と、ここの y 軸です。各四角形は、実験の要素の 1 つです。 |
| |
私たちが見ているのは方程式、つまり関係性です |
| |
グラフで見ると、ジクロロメタンを変化させると他の因子の形状も変化するので、相互作用が分かります。これらのパラメータには大きな曲率があることがわかります。 |
| |
実際と予測も |
| |
プロットは実際かなり良さそうです。 |
| |
私がやりたいのは、検出できるMetacrateの量を最大化することです。それがこの実験の目的です。そこで、JMPを使って最大レベルを見つけます。 |
| |
そして、私が検出できたMetacrateの最大量は38.6でした。 |
| |
これはこれらの係数設定によるもので、私の水サンプルでは、この量のメタノールとこの量のジクロロメタンで 6 をわずかに下回ります。 |
| |
これが私の実験の結果です。戻って実際にテストし、これが機能することを確認したいと思います。 |
| |
さて、検出限界を無視して、何か他のことを試してみたらどうなるでしょうか。 |
| |
ここでは、まったく同じデータがあります。 |
| |
Metacrateではゼロですが、いくつか列を追加しました。そのうちの1列は、もしかしたら下限値、つまり1になっているかもしれないと思ったので、値を0から1に変更しました。 |
| |
そして、もしサンプルの中に何も見つからなかったらどうなるでしょうか?その場合はゼロになりますが、この場合は対数正規分布なのでゼロは使えません。そこで、ごく小さな値を選んだのです。 |
| |
つまり、1 を 10 乗 -12 で割ると、ポイント .00000000001 となり、これがゼロの正しい数です。 |
| |
それでは、これら 2 つの条件でデータを分析してみましょう。この場合も、検出限界は使用しません。 |
| |
そこで、Metacrate の代わりに最初のものを入れて、すべての値を検出下限値にリセットします。 |
| |
前方選択をします。 |
| |
つまり、RSquare が 0.7 未満であるため、以前のような検出限界がないことがわかります。 |
| |
しかし、私のソリューションパスとパラメータ推定表の両方からわかるように、 |
| |
モデリングに向けて3ステップしか進んでいませんが、あまり多くのものを拾い上げていません。ここには空白がたくさんあります。私の写真を見れば、 |
| |
プロファイラーのこの下の方程式を見ると、実は因子の 1 つが抜けていることがわかります。これをここにある方程式と比較してみましょう。メタノールがまったく抜けていました。 |
| |
そして最大化すると |
| |
私が見つけることができた Metacrate の最大量は、わずか 16 個程度でした。 |
| |
そして、私の実際の予測プロットはあまり良く見えず、あまり幸せそうに見えません。 |
| |
これがまさに 1 つの状況であり、私たちは要因の 1 つを完全に見逃し、単にそれを拾い上げなかっただけです。 |
| |
それでは、他の状況を見てみましょう。1 つではなく、ほぼゼロの場合はどうなるでしょうか。 |
| |
完全にゼロではありませんが、非常に近いです。 |
| |
前方選択。 |
| |
ここでも検出限界は使用していませんが、これを見ると、私の RSquared は 0.997 です。 |
| |
つまり、本当にぴったり合うものを見つけたと思います。 |
| |
しかし、ここでまだ何か奇妙なことが起こっています。私のモデルには3つのステップしかありませんが、実際にはほとんど何も見つけられませんでした。 |
| |
ジクロロメタンを使って、サンプルの量を調整したところで終わりです。 |
| |
予測プロファイラーを見てみましょう。 |
| |
またメタノールが欠落しているため、要因の 1 つがわかりません。実際の予測プロットはまあまあですが、ここで一体何が起こっているのでしょうか。曲線の頂点は一体どこにあるのでしょうか。 |
| |
すべてが表示されるように、この適応型 Y 軸をオンにします。 |
| |
予測値は数百に上りますが、 |
| |
しません。望ましさを最大化する方法もありますが、手動で何かを選んでみただけでも470を超えていることがわかります。覚えておいてください。 |
| |
私の検出限界は 99 だったので、これらの値は意味をなさないのです。 |
| |
そして |
| |
要素を見逃してしまいました。意味が分かりませんが、この例を示したい理由の一つは、顧客でこれを見たことがあるからです。 |
| |
私は彼らに何が起こっているのか説明できなかったので、人々が検出限界を超えていれば実際にこのようなことが起こることを知っています。 |
| |
分析でデータをどのように扱うかを決定し、データを 1 か 0 のどちらかとして扱ったため、非常に奇妙な結果が得られます。 |
| |
この場合、これらは 2 つの代替シナリオですが、水中でこの農薬を検出する実際の能力や私の設計実験の結果という現実からはかけ離れています。 |
| |
それで。 |
| |
皆さんにぜひ覚えておいていただきたい重要なポイントは、まず検出限界が非常に重要であるということです。 |
| |
そして、それらを無視したり、高い値や低い値を持つものに置き換えたりしないでください。 |
| |
こうした不確実性を実際の分析に組み込む必要があります。JMPを使えば、これは非常に簡単に行えます。実験計画法プラットフォームや列プロパティで設定できます。 |
| |
そして、それらが揃ったら、一般化回帰を使用して、検出限界を組み込んだ分析を実行できます。これにより、最適なモデルが得られ、要因とそれらの間の実際の関係を見つけることができます。 |
| |
そして最後に、JMP では、奇妙な結果がいくつか見られた場合は、データに戻って再分析することを強く推奨しています。 |
| |
おそらく、何らかの分析方法に基づいて検出限界があるかどうかを知るべきです |
| |
そして私たちは、人々がそのデータに戻って再分析し、実験計画に検出限界を使用すれば、目的の場所にはるかに速く、はるかに正確にたどり着くことができると本当に考えています。 |
| |
私の講演を聞いていただきありがとうございました。ご質問やフォローアップのご要望がございましたら、お気軽にご連絡ください。 |