本プレゼンテーションでは、予測限界、信頼限界、そして許容限界の重要な役割について考察します。これらの限界は計算が容易で、多くの教科書にも記載されているため、広く用いられています。しかし、それは同時に、これらの限界がしばしば誤用されたり、誤解されたりすることを意味します。現在の課題の一つは、混合モデルにおいてこれらの限界を正確に推定することであり、これは多くの業界において深刻な制約となっています。
JMPはこれらの限界値を推定するために利用可能な最良の方法（2019年にWiley Medicine誌に掲載された論文に基づく）を使用していますが、この方法にはいくつかの欠点があり、注意を怠ると問題が発生する可能性があります。コンサルティング会社として、私たちが使用する方法は確固たるものでなければなりません。そこで、この問題をさらに深く掘り下げ、JMPによるシミュレーションを通じてこれらの限界値を評価することにしました。
このプレゼンテーションでは、問題をストーリーテリングし、業界を問わず人々に統計的ジレンマを認識させることに焦点を当て、JMPを用いて様々なシナリオをシミュレーションし、モデルを評価する方法のデモンストレーションを行います。この目的のために開発されたグラフィカルインターフェース、モデル構築、そして解釈可能な出力の生成についても紹介します。
プレゼンテーションへようこそ。トーマスと申します。NNEという会社で働いており、製薬業界で統計コンサルタントとして働いています。今日は、私が非常に興味深い、そして業界を問わず非常に関連性のあるトピックについてお話ししたいと思います。これは古典的な統計学に基づいています。具体的には、信頼度、予測値、そして許容限界についてです。早速始めましょう。まずは状況説明から始めましょう。皆さんは医療用注射器を製造する会社の品質管理エンジニアだと想像してみてください。考えてみれば、医療用注射器が安全であるためには、いくつかの品質特性を管理する必要があります。
一つは、適切なサイズでなければならないということです。特定のサイズに設計されている場合は、それを守るべきです。大きすぎると患者への過剰投与につながる可能性があり、小さすぎると患者への投与量が不足する可能性があります。そのため、仕様限界と呼ばれるものがあります。専門家の中には、安全であるためには特定の特性がこの範囲内になければならないと言う人もいます。例えば、この場合、注射器の直径は10～10.5ミリメートルの長さでなければならないとしましょう。
品質エンジニアとして、オフィスに来ると、あるバッチが納品されているのに気づきます。例えば、注射器が100本だとします。注射器の品質について何か報告する必要があります。まず、サンプルを採取し、直径を測って、規格内であることを確認します。最初は規格内でしたが、その後、考え始めます。これでバッチ全体の品質が維持されていることを示すのに十分でしょうか？たった1つのサンプルに基づいてそのような主張をするのは、少し難しいです。
次に、次善策として10個のサンプルを採取し、このような値を得ます。すべて規格内です。おそらく平均値を報告することになり、それで満足しているように見えますが、保健当局がやってきます。そして、彼らは「問題ありません。平均値も問題ありません。観察結果も良好です。このプロットも問題ないように見えます」と言います。しかし、次のサンプルがこのような結果にならないとどうして言えるのでしょうか？あるいは、あなたにとって好ましい結果であっても、このような結果になる可能性もあるのです。
これが問題の一つです。例えば、平均値や一つの量だけを報告する場合、あるいはこのように一つのグラフだけを示す場合、推定値や結論がどれほど不確実であるかを定量化する現実的な方法がありません。これが統計区間を用いる動機です。これが今日のテーマです。何かについて区間を与えることで、それについてどれほど確信があるかを述べることができるようになります。
これが今回のプレゼンテーションの動機ですが、残りの部分では、統計的区間についてもう少し理論的な観点からお話しし、残りの部分の基本ルールを固めたいと思います。その後、JMPで作成したシミュレーションをいくつかご紹介します。様々なシナリオを試せるインターフェースを作成しましたので、これがなぜ重要なのかご理解いただけると思います。最後に、NNEにおける典型的なワークフローとして、例えばこれらの区間を用いて顧客データを処理する場合について見ていきます。
先ほど申し上げたように、統計区間の理論から見ていくにあたって、まずは基本的なルールをいくつか示したいと思います。実際に分析を始める前に、どのようなルールなのかを明確にしておく必要があります。予測区間や許容区間を構築する方法は数多くあることをお伝えしておきます。本日ご紹介するのは、古典的な統計学に基づいたものです。JMPにも実装されているものですが、他にも構築方法がありますので、ご参考までに。これらは最も一般的な方法と言えるでしょう。
最初の仮定、最初のアイデアは、代表サンプルを得られたかどうかです。区間を構築する際、まず最初に行うことは、過去のデータを集め、そこから何かを言いたいということです。これを標本と呼びます。これは代表サンプルで、かつランダムな標本でしょうか？ここで言いたいのは、区間を用いて、ある集団について何かを言おうとしているということです。それはあなたのプロセスかもしれませんし、あなたが念頭に置いている特定の対象集団かもしれません。しかし、あなたの標本は代表サンプルでしょうか？それが私たちが議論する区間だからです。例えば、バッチが配達されるたびに箱で配達され、一番簡単なので常に上からだけ標本を採取する、といった状況です。
一部のプロセスでは、設定方法によっては、他の部品からサンプルを採取しない、あるいは医療機器などの製造にオーブンを使用し、常にオーブン内の特定の場所からサンプルを採取するといった問題が発生する場合があります。温度にばらつきがあると、サンプルの代表性に問題が生じる可能性があります。
いずれにせよ、まずは単純なケースとして、データの分布、特に正規分布を仮定します。まず、測定対象が何であれ、例えば注射器の直径であろうと、品質特性であろうと、応答は正規分布に従うと仮定します。データが正規分布でない場合は、いつでも変換を試みることができます。ただし、これは区間が有効であるために必要な仮定の一つであることを覚えておいてください。
データが正規分布しておらず、変換が役に立たない場合は、モデルなどのより複雑な構造が必要になる可能性があります。この例は、後ほど説明する内容にも関連するため、ここで取り上げます。これは、バッチ内に両方のバリアントを持つ、正規分布から得られたデータです。
グループ間のばらつきはほぼ同じですが、バッチ間のばらつきもあります。つまり、例えば、原材料が異なるなど、特性の異なるバッチが存在する可能性があります。データにはこのようなばらつきが生じる可能性がありますが、全体としては正規分布に従うという点に注意する必要があります。これがゲームの主なルールです。
まず、私たちが扱う区間の3つの主要な種類についてお話ししたいと思います。まず、今日の区間は信頼区間、予測区間、そして許容区間です。信頼区間は最も一般的なものの一つで、分布のパラメータや特性を表すために使用されます。例えば、データは理論上、特定の分布に従うと仮定しているので、理論値を持つと言えるでしょう。
例えば、平均値や標準偏差といった最も一般的な指標について話す場合、プロセスの平均を推定するだけでなく、それに対してある程度の信頼度も与えたいと考えるでしょう。実際の平均値がどの範囲にあるか、標準偏差、分位点、あるいはその他の特性値があると考えられる範囲を報告します。例えば、「電球の平均寿命は1,000時間から1,200時間の間であると95%の信頼度で確信しています」という文章がこれに当てはまります。「ご存知ですか？私が製造している電球の平均寿命は1,100時間です」と言う代わりに、その範囲を示し、ある程度の信頼度を関連付けるのです。
信頼度について語るとき、私たちは実際には何を意味するのでしょうか？信頼度とは、その手法がどれだけうまく機能するか、つまり特定の区間ではなく、その手法そのものの性能を示すものと理解すべきです。言い換えれば、長期的には、この手法を用いて計算した区間の95%に真のパラメータが含まれることになります。しかし、5%のケースでは真のパラメータが含まれていない可能性もあります。だからこそ、必要な信頼度を選択できるのです。95は非常に一般的ですが、90、99、99.99なども使用できます。区間の目的によって大きく異なります。
95 は、区間を計算すると将来のサンプル平均の 95% がその区間内に入るという意味だと考えている人が多いようですが、これは正しくありませんので注意してください。
私が使用する式はこれらです。2つあるのがお分かりいただけると思いますが、2つあります。その理由を説明しましょう。最初の式は正規分布を仮定し、ランダム効果は仮定していません。そして、こちらはランダム効果を仮定しています。これらは古典的な式で、こちらは後になって開発された式です。今は式についてあまり詳しく説明しませんが、より深く知りたい方はお気軽にご質問ください。
次に予測区間です。信頼区間は平均値や標準偏差、あるいは特性値に用いられましたが、予測区間は特定の観測値に用いられます。例えば、電球の例で言えば、生産者ではなく顧客であれば、平均的な動作ではなく、特定の電球について調査したいかもしれません。なぜなら、電球を購入する際には、特定の用途でどれくらい長持ちするかを知りたいからです。
予測区間は、将来の単一の観測値に対する区間を予測するために使用されます。式を変更すれば、観測値を3つ、あるいは5つにすることも可能ですが、通常は1つの観測値のみを使用します。予測区間を計算し、95%の信頼度で予測する場合でも、実際には観測値が1つ余分に含まれていることに注意してください。将来のすべての観測値が予測区間内に収まるか、あるいはそのうちの1つだけが予測区間内に収まるかということではありません。
例えば、新品の電球1個の寿命は700時間から1,500時間の間であると95%の確信度で予測しています。繰り返しますが、このプロセスを繰り返すと、95%の確率で正しい結果が得られるという確信度です。こちらが計算式です。古典的なものと、ランダム効果を考慮した混合モデルです。
次に許容区間があります。許容区間は予測区間よりも厳格です。これは、母集団から得られる将来の観測値の割合に対する区間を構築するために使用されるため、製薬会社や医療機器会社でよく使用されます。つまり、1つの値を追加するだけでなく、将来の値の99%を含める必要があるということです。そうすれば、十分に適切な区間であることが保証され、かなり安全になります。
例えば、将来の電球のうち少なくとも99個が650時間から1,550時間の間であると95%の確信度で言えるとします。つまり、ある意味では2つの信頼度尺度、つまり95%と99%です。これらは信頼度と範囲です。もちろん、95%や99%以外の値に設定することもできます。これはあくまで例です。信頼度は長期的に見て、このように計算された区間の95%には、将来の人口の少なくとも99%が含まれることになります。
最初の式は典型的なもので、すぐに複雑になります。これは実際には論文から引用した式で、私の知る限り、最良の推測であり、私たちが実行できる最良の式です。これはランダム効果が1つしかない場合のものですが、一般化できます。
話はこれくらいにして、JMPの面白いところを見てみましょう。先ほども言ったように、まずは私が作成したスクリプトをお見せします。これを最小化してください。これが入力画面、つまりメイン画面になります。タブが2つあります。まずは最初のタブから始めましょう。これは、先ほど見たデータと区間をシミュレートするためのものです。モデルには、平均値のみのモデルとランダム効果を考慮したモデルの2種類があります。平均値のモデルでは、正規分布と計算する限界値のみが表示されます。平均値、標準偏差、そしてシミュレートする点の数を変更できます。これらの計算はすべてバックグラウンドで行われています。
これらがどのように関係しているかを調べたり、試したりすることができます。信頼限界、緑の線、予測限界、赤の線、そして許容限界があります。このグラフの目的は、例えばカバレッジを変更した場合に何が起こるかを確認することです。
すると、許容分布の限界は狭くなります。あるいは、95%のカバレッジを維持し、信頼度を変更したい場合もあるでしょう。信頼度は1から0.5を引いた値です。信頼度を高めたい場合、例えば予測区間が-1.8から-2の間であることに注目してください。さらに確信度を高めたい場合、限界は広がります。限界が広がるのは、推定における失敗を許容しなくなるからです。99%の信頼度を持つということは、区間が広がるという代償を払うことになります。これはすべての区間に当てはまります。
もちろん、自分にとって十分なもの、対処できる最大の失敗率、そして見積り傾向をどの程度正確にしたいかというバランスを常に見つける必要があります。
ご覧の通り、ここで「シミュレート」をクリックするだけです。実際の数値が表示されますが、これはあくまでも試すためのものです。平均モデルには問題はありません。ランダム効果モデルに移りましょう。こちらの方が興味深いと思います。ここでも平均値と標準偏差が表示されています。ご覧の通り、標準偏差は平均値内、バッチ内、グループ内変動の範囲内にあります。
次にバッチ間変動がありますが、これは分散比を指定することで得られます。分散比とは、バッチ内変動におけるバッチ間変動の大きさです。次に、バッチ数とバッチ内のアイテム数を指定します。例えば、「シミュレート」をクリックします。ここでご覧のとおり、これを標準値の5に戻します。
シミュレーションされた点にはグループ間のばらつきがあり、各グループ内のばらつきはほぼ同等ですが、グループ間にも多少のばらつきがあることがわかります。これは分散比があるためです。分散比を10倍、つまり10倍に増やすと、グループ内のばらつきがグループ間のばらつきよりもはるかに小さくなることがわかります。
ちょっと考えてみてください。これはすべて、バッチ数もアイテム数もそれほど多くないクライアントデータで作業していた時に始まりました。実際にバッチ数とアイテム数を2つに減らして、データをシミュレーションしてみましょう。もう一度シミュレーションしてみましょう。理由はすぐに説明します。まだ近い値です。すぐに理解できると思いますが、これはよくある挙動です。分散比を1に下げてみましょう。
さあ、始めましょう。申し訳ありません。今、私たちは…とても興味深いことに、信頼限界を持っています。信頼限界はプロセスの平均に対するものです。個々の限界と比較すると平滑化されるはずですが、予測限界は信頼限界内に収まっていることがわかります。ここで考えてみてください。予測限界は、平均をどれだけ正確に推定するかによって変動するはずですが、ランダムサンプルを採取することによる追加の変動もあります。ある意味では、予測限界は信頼限界よりもかなり広くなるはずですが、実際には信頼限界よりも狭く推定されています。これは直感的には意味がありませんが、バッチ数とアイテム数が少ないことの代償なのです。
これらの式はWiley Medicineの論文に基づいているため、これは解決されていない問題です。私の知る限り、これらは現時点で作成できる最良の式、最良の方法の一つですが、バッチやアイテムをあまり使用しない、あるいはランダム効果のレベルをあまり多く使用しないなど、限界に挑戦している場合は問題が発生することに注意する必要があります。グループ数が少ない場合、これらの限界はあまり信頼できません。
覚えておくべき点です。また、許容範囲を見てください。非常に広いように見えます。これらの許容範囲は記事にも記載されていますが、その影響はありません。いずれにせよ、タブを変更できることもお見せしたいと思います。ここで何かをシミュレーションする場合、一度だけシミュレーションすることになります。一度タブをクリックして、もう一度クリックすると、再びシミュレーションが実行されます。
しかし、全体的な挙動を把握するために、何度も実行したい場合はどうすればよいでしょうか？同じ情報が記載されているこのタブに移動します。これはランダムモデル専用です。例えば、最後のタブのボタンを250回クリックして実行したいとします。「シミュレーション」をクリックし、少し待ちます。するとすぐに出力が表示されます。これで出力が得られました。ここには、一般的なプロットやヒストグラム、カーネル密度推定値の平滑化などがいくつか表示されていますが、予測限界と許容限界の分布の広がりや形状を把握するのに役立ちます。
許容限界は予測限界よりも広くなり、予測限界は信頼限界よりも広くなる傾向があることがわかります。このシナリオでは、これは理にかなっています。ここに、非常に関連性の高い情報もいくつか記載しました。信頼限界とは、信頼限界が実際の平均値を含む割合のことです。このシミュレーションでは、95%の確率で信頼限界が満たされるべきですが、実際には94.4%でした。これはかなり良い結果です。
予測限界についてですが、推定信頼度を置いた場合、限界に1点の余分な点が含まれる回数は94%です。この行に小さな星印を付けたのは、予測区間をこのような方法で使用しないことが非常に重要だからです。しかし、このような状況はよくあることなので、言及する必要があると判断しました。
95%の信頼度で予測区間を予測できると考えている場合、将来のサンプルの95%が限界内に収まることになります。しかし、95%の信頼度で予測区間内に収まるのは将来の母集団の84%に過ぎないと知ったら、あまり喜ばしい気持ちにはならないでしょう。念のためお知らせしますが、もし予測限界をこのように使用しようとしている場合は、保護されている範囲を過大評価している可能性があるため、ご注意ください。
次に、信頼度の推定値と許容限界のカバレッジの推定値を示します。今回の場合、どちらも95となり、かなり良好な値です。特に分散を大きくし、バッチ数を減らす場合は、この点に注意する必要があります。もう一度シミュレーションして、どうなるか見てみましょう。今度は、20個のアイテムを含むバッチが3つだけあり、分散比が非常に高くなっています。出力結果を見てみましょう。
「例えば、今ここで、予測区間で95%をカバーできると考えているシナリオでは、実際には57%しかカバーできていません。この区間は、このシナリオで良好なパフォーマンスを発揮することが期待されているため、十分な値です。実際、その期待値に近い値になっていますが、予測区間を逆の意味で使用しないでください。これが私のインターフェースです。」
最後に、お約束通り、データの分析方法の例をご紹介します。さて、先ほどお話しした注射器の例に戻りましょう。注射器を生産する2つの異なる生産ライン、つまり1と2があると想像してみてください。バッチは40個あります。ここに表示されています。一番下までスクロールすると、40バッチ、つまり各生産ラインに20個ずつあることがわかります。そして、注射器の直径を測定しました。
これがサンプルです。バッチごとに20回の測定があります。どこから始めましょうか？例えば、JMPで信頼区間（95%）と許容区間（95%）を求めるのは簡単なので、分布を見ることから始めましょう。分布を見て、信頼区間（95%）を求めます。次に予測区間を求めます。さらに95%を求めます。そして許容区間を求めます。これで区間ができました。
ここは大丈夫だと思いますが、少し注意が必要です。先ほどお話ししたように、分布が正規分布であるという仮定を置いているからです。これはかなり良さそうです。実際には、これで十分だと言っても問題ないかもしれません。JMPに様々な分布を当てはめてもらい、どれが最適か判断してもらいましょう。少し待ってください。もうすぐ出てくるはずです。
仮定はできる限り尊重すべきですが、JMPは正規分布を第一候補として提示しません。実際には「代わりにこれらのいずれかを選んでください」と表示されます。ヒストグラムを見れば、正規分布の四分位点プロットを作成し、点が赤い線の中に収まっているかどうかを確認すれば、通常は問題ありません。できるだけ直線に近いほど良いでしょう。このままでも問題ないかもしれませんが、どうすれば改善できるか考えてみましょう。
いつものやり方は、モデルの適合です。まず、シリンジの直径をY軸に入力し、それ以外は何も入力しません。残差を見てみると、何かおかしなことが起こっているようです。2つのレベルがあるようです。もう一度試してみましょう。モデルの適合に進みます。直径を設定し、バッチをランダム効果として追加します。バッチ自体は気にしないので、バッチ間に差異が生じる可能性は認識しています。バッチをランダム効果として追加し、既に入力されている生産ラインを入力します。「実行」をクリックします。
ここで何が分かりますか？残差がかなり均等に広がっているように見えます。特に特徴的な形はありません。言い換えれば、モデルが正しいとほぼ仮定できるということです。生産ラインは非常に有意であるように見えます。つまり、生産ライン1と2のレベル間に差があるということです。なぜでしょうか？理由は分かりません。何か理由があるはずですが、モデルに残しておくのが良いという結論に至りました。
次に、ここから分散成分を見ていきます。バッチ間変動が工程にどの程度影響を与えているか、つまりバッチ内変動がどの程度影響を与えているかを確認します。通常、各分散成分の標準偏差の推定値を確認するために、平方根を加算します。バッチ間とバッチ内のばらつきはほぼ等しく、同じ量であることがわかります。
JMP を導入したら、信頼区間を取得する最も簡単な方法はプロファイラを使用することです。JMP は青い線で次のように表示します。「生産ライン 1 の場合、平均は 10.29 と推測されますが、95% の信頼度で 10.27 ～ 10.30 の間になります。生産ライン 2 の場合、推定値は 10.19 になりますが、95% の信頼度で 10.18 ～ 10.20 の間になります。」
予測区間が必要な場合は、こちらでご依頼ください。先ほども申し上げたように、複雑な計算式です。各生産ラインについて、生産ライン1の個々の注射器が提示されます。新しい注射器の場合、95%の信頼度で10.21から10.36の間と推定されるのが最善です。また、生産ライン2のその他の値も提示されます。これらの値はいつでも保存できます。例えば、個々の信頼区間などの列を保存すると、これらの値はデータテーブルに保存され、すぐに使用できます。
とりあえず、これらを削除しておきます。これから、作成したスクリプトを使ってどのようにアプローチするかをお見せします。これは別のスクリプトなので、開きます。これは実際にはワークフローです。モデルに満足したら、まず最初に「再生」をクリックするだけです。その後は、スクリプトまたはワークフローが適切な結論を導き出します。ただ実行されるだけです。少し時間を置く必要があります。最終的に、制御テーブルの出力が得られます。
ファイル内の情報がコピーされ、多くの新しい列が計算されているのがわかります。必要な情報を確認する最も簡単な方法は、「管理図の限界」というスクリプトをクリックすることです。すると、このような出力が表示されます。これは、モデルから計算された信頼区間だけでなく、許容区間も得られるという考え方に基づいています。モデルでは生産ラインの効果が固定されているため、2つの異なる限界値が得られます。これは生産ライン1用、これは生産ライン2用です。
一つ一つ見ていくと、この解釈は信頼度によって異なります。信頼度は0.05ですが、これは片側信頼度です。両側信頼度にしたい場合は、このようにします。いずれにせよ、95%の信頼度で、ライン1の将来の人口の少なくとも99.73%、つまり私たちが設定したカバー率の99.73%が、これら2つのライン内に存在すると言えるでしょう。これは生産ライン2についても同様です。
仕様限界内に収まっているということは、適切な品質レベルを維持していることを可能な限り証明できたということです。仕様を外れている場合は、プロセスが不十分である可能性もあるため、心配されるかもしれません。しかし、より多くのデータを取得する必要があるだけかもしれません。なぜなら、データが増えれば増えるほど、これらの限界は狭まるからです。以上が私のプレゼンテーションでした。少しでもご理解いただけたなら幸いです。ご清聴ありがとうございました。
