物事を比較することは日常生活の中でよく行われます。レシピに必要な材料が足りない場合は、代わりになるものが手元にあるかもしれません。データを必要とする比較決定の場合、研究室や工場で古いマシンが新しいマシンと同等のパフォーマンスを発揮しているかどうか疑問に思うかもしれません。古いマシンを修理または交換する時期が来たのでしょうか、それともそのパフォーマンスは使い続けるのに「十分」ですか?そして、この文脈において「十分に良い」とは何を意味するのかをどのように定量化すればよいのでしょうか?
従来、2 つのものを比較するには、面倒で直感に反することも多い仮説検定を使用する必要がありました。ただし、単に帰無仮説を棄却したり、棄却できなかったりするだけでは、答えたい質問に十分に対処できない可能性があります。では、2 つのものが同じか、似ているか、または異なるかをより効果的に判断するにはどうすればよいでしょうか?その答えは、Nathaniel Stevens の専門分野の 1 つである実質的同等性を評価するための一致確率 (PoA) 方法論を使用することで見つけることができます。彼はStatistically Speakerの最新のゲストでした。私たちはこの強力で柔軟なフレームワークについて詳しく知ることができてうれしく思いました。
ナサニエルは、ウォータールー大学統計・保険数理学部の統計助教授です。彼はいくつかの賞を受賞しており、最近ではベイズ一致確率の研究で 2023 年米国品質協会ファイゲンバウム メダルと 2021 年ソーレン ビスゴー賞を受賞しています。
回答するには時間が足りないほど多くの質問があったため、ナサニエルはここで彼の専門知識をさらに共有することに親切に同意してくれました。
PoA フレームワークの制限は何ですか?
このフレームワークは等価しきい値 𝛅 に大きく依存しています。したがって、これは慎重に決定する必要があるものです。特定の設定では、これを行うのが難しい場合があります。そして、慎重に検討しなければ、これは望ましい結果を得るために不謹慎に選択される可能性があります。したがって、問題のコンテキストを認識してその 𝛅 を選択することが不可欠です。
PoA は、従来の仮説検定で使用されるしきい値 0.05 ではなく、(たとえば) 有意水準を 0.1 に変更することと同じですか?
いいえ、PoA 分析と仮説テストの関係はそれほど単純ではありません。 PoA には多くの具体例が存在しますが、PoA が何を定量化するのか、またそれが他の証拠の尺度にどのように関連するのかを直感的に理解するために、パラメーター θ が区間 [-𝛅, 𝛅] 内にあるかどうかを単純に判断したい例を考えてみましょう。 ]。
これは、(たとえば) 第 2 世代の p 値[1] 、同等性検定[2] 、区間ベースの方法[3]、[4]または頻度主義の一致確率[5]を使用して実行できます。これらのアプローチはすべて、さまざまな方法により、特に区間 [-𝛅, 𝛅] に関連して θ ハットのサンプリング分布の位置と分散を特徴付けようとします。区間ベースの方法では、θ の信頼区間が完全に [-𝛅, 𝛅] の外側にあるか、内側にあるかをチェックする傾向があります。第 2 世代の p 値は、そのような統計区間がどの程度重複するかを測定します [-𝛅, 𝛅]。 2 つの片側検定 (TOST) に関連付けられた p 値を合計すると、θ ハットの標本分布の割合が測定されます。 それは [-𝛅, 𝛅] の外側にあります。そして、頻度主義の PoA は、[-𝛅, 𝛅] 内にあるこの分布の割合を測定します。これらの方法はすべて、同様ではありますが微妙に異なる方法で、ステートメント θ ∈ [-𝛅, 𝛅]に有利な証拠を定量化します。
PoAは学校で教えられていますか?いつ始まりましたか？
私の知る限りでは、PoA はまだコースで教えられていません。このアイデアは非常に単純です。私が最初にそれを検討するわけではないと思います。したがって、このアイデアが最初に実装されたのがいつなのかについては、正確には言えません。しかし、私と共同研究者が構築し始めたフレームワークは、およそ 2015 年に始まりました。
これは、実際的な同等性を明示的に説明する方法論の教育に関する、より一般的な問題です。このような方法論 (等価性テストなど) は、入門コースではほとんど教えられません。この種の方法が広く受け入れられるには、教育学のパラダイムシフトが必要ですが、それは統計的有意性と実際的有意性に関して統計分野で私たちが経験しているパラダイムシフトによってもたらされることが期待されます。
「HDI」とはどういう意味ですか?
HDI は「最高密度間隔」の頭字語です。一般的に言えば、HDI は最高の密度を持つ一変量分布のサポートのサブセットです[6] 。この考え方は、ベイズ推論において特定のタイプの事後信頼区間として一般的に使用されます。たとえば、パラメータ θ の事後分布を考え、区間[L, U ] を考えます。 これには分布の 95% が含まれるため、θ が含まれます。 確率は0.95です。このような間隔は一意ではありません。 95% HDI は、確率 0.95 の θ を含む最短の間隔です。
「不均一分散性」という用語をどのように定義しますか?
一般に、不均一分散性とは、非一定の分散を指します。対照的に、等分散性は一定の分散を指します。測定システムの比較のコンテキストでは、測定システムの変動性 (つまり、その再現性) が固定定数ではない可能性があるため、不均一分散性が関係します。代わりに、測定している項目の関数である可能性があります。たとえば、測定対象のアイテムが大きいか小さい場合、測定値は多少変動する可能性があります。ただし、等分散性と不均一分散性の区別は、より広範囲に関連します。たとえば、通常の最小二乗回帰内の推論は一定の分散の仮定に基づいており、不均一分散が存在する場合の分散を安定化する変換 (対数変換など) の必要性が生じます。
比率に基づいて一致/非劣性を評価する場合、特別な考慮事項はありますか?
ＰｏＡ（および関連する比較確率メトリクス）は、加算差Ｃ １ −Ｃ ２または相対差Ｃ １ ／Ｃ ２のいずれかに関して定義することができる。 C 1 /C 2の分布を正しく指定することに注意すること以外に、比率を扱う際に考慮すべき唯一の重要な点は、実質的等価性、つまり実質的等価性 (または非劣性) の領域を定義する方法です。
この場合、 C 1 /C 2かどうかを判断します。 は 1 とは実質的に異なります。したがって、実際の等価領域を[(1 + δ) -1 , 1 + δ]として定義するのが賢明です。 ここはどこ𝛅 100𝛅% というパーセント増加が実際上重要な最小値であるという事実を認識して選択されています。このような間隔は、相対スケールで 1 を中心に対称であり、グループ 1 対グループ 2 の (潜在的に任意の) ラベル付けに対して不変です。PoA は次のように定義されます。
Cox モデルの等価限界はどのように定義しますか? Cox モデルの等価限界はどのように使用しますか?
PoA は、特に Cox 比例ハザード モデルで使用するために開発されたものではありませんが、確かにその可能性はあります。この場合の等価余裕を定義するには、2 つのハザード関数が実際に関連する前に (加法的または相対的なスケールで) どれだけ異なっていなければならないかを考える必要があります。この等価マージンは定数である場合もあれば、モデル内の共変量に依存する場合もあります。この点に関しては微妙な違いと柔軟性があります。私は誰かにこの方法論の発展を追求するよう強く勧めます。非常に役立つ可能性があります。
気候モデラーがこれらの方法を使用してモデルを評価していることをご存知ですか?
特にありません、いいえ。私が知っている中で最も近いのは、Ledwith らによる最近の論文です。 (2023) [7]は、一致の確率を使用して計算モデルをより一般的に検証します。しかし、私はこのような方法論が気候モデルの評価に役立つ可能性があると期待しています。
この柔軟で強力なコンセプトについて、時間を割いて彼の考えをさらに共有してくれたナサニエルに感謝します。ライブストリームを見逃した場合は、この「統計的に話す」のオンデマンドエピソードをチェックしてください。
[1] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893
[2] https://www.routledge.com/Testing-Statistical-Hypotheses-of-Equivalence-and-Noinferiority/Wellek/p/book/9781439808184
[3] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1564697
[4] https://psycnet.apa.org/record/2012-18082-001
[5]ベイジアン PoA もここで役立ちますが、議論の範囲を狭めるために、頻度主義バージョンに焦点を当てます。
[6]最高密度領域 (HDR) は多変量のアナログです。
[7] https://asmedigitalcollection.asme.org/verification/article/8/1/011003/1156689/Probabilities-of-Agreement-for-Computational-Model
