最近では技術的に話すウェビナー、末梢動脈疾患 (PAD) のリスクの予測について説明しました。ここでは、応答が 2 つの可能な結果 (PAD を患うリスクのある患者) といいえ (PAD を患うリスクがない患者) によって分類される場合について説明しました。
そのプレゼンテーション中に、私は、予測モデルには 2 つの部分が含まれていることを指摘しました。1) モデルによって作成された確率関数と、2) データを Yes または No の可能性が最も高いものとして分類するために使用されるカットオフです。 ROC 曲線は、モデルによって作成された確率関数を評価および比較するのに適した方法であると簡単に述べました。
このブログ投稿では、ROC 曲線とその解釈方法についてさらに説明します。 また、まれなイベント (不均衡データ) を予測し、分類カットオフを選択する場合の ROC 曲線に関するいくつかの考え方も説明します。
ROC曲線
末梢動脈疾患 (PAD) のリスク予測モデルの ROC 曲線を図 1 に示します。
Figure 1. ROC Curve for PAD prediction model.Figure 1. ROC Curve for PAD prediction model.Figure 1. ROC Curve for PAD prediction model.Figure 1. ROC Curve for PAD prediction model.図1。 PAD 予測モデルの ROC 曲線。
ROC 曲線の標準要素:
- X 軸は 1-Specificity、つまり偽陽性率です。範囲は 0 から 1 です。 これは、モデルのタイプ I 誤差と考えることもできます。
- y 軸は感度であり、真陽性の割合です。範囲は 0 から 1 です。 これは、モデルの検出力、または 1-Type II 誤差と考えることもできます。
- 場合によっては、対角線が 0,0 と 1,1 を通過することがあります。ここでは、真陽性率が偽陽性率と等しくなります。 この線は、真にランダムなモデル、または予測値のないモデルを表します。
では、ROC 曲線には何がプロットされているのでしょうか?
ROC 曲線に何がプロットされているかを理解するには、カテゴリカル応答の予測モデルには、1) 確率関数と 2) 確率を最も可能性の高いカテゴリに分類するためのカットオフの 2 つの部分があることを思い出してください。 データセット内の各観測値について、予測確率が分類カットオフとして使用されます。 そのカットオフを使用したモデルの結果として得られる感度と 1 特異度が、データセット内の観測ごとにプロットされます。 これらの計算については、以下で詳しく説明します。
ROC 曲線が 0,0 と 1,1 を通る対角線を下回ることはないことに注意してください。
そして、ROC 曲線をどのように解釈すればよいでしょうか?
完全なモデルは、グリッドの左上隅 (0,1) を通過します。 x 値 0 は、モデルの結果に偽陽性がないことを示します。 y 値 1 は、モデルの結果がすべて真陽性であることを示します。
ROC 曲線下面積 (AUC) は、モデルが ROC 曲線の左上隅にどの程度近づいているかを示します。 AUC 1 は完全なモデルであり、AUC 0.5 はランダム モデルまたは予測値のないモデルです。 ROC 曲線が対角線を下回ることがないため、AUC は常に 0.5 ～ 1 の間になります。
AUC が高いほど、モデルが予測値のないモデルを表す対角線から離れており、グリッドの左上隅 (0,1) を通過する完全なモデルに近づいていることを示します。
PAD モデルの ROC 曲線を詳しく見る
PAD のリスクの予測モデルの ROC 曲線と、x 値と y 値の計算方法を詳しく見てみましょう。 図 2 は、データセット内の観測値のサブセットを ROC 曲線上にプロットしたグラフです。 これらのポイントの一部には、PAD = Yes の対応する予測確率がラベル付けされています。
Figure 2. ROC Curve for Rare Event Example.Figure 2. ROC Curve for Rare Event Example.Figure 2. ROC Curve for Rare Event Example.Figure 2. ROC Curve for Rare Event Example.図2。 レアイベントの ROC 曲線の例。
まず、データ ポイントが 0.02 から 0.53 の範囲の予測確率の順に並んでいることに注目してください。 「はい」と「いいえ」の数値が等しいデータセットからモデルを構築した場合、範囲は 0 ～ 1 の間で、曲線の中心付近が 0.5 になると予想されます。 ただし、このデータ セットは稀なデータ セットまたは不均衡なデータ セットのものであり、これは、「はい」の頻度が「いいえ」に比べてはるかに低いことを意味します。その結果、すべての予測確率は範囲の下限に収まり、すべて 0.53 以下になります。
グラフの右上隅のデータ ポイントは、データ サブセット内の最も低い予測確率 (0.02) に対応します。 この点をプロットするために使用される計算について話す前に、シナリオについて少し考えてみましょう。 すべての予測確率を分類するためのカットオフとして最も低い予測確率の 1 つを使用すると、分類では何が起こるでしょうか? 実際には多くのデータが「いいえ」であるにもかかわらず、ほぼすべてのデータが「はい」として分類されます。これは、高い偽陽性率 (1-特異度) に相当します。 同様に、「はい」であるデータはすべて「はい」として分類され、真陽性率 (感度) が高くなります。
グラフの左下隅にあるデータ ポイントについても考えてみましょう。 この点は、データ内の最も高い予測確率 (0.53) に対応します。最も高い予測確率がカットオフとして使用される場合、すべてのデータは「いいえ」に分類されます。これは、偽陽性率 (1-特異度) が低く、実際にはゼロであることを意味します。「はい」であるデータはすべて「いいえ」として分類され、真陽性率 (感度) が低くなり、やはりゼロになります。
1-特異性と感度の計算
ROC 曲線上にデータをプロットするには、1-特異性と感度を計算する必要があります。 データ サブセット内の最も低い予測確率 (0.02) に対応する、図 2 の右上隅にあるデータ ポイントから始めましょう。 まず、予測確率 0.02 がカットオフとして使用され、データセット全体を「はい」または「いいえ」に分類します。この予測された条件は実際の条件または真の条件と比較され、データは真陽性、真陰性、真陰性、真陽性、真陰性の 4 つの結果に分類できます。偽陰性、偽陽性 (図 3)。 図 3 は混同行列と呼ばれ、混同行列に入力された数値は 1-特異性と感度の計算に使用されます。
|
本当の状態
|
実際の陽性
|
実際のマイナス
|
予測される状態
|
陽性予測
|
真陽性 (TP)
|
誤検知 (FP)
|
陰性の予測
|
偽陰性 (FN)
|
真陰性 (TN)
|
図3. 二項分類モデル (混同行列) の結果。
1-特異性
1-特異度は偽陽性率であり、1 から真陰性率を引くことによって計算されます。 真陰性率は、モデルによって予測された真陰性 (TN) の数を、真陰性 (TN) と偽陽性 (FP) の両方を含む実際の陰性の総数で割ったものです。
感度
感度は、モデルによって予測された真陽性 (TP) の数を、真陽性 (TP) と偽陰性 (FN) の両方を含む実際の陽性の総数で割った真陽性率です。
データセット全体に分類カットオフ 0.02 を適用すると、以下の図 4 に示す結果が得られます。
|
本当の状態
|
実際の陽性
|
実際のマイナス
|
予測される状態
|
陽性予測
|
TP = 277
|
FP = 3394
|
陰性の予測
|
FN = 0
|
TN = 312
|
図4. 分類カットオフ 0.02 の PAD 予測モデルの結果。
これらの結果から、ROC 曲線上にプロットされた x 値と y 値にそれぞれ対応する 1-特異性と感度を計算できます。
要約すると、ROC 曲線は、確率関数の作成に使用されたデータ セット内の各データ ポイントをプロットしたものです。 1 - 予測確率が分類カットオフとして使用される場合、混同行列の結果を使用して、各データ ポイントの特異度および感度が計算されます。
ROC 曲線のこれらの計算を行うことにより、確率関数と 0.02 の分類を使用した予測モデルは優れたモデルではないという結論に達することもできます。 まず、この点は真にランダムなモデルを表す対角線に近いため、単純に PAD のリスクを患者にランダムに割り当てるよりも優れているわけではありません。 また、計算から、真陰性率 (特異度) 0.08 と真陽性率 (感度) 1 には大きな差異があることがわかります。 言い換えれば、真の PAD 症例は 100% 分類されますが、偽陽性率は 92% です。 特異性と感度のバランスが取れ、対角線からより遠く、グラフの左上隅に近い分類カットオフを選択する必要があります。
分類カットオフの選択
デフォルトでは、確率関数に基づいてデータを分類するために 0.5 のカットオフが使用されます。 JMPこのカットオフを使用して予測式を作成します。 実際の陽性と陰性の数が等しいデータには、カットオフ 0.5 が適切な場合があります。 ただし、実際の陽性率が低い場合 (まれな事象や不均衡なデータなど)、0.5 のカットオフは最適ではない可能性があります。
ここで問題となるのは、まれなイベントの分類カットオフを選択するためにどのようなアプローチを使用できるかということです。 ROC 曲線はいくつかの手がかりを与えてくれます。 グラフの左上隅は、真陰性率 (特異度) と真陽性率 (感度) が両方とも最大になる場所です。 予測確率がラベル付けされた図 2 を見ると、目標が特異性と感度のバランスをとることである場合、この予測モデルには約 0.07 のカットオフが最適であることがわかります。ただし、ROC 曲線には通常、予測確率がラベル付けされていません。
Youden の J 統計を使用すると、特異性と感度が最大になる ROC 曲線上の点に対応する予測確率を見つけることができます。
Youden の J 統計の範囲は 0 ～ 1 で、0 は真陽性と偽陽性の割合が等しいこと、1 はすべて真陽性で偽陽性がないモデルに相当します。 これは、ランダム モデルを表す対角線から最も遠い ROC 曲線に沿った点と考えることもできます。
Fit Model Platform で Nominal Logistic を使用している場合、ROC 曲線を選択すると、対応する ROC テーブルも取得されます。 テーブル内の列の 1 つは Youden の J 統計で、Sens-(1-Spec) というラベルが付いています。 ROC テーブルを Sens-(1-Spec) で降順に並べ替えて、真陰性率 (特異性) と真陽性率 (感度) が最大となる Sen-(1-Spec) を持つ予測確率 (Prob) を特定できます。 ) 両方が最大化されます。 JMP が Sens-(1-Spec) の最大値の横にアスタリスクを付けていることがわかります。
PAD の例では、3,983 人の患者を含むデータセットのうち、PAD 患者は 277 人のみでした。 0.07 の分類カットオフにより、真陽性率と真陰性率のバランスがとれました。 分類カットオフが決定されると、データ テーブルに保存された予測式で変更できます。 カットオフの選択は、予測モデルの目標と結果に関連するリスクによって決まることに注意してください。 研究者は、たとえば偽陽性や偽陰性を防ぎたい場合、別のカットオフを選択できます。
