最近では技術的に話すウェビナー、私は末梢動脈疾患（PAD）のリスクを予測することについて議論しました。ここで、反応は2つの可能な結果で分類されます：はい（PADのリスクがある患者）といいえ（PADのリスクがない患者）。
そのプレゼンテーションの中で、予測モデルには2つの部分が含まれていることを指摘しました。1）モデルによって作成された確率関数と2）データを「はい」または「いいえ」に分類するために使用されるカットオフ。 ROC曲線は、モデルによって作成された確率関数を評価および比較するための優れた方法であることを簡単に説明しました。
このブログ投稿では、ROC曲線とその解釈方法についてさらに説明します。 また、まれなイベント（不均衡なデータ）を予測し、分類カットオフを選択する際に、ROC曲線についていくつか考えます。
ROC曲線
末梢動脈疾患（PAD）のリスクの予測モデルのROC曲線を図1に示します。
図1。 PAD予測モデルのROC曲線。
ROC曲線の標準要素：
- x軸は1-Specficityであり、これは偽陽性率です。範囲は0から1です。 これは、モデルのタイプIエラーと考えることもできます。
- y軸は感度であり、真陽性の割合です。範囲は0から1です。 これは、モデルの威力、または1-タイプIIエラーと考えることもできます。
- 時折、対角線が0,0と1,1を通過します。ここで、真陽性率は偽陽性率と等しくなります。 この線は、真にランダムなモデルまたは予測値のないモデルを表します。
では、ROC曲線には何がプロットされているのでしょうか。
ROC曲線に何がプロットされているかを理解するために、カテゴリカル応答の予測モデルには、1）確率関数と2）確率を最も可能性の高いカテゴリに分類するためのカットオフの2つの部分があることを思い出してください。 データセット内の各観測値について、予測された確率が分類カットオフとして使用されます。 結果として得られる感度と1-そのカットオフを持つモデルの特異度は、データセット内の各観測値に対してプロットされます。 これらの計算については、以下で詳しく説明します。
ROC曲線は、0,0と1,1を通る対角線を下回らないことに注意してください。
そして、ROC曲線をどのように解釈しますか？
完全なモデルは、グリッド（0,1）の左上隅を通過します。 x値0は、モデルの誤検知がないことを示します。 y値1は、モデルの結果がすべて真陽性であることを示します。
ROC曲線の下の領域（AUC）は、モデルがROC曲線の左上隅にどれだけ近いかを示します。 1のAUCは完全なモデルであり、0.5のAUCはランダムモデルまたは予測値のないモデルです。 ROC曲線が対角線を下回ることはないため、AUCは常に0.5から1の間になります。
AUCが高いほど、モデルが予測値のないモデルを表す対角線から離れており、グリッド（0,1）の左上隅を通過する完全なモデルに近づいていることを示します。
PADモデルのROC曲線を詳しく見る
PADのリスクの予測モデルのROC曲線と、x値とy値の計算方法を詳しく見てみましょう。 図2は、データセット内の観測値のサブセットのグラフプロットであり、ROC曲線にプロットされています。 これらのポイントのいくつかは、PAD =はいの対応する予測確率でラベル付けされています。
図2。 まれなイベントの例のROC曲線。
まず、データポイントが0.02から0.53の範囲の予測確率の順になっていることに注意してください。 はいといいえが同じ数のデータセットからモデルを作成した場合、範囲は0から1の間で、曲線の中心近くに0.5があると予想されます。 ただし、このデータセットはまれなデータセットまたは不均衡なデータセット用であり、「いいえ」と比較して「はい」の頻度がはるかに低いことを意味します。その結果、すべての予測確率は範囲の下限になります。すべて0.53以下です。
グラフの右上隅にあるデータポイントは、データサブセットの最低予測確率（0.02）に対応します。 この点をプロットするために使用される計算について説明する前に、シナリオについて考えてみてください。 最も低い予測確率の1つをカットオフとして使用して、すべての予測確率を分類すると、分類はどうなりますか？ それらの多くが実際に「いいえ」である場合、ほぼすべてのデータが「はい」として分類されます。これは、高い偽陽性率（1-特異度）に対応します。 同様に、「はい」のデータはすべて「はい」として分類されます。これは、高い真陽性率（感度）です。
グラフの左下隅にあるデータポイントについても考えてみてください。 この点は、データの最も高い予測確率（0.53）に対応します。最も高い予測確率がカットオフとして使用される場合、すべてのデータは「いいえ」として分類されます。つまり、偽陽性率（1-特異度）は低く、実際にはゼロです。はいのデータはすべていいえとして分類され、真陽性率（感度）が低くなり、再びゼロになります。
1-特異度と感度の計算
ROC曲線にデータをプロットするには、1-特異度と感度を計算する必要があります。 図2の右上隅にあるデータポイントから始めましょう。これは、データサブセットの最低予測確率（0.02）に対応します。 まず、0.02の予測確率をカットオフとして使用して、データセット全体を「はい」または「いいえ」に分類します。この予測条件を実際の条件または真の条件と比較し、データを4つの結果（真陽性、真陰性、偽陰性、偽陽性（図3）。 図3は混同行列と呼ばれ、混同行列に入力された数値を使用して1-特異度と感度が計算されます。
|
真の状態
|
実際のポジティブ
|
実際のネガティブ
|
予測される状態
|
予測されるポジティブ
|
トゥルーポジティブ（TP）
|
誤検知（FP）
|
予測されるネガティブ
|
偽陰性（FN）
|
トゥルーネガティブ（TN）
|
図3。 二項分類モデルの結果（混同行列）。
1-特異性
1-特異性は偽陽性率であり、1から真陰性率を引くことによって計算されます。 真のネガティブ率は、モデルによって予測された真のネガティブ（TN）の数を、真のネガティブ（TN）と偽陽性（FP）の両方を含む実際のネガティブの総数で割ったものです。
感度
感度は、モデルによって予測された真陽性（TP）の数を、真陽性（TP）と偽陰性（FN）の両方を含む実際の陽性の総数で割った真陽性率です。
データセット全体に0.02の分類カットオフを適用すると、以下の図4に報告されている結果が得られます。
|
真の状態
|
実際のポジティブ
|
実際のネガティブ
|
予測される状態
|
予測されるポジティブ
|
TP = 277
|
FP = 3394
|
予測されるネガティブ
|
FN = 0
|
TN = 312
|
図4。 分類カットオフが0.02のPAD予測モデルの結果。
これらの結果から、ROC曲線にプロットされたx値とy値にそれぞれ対応する1-特異度と感度を計算できます。
要約すると、ROC曲線は、確率関数の作成に使用されたデータセット内の各データポイントのプロットです。 1-特異度と感度は、予測された確率が分類カットオフとして使用される場合に、混同行列の結果を使用して各データポイントに対して計算されます。
ROC曲線についてこれらの計算を行うことにより、確率関数と0.02の分類を使用した予測モデルは優れたモデルではないと結論付けることもできます。 まず、この点は真にランダムなモデルを表す対角線に近いため、PADのリスクを患者にランダムに割り当てるよりもはるかに優れているわけではありません。 また、計算から、0.08の真の陰性率（特異性）と1の真の陽性率（感度）に大きな不一致があることがわかります。 言い換えれば、真のPADケースの100％が分類されているのに対し、偽陽性率は92％です。 特異性と感度のバランスが取れており、対角線から遠く、グラフの左上隅に近い分類カットオフを選択する必要があります。
分類カットオフの選択
デフォルトでは、確率関数に基づいてデータを分類するために0.5のカットオフが使用されます。 JMPこのカットオフを使用して予測式を作成します。 0.5のカットオフは、実際のポジティブとネガティブの数が等しいデータに適している場合があります。 ただし、実際の陽性率が低い場合（たとえば、まれなイベントや不均衡なデータ）、0.5のカットオフは最適ではない可能性があります。
問題は、まれなイベントの分類カットオフを選択するためにどのようなアプローチを使用できるかということです。 ROC曲線は私たちにいくつかの手がかりを与えてくれます。 グラフの左上隅は、両方の真の陰性率（特異度）と真の陽性率（感度）が最大化される場所です。 予測確率がラベル付けされている図2を見ると、特異度と感度のバランスをとることが目標である場合、この予測モデルには約0.07のカットオフが最適であることがわかります。ただし、ROC曲線は通常、予測確率でラベル付けされていません。
YoudenのJ統計を使用して、特異度と感度が最大化されるROC曲線上の点に対応する予測確率を見つけることができます。
YoudenのJ統計の範囲は0から1で、0は真陽性と偽陽性の等しい割合に対応し、1はすべて真陽性で偽陽性のないモデルに対応します。 これは、ランダムモデルを表す対角線から最も離れたROC曲線に沿った点と考えることもできます。
Fit Model Platformで公称ロジスティックを使用している場合、ROC曲線を選択すると、対応するROCテーブルも取得されます。 表の列の1つはYoudenのJStatisticであり、Sens-（1-Spec）というラベルが付いています。 ROCテーブルは、Sens-（1-Spec）の降順で並べ替えて、最大のSen-（1-spec）を持つ予測確率（Prob）を特定できます。ここで、真の陰性率（特異度）と真の陽性率（感度）があります。 ）両方のが最大化されます。 JMPがSens-（1-Spec）の最大値の横にアスタリスクを付けていることがわかります。
PADの例では、3,983人の患者のデータセットからPADの患者は277人しかいませんでした。 0.07の分類カットオフは、真陽性率と真陰性率のバランスを取りました。 分類カットオフが決定されると、データテーブルに保存された予測式で変更できます。 カットオフの選択は、予測モデルの目標と結果に関連するリスクに依存することに注意してください。 研究者は、たとえば、誤検知や誤検知を防ぐために、別のカットオフを選択できます。
