최근에 기술적으로 말하는 웨비나 , 나는 반응이 범주 형인 말초 동맥 질환 (PAD)의 위험을 예측하는 것에 대해 논의했습니다. 예 (PAD에 걸릴 위험이있는 환자) 및 아니오 (PAD에 걸릴 위험이없는 환자)의 두 가지 가능한 결과가 있습니다.
프레젠테이션 중에 예측 모델에는 1) 모델에 의해 생성 된 확률 함수와 2) 데이터를 예 또는 아니요로 분류하는 데 사용되는 컷오프가 포함되어 있음을 지적했습니다. ROC 곡선이 모델에 의해 생성 된 확률 함수를 평가하고 비교하는 좋은 방법이라고 간단히 언급했습니다.
이 블로그 게시물에서는 ROC 곡선과이를 해석하는 방법에 대해 자세히 설명합니다. 또한 희귀 사건 (불균형 데이터)을 예측하고 분류 기준을 선택할 때 ROC 곡선에 대한 몇 가지 생각을 제공 할 것입니다.
ROC 곡선
말초 동맥 질환 (PAD) 위험 예측 모델에 대한 ROC 곡선이 그림 1에 나와 있습니다.
그림 1. PAD 예측 모델에 대한 ROC 곡선.
ROC 곡선의 표준 요소 :
- x 축은 1-Specficity, 즉 위양성 비율입니다. 범위는 0에서 1까지입니다. 모델의 제 1 종 오류라고 생각할 수도 있습니다.
- y 축은 민감도이며, 참 양성 비율입니다. 범위는 0에서 1까지입니다. 모델의 힘 또는 1-Type II 오류로 생각할 수도 있습니다.
- 경우에 따라 대각선이 0,0 및 1,1을 통과합니다. 여기서 참 양성 비율은 거짓 양성 비율과 같습니다. 이 선은 진정한 랜덤 모델 또는 예측 값이없는 모델을 나타냅니다.
그렇다면 ROC 곡선에는 무엇이 표시됩니까?
ROC 곡선에 그려지는 내용을 이해하려면 범주 형 반응에 대한 예측 모델에 확률을 가장 가능성이 높은 범주로 분류하는 두 부분 1) 확률 함수 및 2) 컷오프가 있음을 상기하십시오. 데이터 세트의 각 관측치에 대해 예측 확률이 분류 컷오프로 사용됩니다. 해당 컷오프가있는 모델의 결과 민감도 및 1- 특이성은 데이터 세트의 각 관측치에 대해 플로팅됩니다. 아래에서 이러한 계산에 대해 자세히 설명하겠습니다.
ROC 곡선은 0,0 및 1,1을 통과하는 대각선 아래로 떨어지지 않습니다.
그리고 ROC 곡선을 어떻게 해석합니까?
완벽한 모델은 그리드의 왼쪽 상단 모서리 (0,1)를 통과합니다. x 값이 0이면 모델 결과가 거짓 양성이 없음을 나타냅니다. y 값이 1이면 모델 결과가 모두 참 양성임을 나타냅니다.
ROC 곡선 아래 영역 (AUC)은 모델이 ROC 곡선의 왼쪽 상단 모서리에 얼마나 가까운지를 나타냅니다. AUC 1은 완벽한 모델이고 AUC 0.5는 랜덤 모델 또는 예측 값이없는 모델입니다. ROC 곡선은 대각선 아래로 떨어지지 않으므로 AUC는 항상 0.5와 1 사이입니다.
AUC가 높을수록 모델이 예측 값이없는 모델을 나타내는 대각선에서 더 멀리 떨어져 있고 그리드의 왼쪽 상단 모서리 (0,1)를 통과하는 완벽한 모델에 접근 함을 나타냅니다.
PAD 모델의 ROC 곡선 자세히 살펴보기
PAD 위험에 대한 예측 모델의 ROC 곡선과 x 및 y 값이 계산되는 방식을 자세히 살펴 보겠습니다. 그림 2는 데이터 세트의 관측치 하위 집합의 그래픽 플롯이며 ROC 곡선에 표시됩니다. 이러한 포인트 중 일부는 PAD = Yes에 대한 해당 예측 확률로 레이블이 지정됩니다.
그림 2. 희귀 사건에 대한 ROC 곡선 예.
먼저 데이터 포인트가 0.02에서 0.53 범위의 예측 확률 순서임을 확인하십시오. 예와 아니오에 대해 동일한 숫자를 사용하여 데이터 세트에서 모델을 구축했다면 범위는 0과 1 사이이며 곡선의 중심 근처에 0.5가있을 것으로 예상합니다. 그러나이 데이터 세트는 드물거나 불균형 한 데이터 세트에 대한 것입니다. 즉, 아니오에 비해 예의 빈도가 훨씬 낮습니다. 결과적으로 모든 예측 확률은 범위의 하단에 속합니다. 모두 0.53 이하입니다.
그래프의 오른쪽 상단 모서리에있는 데이터 요소는 데이터 하위 집합 (0.02)에서 가장 낮은 예측 확률에 해당합니다. 이 지점을 그리는 데 사용 된 계산에 대해 이야기하기 전에 시나리오에 대해 잠시 생각해보십시오. 예측 된 모든 확률을 분류하기 위해 가장 낮은 예측 확률 중 하나를 컷오프로 사용하면 분류는 어떻게됩니까? 대부분의 데이터가 실제로 아니요 인 경우 거의 모든 데이터가 예로 분류됩니다. 이는 높은 오 탐지율 (1- 특이성)에 해당합니다. 마찬가지로 예인 데이터는 높은 참 양성률 (민감도) 인 예로 분류됩니다.
또한 그래프의 왼쪽 하단에있는 데이터 포인트에 대해서도 생각해보십시오. 이 점은 데이터에서 가장 높은 예측 확률 (0.53)에 해당합니다.가장 높은 예측 확률이 컷오프로 사용되는 경우 모든 데이터는 아니오로 분류됩니다. 즉, 거짓 긍정 비율 (1- 특이성)이 낮고 실제로 0입니다.예인 모든 데이터는 낮은 참 양성률 (민감도)을 초래하는 아니오로 분류되고 다시 0이됩니다.
1- 특이성 및 민감도 계산
ROC 곡선에 데이터를 그리려면 1-Specificity와 Sensitivity를 계산해야합니다. 데이터 하위 집합 (0.02)에서 가장 낮은 예측 확률에 해당하는 그림 2의 오른쪽 상단 모서리에있는 데이터 포인트부터 시작하겠습니다. 첫째, 0.02의 예측 확률은 전체 데이터 세트를 Yes 또는 No로 분류하기위한 컷오프로 사용됩니다.이 예측 조건은 실제 또는 참 조건과 비교되며 데이터는 참 양성, 참 음성, 거짓 음성, 거짓 양성 (그림 3). 그림 3은 Confusion Matrix라고하며 Confusion Matrix에 채워진 숫자는 1-Specificity 및 Sensitivity를 계산하는 데 사용됩니다.
|
진정한 조건
|
실제 긍정적
|
실제 부정적인
|
예측 조건
|
예측 된 긍정적
|
참 양성 (TP)
|
거짓 양성 (FP)
|
예측 된 음성
|
거짓 음성 (FN)
|
참 음성 (TN)
|
그림 3. 이진 분류 모델의 결과 (혼란 행렬).
1- 특성
1-Specifity는 위양성 비율이며 1에서 참 음성 비율을 빼서 계산됩니다. 참 음성 비율은 모델에서 예측 한 참 음성 (TN)의 수를 참 음성 (TN)과 거짓 양성 (FP)을 모두 포함하는 실제 네거티브의 총 수로 나눈 값입니다.
감광도
민감도는 모델에서 예측 한 참 양성 (TP) 수를 참 양성 (TP) 및 거짓 음성 (FN)을 모두 포함하는 실제 양성의 총 수로 나눈 참 양성 비율입니다.
전체 데이터 세트에 0.02의 분류 컷오프를 적용하여 아래 그림 4에보고 된 결과를 얻습니다.
|
진정한 조건
|
실제 긍정적
|
실제 부정적인
|
예측 조건
|
예측 된 긍정적
|
TP = 277
|
FP = 3394
|
예측 된 음성
|
FN = 0
|
TN = 312
|
그림 4. 분류 컷오프가 0.02 인 PAD 예측 모델의 결과.
이러한 결과로부터 ROC 곡선에 그려진 각각 x 및 y 값에 해당하는 1-Specificity 및 Sensitivity를 계산할 수 있습니다.
요약하면 ROC 곡선은 확률 함수를 생성하는 데 사용 된 데이터 세트의 각 데이터 포인트에 대한 플롯입니다. 1-Specificity 및 Sensitivity는 예측 확률이 분류 컷오프로 사용되는 경우 혼동 행렬의 결과를 사용하여 각 데이터 포인트에 대해 계산됩니다.
ROC 곡선에 대한 이러한 계산을 통해 확률 함수와 0.02의 분류를 사용하는 예측 모델은 훌륭한 모델이 아니라는 결론을 내릴 수도 있습니다. 첫째,이 점은 진정한 무작위 모델을 나타내는 대각선에 가깝기 때문에 단순히 환자에게 PAD 위험을 무작위로 할당하는 것보다 낫지 않습니다. 또한 계산을 통해 참 음성 비율 (특이성) 0.08과 참 양성 비율 (민감도) 1에 큰 불일치가 있음을 알 수 있습니다. 즉, 실제 PAD 사례의 100 %가 분류되는 동안 위양성률은 92 %입니다. 특이성과 민감도의 균형을 맞추고 대각선에서 더 멀고 그래프의 왼쪽 상단 모서리에 더 가까운 분류 컷오프를 선택하려고합니다.
분류 기준 선택
기본적으로 0.5의 컷오프는 확률 함수를 기반으로 데이터를 분류하는 데 사용됩니다. JMP 이 컷오프를 사용하여 예측 공식을 생성합니다. 0.5의 컷오프는 실제 양수와 음수가 동일한 데이터에 적합 할 수 있습니다. 그러나 실제 긍정 률이 낮은 경우 (예 : 드문 이벤트 또는 불균형 데이터) 0.5의 컷오프는 최적이 아닐 수 있습니다.
그러면 희귀 사건에 대한 분류 기준을 선택하는 데 어떤 접근 방식을 사용할 수 있습니까? ROC 곡선은 우리에게 몇 가지 단서를 제공합니다. 그래프의 왼쪽 상단 모서리는 둘 다의 참 음성 비율 (특이성)과 참 양성 비율 (민감도)이 최대화되는 곳입니다. 예측 확률에 레이블이 지정된 그림 2를 보면, 우리의 목표가 특이성과 민감도의 균형을 맞추는 것이라면 0.07 부근의 컷오프가이 예측 모델에 최적이라는 것을 알 수 있습니다.그러나 ROC 곡선은 일반적으로 예측 확률로 레이블이 지정되지 않습니다.
Youden의 J 통계는 ROC 곡선에서 특이성과 민감도가 최대화 된 지점에 해당하는 예측 확률을 찾는 데 사용할 수 있습니다.
Youden의 J 통계 범위는 0과 1 사이이며 0은 참 양성과 거짓 양성의 동일한 비율에 해당하고 1은 모든 참 양성과 거짓 양성이없는 모델에 해당합니다. 임의의 모델을 나타내는 대각선에서 가장 먼 ROC 곡선을 따라있는 점으로 생각할 수도 있습니다.
Fit Model Platform에서 Nominal Logistic을 사용하는 경우 ROC 곡선을 선택하면 해당 ROC 테이블도 제공됩니다. 테이블의 열 중 하나는 Youden의 J 통계이며 Sens- (1-Spec)으로 레이블이 지정됩니다. ROC 테이블은 Sens- (1-Spec)에 따라 내림차순으로 정렬되어 최대 Sen- (1-spec)이있는 예측 확률 (Prob)을 식별 할 수 있습니다. ) 둘 다 최대화됩니다. JMP가 Sens- (1-Spec)의 최대 값 옆에 별표를 표시하는 것을 볼 수 있습니다.
PAD 예에서 3,983 명의 환자가있는 데이터 세트에서 PAD를 가진 환자는 277 명에 불과했습니다. 0.07의 분류 컷오프는 참 양성과 참 음성 비율의 균형을 이룹니다. 분류 컷오프가 결정되면 데이터 테이블에 저장된 예측 공식에서 변경할 수 있습니다. 컷오프 선택은 예측 모델의 목표와 결과와 관련된 위험에 따라 달라집니다. 연구원은 예를 들어 거짓 양성 또는 거짓 음성을 방지하기 위해 원하는 경우 다른 컷오프를 선택할 수 있습니다.
