안녕 JMP 커뮤니티,
저는 임상 치료의 결과를 예측하기위한 기준 바이오 마커의 가치를 결정하기 위해 명목 물류 적합성을 연구했습니다.
필자는 혼란 행렬의 개념을 이해했다고 생각했습니다. Training 데이터 세트와 정의 된 경우 유효성 검사 세트에 대해 주어진 모델에 대해 True Positive, True Negative, False Positive 및 False Negative의 수를 반환합니다. 그러나 혼란 행렬을 ROC 표 (Maximum SENSITIVITY - (1 - SPECIFICITY) 값)에서 얻은 최상의 결과와 비교할 때 나는이 두 가지를 조화시키기 위해 애 쓰고 있습니다.
예를 들어, 혼란 매트릭스가 반환하는 ROC AUC = 0.654 (오히려 약한 연관성) 모델이 있습니다.
| | | 예측 된 | 예측 된 |
| | | 예 | 아니 |
| 실제 | 예 | 1 | 82 |
| 실제 | 아니 | 1 | 278 |
-> 정말 나쁘다 (실제로 ROC AUC 값에 대해 예상했던 것보다 최악).
동일한 모델의 경우 ROC Table의 SENSITIVITY와 SPECIFICITY의 최적 조합은 다음과 같습니다.
| Prob | 1-SPEC | 센스 | 센스 - (1-SPEC) | 진정한 포지션 | 트루 네그 | 거짓 위치 | 틀린 부정 |
| 0.2797 | 0.2437 | 0.5060 | 0.2623 | 42 | 211 | 68 | 41 |
-> 이것은 상당히 나쁘지 만 ROC AUC = 0.654 인 모델의 예상 결과와 더 일치합니다
그래서, 내 질문은 :
- 혼동 매트릭스와 ROC 테이블의 "가장"행의 주요 차이점은 무엇입니까?
- 전자는 가장 높은 확률을 사용하고 후자는 최상의 감도 및 비례 조합을 사용하기 때문입니까?
- 이러한 결과를 제시한다면 긍정적 인 예측 가치와 부정적인 예측 가치를 제시하는 최선의 선택은 무엇입니까?
도와 줘서 고마워.
진정으로,
TS
혼동 행렬과 ROC는 다릅니다. 설명 된대로 혼동 행렬을 이해합니다. 이 예에서는 실제로 감도 (1/83)가 없지만 특이성 (278/279)이 우수합니다.
ROC는 민감도와 특이도를 동시에 평가하므로 전반적으로 우연히보다 잘 보입니다 (AUC = 0.654).
혼란 행렬은 하나의 컷오프에 대한 것이고 ROC 곡선은 가장 큰 분리를 생성하는 관찰을 포함하여 각 관찰을 컷오프로 사용합니다.
