幫助名義 Logistic 擬合:混淆矩陣與 ROC 表輸出?您好 JMP 社區,
我一直在研究標稱 Logistic 擬合以確定基線生物標誌物的值以預測臨床治療的結果。
我以為我理解了混淆矩陣的概念:它返回訓練數據集和驗證集(如果已定義)的給定模型的真陽性、真陰性、假陽性和假陰性的數量。 然而,當我將混淆矩陣與 ROC 表中的最佳結果(最大靈敏度 - (1 - 特異性)值)進行比較時,我很難調和兩者。
例如,我有一個 ROC AUC = 0.654(相當弱的關聯)的模型,其中混淆矩陣返回:
| | | 預料到的 | 預料到的 |
| | | 是的 | 不 |
| 實際的 | 是的 | 1 | 82 |
| 實際的 | 不 | 1 | 278 |
--> 這真的很糟糕(實際上比 ROC AUC 值的預期最差)。
對於同一型號,ROC Table 的 SENSITIVITY 和 SPECIFICITY 最佳組合為:
| 概率 | 1-規格 | SENS | SENS - (1-SPEC) | 真實位置 | 真否定 | 錯誤位置 | 假否定 |
| 0.2797 | 0.2437 | 0.5060 | 0.2623 | 42 | 211 | 68 | 41 |
--> 這很糟糕,但更符合 ROC AUC = 0.654 的模型的預期結果
所以,我的問題是:
- 混淆矩陣與 ROC 表的“最佳”行之間的主要區別是什麼?
- 是不是因為前者使用了最高的概率,而後者使用了最好的 SENSITIVITY 和 SPECIFICITY 組合?
- 如果我要呈現這些結果,那麼呈現陽性預測值和陰性預測值的最佳選擇是什麼?
謝謝您的幫助。
真摯地,
TS
回复:名義 Logistic 擬合的幫助:混淆矩陣與 ROC 表輸出?混淆矩陣和 ROC 是不同的。 您了解所描述的混淆矩陣。 在此示例中,您幾乎沒有靈敏度 (1/83),但特異性非常好 (278/279)。
ROC 同時評估敏感性和特異性,因此總體而言它看起來比機會好一點(AUC = 0.654)。
混淆矩陣適用於一個截止值,ROC 曲線使用每個觀察值作為截止值,包括產生最大分離的觀察值。