帮助名义 Logistic 拟合:混淆矩阵与 ROC 表输出?您好 JMP 社区,
我一直在研究标称 Logistic 拟合以确定基线生物标志物的值以预测临床治疗的结果。
我以为我理解了混淆矩阵的概念:它返回训练数据集和验证集(如果已定义)的给定模型的真阳性、真阴性、假阳性和假阴性的数量。 然而,当我将混淆矩阵与 ROC 表中的最佳结果(最大灵敏度 - (1 - 特异性)值)进行比较时,我很难调和两者。
例如,我有一个 ROC AUC = 0.654(相当弱的关联)的模型,其中混淆矩阵返回:
| | | 预料到的 | 预料到的 |
| | | 是的 | 不 |
| 实际的 | 是的 | 1 | 82 |
| 实际的 | 不 | 1 | 278 |
--> 这真的很糟糕(实际上比 ROC AUC 值的预期最差)。
对于同一型号,ROC Table 的 SENSITIVITY 和 SPECIFICITY 最佳组合为:
| 概率 | 1-规格 | SENS | SENS - (1-SPEC) | 真实位置 | 真否定 | 错误位置 | 假否定 |
| 0.2797 | 0.2437 | 0.5060 | 0.2623 | 42 | 211 | 68 | 41 |
--> 这很糟糕,但更符合 ROC AUC = 0.654 的模型的预期结果
所以,我的问题是:
- 混淆矩阵与 ROC 表的“最佳”行之间的主要区别是什么?
- 是不是因为前者使用了最高的概率,而后者使用了最好的 SENSITIVITY 和 SPECIFICITY 组合?
- 如果我要呈现这些结果,那么呈现阳性预测值和阴性预测值的最佳选择是什么?
谢谢您的帮助。
真挚地,
TS
回复:名义 Logistic 拟合的帮助:混淆矩阵与 ROC 表输出?混淆矩阵和 ROC 是不同的。 您了解所描述的混淆矩阵。 在此示例中,您几乎没有灵敏度 (1/83),但特异性非常好 (278/279)。
ROC 同时评估敏感性和特异性,因此总体而言它看起来比机会好一点(AUC = 0.654)。
混淆矩阵适用于一个截止值,ROC 曲线使用每个观察值作为截止值,包括产生最大分离的观察值。