Ciao Comunità JMP,
Ho studiato l'adattamento logistico nominale per determinare il valore di un biomarcatore di base per prevedere l'esito di un trattamento clinico.
Pensavo di aver compreso il concetto di Matrice di confusione: restituisce i numeri di Vero Positivo, Vero Negativo, Falso Positivo e Falso Negativo per un dato modello per il set di dati di Training e, se definito, il set di Validazione. Tuttavia, quando confronto la matrice di confusione con il miglior risultato della tabella ROC (valore massimo di SENSIBILITÀ - (1 - SPECIFICITÀ)), faccio fatica a conciliare i due.
Ad esempio ho un modello con un ROC AUC = 0,654 (associazione piuttosto debole) dove la matrice di confusione restituisce:
| | | Previsto | Previsto |
| | | SÌ | NO |
| EFFETTIVO | SÌ | 1 | 82 |
| EFFETTIVO | NO | 1 | 278 |
--> che è davvero pessimo (in realtà peggiore del previsto per il valore ROC AUC).
Per lo stesso modello, la migliore combinazione di SENSIBILITÀ e SPECIFICITÀ del Tavolo ROC è:
| Prob | 1-SPEC | SENS | SENS - (1-SPEC) | Vero Pos | Vero Neg | Pos. falsa | Falso Neg |
| 0,2797 | 0,2437 | 0,5060 | 0,2623 | 42 | 211 | 68 | 41 |
--> che è piuttosto negativo ma più in linea con il risultato atteso di un modello con ROC AUC = 0,654
Quindi, le mie domande sono:
- Qual è la differenza principale tra la matrice di confusione e la riga "migliore" della tabella ROC?
- È perché il primo usa la Probabilità più alta e il secondo usa la migliore combinazione di SENSIBILITÀ e SPECIFICITÀ?
- Se dovessi presentare questi risultati, quale sarebbe l'opzione migliore per presentare il valore predittivo positivo e il valore predittivo negativo?
Grazie per l'aiuto.
Cordiali saluti,
TS
La matrice di confusione e il ROC sono diversi. Comprendi la matrice di confusione come descritto. In questo esempio, non hai praticamente sensibilità (1/83) ma specificità abbastanza buona (278/279).
Il ROC valuta simultaneamente sia la sensibilità che la specificità, quindi nel complesso sembra un po' meglio del caso (AUC = 0,654).
La matrice di confusione è per un limite e la curva ROC utilizza ogni osservazione come limite, inclusa l'osservazione che produce la separazione più grande.
