In un recente Webinar tecnicamente parlando , Ho discusso la previsione del rischio di malattia arteriosa periferica (PAD) in cui la risposta è categorica con due possibili risultati: Sì (paziente a rischio di PAD) e No (paziente non a rischio di PAD).
Durante quella presentazione, ho sottolineato che il modello di previsione contiene due parti 1) la funzione di probabilità creata da un modello e 2) il valore limite utilizzato per classificare i dati come molto probabilmente Sì o No. Ho accennato brevemente al fatto che la curva ROC è un buon modo per valutare e confrontare la funzione di probabilità creata dal modello.
Questo post del blog spiegherà ulteriormente le curve ROC e come interpretarle. Fornirò anche alcune considerazioni sulle curve ROC durante la previsione di eventi rari (dati sbilanciati) e la scelta di un limite di classificazione.
La curva ROC
La curva ROC per un modello di previsione per il rischio di malattia arteriosa periferica (PAD) è mostrata nella Figura 1.
Figura 1. Curva ROC per modello di previsione PAD.
Elementi standard della curva ROC:
- L'asse x è 1-Specficity, che è il tasso di falsi positivi; va da 0 a 1. Può anche essere considerato come l'errore di tipo I del modello.
- L'asse y è la sensibilità, che è la proporzione dei veri positivi; va da 0 a 1. Può anche essere pensato come la potenza del modello o errore di 1 tipo II.
- Occasionalmente, una linea diagonale passa per 0,0 e 1,1, dove il tasso di veri positivi è uguale al tasso di falsi positivi. Questa linea rappresenta un modello veramente casuale o un modello che non ha valore predittivo.
Quindi cosa viene tracciato sulla curva ROC?
Per capire cosa viene tracciato sulla curva ROC, ricorda che il modello di previsione per una risposta categoriale ha due parti 1) la funzione di probabilità e 2) un limite per classificare la probabilità in categorie più probabili. Per ogni osservazione nel set di dati, la probabilità prevista viene utilizzata come limite di classificazione. La sensibilità e la specificità 1 risultanti di un modello con quel valore limite vengono tracciate per ciascuna osservazione nel set di dati. Entrerò più in dettaglio su questi calcoli di seguito.
Notare che la curva ROC non scende mai al di sotto della linea diagonale che passa per 0,0 e 1,1.
E come si interpreta la curva ROC?
Un modello perfetto passa attraverso l'angolo superiore sinistro della griglia (0,1). Un valore x pari a 0 indica che il modello non genera falsi positivi. Un valore y di 1 indica che il modello risulta in tutti i veri positivi.
L'area sotto la curva ROC (AUC) fornisce un'indicazione di quanto il modello è vicino all'angolo superiore sinistro della curva ROC. Un'AUC di 1 è un modello perfetto e un'AUC di 0,5 è un modello casuale o un modello senza valore predittivo. Poiché la curva ROC non scende mai al di sotto della linea diagonale, l'AUC sarà sempre compresa tra 0,5 e 1.
Una AUC più alta indica che il modello è più lontano dalla linea diagonale che rappresenta un modello senza valore predittivo e si avvicina a un modello perfetto che passa attraverso l'angolo superiore sinistro della griglia (0,1).
Uno sguardo più da vicino alla curva ROC per il modello PAD
Diamo uno sguardo più da vicino alla curva ROC per il modello di previsione per il rischio di PAD e come vengono calcolati i valori xey. La Figura 2 è un diagramma grafico di un sottoinsieme di osservazioni nel set di dati e tracciato su una curva ROC. Alcuni di questi punti sono etichettati con la probabilità di previsione corrispondente per PAD = Sì.
Figura 2. Curva ROC per esempio di eventi rari.
Innanzitutto, si noti che i punti dati sono in ordine di probabilità previste, comprese tra 0,02 e 0,53. Se avessi costruito un modello da un set di dati con un numero uguale per Sì e No, mi sarei aspettato che l'intervallo fosse compreso tra 0 e 1 con 0,5 vicino al centro della curva. Tuttavia, questo set di dati è per un set di dati raro o sbilanciato, il che significa che c'è una frequenza molto più bassa di Sì rispetto a No. Di conseguenza, tutte le probabilità previste cadono all'estremità inferiore dell'intervallo: sono tutte 0,53 e inferiori.
Il punto dati nell'angolo in alto a destra del grafico corrisponde alla probabilità prevista più bassa nel sottoinsieme di dati (0,02). Prima di parlare dei calcoli utilizzati per tracciare questo punto, prenditi un minuto per pensare allo scenario. Se usiamo una delle probabilità predette più basse come limite per classificare tutte le probabilità previste, cosa accadrà con le nostre classificazioni? Quasi tutti i dati verranno classificati come Sì quando molti di essi sono realmente un No. Ciò corrisponde a un alto tasso di falsi positivi (1-Specificità). Allo stesso modo, tutti i dati che sono un Sì saranno classificati come un Sì che è un alto tasso di veri positivi (Sensibilità).
Pensa anche al punto dati nell'angolo in basso a sinistra del grafico. Questo punto corrisponde alla più alta probabilità prevista nei dati (0,53).Se la probabilità prevista più alta viene utilizzata come valore limite, tutti i dati verranno classificati come No, il che significa che il tasso di falsi positivi (1-Specificità) è basso, infatti è zero.Tutti i dati che sono un Sì saranno classificati come un No che si traduce in un basso tasso di veri positivi (Sensibilità) e, di nuovo, è zero.
Calcolo 1-specificità e sensibilità
Per tracciare i dati sulla curva ROC dobbiamo calcolare 1-Specificità e Sensibilità. Cominciamo con il punto dati nell'angolo in alto a destra della Figura 2 che corrisponde alla probabilità prevista più bassa nel sottoinsieme di dati (0,02). In primo luogo, la probabilità prevista di 0,02 viene utilizzata come limite per classificare l'intero set di dati come Sì o No. Questa condizione prevista viene confrontata con la condizione effettiva o vera e i dati possono essere separati in quattro risultati: vero positivo, vero negativo, falso negativo, falso positivo (Figura 3). La Figura 3 è indicata come Matrice di confusione ei numeri popolati nella Matrice di confusione vengono utilizzati per calcolare 1-Specificità e Sensibilità.
|
Condizione vera
|
Positivo effettivo
|
Negativo effettivo
|
Condizione prevista
|
Positivo previsto
|
Vero positivo (TP)
|
Falso positivo (FP)
|
Prevedibile negativo
|
Falso negativo (FN)
|
Vero negativo (TN)
|
Figura 3. Risultati dei modelli di classificazione binaria (Confusion Matrix).
1-Specificità
1-Specifity è il tasso di falsi positivi e viene calcolato sottraendo il tasso di veri negativi da uno. Il tasso di veri negativi è il numero di veri negativi (TN) previsto dal modello diviso per il numero totale di veri negativi che include sia veri negativi (TN) che falsi positivi (FP).
Sensibilità
La sensibilità è il tasso di veri positivi che è il numero di veri positivi (TP) previsto dal modello diviso per il numero totale di veri positivi, inclusi sia veri positivi (TP) che falsi negativi (FN).
Con un cutoff di classificazione di 0,02 applicato all'intero set di dati, si ottengono i risultati riportati nella Figura 4 di seguito.
|
Condizione vera
|
Positivo effettivo
|
Negativo effettivo
|
Condizione prevista
|
Positivo previsto
|
TP = 277
|
FP = 3394
|
Prevedibile negativo
|
FN = 0
|
TN = 312
|
Figura 4. Risultati del modello di previsione PAD con cutoff di classificazione di 0,02.
Da questi risultati, possiamo calcolare 1-Specificità e Sensibilità che corrispondono ai valori xey, rispettivamente, che sono tracciati sulla curva ROC.
In sintesi, la curva ROC è un grafico di ogni punto di dati nel set di dati che è stato utilizzato per creare la funzione di probabilità. 1-Specificità e Sensibilità vengono calcolate per ogni punto dati utilizzando i risultati nella Matrice di confusione quando la probabilità prevista viene utilizzata come limite di classificazione.
Esaminando questi calcoli per la curva ROC, possiamo anche concludere che un modello di previsione che utilizza la funzione di probabilità e una classificazione di 0,02 non sarebbe un ottimo modello. In primo luogo, poiché questo punto cade vicino alla linea diagonale che rappresenta un modello veramente casuale, non siamo molto meglio che assegnare semplicemente in modo casuale il rischio di AOP ai pazienti. Possiamo anche vedere dai calcoli che c'è una grande discrepanza nel nostro tasso (specificità) vero negativo di 0,08 e nel tasso (sensibilità) vero positivo (sensibilità) di 1. In altre parole, mentre il 100% dei veri casi di PAD è classificato, il tasso di falsi positivi è del 92%. Vorremo scegliere un taglio di classificazione che bilanci specificità e sensibilità ed è più lontano dalla linea diagonale e più vicino all'angolo in alto a sinistra del grafico.
Scegliere un limite di classificazione
Per impostazione predefinita, viene utilizzato un valore limite di 0,5 per classificare i dati in base alla funzione di probabilità, JMP crea una formula di previsione utilizzando questo limite. Un valore limite di 0,5 può essere appropriato per dati con un numero uguale di positivi e negativi effettivi. Tuttavia, quando il tasso di positività effettiva è basso (p. Es., Eventi rari o dati sbilanciati) un cutoff di 0,5 probabilmente non è ottimale.
La domanda quindi diventa: quale approccio può essere utilizzato per scegliere un limite di classificazione per eventi rari? La curva ROC ci fornisce alcuni indizi. L'angolo in alto a sinistra del grafico è il punto in cui vengono massimizzati il tasso di vero negativo (specificità) e il tasso di vero positivo (sensibilità) di entrambi. Guardando la Figura 2, dove sono etichettate le probabilità di previsione, possiamo vedere che un cutoff intorno a 0,07 sarebbe ottimale per questo modello di previsione se il nostro obiettivo è bilanciare specificità e sensibilità.Tuttavia, le curve ROC in genere non sono etichettate con le loro probabilità di previsione.
La statistica J di Youden può essere utilizzata per trovare la probabilità di previsione che corrisponde al punto sulla curva ROC in cui la specificità e la sensibilità sono massimizzate.
La statistica J di Youden varia tra 0 e 1, dove 0 corrisponde a un tasso uguale di veri positivi e falsi positivi e 1 corrisponde a un modello con tutti i veri positivi e nessun falso positivo. Può anche essere pensato come il punto lungo la curva ROC più lontano dalla linea diagonale che rappresenta un modello casuale.
Se si utilizza la logistica nominale nella piattaforma Fit Model, quando si seleziona la curva ROC si otterrà anche una tabella ROC corrispondente. Una delle colonne nella tabella è la statistica J di Youden ed è etichettata come Sens- (1-Spec). La tabella ROC può essere ordinata in modo decrescente per Sens- (1-Spec) per identificare la probabilità di previsione (Prob) che ha il massimo Sen- (1-spec) che è dove il tasso vero negativo (specificità) e il tasso vero positivo (sensibilità ) di entrambi sono massimizzati. Puoi vedere che JMP inserisce un asterisco accanto al valore massimo per Sens- (1-Spec).
Nell'esempio PAD, c'erano solo 277 pazienti con PAD da un set di dati con 3.983 pazienti; un limite di classificazione di 0,07 ha bilanciato il tasso di vero positivo e vero negativo. Una volta determinato il limite di classificazione, è possibile modificarlo nella formula di previsione salvata nella tabella dati. Noterò che la scelta di un limite dipende dall'obiettivo del modello di previsione e dai rischi associati ai risultati. Un ricercatore può scegliere un valore limite diverso se desidera, ad esempio, evitare falsi positivi o falsi negativi.
