In un recente Webinar dal punto di vista tecnico , ho discusso della previsione del rischio di arteriopatia periferica (PAD) in cui la risposta è categorica con due possibili risultati: Sì (paziente a rischio di PAD) e No (paziente non a rischio di PAD).
Durante quella presentazione, ho sottolineato che il modello di previsione contiene due parti: 1) la funzione di probabilità creata da un modello e 2) il limite utilizzato per classificare i dati come più probabili Sì o No. Ho brevemente accennato al fatto che la curva ROC è un buon modo per valutare e confrontare la funzione di probabilità creata dal modello.
Questo post del blog spiegherà ulteriormente le curve ROC e come interpretarle. Fornirò anche alcune riflessioni sulle curve ROC quando si prevedono eventi rari (dati sbilanciati) e si sceglie un limite di classificazione.
La curva ROC
La curva ROC per un modello di previsione del rischio di arteriopatia periferica (PAD) è mostrata nella Figura 1.
Figure 1. ROC Curve for PAD prediction model.Figure 1. ROC Curve for PAD prediction model.Figure 1. ROC Curve for PAD prediction model.Figure 1. ROC Curve for PAD prediction model.Figura 1. Curva ROC per il modello di previsione PAD.
Elementi standard della curva ROC:
- L'asse x è 1-Specificità, che è il tasso di falsi positivi; varia da 0 a 1. Può anche essere considerato l'errore di tipo I del modello.
- L'asse y è la sensibilità, che è la proporzione dei veri positivi; varia da 0 a 1. Può anche essere pensato come la potenza del modello o l'errore 1-Tipo II.
- Occasionalmente, una linea diagonale passa attraverso 0,0 e 1,1, dove il tasso di veri positivi è uguale al tasso di falsi positivi. Questa linea rappresenta un modello veramente casuale o un modello che non ha valore predittivo.
Quindi cosa viene tracciato sulla curva ROC?
Per comprendere cosa viene tracciato sulla curva ROC, ricordare che il modello di previsione per una risposta categorica ha due parti: 1) la funzione di probabilità e 2) un limite per classificare la probabilità nelle categorie più probabili. Per ciascuna osservazione nel set di dati, la probabilità prevista viene utilizzata come limite di classificazione. La sensibilità e la specificità 1 risultanti di un modello con quel valore limite vengono tracciate per ciascuna osservazione nel set di dati. Di seguito entrerò più nel dettaglio su questi calcoli.
Si noti che la curva ROC non cade mai al di sotto della linea diagonale che passa per 0,0 e 1,1.
E come si interpreta la curva ROC?
Un modello perfetto passa attraverso l'angolo in alto a sinistra della griglia (0,1). Un valore x pari a 0 indica che il modello non genera falsi positivi. Un valore y pari a 1 indica che i risultati del modello sono tutti veri positivi.
L'area sotto la curva ROC (AUC) fornisce un'indicazione di quanto il modello è vicino all'angolo superiore sinistro della curva ROC. Un'AUC pari a 1 è un modello perfetto e un'AUC pari a 0,5 è un modello casuale o un modello senza valore predittivo. Poiché la curva ROC non scende mai al di sotto della linea diagonale, l’AUC sarà sempre compreso tra 0,5 e 1.
Un AUC più elevato indica che il modello è più lontano dalla linea diagonale che rappresenta un modello senza valore predittivo e si avvicina a un modello perfetto che passa attraverso l'angolo superiore sinistro della griglia (0,1).
Uno sguardo più da vicino alla curva ROC per il modello PAD
Diamo uno sguardo più da vicino alla curva ROC per il modello di previsione del rischio di PAD e al modo in cui vengono calcolati i valori xey. La Figura 2 è un grafico di un sottoinsieme di osservazioni nel set di dati e tracciato su una curva ROC. Alcuni di questi punti sono etichettati con la corrispondente probabilità di previsione per PAD = Sì.
Figure 2. ROC Curve for Rare Event Example.Figure 2. ROC Curve for Rare Event Example.Figure 2. ROC Curve for Rare Event Example.Figure 2. ROC Curve for Rare Event Example.Figura 2. Curva ROC per un esempio di evento raro.
Innanzitutto, si noti che i punti dati sono in ordine di probabilità previste, che vanno da 0,02 a 0,53. Se avessi creato un modello da un set di dati con un numero uguale per Sì e No, mi aspetterei che l'intervallo fosse compreso tra 0 e 1 con 0,5 vicino al centro della curva. Tuttavia, questo set di dati è per un set di dati raro o sbilanciato, il che significa che c'è una frequenza molto più bassa di Sì rispetto a No. Di conseguenza, tutte le probabilità previste ricadono all'estremità inferiore dell'intervallo: sono tutte 0,53 e inferiori.
Il punto dati nell'angolo in alto a destra del grafico corrisponde alla probabilità prevista più bassa nel sottoinsieme di dati (0,02). Prima di parlare dei calcoli utilizzati per tracciare questo punto, prenditi un minuto per pensare allo scenario. Se utilizziamo una delle probabilità previste più basse come limite per classificare tutte le probabilità previste, cosa accadrà alle nostre classificazioni? Quasi tutti i dati saranno classificati come Sì quando molti di essi sono in realtà un No. Ciò corrisponde a un elevato tasso di falsi positivi (1-Specificità). Allo stesso modo, tutti i dati che sono Sì verranno classificati come Sì, che rappresenta un tasso di vero positivo elevato (sensibilità).
Pensa anche al punto dati nell'angolo in basso a sinistra del grafico. Questo punto corrisponde alla probabilità prevista più alta nei dati (0,53).Se come valore limite viene utilizzata la probabilità prevista più alta, tutti i dati verranno classificati come No, il che significa che il tasso di falsi positivi (1-Specificità) è basso, anzi è zero.Tutti i dati che sono Sì verranno classificati come No, il che si traduce in un tasso di veri positivi basso (sensibilità) e, ancora una volta, è pari a zero.
Calcolo della specificità e della sensibilità 1
Per tracciare i dati sulla curva ROC dobbiamo calcolare 1-Specificità e Sensibilità. Iniziamo con il punto dati nell'angolo in alto a destra della Figura 2 che corrisponde alla probabilità prevista più bassa nel sottoinsieme di dati (0,02). Innanzitutto, la probabilità prevista di 0,02 viene utilizzata come limite per classificare l'intero set di dati come Sì o No. Questa condizione prevista viene confrontata con la condizione effettiva o vera e i dati possono essere separati in quattro risultati: vero positivo, vero negativo, falso negativo, falso positivo (Figura 3). La Figura 3 è denominata matrice di confusione e i numeri popolati nella matrice di confusione vengono utilizzati per calcolare 1-Specificità e Sensibilità.
|
Vera condizione
|
Effettivo positivo
|
Effettivo negativo
|
Condizione prevista
|
Previsto positivo
|
Vero positivo (TP)
|
Falso positivo (FP)
|
Previsto negativo
|
Falso negativo (FN)
|
Vero negativo (TN)
|
Figura 3. Risultati di modelli di classificazione binaria (Matrice di Confusione).
1-Specificità
1-La specificità è il tasso di falsi positivi e viene calcolata sottraendo il tasso di veri negativi da uno. Il tasso di veri negativi è il numero di veri negativi (TN) previsti dal modello diviso per il numero totale di negativi effettivi che include sia i veri negativi (TN) che i falsi positivi (FP).
Sensibilità
La sensibilità è il tasso di veri positivi, ovvero il numero di veri positivi (TP) previsti dal modello diviso per il numero totale di positivi effettivi, inclusi sia i veri positivi (TP) che i falsi negativi (FN).
Con un limite di classificazione di 0,02 applicato all'intero set di dati, otteniamo i risultati riportati nella Figura 4 di seguito.
|
Vera condizione
|
Effettivo positivo
|
Effettivo negativo
|
Condizione prevista
|
Previsto positivo
|
PA = 277
|
PF = 3394
|
Previsto negativo
|
FN = 0
|
TN = 312
|
Figura 4. Risultati del modello di previsione PAD con limite di classificazione di 0,02.
Da questi risultati, possiamo calcolare 1-Specificità e Sensibilità che corrispondono rispettivamente ai valori xey tracciati sulla curva ROC.
In sintesi, la curva ROC è un grafico di ciascun punto dati nel set di dati utilizzato per creare la funzione di probabilità. 1-Specificità e sensibilità vengono calcolate per ciascun punto dati utilizzando i risultati nella matrice di confusione quando la probabilità prevista viene utilizzata come limite di classificazione.
Eseguendo questi calcoli per la curva ROC, possiamo anche concludere che un modello di previsione che utilizza la funzione di probabilità e una classificazione di 0,02 non sarebbe un ottimo modello. In primo luogo, poiché questo punto cade vicino alla linea diagonale che rappresenta un modello veramente casuale, non è molto meglio che assegnare semplicemente in modo casuale il rischio di PAD ai pazienti. Possiamo anche vedere dai calcoli che esiste una grande discrepanza tra il nostro tasso di vero negativo (specificità) di 0,08 e il tasso di vero positivo (sensibilità) di 1. In altre parole, mentre il 100% dei veri casi di PAD sono classificati, il tasso di falsi positivi è del 92%. Dovremo scegliere un limite di classificazione che bilanci specificità e sensibilità e sia più lontano dalla linea diagonale e più vicino all'angolo in alto a sinistra del grafico.
Scelta di un limite di classificazione
Per impostazione predefinita, viene utilizzato un limite pari a 0,5 per classificare i dati in base alla funzione di probabilità, JMP crea una formula di previsione utilizzando questo limite. Un valore limite di 0,5 può essere appropriato per dati con un numero uguale di positivi e negativi effettivi. Tuttavia, quando il tasso di positività effettivo è basso (ad esempio, eventi rari o dati sbilanciati), un limite di 0,5 probabilmente non è ottimale.
La domanda quindi diventa: quale approccio può essere utilizzato per scegliere un limite di classificazione per eventi rari? La curva ROC ci fornisce alcuni indizi. L'angolo in alto a sinistra del grafico è dove il tasso di vero negativo (specificità) e il tasso di vero positivo (sensibilità) di entrambi sono massimizzati. Osservando la Figura 2, dove sono etichettate le probabilità di previsione, possiamo vedere che un limite intorno a 0,07 sarebbe ottimale per questo modello di previsione se il nostro obiettivo è bilanciare specificità e sensibilità.Tuttavia, le curve ROC in genere non sono etichettate con le loro probabilità di previsione.
La statistica J di Youden può essere utilizzata per trovare la probabilità di previsione che corrisponde al punto sulla curva ROC in cui la specificità e la sensibilità sono massimizzate.
La statistica J di Youden varia tra 0 e 1, dove 0 corrisponde a un uguale tasso di veri positivi e falsi positivi e 1 corrisponde a un modello con tutti i veri positivi e nessun falso positivo. Può anche essere pensato come il punto lungo la curva ROC più lontano dalla linea diagonale che rappresenta un modello casuale.
Se stai utilizzando la logistica nominale nella piattaforma Fit Model, quando selezioni la curva ROC otterrai anche una tabella ROC corrispondente. Una delle colonne nella tabella è la statistica J di Youden ed è etichettata come Sens-(1-Spec). La tabella ROC può essere ordinata discendente in base a Sens-(1-Spec) per identificare la probabilità di previsione (Prob) che ha il massimo Sen-(1-spec) che è dove il tasso di veri negativi (specificità) e il tasso di veri positivi (sensibilità ) di entrambi sono massimizzati. Puoi vedere che JMP inserisce un asterisco accanto al valore massimo per Sens-(1-Spec).
Nell’esempio della PAD, c’erano solo 277 pazienti con PAD da un set di dati con 3.983 pazienti; un limite di classificazione di 0,07 bilanciava il tasso di veri positivi e veri negativi. Una volta determinato un limite di classificazione, è possibile modificarlo nella formula di previsione salvata nella tabella dati. Noterò che la scelta di un limite dipende dall'obiettivo del modello di previsione e dai rischi associati ai risultati. Un ricercatore può scegliere un limite diverso se desidera, ad esempio, proteggersi da falsi positivi o falsi negativi.
