En una reciente Seminario web técnicamente hablando , Hablé sobre la predicción del riesgo de enfermedad arterial periférica (EAP) donde la respuesta es categórica con dos resultados posibles: Sí (paciente en riesgo de tener EAP) y No (paciente sin riesgo de tener EAP).
Durante esa presentación, señalé que el modelo de predicción contiene dos partes 1) la función de probabilidad creada por un modelo y 2) el punto de corte utilizado para clasificar los datos como más probablemente Sí o No. Mencioné brevemente que la curva ROC es una buena forma de evaluar y comparar la función de probabilidad creada por el modelo.
Esta publicación de blog explicará con más detalle las curvas ROC y cómo interpretarlas. También proporcionaré algunas ideas sobre las curvas ROC al predecir eventos raros (datos no balanceados) y elegir un límite de clasificación.
La curva ROC
La curva ROC para un modelo de predicción del riesgo de enfermedad arterial periférica (EAP) se muestra en la Figura 1.
Figura 1. Curva ROC para el modelo de predicción PAD.
Elementos estándar de la curva ROC:
- El eje x es 1-especificidad, que es la tasa de falsos positivos; varía de 0 a 1. También se puede considerar como el error Tipo I del modelo.
- El eje y es la sensibilidad, que es la proporción de verdaderos positivos; varía de 0 a 1. También se puede considerar como la potencia del modelo o el error 1-Tipo II.
- Ocasionalmente, una línea diagonal pasa por 0,0 y 1,1, que es donde la tasa de verdaderos positivos es igual a la tasa de falsos positivos. Esta línea representa un modelo verdaderamente aleatorio o un modelo que no tiene valor predictivo.
Entonces, ¿qué se traza en la curva ROC?
Para comprender lo que se traza en la curva ROC, recuerde que el modelo de predicción para una respuesta categórica tiene dos partes: 1) la función de probabilidad y 2) un límite para clasificar la probabilidad en las categorías más probables. Para cada observación en el conjunto de datos, la probabilidad predicha se utiliza como límite de clasificación. La sensibilidad y la especificidad 1 resultantes de un modelo con ese límite se grafican para cada observación en el conjunto de datos. A continuación, entraré en más detalles sobre estos cálculos.
Tenga en cuenta que la curva ROC nunca cae por debajo de la línea diagonal que pasa por 0,0 y 1,1.
¿Y cómo se interpreta la curva ROC?
Un modelo perfecto pasa por la esquina superior izquierda de la cuadrícula (0,1). Un valor de x de 0 indica que el modelo no arroja falsos positivos. Un valor de y de 1 indica que el modelo da como resultado todos los verdaderos positivos.
El área bajo la curva ROC (AUC) da una indicación de qué tan cerca está el modelo de la esquina superior izquierda de la curva ROC. Un AUC de 1 es un modelo perfecto y un AUC de 0.5 es un modelo aleatorio o un modelo sin valor predictivo. Dado que la curva ROC nunca cae por debajo de la línea diagonal, el AUC siempre estará entre 0,5 y 1.
Un AUC más alto indica que el modelo está más lejos de la línea diagonal que representa un modelo sin valor predictivo y se acerca a un modelo perfecto que pasa por la esquina superior izquierda de la cuadrícula (0,1).
Una mirada más cercana a la curva ROC para el modelo PAD
Echemos un vistazo más de cerca a la curva ROC para el modelo de predicción del riesgo de PAD y cómo se calculan los valores de xey. La Figura 2 es un diagrama gráfico de un subconjunto de observaciones en el conjunto de datos y trazado en una curva ROC. Algunos de estos puntos están etiquetados con su probabilidad de predicción correspondiente para PAD = Sí.
Figura 2. Curva ROC para el ejemplo de evento raro.
Primero, observe que los puntos de datos están en el orden de las probabilidades predichas, que van desde 0.02 a 0.53. Si hubiera construido un modelo a partir de un conjunto de datos con un número igual para Sí y No, esperaría que el rango estuviera entre 0 y 1 con 0.5 cerca del centro de la curva. Sin embargo, este conjunto de datos es para un conjunto de datos poco común o desequilibrado, lo que significa que hay una frecuencia mucho más baja de Sí en comparación con No. Como resultado, todas las probabilidades pronosticadas caen en el extremo inferior del rango: todas son 0.53 e inferiores.
El punto de datos en la esquina superior derecha del gráfico corresponde a la probabilidad predicha más baja en el subconjunto de datos (0.02). Antes de hablar sobre los cálculos utilizados para trazar este punto, tómese un minuto para pensar en el escenario. Si usamos una de las probabilidades predichas más bajas como punto de corte para clasificar todas las probabilidades predichas, ¿qué sucederá con nuestras clasificaciones? Casi todos los datos se clasificarán como Sí cuando muchos de ellos son realmente un No. Esto corresponde a una alta tasa de falsos positivos (1-Especificidad). Del mismo modo, cualquier dato que sea un Sí se clasificará como un Sí, que es una tasa positiva verdadera alta (Sensibilidad).
Piense también en el punto de datos en la esquina inferior izquierda del gráfico. Este punto corresponde a la probabilidad predicha más alta en los datos (0,53).Si se usa la probabilidad más alta predicha como límite, todos los datos se clasificarán como No, lo que significa que la tasa de falsos positivos (1-Especificidad) es baja, de hecho, es cero.Cualquier dato que sea un Sí se clasificará como un No, lo que da como resultado una tasa de verdaderos positivos bajos (Sensibilidad), y nuevamente, es cero.
Cálculo de 1-especificidad y sensibilidad
Para trazar datos en la curva ROC debemos calcular 1-Especificidad y Sensibilidad. Comencemos con el punto de datos en la esquina superior derecha de la Figura 2 que corresponde a la probabilidad predicha más baja en el subconjunto de datos (0.02). Primero, la probabilidad pronosticada de 0.02 se usa como punto de corte para clasificar todo el conjunto de datos como Sí o No. Esta condición pronosticada se compara con la condición real o verdadera y los datos se pueden separar en cuatro resultados: verdadero positivo, verdadero negativo, falso negativo, falso positivo (Figura 3). La Figura 3 se conoce como Matriz de confusión y los números que aparecen en la Matriz de confusión se utilizan para calcular 1-Especificidad y Sensibilidad.
|
Condición verdadera
|
Positivo real
|
Negativo real
|
Condición prevista
|
Positivo previsto
|
Verdadero positivo (TP)
|
Falso positivo (FP)
|
Negativo previsto
|
Falso negativo (FN)
|
Verdadero negativo (TN)
|
Figura 3. Resultados de los modelos de clasificación binaria (Matriz de confusión).
1-Especificidad
1-La especificidad es la tasa de falsos positivos y se calcula restando la tasa de verdaderos negativos de uno. La tasa de verdaderos negativos es el número de verdaderos negativos (TN) predichos por el modelo dividido por el número total de verdaderos negativos que incluye tanto verdaderos negativos (TN) como falsos positivos (FP).
Sensibilidad
La sensibilidad es la tasa de verdaderos positivos, que es el número de verdaderos positivos (TP) predichos por el modelo dividido por el número total de verdaderos positivos, incluidos los verdaderos positivos (TP) y falsos negativos (FN).
Con un límite de clasificación de 0.02 aplicado a todo el conjunto de datos, obtenemos los resultados informados en la Figura 4 a continuación.
|
Condición verdadera
|
Positivo real
|
Negativo real
|
Condición prevista
|
Positivo previsto
|
TP = 277
|
FP = 3394
|
Negativo previsto
|
FN = 0
|
TN = 312
|
Figura 4. Resultados del modelo de predicción de PAD con un límite de clasificación de 0,02.
A partir de estos resultados, podemos calcular 1-Especificidad y Sensibilidad que corresponde a los valores xey, respectivamente, que se trazan en la curva ROC.
En resumen, la curva ROC es una gráfica de cada punto de datos en el conjunto de datos que se utilizó para crear la función de probabilidad. 1-La especificidad y la sensibilidad se calculan para cada punto de datos usando los resultados en la Matriz de confusión cuando la probabilidad predicha se usa como el límite de clasificación.
Al realizar estos cálculos para la curva ROC, también podemos concluir que un modelo de predicción que usa la función de probabilidad y una clasificación de 0.02 no sería un gran modelo. Primero, dado que este punto cae cerca de la línea diagonal que representa un modelo verdaderamente aleatorio, no somos mucho mejores que simplemente asignar aleatoriamente el riesgo de EAP a los pacientes. También podemos ver en los cálculos que existe una gran discrepancia en nuestra tasa negativa verdadera (especificidad) de 0.08 y la tasa positiva verdadera (sensibilidad) de 1. En otras palabras, mientras que el 100% de los casos de EAP verdaderos están clasificados, la tasa de falsos positivos es del 92%. Querremos elegir un punto de corte de clasificación que equilibre la especificidad y la sensibilidad y esté más lejos de la línea diagonal y más cerca de la esquina superior izquierda del gráfico.
Elegir un límite de clasificación
De forma predeterminada, se utiliza un límite de 0,5 para clasificar los datos según la función de probabilidad, JMP crea una fórmula de predicción utilizando este límite. Un límite de 0,5 puede ser apropiado para datos con el mismo número de positivos y negativos reales. Sin embargo, cuando la tasa positiva real es baja (por ejemplo, eventos raros o datos desbalanceados), un límite de 0.5 probablemente no sea óptimo.
La pregunta entonces es, ¿qué enfoque se puede usar para elegir un límite de clasificación para eventos raros? La curva ROC nos da algunas pistas. La esquina superior izquierda del gráfico es donde se maximizan la tasa negativa verdadera (especificidad) y la tasa positiva verdadera (sensibilidad) de ambos. Al observar la Figura 2, donde se etiquetan las probabilidades de predicción, podemos ver que un límite de alrededor de 0,07 sería óptimo para este modelo de predicción si nuestro objetivo es equilibrar la especificidad y la sensibilidad.Sin embargo, las curvas ROC no suelen estar etiquetadas con sus probabilidades de predicción.
La estadística J de Youden se puede utilizar para encontrar la probabilidad de predicción que corresponde al punto de la curva ROC donde se maximizan la especificidad y la sensibilidad.
La estadística J de Youden varía entre 0 y 1, donde 0 corresponde a una tasa igual de verdaderos positivos y falsos positivos y 1 corresponde a un modelo con todos los verdaderos positivos y sin falsos positivos. También se puede considerar como el punto a lo largo de la curva ROC que está más alejado de la línea diagonal que representa un modelo aleatorio.
Si está utilizando Nominal Logistic en Fit Model Platform, cuando seleccione la curva ROC, también obtendrá la Tabla ROC correspondiente. Una de las columnas de la tabla es la estadística J de Youden y está etiquetada como Sens- (1-Spec). La tabla ROC se puede ordenar de forma descendente por Sens- (1-Spec) para identificar la probabilidad de predicción (Prob) que tiene la máxima Sen- (1-spec) que es donde la tasa negativa verdadera (especificidad) y la tasa positiva verdadera (sensibilidad ) de ambos se maximizan. Puede ver que JMP pone un asterisco junto al valor máximo de Sens- (1-Spec).
En el ejemplo de PAD, sólo había 277 pacientes con PAD de un conjunto de datos con 3.983 pacientes; un límite de clasificación de 0,07 equilibró la tasa de verdadero positivo y verdadero negativo. Una vez que se ha determinado un límite de clasificación, se puede cambiar en la fórmula de predicción guardada en la tabla de datos. Observaré que elegir un límite depende del objetivo del modelo de predicción y los riesgos asociados con los resultados. Un investigador puede elegir un límite diferente si desea, por ejemplo, protegerse de falsos positivos o falsos negativos.
