En una reciente Seminario web técnicamente hablando , hablé de la predicción del riesgo de enfermedad arterial periférica (EAP) donde la respuesta es categórica con dos resultados posibles: Sí (paciente con riesgo de tener EAP) y No (paciente sin riesgo de tener EAP).
Durante esa presentación, señalé que el modelo de predicción contiene dos partes: 1) la función de probabilidad creada por un modelo y 2) el límite utilizado para clasificar los datos como más probables Sí o No. Mencioné brevemente que la curva ROC es una buena manera de evaluar y comparar la función de probabilidad creada por el modelo.
Esta publicación de blog explicará con más detalle las curvas ROC y cómo interpretarlas. También proporcionaré algunas ideas sobre las curvas ROC al predecir eventos raros (datos desequilibrados) y elegir un límite de clasificación.
La curva ROC
En la Figura 1 se muestra la curva ROC para un modelo de predicción del riesgo de enfermedad arterial periférica (EAP).
Figure 1. ROC Curve for PAD prediction model.Figure 1. ROC Curve for PAD prediction model.Figure 1. ROC Curve for PAD prediction model.Figure 1. ROC Curve for PAD prediction model.Figura 1. Curva ROC para el modelo de predicción de PAD.
Elementos estándar de la curva ROC:
- El eje x es 1-Especificidad, que es la tasa de falsos positivos; va de 0 a 1. También se puede considerar como el error Tipo I del modelo.
- El eje y es la Sensibilidad, que es la proporción de verdaderos positivos; va de 0 a 1. También se puede considerar como el poder del modelo o error 1-Tipo II.
- Ocasionalmente, una línea diagonal pasa por 0,0 y 1,1, que es donde la tasa de verdaderos positivos es igual a la tasa de falsos positivos. Esta línea representa un modelo verdaderamente aleatorio o un modelo que no tiene valor predictivo.
Entonces, ¿qué se representa en la curva ROC?
Para comprender lo que se representa en la curva ROC, recuerde que el modelo de predicción para una respuesta categórica tiene dos partes: 1) la función de probabilidad y 2) un límite para clasificar la probabilidad en las categorías más probables. Para cada observación en el conjunto de datos, la probabilidad prevista se utiliza como límite de clasificación. La Sensibilidad y 1-Especificidad resultantes de un modelo con ese límite se trazan para cada observación en el conjunto de datos. Entraré en más detalles sobre estos cálculos a continuación.
Tenga en cuenta que la curva ROC nunca cae por debajo de la línea diagonal que pasa por 0,0 y 1,1.
¿Y cómo se interpreta la curva ROC?
Un modelo perfecto pasa por la esquina superior izquierda de la cuadrícula (0,1). Un valor de x de 0 indica que el modelo no genera falsos positivos. Un valor de y de 1 indica que los resultados del modelo son todos verdaderos positivos.
El área bajo la curva ROC (AUC) da una indicación de qué tan cerca está el modelo de la esquina superior izquierda de la curva ROC. Un AUC de 1 es un modelo perfecto y un AUC de 0,5 es un modelo aleatorio o un modelo sin valor predictivo. Dado que la curva ROC nunca cae por debajo de la línea diagonal, el AUC siempre estará entre 0,5 y 1.
Un AUC más alto indica que el modelo está más lejos de la línea diagonal que representa un modelo sin valor predictivo y se acerca a un modelo perfecto que pasa por la esquina superior izquierda de la cuadrícula (0,1).
Una mirada más cercana a la curva ROC del modelo PAD
Echemos un vistazo más de cerca a la curva ROC del modelo de predicción del riesgo de PAD y cómo se calculan los valores xey. La Figura 2 es un gráfico de un subconjunto de observaciones en el conjunto de datos y trazado en una curva ROC. Algunos de estos puntos están etiquetados con su correspondiente probabilidad de predicción para PAD = Sí.
Figure 2. ROC Curve for Rare Event Example.Figure 2. ROC Curve for Rare Event Example.Figure 2. ROC Curve for Rare Event Example.Figure 2. ROC Curve for Rare Event Example.Figura 2. Curva ROC para un ejemplo de evento poco común.
Primero, observe que los puntos de datos están en orden de probabilidades predichas, que van de 0,02 a 0,53. Si hubiera construido un modelo a partir de un conjunto de datos con un número igual para Sí y No, esperaría que el rango estuviera entre 0 y 1 con 0,5 cerca del centro de la curva. Sin embargo, este conjunto de datos es para un conjunto de datos poco común o desequilibrado, lo que significa que hay una frecuencia mucho menor de Sí en comparación con No. Como resultado, todas las probabilidades previstas caen en el extremo inferior del rango: todas son 0,53 o menos.
El punto de datos en la esquina superior derecha del gráfico corresponde a la probabilidad prevista más baja en el subconjunto de datos (0,02). Antes de hablar sobre los cálculos utilizados para trazar este punto, tómate un minuto para pensar en el escenario. Si utilizamos una de las probabilidades predichas más bajas como límite para clasificar todas las probabilidades predichas, ¿qué pasará con nuestras clasificaciones? Casi todos los datos se clasificarán como Sí cuando muchos de ellos en realidad son No. Esto corresponde a una alta tasa de falsos positivos (1-Especificidad). Del mismo modo, cualquier dato que sea Sí se clasificará como Sí, que es una alta tasa de verdaderos positivos (Sensibilidad).
Piense también en el punto de datos en la esquina inferior izquierda del gráfico. Este punto corresponde a la probabilidad predicha más alta en los datos (0,53).Si se utiliza la probabilidad prevista más alta como límite, todos los datos se clasificarán como No, lo que significa que la tasa de falsos positivos (1-Especificidad) es baja; de hecho, es cero.Cualquier dato que sea Sí se clasificará como No, lo que da como resultado una tasa baja de verdaderos positivos (Sensibilidad) y, nuevamente, es cero.
Calculando 1-Especificidad y Sensibilidad
Para trazar datos en la curva ROC debemos calcular 1-Especificidad y Sensibilidad. Comencemos con el punto de datos en la esquina superior derecha de la Figura 2 que corresponde a la probabilidad prevista más baja en el subconjunto de datos (0,02). Primero, la probabilidad prevista de 0,02 se utiliza como límite para clasificar todo el conjunto de datos como Sí o No. Esta condición prevista se compara con la condición real o verdadera y los datos se pueden separar en cuatro resultados: verdadero positivo, verdadero negativo y falso negativo, falso positivo (Figura 3). La Figura 3 se conoce como Matriz de confusión y los números que aparecen en la Matriz de confusión se utilizan para calcular 1-Especificidad y Sensibilidad.
|
Condición verdadera
|
Positivo real
|
Negativo real
|
Condición prevista
|
Positivo previsto
|
Verdadero Positivo (TP)
|
Falso positivo (FP)
|
Negativo previsto
|
Falso Negativo (FN)
|
Verdadero Negativo (TN)
|
Figura 3. Resultados de los modelos de clasificación binaria (Matriz de confusión).
1-Especificidad
1-La especificidad es la tasa de falsos positivos y se calcula restando la tasa de verdaderos negativos de uno. La tasa de verdaderos negativos es el número de verdaderos negativos (TN) predichos por el modelo dividido por el número total de negativos reales, que incluye tanto los verdaderos negativos (TN) como los falsos positivos (FP).
Sensibilidad
La sensibilidad es la tasa de verdaderos positivos, que es el número de verdaderos positivos (TP) predichos por el modelo dividido por el número total de positivos reales, incluidos tanto los verdaderos positivos (TP) como los falsos negativos (FN).
Con un límite de clasificación de 0,02 aplicado a todo el conjunto de datos, obtenemos los resultados que se muestran en la Figura 4 a continuación.
|
Condición verdadera
|
Positivo real
|
Negativo real
|
Condición prevista
|
Positivo previsto
|
TP = 277
|
PF = 3394
|
Negativo previsto
|
FN = 0
|
TN = 312
|
Figura 4. Resultados del modelo de predicción de PAD con un límite de clasificación de 0,02.
A partir de estos resultados, podemos calcular 1-Especificidad y Sensibilidad que corresponden a los valores xey, respectivamente, que se trazan en la curva ROC.
En resumen, la curva ROC es una gráfica de cada punto de datos del conjunto de datos que se utilizó para crear la función de probabilidad. 1-La especificidad y la sensibilidad se calculan para cada punto de datos utilizando los resultados de la Matriz de confusión cuando la probabilidad prevista se utiliza como límite de clasificación.
Al realizar estos cálculos para la curva ROC, también podemos concluir que un modelo de predicción que utilice la función de probabilidad y una clasificación de 0,02 no sería un gran modelo. Primero, dado que este punto cae cerca de la línea diagonal que representa un modelo verdaderamente aleatorio, no somos mucho mejores que simplemente asignar aleatoriamente el riesgo de EAP a los pacientes. También podemos ver en los cálculos que existe una gran discrepancia entre nuestra tasa de verdaderos negativos (especificidad) de 0,08 y nuestra tasa de verdaderos positivos (sensibilidad) de 1. En otras palabras, mientras se clasifica el 100% de los casos verdaderos de EAP, la tasa de falsos positivos es del 92%. Querremos elegir un límite de clasificación que equilibre la especificidad y la sensibilidad y que esté más alejado de la línea diagonal y más cerca de la esquina superior izquierda del gráfico.
Elegir un límite de clasificación
De forma predeterminada, se utiliza un límite de 0,5 para clasificar los datos según la función de probabilidad, JMP crea una fórmula de predicción utilizando este límite. Un límite de 0,5 puede ser apropiado para datos con igual número de positivos y negativos reales. Sin embargo, cuando la tasa positiva real es baja (por ejemplo, eventos raros o datos desequilibrados), es probable que un límite de 0,5 no sea óptimo.
La pregunta entonces es: ¿qué enfoque se puede utilizar para elegir un límite de clasificación para eventos raros? La curva ROC nos da algunas pistas. La esquina superior izquierda del gráfico es donde se maximizan la tasa de verdaderos negativos (especificidad) y la tasa de verdaderos positivos (sensibilidad) de ambos. Si observamos la Figura 2, donde están etiquetadas las probabilidades de predicción, podemos ver que un límite de alrededor de 0,07 sería óptimo para este modelo de predicción si nuestro objetivo es equilibrar la especificidad y la sensibilidad.Sin embargo, las curvas ROC normalmente no están etiquetadas con sus probabilidades de predicción.
La estadística J de Youden se puede utilizar para encontrar la probabilidad de predicción que corresponde al punto de la curva ROC donde se maximizan la especificidad y la sensibilidad.
La estadística J de Youden oscila entre 0 y 1, donde 0 corresponde a una tasa igual de verdaderos positivos y falsos positivos y 1 corresponde a un modelo con todos los verdaderos positivos y ningún falso positivo. También se puede considerar como el punto a lo largo de la curva ROC que está más alejado de la línea diagonal que representa un modelo aleatorio.
Si está utilizando Nominal Logistic en Fit Model Platform, cuando seleccione la curva ROC también obtendrá la tabla ROC correspondiente. Una de las columnas de la tabla es la estadística J de Youden y está etiquetada como Sens-(1-Spec). La tabla ROC se puede ordenar de forma descendente por Sens-(1-Spec) para identificar la probabilidad de predicción (Prob) que tiene el Sen-(1-spec) máximo, que es donde se encuentran la tasa de verdaderos negativos (especificidad) y la tasa de verdaderos positivos (sensibilidad). ) de ambos están maximizados. Puede ver que JMP coloca un asterisco al lado del valor máximo para Sens-(1-Spec).
En el ejemplo de la EAP, sólo había 277 pacientes con EAP de un conjunto de datos con 3983 pacientes; un límite de clasificación de 0,07 equilibró la tasa de verdaderos positivos y verdaderos negativos. Una vez que se ha determinado un límite de clasificación, se puede cambiar en la fórmula de predicción guardada en la tabla de datos. Señalaré que la elección de un límite depende del objetivo del modelo de predicción y de los riesgos asociados con los resultados. Un investigador puede elegir un límite diferente si desea, por ejemplo, protegerse contra falsos positivos o falsos negativos.
