36401_es-ES

liliconcom

Modelado predictivo con conjunto de datos de costo asimétrico / desequilibrado

Hola,

 

¿Cómo puedo dar instrucciones a las plataformas de modelado predictivo en JMP Pro (partición, bosques aleatorios, etc.) para que asignen un mayor costo a la predicción falsa de la clase minoritaria? Tengo un conjunto de datos altamente desequilibrado con un alto costo de falsos negativos (tasa de reingreso de pacientes agudos) y cuando utilizo los clasificadores, el AUC es bajo y todos los casos positivos se clasifican falsamente.

 

Por favor, ayuda en las herramientas disponibles para abordar este problema.

 

Gracias

Re: modelado predictivo con conjunto de datos de costo asimétrico / desequilibrado

Como se ha señalado, mejorar el AUC e incorporar costos / beneficios asimétricos es dos cosas diferentes.  El AUC tiene que ver con la capacidad del modelo para clasificar correctamente, mientras que la matriz de ganancias dirige los errores de clasificación hacia donde hacen el menor daño.  Si la medición de AUC no es mala pero las clasificaciones están cometiendo errores costosos (como no clasificar ninguno de los valores de 1), debe probar una probabilidad de corte diferente para la clasificación: eso es lo que la matriz de ganancias hará automáticamente, pero También puede cambiar las probabilidades de corte a mano para alterar las clasificaciones erróneas.  Si aún no te gusta lo que puedes obtener, entonces quieres un modelo mejor, uno que produzca un AUC más alto.  Nada sobre los costos de clasificación errónea elevará las AUC, solo un modelo mejor puede aumentar las AUC.  Entonces, si necesita un mejor modelo, pruebe otras técnicas, transforme sus variables, cambie la configuración del modelo, etc. pero no use la matriz de ganancias para tratar de mejorar el modelo en sí.

Re: modelado predictivo con conjunto de datos de costo asimétrico / desequilibrado

Probé todos los modelos, pero debido a este conjunto de datos desequilibrados, todos los casos cero se clasifican correctamente y todos los casos se clasifican incorrectamente. El sesgo de costos lógicamente debería poder optimizar el AUC pero no entender por qué no lo está afectando. Eso es lo que me está desconcertando.

Re: modelado predictivo con conjunto de datos de costo asimétrico / desequilibrado

Parece que ahora solo estás intentando obtener un AUC mejorado. Hasta ahora solo has hablado de modelos basados en árboles. ¿Has probado las técnicas de red neuronal?

Re: modelado predictivo con conjunto de datos de costo asimétrico / desequilibrado

¿Cómo puede ayudarme entonces a aumentar la tasa de sensibilidad de mi modelo? y AUC? ¿Cuáles son las otras formas de asegurar que las AUC tengan en cuenta el costo al clasificar los resultados? Gracias 

Re: modelado predictivo con conjunto de datos de costo asimétrico / desequilibrado

Usar la matriz de ganancias no cambiará el AUC.  Solo cambia el límite de probabilidad elegido, lo elige de acuerdo con los beneficios / costos asimétricos que especifique.  Esencialmente, es elegir un punto en la curva ROC (no estoy seguro, pero creo que es un punto óptimo donde los costos relativos de los errores son iguales a la pendiente de la curva ROC) de acuerdo con la matriz de ganancias.  Cuando guarde las predicciones, debería haber columnas adicionales que muestren la rentabilidad asociada con la clasificación óptima, y esa clasificación debe diferir de la clasificación predeterminada (suponiendo que los costos son asimétricos).

Re: modelado predictivo con conjunto de datos de costo asimétrico / desequilibrado

Gracias. Lo probé, pero el AUC de mi modelo sigue siendo el mismo en diferentes métodos. No obligó al modelo a asignar mayor importancia a la clase minoritaria. 

Re: modelado predictivo con conjunto de datos de costo asimétrico / desequilibrado

La matriz de ganancias puede definirse como una propiedad de columna antes de construir cualquier modelo predictivo y debe hacer lo que usted solicita.  Sin embargo, me gustaría señalar que me ha resultado difícil rellenar la matriz de beneficios: el ejemplo en la guía de ayuda de JMP es claro, pero a menudo no coincide con una situación real.  Si su problema de decisión es tal que puede especificar exactamente cuál es el costo de los falsos positivos y negativos, entonces la matriz de ganancias debería funcionar.  Por ejemplo, el ejemplo de JMP es para un agente que realiza reservas de línea aérea, donde una predicción errónea conlleva un costo adicional conocido para el agente.  Por otro lado, si está prediciendo algo así como la retención de clientes, entonces los costos de una predicción falsa no son tan claros.  Si predice erróneamente que un cliente se perderá, entonces presumiblemente incurrirá en costos adicionales para tratar de mantener al cliente.  Para algunos clientes, esto puede hacer que se pierdan o se retengan, pero ciertamente esto no será 100% efectivo.  Se vuelve complicado averiguar qué poner en la matriz de ganancias en tales casos, y recomendaría no usar esa función.  Mejor mirar a los cortes alternativos y matrices de confusión.

Re: modelado predictivo con conjunto de datos de costo asimétrico / desequilibrado

¿Alguna ayuda en esto por favor? 

Re: modelado predictivo con conjunto de datos de costo asimétrico / desequilibrado

No estoy seguro de entender cómo funciona. Tengo entendido que la matriz de ganancias aparece después de ejecutar el modelo. Quiero poder especificar un mayor costo para la clase minoritaria y asegurarme de que el modelo tenga en cuenta eso al construir la predicción.

 

¿Puedes elaborar el procedimiento para lograrlo?

Gracias

Re: modelado predictivo con conjunto de datos de costo asimétrico / desequilibrado

Echa un vistazo a la matriz de ganancias (y enlaces fuera de esto).