matriz de confusión de corte alternativaHe utilizado muchas veces el complemento de matriz de confusión de probabilidad de corte alternativa. De repente, está produciendo resultados sin sentido en algunos conjuntos de datos. Verifiqué que todavía funciona como se esperaba en un conjunto de datos antiguo. Se adjunta uno de los conjuntos de datos recientes en los que no parece estar funcionando. La variable objetivo es Trazo y tengo una columna de Validación y una serie de probabilidades del modelo de predicción etiquetadas con la probabilidad de un trazo dado el nombre del método de modelado (por ejemplo, mire la columna etiquetada como árbol impulsado o regresión logística para ver 2 ejemplos que son no funciona correctamente). Los accidentes cerebrovasculares son muy raros (alrededor del 5%) en el conjunto de datos y las probabilidades derivadas de los modelos predictivos son correspondientemente pequeñas. Pero cuando uso el complemento y un rango de probabilidades de corte de 0,1 a 0,9, sigo obteniendo cero predicciones de accidente cerebrovascular, lo que no coincide con la distribución de probabilidades de estos modelos (que, como dije, son bajas, pero no cero). ¿Alguien puede aclarar por qué sucede esto?
Gracias.
Exploración y visualización de datosModelado predictivo y aprendizaje automáticoRe: matriz de confusión alternativa de corteHola @dale_lehman ,
Puedo confirmar que el complemento de matriz de confusión de corte alternativo no funciona en las columnas de predicción que mencionó en su publicación. Sin embargo, volví a ejecutar la plataforma Boosted Tree siguiendo los mismos predictores y respuesta que usó, incluso verifiqué que la ecuación era la misma, pero el complemento de matriz de corte alternativo funcionó correctamente en esta nueva fórmula. Encontré lo mismo con la logística nominal ajustada. Si lo vuelvo a ejecutar (termino con una ecuación diferente), puedo ejecutar el corte alternativo y funciona como se esperaba. Estoy ejecutando JMP Pro 15.2.1. Algo podría estar un poco mal con tus dos ataques. ¿Ha comprobado los ajustes de las curvas ROC para ver si están por encima de la línea diagonal? No había ningún script guardado para esas dos fórmulas modelo en su tabla, por lo que es difícil evaluar qué tan bien funcionan los ajustes. ¿Ha intentado volver a ajustar los modelos de árbol logístico y mejorado para ver si funcionan las ecuaciones más nuevas? Cuando los ejecuto por segunda vez, funciona con el complemento.
En otra nota, noté que usó una semilla aleatoria al generar su columna de validación. Dado que tiene muy pocos casos de trazo == 1, podría considerar hacer una columna de validación que esté estratificada por trazo para que pueda tener esto en cuenta. Además, al realizar el ajuste logístico nominal, podría ser mejor modelar el Nivel objetivo: 1 en lugar de 0, ya que probablemente esté tratando de predecir la probabilidad de un accidente cerebrovascular (accidente cerebrovascular == 1) frente a la probabilidad de que no haya un accidente cerebrovascular ( trazo == 0).
Solo algunos pensamientos. Espero que esto ayude.
¡Buena suerte!,
DS
Re: matriz de confusión alternativa de corteDiedrich
Gracias, marcaría su respuesta como una solución, pero realmente quiero saber si alguien puede explicar por qué sucedió esto.De hecho, si vuelvo a ejecutar esos modelos, el complemento funciona según lo previsto, pero no en el archivo original que envié, aunque las probabilidades producidas por esos modelos deberían haber producido las matrices de confusión correctas.Entonces, no tengo idea de por qué el complemento de repente dejó de funcionar correctamente y luego funcionó una vez más.También estoy ejecutando JMP Pro15.2.1.
Estoy de acuerdo con su otro punto sobre la estratificación del conjunto de validación, ya que está muy desequilibrado.No hice eso esta vez, pero era bastante consciente de la razón por la que tiene sentido hacer eso.
Re: matriz de confusión alternativa de corteNo tengo idea de por qué dejó de funcionar, sería bueno si alguien pudiera resolver esa parte. Pude verificar el mismo comportamiento que describió con la tabla de datos que proporcionó. No estoy seguro de por qué funcionó al volver a ejecutar los modelos. No pude encontrar ninguna discrepancia con las fórmulas ni nada que lo hiciera comportarse de manera divertida.Re: matriz de confusión alternativa de corteMe pregunto si @Wendy_Murphrey podría tener alguna idea sobre el Complemento de matriz de confusión de corte alternativo aquí.
