Establecer umbral de probabilidad / Matriz de confusiónEl umbral de probabilidad predeterminado se establece en 0.5. Eso puede dificultar la comparación de modelos cuando uno tiene mayor especificidad y menor sensibilidad, pero ambos tienen precisiones similares y valores predictivos positivos. ¿Cómo cambiamos el umbral de probabilidad para comparar el rendimiento del modelo?
¡Gracias!
Aaron
Re: Establecer el umbral de probabilidad / Matriz de confusión¡Sí! ¡Gracias!Re: Establecer el umbral de probabilidad / Matriz de confusiónAaron
No está claro en qué plataforma está trabajando. Si tiene JMP Pro y está ajustando modelos con regresión generalizada, una de mis características favoritas de JMP13 es la capacidad de cambiar interactivamente el umbral de probabilidad y observar cómo cambian las estimaciones de sensibilidad y especificidad. Pero yo divago. Para explorar varios valores de corte en un modelo, podría guardar la fórmula modelo en mi tabla de datos para poder configurar una columna con la "llamada modelo" (use la fórmula: puntaje> corte para obtener una columna de 0s y 1s) y usar eso para evaluar el desempeño del modelo (pensar en el mundo del modelo de diagnóstico). Si se encuentra en la plataforma logística y tiene curvas ROC para sus modelos, la tabla ROC proporcionará tablas "2x2" para cada posible corte en su conjunto de datos. Finalmente, hay un complemento en el intercambio de archivos que calculará una serie de medidas de rendimiento e intervalos de confianza para los modelos de tipo de diagnóstico.
https://community.jmp.com/t5/JMP-Add-Ins/Performance-Summary-for-Diagnostic-Tests/ta-p/22524
Esperemos que algo aquí sea útil para lo que estás tratando de hacer.
