Plataforma de selección de modelos: opción "Recordar configuración" en el Perfil de umbral de decisiónRealmente me gusta la nueva opción de plataforma Model Screening en JMP en Analyze> Predictive Modeling> Model Screening, como se menciona en: https://community.jmp.com/t5/JMP-Blog/Model-Screening-in-JMP-Pro-16/bc-p/384039#M4078 .
Una característica que creo que sería especialmente útil para mí, en el contexto de este ejemplo o de otro modo, sería una opción similar al Prediction Profiler cuando estoy especificando modelos de ajuste en ciertas plataformas en JMP (como Analizar> Ajustar modelo) - para " Recordar configuración "para poder" alternar "eficazmente entre diferentes escenarios de compensación para las tasas de falsos positivos y falsos negativos.
La opción de "Perfilar" la configuración del nivel en la probabilidad del umbral de decisión para ajustar el modelo para que se centre en minimizar los falsos negativos a expensas de aumentar los falsos positivos es el escenario que me interesa particularmente.Desde una perspectiva de riesgo de calidad (protegiendo al usuario final a costa de un mayor desecho de mfg), se pueden tolerar falsas alarmas más altas.
Aquí hay una imagen que ilustra de lo que estoy hablando (solo una salida simple de "Recordar configuración" de la Plataforma de modelo de ajuste en el Prediction Profiler después de seleccionar "Recordar configuración" en varias combinaciones de configuraciones de entrada de X en Y (mismo Diabetes.jmp ejemplo de conjunto de datos de muestra):
¡Gracias!
OtroEstadísticas y analíticasRe: Model Screening Platform: Opción "Recordar configuración" en Decision Threshold ProfilerSolicitaría una aclaración de este deseo: ¿desea que se aplique el mismo umbral de probabilidad a todos los modelos o está pidiendo algún umbral "óptimo" para que cada modelo sea recordado y comparado?Si es lo primero, creo que es una mala idea.La distribución de probabilidades varía considerablemente entre los modelos, por lo que es probable que se elijan diferentes umbrales para diferentes modelos.Si es lo último, entonces no estoy seguro de cómo se implementaría (pero me gusta la idea).No puede ser automático, como minimizar los falsos negativos, ya que eso simplemente establecería las probabilidades de umbral = 0. Por lo tanto, debería permitirle elegir diferentes umbrales para cada modelo de acuerdo con cómo ve las compensaciones, tal vez esto podría usarse junto con la matriz de ganancias (aunque encuentro que la matriz de ganancias es muy difícil de usar).
Tener un control deslizante simple que cambie el umbral para todos los modelos y muestre la matriz de confusión no me sería muy útil. Creo que proporcionaría una ilusión de rendimiento relativo del modelo; realmente no me importa si un modelo exige un umbral de 0,15 y otro de 0,30; lo que me importa es cómo se puede usar cada modelo para hacer predicciones.
