Exploración de los umbrales de clasificación de modelosEstas son instrucciones sobre cómo descargar y ejecutar el Complemento Explorador de clasificación de modelos Creé como pasante de JMP este verano con @KarenC y @mia_stephens .Este complemento proporciona un tablero unificado para visualizar los cortes del modelo y las compensaciones de error simultáneamente. Puede cambiar de forma interactiva un umbral de modelo y ver inmediatamente los resultados propagados en medidas de rendimiento, matrices de confusión y curvas ROC.
NOTA: Esto puede ser lento o congelarse con conjuntos de datos muy grandes.
Paso 1: Descargue el archivo .jmpaddin adjunto y la tabla de datos de ejemplo.
Data Selection DialogData Selection DialogCuadro de diálogo de selección de datos
Paso 1: Transmita el Prob[Donut] a X y el Consumo a Y. Estas dos columnas son obligatorias.
Paso 2: Establezca su nivel objetivo en "Donut", ya que eso es lo que predice el modelo.
Paso 3: establezca su nivel alfa para el análisis estadístico, que se deja en 0,05 por defecto.
Paso 4: Tiene la opción en la parte superior derecha para elegir la Terminología de rendimiento en función de un campo de aplicación determinado, que es una opción puramente visual para las etiquetas de las diferentes medidas. En este caso, lo dejaremos en "General".
Paso 5: La casilla de verificación de accesibilidad visual es una función para cambiar la salida gráfica para poder interpretar los resultados sin necesidad de distinguir los colores en los gráficos, que dejaremos por ahora.
Paso 6: con todos estos parámetros iniciales establecidos, haga clic en "Aceptar" para iniciar la plataforma. Según el tamaño de su conjunto de datos y si utilizó o no una columna de validación, esto puede tardar unos segundos en iniciarse.
Interactively Exploring CutoffsInteractively Exploring CutoffsExploración interactiva de puntos de corte
¡Déjame saber si tienes algún comentario o sugerencia!
Visualización de datosCiencias de la vidaModelado Predictivo y Minería de DatosEstadísticasRe: Exploración de umbrales de clasificación de modelosEstimada Karen,
Revisé las tablas 2x2 y son correctas. Tiene razón, puedo usar el complemento de rendimiento IVD en su lugar, pero eso significa que tengo que etiquetar todos mis datos como positivos (por debajo del umbral) o negativos (por encima) y analizar los resultados de la etiqueta en lugar de los números originales, así que No entiendo las agradables imágenes de "estado versus puntaje" de este script.
Pero usaré el complemento de rendimiento IVD, me da los números que más necesito.
¡Muchas gracias por su ayuda!
Re: Exploración de umbrales de clasificación de modelosHola Anne, no estoy exactamente seguro... si tienes el TP, TN, etc. correctos, entonces deberías tener el Se y Sp correctos. Mire las tablas de 2x2 cuidadosamente para asegurarse de que está leyendo las etiquetas correctamente. Estuvo de acuerdo en que la herramienta utilizará valores a la derecha (mayores que) el umbral como positivo. También puede mirar mi Rendimiento IVD add-in que dará rendimiento basado en dos columnas nominales (prueba y verdad) donde puedes definir lo que es positivo para cada una. Tal vez eso funcione mejor una vez que haya fijado su umbral (también funciona mucho más rápido). Si todavía tienes preguntas sigue preguntando.
karen
Re: Exploración de umbrales de clasificación de modelosVolteé el objetivo, pero debido a que mis muestras califican como positivas abajo cierto umbral, el resultado es que, por ejemplo, donde la especificidad realmente es del 96,3 %, obtengo un resultado del 3,7 %.
En la versión anterior al cambio de destino, todos mis valores se clasificaron correctamente como verdadero positivo, falso negativo, etc., solo se invirtieron los valores de sensibilidad y especificidad. Después de la inversión, cada verdadero positivo se clasifica como falso positivo, cada falso negativo como verdadero negativo y así sucesivamente...
Re: Exploración de umbrales de clasificación de modelosExiste la opción de establecer el nivel objetivo en la ventana de lanzamiento.
Re: Exploración de umbrales de clasificación de modelosSería bueno tener ese botón. En mi versión del complemento no encuentro "minimizar el umbral de clasificación errónea". ¿Debo cambiar algunos ajustes de diseño?
Re: Exploración de umbrales de clasificación de modelosVoltee lo que está llamando el "Objetivo".
Re: Exploración de umbrales de clasificación de modelosEstimada Karen,
gracias por el complemento útil! Estoy tratando de usarlo para calcular la sensibilidad, la especificidad, el VPP y el VPN.
Si bien los números que obtengo son correctos (en comparación con los datos de sensibilidad/especificidad de referencia que tengo), está intercambiando sensibilidad con especificidad y VPP con VPN.
Sospecho que esto puede tener algo que ver con el hecho de que los resultados que he especificado como positivos en mi columna de respuesta están por debajo de un umbral definido, no por encima de uno. ¿Tiene algún consejo sobre cómo solucionar esto?
Re: Exploración de umbrales de clasificación de modelosEsperemos que haya notado el botón "Minimizar clasificación errónea"... está en el esquema Establecer umbral de probabilidad.
Re: Exploración de umbrales de clasificación de modelos¿Hay algún método en el complemento para automáticamente optimizar el umbral de clasificación (= minimizar la tasa de clasificación errónea)?
Re: Exploración de umbrales de clasificación de modelosSi su columna de "verdad" no es de carácter, intente cambiarla a tipo de carácter.
Re: Exploración de umbrales de clasificación de modelosSí, puedo ejecutar el ejemplo de donas sin ningún problema.
Re: Exploración de umbrales de clasificación de modelos@lu
No estoy seguro de por qué está recibiendo ese error. Si hace clic en el botón Ayuda (lado derecho) en el complemento, obtendrá un manual de usuario. De lo contrario, sin más información, es difícil saber por qué tiene problemas. ¿Puedes ejecutar los datos de ejemplo de las donas?
karen
Re: Exploración de umbrales de clasificación de modelosProbé el complemento en mis datos, pero siempre aparece este mensaje de error: Rango de subíndice en el acceso o evaluación del ensayo.
Re: Exploración de umbrales de clasificación de modelos¡Gracias Karen! ¡Fue un éxito! De nuevo, ¡muchas gracias!
Re: Exploración de umbrales de clasificación de modelosHola,
Supongo que la aplicación tiene problemas con la cantidad de datos. Hemos observado problemas con una gran cantidad de filas, exactamente cuántas probablemente dependerán de la configuración de la máquina. Sin embargo, no todo está perdido. Con ese tamaño de tabla de datos, creo que podría tomar una muestra aleatoria (subdividirla en otra tabla) y luego ejecutar la aplicación. Comenzaría con decir 10% y vería si la aplicación se ejecuta. Si es así, miraría de 4 a 5 muestras aleatorias diferentes del 10% y vería si está "aterrizando en un lugar similar", independientemente de la muestra. Si es así, probablemente pueda responder a su pregunta práctica. De lo contrario, probaría algunas muestras más y/o probaría una muestra más grande 20%, 30%, hasta que vuelva a encontrarse con el problema del tamaño.
Espero que esto ayude. También puede crear el gráfico de puntaje versus estado con todos sus datos en Graph Builder como un punto de partida para comprender las distribuciones y dónde un punto de corte podría tener sentido para su problema.
karen
Re: Exploración de umbrales de clasificación de modelosHola Karen C. Estoy usando JMP 14. Estoy usando ventanas. Tengo 11.221 filas. Aparece un mensaje que dice 'no responde'. Ayudar amablemente.
Gracias
Re: Exploración de umbrales de clasificación de modelosHola,
No estoy seguro de por qué tiene problemas, ¿puede proporcionar más información? ¿Qué versión de JMP estás usando? ¿Mac o Windows? ¿Está chocando o colgando? ¿Cuántas filas en su tabla de datos?
Gracias
Re: Exploración de umbrales de clasificación de modelosLo he intentado varias veces, se bloquea cada vez. ¿Alguna alternativa?
Re: Exploración de umbrales de clasificación de modelos¡Maravilloso! A menudo busco una manera de alejarme de la pantalla, así que seguiré tu consejo y navegaré mientras dejo que gire un poco.
Muy apreciado, marxx
Re: Exploración de umbrales de clasificación de modelosmarx,
Si desea probarlo en un conjunto de datos más grande, intente ejecutarlo cuando vaya a estar lejos de su computadora por un tiempo y luego vea si se ejecutó cuando regrese. He descubierto que si espero, se ejecutará. Solo tiene algo de "trabajo" inicial que hacer para ponerse en marcha.
karen
Re: Exploración de umbrales de clasificación de modelosGracias por compartir a Tarik y al seguimiento de Karen, también me interesará trabajar con conjuntos de datos más grandes cuando estén disponibles.
Gracias marxx
Re: Exploración de umbrales de clasificación de modelosHola Steve,
Sí, resulta que si su conjunto de datos es demasiado grande (pruebe N < 1000), entonces el complemento puede "congelar" JMP. No he tenido un bloqueo, solo que JMP se bloquea como lo experimentó. Estamos investigando este problema de rendimiento. Mientras tanto, pruebe un subconjunto aleatorio de sus datos de interés para, al menos, comenzar a explorar los umbrales. ¡Manténganse al tanto!
Gracias,
karen
Re: Exploración de umbrales de clasificación de modelosEste complemento es una gran adición a JMP. Estoy ejecutando 14.1 y funciona bien en los datos de Donut. Sin embargo, bloquea JMP y luego falla en casi cualquier otro conjunto de datos que elija. ¿Alguna sugerencia sobre lo que puede estar yendo mal?
Gracias.
steve powell
