¿Puedo verificar la puntuación F 1 en JMP?¡Hola! Me pregunto si puedo verificar la puntuación F1 en JMP pro cuando comparo diferentes modelos.
¿JMP también proporciona precisión o valor de recuperación para los modelos?
¡¡Muchas gracias!!
Re: ¿Puedo comprobar la puntuación F 1 en JMP?F1 se informa en la sección Umbral de decisión en Comparación de modelos.Para usar esto, debe guardar su fórmula de predicción en la tabla de datos y luego ejecutar Analizar > Modelado predictivo > Comparación de modelos .Entonces escoge Umbral de decisión debajo del pequeño triángulo rojo.
Re: ¿Puedo comprobar la puntuación F 1 en JMP?Hola @Oleg ,
@Jenny escribió:
...no encontré precisión ni recuperación en la comparación de modelos. Me pregunto si JMP tiene estos valores.
JMP no tiene estos valores de forma nativa en la mayoría de las plataformas (a partir del lanzamiento de JMP 16.2) y como @Duane_Hayes respondieron en 2017, pero se pueden calcular a partir de los resultados proporcionados actualmente.
@Jenny escribió:
Según tengo entendido, a veces nos preocupamos más por precisión o recordar que la tasa de clasificación errónea en diferentes situaciones, ¿verdad? .
Sí, este es mi entendimiento.
Para tal fin,
Adjunto un ejemplo con cálculos en fórmulas de columna en JMP donde se calculan la precisión, la puntuación F1, la precisión y la recuperación, utilizando las fórmulas que pude encontrar fácilmente. Los de Precisión y Recuperación son consistentes con lo que @Jenny proporcionado (consulte también la página 144 de "¡¡¡La guía ilustrada de StatQuest para el aprendizaje automático!!!" de Josh Starmer, Ph.D, © 2022).Las fórmulas de precisión y puntuación F1 se pueden encontrar aquí, entre otros lugares (Wikipedia): https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc .Este ejemplo es del archivo de datos de muestra VSSTeamData.jmp disponible como parte del curso gratuito en línea de estadística aplicada de JMP. CONSEJOS . Los cálculos son consistentes con lo informado por JMP en la salida de Confusion Matrix asociada con el modelo de partición generado y guardado aquí como un script de tabla de datos guardados.
Haga clic en el botón de reproducción verde junto al nombre del script para regenerar el modelo después de abrir la tabla de datos .jmp.
¡Espero que esta información sea útil!- Patricio Giuliano ( @Soporte técnico JMP)
Re: ¿Puedo comprobar la puntuación F 1 en JMP?Hola Ian, pediste una fórmula.Jenny proporcionó uno.Todavía no hay solución, pero la discusión fue vista más de 500 veces. Entonces la pregunta tiene peso.
Re: ¿Puedo comprobar la puntuación F 1 en JMP?¿Alguien puede dar una respuesta clara y concisa a la respuesta de Jenny, en lugar de dejar una opinión en esta discusión? Esto no es un blog. Pregunta formulada, pregunta respondida. Gracias de antemano.
Re: ¿Puedo comprobar la puntuación F 1 en JMP?Las puntuaciones F1 (y otras medidas populares de precisión) han quedado obsoletas en algunos rincones de la comunidad de aprendizaje automático por su desempeño bajo sesgo. Consulte el archivo adjunto, que sugiere la utilidad de las curvas operativas del receptor y otras medidas.
JMP incluye ROC (y Lift Curves) en algunas plataformas.
Re: ¿Puedo comprobar la puntuación F 1 en JMP?Este tipo de preguntas pueden dirigirse a Soporte técnico JMP para que podamos involucrarnos.
En cuanto a la pregunta, JMP proporciona medidas de Sensibilidad y 1-Especificidad en la Tabla ROC cuando se selecciona el elemento del menú "Curva ROC", junto con los Verdaderos Positivos, Verdaderos Negativos, Falsos Positivos y Falsos Negativos.F1 no figura específicamente en la lista, pero, según la descripción, se puede calcular con estas medidas.
Re: ¿Puedo comprobar la puntuación F 1 en JMP?Un hombre sabio dijo una vez que "el único bien escaso es el tiempo", y creo que se entiende que la Comunidad depende del conocimiento colaborativo (tanto de los usuarios como del personal de JMP) y no podría operar eficazmente si depende de un grupo pequeño.
Además de la Comunidad, también existe la canal de soporte oficial , que puede utilizar cualquier persona que obtenga una licencia de un producto SAS. Una diferencia clave es que existen acuerdos de nivel de servicio para los tiempos de respuesta y procesos internos de escalamiento para lograr una resolución satisfactoria. Este es definitivamente el mejor mecanismo para detectar errores sospechosos, pero también para realizar solicitudes de nuevas funciones. Además, '¿Cómo lo hago?' También se responderán preguntas como 'Estoy acostumbrado al software X pero no puedo hacer lo mismo en JMP', pero dentro de este marco más riguroso y predecible.
Entonces, en caso de errores y características, o si la comunidad parece no responder, ciertamente también consideraría este canal. Y, quizás por decir lo obvio, no tiene por qué ser "uno o el otro". Muchos hilos de la comunidad han conducido a pistas de soporte.
Re: ¿Puedo comprobar la puntuación F 1 en JMP?Hola, Ian,
Estoy un poco sorprendido con tu respuesta. No supone demasiado esfuerzo (especialmente para un experto en JMP) buscar en la web "puntuación F1", autoeducarse y responder al usuario con una respuesta significativa. Además, el solicitante proporcionó información adicional, pero nunca recibió un apoyo significativo. Eso también sorprende.
¿Podría usted o cualquier otra persona con la experiencia adecuada ayudar a la comunidad JMP con esta pregunta? puntuación F1 es una medida clave en la regresión logística (o cualquier modelo con respuesta nominal) y niveles de respuesta desequilibrados (significativamente más verdaderos negativos que verdaderos positivos). Apreciado enormemente. Como se señaló, Wikipedia describe estos conceptos en detalle.
El enlace de Comparación de modelos que proporcionó es elaborado, pero parece que falta el cálculo de la puntuación F1. Estoy seguro de que esto se puede hacer a mano, pero, si falta en JMP, debería considerarse como una característica. Gracias de antemano.
Re: ¿Puedo comprobar la puntuación F 1 en JMP?¡Hola! Muchas gracias por su respuesta. La puntuación F1 es una medida de la precisión de la prueba. Aquí hay un enlace de wilipedia sobre la puntuación de F1. https://en.wikipedia.org/wiki/F1_score
Y para la segunda pregunta, sí, estoy pensando en los valores predichos.
Precisión =Verdaderos Positivos/(Verdaderos Positivos +Falsos Positivos)
y recordar = Verdaderos aspectos positivos /( Verdaderos aspectos positivos +Falsos Negativos)
No encontré precisión ni recuperación en la comparación de modelos. Me pregunto si JMP tiene estos valores. Según tengo entendido, a veces nos importa más la precisión o el recuerdo que la tasa de clasificación errónea en diferentes situaciones, ¿verdad?
Re: ¿Puedo comprobar la puntuación F 1 en JMP?Supongo que has mirado el Comparación de modelos plataforma en JMP Pro. Desafortunadamente, no estoy familiarizado con la 'puntuación F1', así que ¿puede darme más detalles o un enlace, por favor? Con respecto a su segunda pregunta, ¿está pensando en los valores predichos y las incertidumbres que contienen?
