datos desequilibrados y clasificación de pesoHola,
Tengo una base de datos con una respuesta oridnal altamente desequilibrada. La clase de mayor interés personal es una clase minoritaria (pacientes con una infección rara pero grave, alrededor del 5% de las observaciones).
La clasificación de las otras clases de oridinales funciona bien con un clasificador de árboles forestales potenciado, pero estas clases o no son de mi interés (infección menos grave o ninguna infección). Me pregunto si puedo usar la opción "peso" para dar más peso a la clase minoritaria. Además, quiero calcular en qué umbral óptimo de "peso" el clasificador se desempeñó mejor. En datos desequilibrados, el AUC ROC parece no ser la medida de rendimiento adecuada. Una puntuación F1 (medida de tasas de falsos positivos y falsos negativos) parece más adecuada para esto.
¿Alguien sabe de autocalculación de puntuaciones F1 en JMP?
¿Hay alguna manera de ajustar la opción "Peso" en los modelos de clasificación JMP en datos altamente desequilibrados para maximizar las puntuaciones de F1?
¿Alguien tiene otras sugerencias para resolver este problema?
Gracias,
Lu
Re: datos desequilibrados y clasificación de pesoSi activa la opción Matriz de confusión para un modelo de clasificación, puede obtener las tasas de falsos positivos / negativos.
También puede establecer diferentes límites para la clasificación positiva / negativa (el valor predeterminado es 0.5).Re: datos desequilibrados y clasificación de pesoTambién me han interesado los puntajes de F1, pero no creo que se calculen automáticamente en JMP. A menos que alguien tenga una mejor idea, me abstendré de usar pesas para abordar su problema; creo que eso dificultará ver lo que está sucediendo. Mi propia inclinación sería recodificar su variable de respuesta en 2 categorías: la enfermedad que le interesa y todo lo demás. Luego, puede ajustar manualmente las probabilidades de corte (el complemento para esto es bastante bueno) para ver qué probabilidad de corte hace el mejor trabajo al identificar la enfermedad que le interesa. Luego, puede volver a la categorización completa de su variable de respuesta y ver si esa probabilidad de corte parece sólida. Para mí, la prueba y el error pueden ser más esclarecedores que buscar una solución automática a su problema (pero si hay una metodología automática, me gustaría saberlo).
Re: datos desequilibrados y clasificación de pesoCreo que hay dos cuestiones algo diferentes aquí. Una es la naturaleza desequilibrada de los datos: algunas de sus categorías son mucho más comunes que otras, por lo que las tasas de clasificación errónea simple pueden "ignorar" las categorías con números pequeños. Creo que la F1 es principalmente una forma de abordar esto. El otro problema es la asimetría de los errores: los falsos positivos y los falsos negativos pueden tener consecuencias muy diferentes. No creo que la F1 ayude con eso: solo los mejores modelos y el cambio de los límites de probabilidad pueden abordar ese problema. No estoy al tanto de una relación sistemática entre los dos problemas (puede haber uno, y sería muy interesante conocerlo).Re: datos desequilibrados y clasificación de pesoHola, encontré un buen complemento que puede ayudar a definir el umbral óptimo para la clasificación (adjunto a continuación). O busque "matriz de confusión" en el Intercambio de archivos - Complementos del sitio web de la comunidad JMP.
Re: datos desequilibrados y clasificación de pesoPublicaciones recientes describen claramente las ventajas de Matthias Correlation Coëfficiënt (MCC) como una medida de rendimiento óptima para modelos de clasificación, incluso en datos no balanceados.
https://www.ncbi.nlm.nih.gov/pubmed/31898477
https://www.ncbi.nlm.nih.gov/pubmed/28574989
Re: datos desequilibrados y clasificación de pesoLo siento, me refiero a Matthews CC
