Problema de clasificaciónHola a todos, buen año nuevo 2021.
Estoy trabajando en un problema de clasificación con una respuesta binaria llamada Grupo (estados o y 1) como se informa en el archivo xls adjunto. En general, hay 13 predictores, 2 de ellos categóricos. Esta tabla es el resultado de la limpieza, la selección de características y la agrupación (para eliminar la colinariedad). Siendo el grupo estado 1 fuertemente desequilibrado con respecto al 0, utilicé los complementos SMOTE + TOMEK para equilibrar la respuesta. Las filas agregadas son reconocibles por la columna Fuente. Ejecuté varios modelos de clasificación cuyos resultados están en el archivo ppt adjunto, El NN es el uno con mayor R2 y menor error de clasificación errónea, mientras que Naive bayes es el peor con un error de clasificación errónea de aproximadamente 0,2. Dado que tengo miedo de un modelo con 0 error de clasificación errónea (sobreajuste), ¿cuál en su opinión es el modelo más confiable (el que una vez implementado tendrá el mismo error de clasificación errónea)?
Gracias felice
AnalíticaRe: problema de clasificaciónAlgunas cosas que noté en mi mirada rápida a sus resultados.
Primero, esta es una comunidad JMP, por lo que sería preferible un archivo JMP a un archivo Excel. Después de todo, lo primero que hice fue poner los datos en JMP para poder verlos. Además, podría haber guardado sus diferentes modelos como scripts que podrían volver a ejecutarse para ver las opciones que probó.
No sé cómo implementó SMOTE + TOMEK para equilibrar las respuestas, pero hay otras formas en las que podría intentar equilibrar las respuestas. Podría haber sobremuestreado, ignorado algunos de los casos más frecuentes, asignar filas a entrenamiento / validación / prueba basado en un muestreo estratificado de la respuesta, etc. Independientemente, si le preocupa el modelo "perfecto", ¿podrían estos modelos estar mejorando sobre cómo se hizo el balance? Si un algoritmo está haciendo el balance, un modelo / algoritmo podría explicarlo.
Suponiendo que el equilibrio no puede afectar el esfuerzo de modelado, ha dividido sus datos en entrenamiento, validación y prueba. Su equipo de prueba debe ser indicativo del rendimiento en el mundo real, por lo que no creo que haya ningún ajuste excesivo. El equipo de prueba no se utiliza en absoluto en el proceso de ajuste. Si cree que el modelo es demasiado bueno, asegúrese de que sus datos (y especialmente el conjunto de prueba) sean representativos de su proceso.
Hay 89 filas sin un valor de validación. ¿Por qué? ¿Está excluyendo esas filas de su análisis? ¿Por qué?
Parece que usó todos los valores predeterminados para un árbol mejorado. Observe que un árbol reforzado predeterminado tiene 50 capas y sus resultados finales muestran que se usaron las 50 capas. Eso significa que puede tener un mejor árbol usando más capas mejoradas. Aquí hay un resultado cuando especifiqué un número muy alto de capas.
La máquina de vectores de soporte también proporcionó un ajuste perfecto de acuerdo con la tasa de clasificación errónea. ¿Por qué no considerar eso?
La única forma de tener verdadera confianza en un modelo es comenzar a usarlo con datos nuevos. ¿Por qué no seguir adelante con los tres (más árboles reforzados en capas, redes neuronales y máquinas de vectores de soporte) y dejar que los datos determinen cuál funciona mejor?
Re: problema de clasificaciónCiao Dan gracias por tu correo.
Sobre el archivo xls tiene razón. La próxima vez compartiré el archivo jmp en lugar del de Excel.
Los complementos Smoke + tomek no están afectando al modelo. Con y sin él, el rendimiento es exactamente el mismo.
Para algunos de los modelos que desarrollé, utilicé solo los valores de hiperparámetros propuestos por JMP. Tienes razón.
Las 89 instancias a las que hace referencia no se utilizaron para desarrollar el modelo.También verifiqué el rendimiento del modelo en estos 89 ejemplos no vistos (además del grupo de prueba). También en este caso los modelos confirmaron el buen desempeño observado en los grupos de entrenamiento / prueba. Todo parece estar bien,
Tal vez, como sugiere, la única posibilidad de estar seguro de la confiabilidad de los modelos es realizar la implementación y verificar el rendimiento en datos no vistos.
