Nivel: Intermedio
Función del puesto: Analista / Científico / Ingeniero
Michael Crotty, JMP, redactor estadístico sénior, SAS
Marie Gaudard, consultora estadística
Colleen McKendry, redactora técnica de JMP, SAS
Finalista al mejor artículo invitado
En situaciones donde la detección de anomalías es el objetivo de un modelo predictivo, los datos subyacentes suelen presentar una distribución de clases desequilibrada. Es decir, la clase anómala es significativamente menor que la clase no anómala. El objetivo del modelado suele ser identificar a los miembros de la clase minoritaria. Sin embargo, la aplicación directa de técnicas de modelado predictivo puede resultar en un modelo sesgado e impreciso. Se han propuesto numerosas técnicas para abordar estos problemas. Nuestro objetivo es guiar a los usuarios de JMP Pro en el desarrollo de modelos predictivos para datos desequilibrados. Abordamos los enfoques de JMP Pro para la clasificación en una clase subrepresentada. Primero, describimos los aspectos generales del problema de las clases desequilibradas: sesgo, medidas de rendimiento y enfoques para abordar los problemas de modelado. A continuación, analizamos los métodos de muestreo que utilizamos en nuestro estudio, que incluyen ponderación, submuestreo, sobremuestreo y la técnica de sobremuestreo sintético de minorías (SMOTE). Para varios conjuntos de datos reales que presentan proporciones de clase variables, comparamos los ajustes obtenidos mediante estos métodos de muestreo en combinación con los modelos predictivos disponibles en las plataformas de clasificación de JMP Pro. Realizamos una exploración similar de técnicas de muestreo y modelos predictivos para un rango limitado de conjuntos de datos simulados. Para estos conjuntos de datos, intentamos identificar el grado de subrepresentación en el que los modelos estándar comienzan a verse afectados por el desequilibrio de clases. También presentamos conclusiones sobre el rendimiento relativo de los métodos de muestreo y los modelos predictivos.
Ya está disponible un complemento que realiza los análisis descritos en esta presentación: el complemento de clasificación desequilibrada . Este complemento amplía las funciones de los scripts incluidos en Scripts_and_Results.zip. Entre otras funciones, no depende de R, realiza muestreos SMOTE, Tomek y SMOTE con Tomek en conjuntos de datos que incluyen predictores nominales y ordinales, y proporciona documentación completa mediante el botón Ayuda del cuadro de diálogo.
