Nivel: Intermedio
Función laboral: Analista / Científico / Ingeniero
Michael Crotty, escritor estadístico sénior de JMP, SAS
Marie Gaudard, consultora estadística
Colleen McKendry, redactora técnica de JMP, SAS
Finalista del mejor artículo invitado
En situaciones en las que la detección de anomalías es el objetivo de un modelo predictivo, los datos subyacentes suelen mostrar una distribución de clases desequilibrada. Es decir, la clase anómala es significativamente más pequeña que la clase no anómala. El objetivo del modelado suele ser identificar a los miembros de la clase minoritaria. Sin embargo, una aplicación sencilla de técnicas de modelado predictivo puede dar como resultado un modelo sesgado e inexacto. Se han propuesto muchas técnicas para abordar estos problemas. Buscamos guiar a los usuarios de JMP Pro en el desarrollo de modelos predictivos para datos desequilibrados. Abordamos los enfoques de JMP Pro para la clasificación en una clase subrepresentada. Primero describimos aspectos generales del problema de la clase desequilibrada: sesgo, medidas de desempeño y enfoques para abordar los problemas de modelado. Luego discutimos los métodos de muestreo que usamos en nuestro estudio; estos incluyen ponderación, submuestreo, sobremuestreo y la técnica de sobremuestreo de minorías sintéticas (SMOTE). Para varios conjuntos de datos reales que exhiben proporciones de clases variables, comparamos los ajustes obtenidos usando estos métodos de muestreo en combinación con modelos predictivos disponibles en las plataformas de clasificación JMP Pro. Realizamos una exploración similar de técnicas de muestreo y modelos predictivos para una gama limitada de conjuntos de datos simulados. Para los conjuntos de datos simulados, intentamos identificar el grado de infrarrepresentación por el cual los modelos estándar comienzan a verse afectados por el desequilibrio de clases. También presentamos conclusiones sobre el desempeño relativo de los métodos de muestreo y modelos predictivos.
Ya está disponible un complemento que realiza los análisis discutidos en esta presentación: Complemento de clasificación desequilibrada .El complemento amplía las capacidades de los scripts que se encuentran en Scripts_and_Results.zip.Entre otras características, el complemento no depende de R, realiza muestreos SMOTE, Tomek y SMOTE más Tomek en conjuntos de datos que incluyen predictores nominales y ordinales, y proporciona una documentación extensa a través del botón Ayuda del cuadro de diálogo.
No conozco nada integrado en JMP Pro que maneje datos de sensores en tiempo real, pero con algunas secuencias de comandos, estoy seguro de que podría hacerlo. Esa sería una buena pregunta para la comunidad JMP en general.
¡Gracias por su interés y pregunta!
Miguel
Gracias. ¡Es realmente genial y útil!
una pregunta, ¿se puede usar JMPpro para la detección de anomalías en tiempo real (como datos de sensores)?
¡Gracias!
