¿Qué inspiró esta solicitud de lista de deseos?
Actualmente, las técnicas de detección de valores atípicos están disponibles en diferentes menús:
- Algunas técnicas de detección de valores atípicos univariados y multivariados están disponibles en "Detección" -> "Explorar valores atípicos",
- Algunas técnicas multivariantes están disponibles en "Métodos multivariantes" -> "Multivariantes" y diferentes de las otras técnicas de detección de las plataformas de Cribado.
Finalmente, algunas técnicas o modelos utilizados en la literatura (Isolation Tree/Forest, One-Class SVM, k-Nearest Neigbors...) no están disponibles directamente en JMP.
¿Cuál es la mejora que le gustaría ver?
Siguiendo la idea de la biblioteca de Python pyOD ( documentación de pyod 1.0.7 ) y otras bibliotecas/paquetes, sería genial tener un solo menú JMP dedicado a la detección de valores atípicos, usando varios métodos combinados como en la plataforma "Model Screening", donde varias opciones estarían disponibles:
- Si una respuesta está presente en el conjunto de datos y se utiliza en el cuadro de diálogo "Y, columna", el énfasis y las técnicas utilizadas serían supervisadas (supervisadas parcialmente o totalmente). Si no se agrega ninguna respuesta en el menú de diálogo "Y, columna", entonces las técnicas utilizadas podrían no estar supervisadas.
- De la misma manera que la plataforma "Model Screening" está proponiendo varios modelos de forma automática, sería genial que el usuario de JMP pudiera elegir todos, varios o solo uno de los métodos propuestos. Para ayudar al usuario a tener más visibilidad sobre las diferentes técnicas, tal vez podría ser útil agrupar algunas técnicas detrás del grupo, como para el tipo de anomalía, podría haber varios grupos de métodos para anomalías locales, globales, de dependencia y agrupadas. . Debajo de cada grupo, el usuario podía seleccionar o deseleccionar cualquiera de las técnicas, para tener más libertad y flexibilidad.
- Finalmente, cuando se utilizan las diferentes técnicas de detección de valores atípicos, podría ser excelente tener resultados en una vista "macro" y "micro":
- Vista "Micro": para cada técnica de detección, poder saber qué puntos se detectaron como valores atípicos, para comparar las técnicas y ver los acuerdos/desacuerdos entre los métodos,
- Vista "macro": para el conjunto de técnicas de detección, en lugar de una "votación dura" o un resultado binario como un valor atípico frente a un resultado normal, podría ser excelente tener en su lugar una "puntuación de anomalía" continua a partir del ensamblaje de los diferentes modelos (que van desde 0: nunca detectado como valor atípico con todas las técnicas seleccionadas a 1: siempre detectado como valor atípico), para usarlo de forma transformada (quizás en una transformación "recíproca": 1/puntuación de anomalía) en otras plataformas de modelado como una "Frecuencia" o Variable "Peso", para crear "modelos ponderados" que tengan en cuenta los valores atípicos, pero reduzcan su importancia.
¿Por qué es importante esta idea?
Dos puntos motivan esta solicitud:
- Unificar y agrupar las diferentes técnicas de detección de valores atípicos en una sola plataforma podría ayudar al usuario a conocer las diferentes técnicas propuestas,
- Podría ser un excelente punto de partida para agregar nuevos modelos a la plataforma JMP enfocados en este aspecto de detección de valores atípicos.
