Hola queridos usuarios de JMP y equipo de JMP,
¿Qué inspiró esta solicitud de lista de deseos?
Aprendiendo más y más sobre las diferentes aplicaciones de agrupamiento y los diferentes métodos disponibles (K-Means, Gaussian Mixtures, DBSCAN, Hierarchical...), tenía varios deseos abiertos para discutir sobre las plataformas y métricas disponibles en JMP:
- En cuanto a los diferentes tipos principales de agrupamiento (basado en el centroide, basado en la distribución, jerárquico y basado en la densidad, consulte Algoritmos de agrupamiento | Aprendizaje automático | Desarrolladores de Google ), parece que JMP puede cubrir 3 de los 4 tipos principales de agrupamiento (respectivamente con K-Means, Mezclas normales y agrupamiento jerárquico), pero no el agrupamiento basado en densidad. Este tema ya estaba en la lista de deseos de JMP desde 2021: agrupamiento basado en densidad - Comunidad de usuarios de JMP
- Mirando las métricas de "evaluación" para saber qué número de clústeres parece más razonable, hay algunas diferencias entre las plataformas:
- Para el agrupamiento jerárquico, la métrica de evaluación se basa en la distancia,
- Para el agrupamiento de K-Means (agrupamiento de centroïd), la evaluación se basa en la varianza con Criterio de agrupamiento cúbico (CCC),
- Para mezclas normales (agrupación de distribución), la evaluación se basa en la teoría de la información con AICc y BIC.
Parece bastante normal que, según el algoritmo específico de agrupación, la evaluación pueda ser diferente, pero sería genial poder comparar los métodos de agrupación sobre la misma base/métrica. También en la literatura ( [2212.12189] Deje de usar el criterio del codo para k-means y cómo elegir el número de grupos en su lugar (arxiv.org) ), el criterio de varianza o el criterio BIC parecen ser las opciones preferidas para comparar diferentes números de conglomerados para K-Means.
¿Cuáles son las mejoras que le gustaría ver?
- Implementación de un método de agrupamiento basado en la densidad, como DBSCAN y/o HDBSCAN.
- Implementación de una métrica de evaluación común para los diferentes métodos de agrupación (como AICc y BIC), con el fin de evaluar mejor qué método(s) parece(n) la(s) opción(es) más razonable(s). La elección de un método de agrupamiento específico puede estar guiada por la experiencia y/o las preferencias del dominio, pero sería fantástico contar con una métrica "neutral" para consolar esta elección o desafiarla.
- Para cada modelo de clustering, implementación de otras métricas de clustering basadas en varianza (CCC, VRC, ...), distancia (puntuaciones de Dunn, Silhouette, ...) y teoría de la información (AICc, BIC, ...).
¿Por qué es importante esta idea?
Los algoritmos de agrupamiento proporcionados en JMP representan la mayoría de los casos esperados, pero realmente falta el agrupamiento basado en la densidad y se puede encontrar en muchas situaciones diferentes.
En ausencia de una métrica común para comparar las diferentes técnicas de agrupación, puede ser difícil elegir el método "correcto" o tener suficiente confianza en la elección de un método en particular.
Finalmente, debido a la variedad de agrupaciones basadas en diferentes estructuras de datos, es importante tener diferentes métricas de evaluación para cada método que puedan ayudar a evaluar la decisión de "robustez" sobre el número de agrupaciones.
