Hola queridos usuarios de JMP y equipo de JMP:
¿Qué inspiró esta solicitud de lista de deseos?
Al aprender cada vez más sobre las diferentes aplicaciones de clustering y los diferentes métodos disponibles (K-Means, Gaussian Mixtures, DBSCAN, Hierarchical...), tenía varios deseos abiertos para discusiones sobre las plataformas y métricas disponibles en JMP:
- Analizando los principales tipos diferentes de agrupación (basada en centroide, basada en distribución, jerárquica y basada en densidad, consulte Algoritmos de agrupamiento | Aprendizaje automático | Desarrolladores de Google ), parece que JMP es capaz de cubrir 3 de los 4 tipos principales de agrupación (respectivamente con K-Means, mezclas normales y agrupación jerárquica), pero no la agrupación basada en densidad. Este tema ya estaba en la lista de deseos de JMP desde 2021: agrupamiento basado en densidad - Comunidad de usuarios de JMP
- Si observamos las métricas de "evaluación" para saber qué número de clústeres parecen más razonables, existen algunas diferencias entre las plataformas:
- Para la agrupación jerárquica, la métrica de evaluación se basa en la distancia,
- Para la agrupación de K-Means (agrupación de centroide), la evaluación se basa en la varianza con el Criterio de agrupación cúbica (CCC),
- Para mezclas normales (agrupación de distribución), la evaluación se basa en la teoría de la información con AICc y BIC.
Parece bastante normal que, según el algoritmo específico de agrupación, la evaluación pueda ser diferente, pero sería fantástico poder comparar los métodos de agrupación sobre la misma base/métrica. También en la literatura ( [2212.12189] Deje de utilizar el criterio del codo para k-medias y, en su lugar, cómo elegir el número de grupos (arxiv.org) ), el criterio de varianza o el criterio BIC parecen ser las opciones preferidas para comparar diferentes números de conglomerados para K-Means.
¿Cuáles son las mejoras que le gustaría ver?
- Implementación de un método de agrupamiento basado en densidad, como DBSCAN y/o HDBSCAN.
- Implementación de una métrica de evaluación común para los diferentes métodos de agrupación (como AICc y BIC), con el fin de evaluar mejor qué método(s) parecen ser las opciones más razonables. La elección de un método de agrupamiento específico puede estar guiada por la experiencia en el dominio y/o las preferencias, pero tener una métrica "neutral" para facilitar esta elección o desafío sería fantástico.
- Para cada modelo de clustering, implementación de otras métricas de clustering basadas en varianza (CCC, VRC,...), distancia (Dunn, puntuaciones de Silhouette,...) y teoría de la información (AICc, BIC,...).
¿Por qué es importante esta idea?
Los algoritmos de agrupamiento proporcionados en JMP representan la mayoría de los casos esperados, pero realmente falta el agrupamiento basado en densidad y se puede encontrar en muchas situaciones diferentes.
En ausencia de una métrica común para comparar las diferentes técnicas de agrupación, puede resultar difícil elegir el método "correcto" o tener suficiente confianza en la elección de un método en particular.
Finalmente, debido a la variedad de agrupaciones basadas en diferentes estructuras de datos, es importante tener diferentes métricas de evaluación para cada método que puedan ayudar a evaluar la "robustez" de la decisión sobre el número de agrupaciones.
DBSCAN sería una característica bienvenida
