Bonjour chers utilisateurs JMP et équipe JMP,
Qu'est-ce qui a inspiré cette demande de liste de souhaits ?
En apprenant de plus en plus sur les différentes applications du clustering et les différentes méthodes disponibles (K-Means, Gaussian Mixtures, DBSCAN, Hierarchical...), j'avais plusieurs souhaits ouverts pour des discussions sur les plateformes et les métriques disponibles dans JMP :
- En examinant les principaux types de clustering (basé sur le centroïde, basé sur la distribution, hiérarchique et basé sur la densité, voir Algorithmes de clustering | Apprentissage automatique | Développeurs Google ), il semble que JMP soit capable de couvrir 3 des 4 principaux types de clustering (respectivement avec K-Means, Normal Mixtures et Hierarchical clustering), mais pas le clustering basé sur la densité. Ce sujet était déjà dans la Wish list de JMP depuis 2021 : clustering basé sur la densité - JMP User Community
- En regardant les métriques "d'évaluation" pour savoir quel nombre de clusters semble le plus raisonnable, il y a quelques différences entre les plateformes :
- Pour le clustering hiérarchique, la métrique d'évaluation est basée sur la distance,
- Pour le clustering K-Means (clustering centroïde), l'évaluation est basée sur la variance avec Cubic Clustering Criterion (CCC),
- Pour les mélanges normaux (clustering de distribution), l'évaluation est basée sur la théorie de l'information avec AICc et BIC.
Il semble tout à fait normal qu'en fonction de l'algorithme spécifique au clustering, l'évaluation puisse être différente, mais ce serait formidable de pouvoir comparer les méthodes de clustering sur la même base/métrique. Aussi dans la littérature ( [2212.12189] Arrêtez d'utiliser le critère du coude pour les k-moyennes et comment choisir le nombre de clusters à la place (arxiv.org) ), le critère de variance ou le critère BIC semblent être les options préférées pour comparer différents nombres de clusters pour K-Means.
Quelles sont les améliorations que vous aimeriez voir?
- Implémentation d'une méthode de clustering basée sur la densité, comme DBSCAN et/ou HDBSCAN.
- Mise en place d'une métrique d'évaluation commune pour les différentes méthodes de clustering (comme AICc et BIC), afin de mieux évaluer quelle(s) méthode(s) semble(nt) être le(s) choix le(s) plus raisonnable(s). Le choix d'une méthode de clustering spécifique peut être guidé par l'expertise et/ou les préférences du domaine, mais avoir une métrique "neutre" pour conforter ce choix ou le défier serait formidable.
- Pour chaque modèle de clustering, implémentation d'autres métriques de clustering basées sur la variance (CCC, VRC, ...), la distance (Dunn, Silhouette scores, ...) et la théorie de l'information (AICc, BIC, ...).
Pourquoi cette idée est-elle importante ?
Les algorithmes de clustering fournis dans JMP représentent la majorité des cas attendus, mais le clustering basé sur la densité fait vraiment défaut et peut être trouvé dans de nombreuses situations différentes.
En l'absence d'une métrique commune pour comparer les différentes techniques de clustering, il peut être difficile de choisir la "bonne" méthode, ou d'être suffisamment confiant dans le choix d'une méthode particulière.
Enfin, en raison de la variété des clusters basés sur différentes structures de données, il est important d'avoir différentes métriques d'évaluation pour chaque méthode qui peuvent aider à évaluer la décision de « robustesse » concernant le nombre de clusters.
