Bonjour chers utilisateurs JMP et équipe JMP,
Qu'est-ce qui a inspiré cette demande de liste de souhaits ?
En apprenant de plus en plus sur les différentes applications du clustering et les différentes méthodes disponibles (K-Means, Gaussian Mixtures, DBSCAN, Hierarchical ...), j'avais plusieurs souhaits ouverts à des discussions sur les plateformes et métriques disponibles dans JMP :
- En examinant les principaux types de clustering (basé sur le centroïde, basé sur la distribution, hiérarchique et basé sur la densité, voir Algorithmes de clustering | Apprentissage automatique | Développeurs Google ), il semble que JMP soit capable de couvrir 3 des 4 principaux types de clustering (respectivement avec K-Means, Normal Mixtures et Hierarchical clustering), mais pas le clustering basé sur la densité. Ce sujet figurait déjà dans la Wish list JMP depuis 2021 : clustering basé sur la densité - Communauté d'utilisateurs JMP
- En regardant les métriques "d'évaluation" pour savoir quel nombre de clusters semble le plus raisonnable, il existe quelques différences entre les plateformes :
- Pour le clustering hiérarchique, la métrique d'évaluation est basée sur la distance,
- Pour le clustering K-Means (clustering centroïde), l'évaluation est basée sur la variance avec le critère de clustering cubique (CCC),
- Pour les mélanges normaux (clustering de distribution), l'évaluation est basée sur la théorie de l'information avec AICc et BIC.
Il semble tout à fait normal qu'en fonction de l'algorithme spécifique au clustering, l'évaluation puisse être différente, mais ce serait formidable de pouvoir comparer les méthodes de clustering sur la même base/métrique. Aussi en littérature ( [2212.12189] Arrêtez d'utiliser le critère du coude pour les k-moyennes et comment choisir le nombre de clusters à la place (arxiv.org) ), le critère de variance ou le critère BIC semblent être les options privilégiées pour comparer différents nombres de clusters pour les K-Means.
Quelles sont les améliorations que vous souhaiteriez voir ?
- Implémentation d'une méthode de clustering basée sur la densité, comme DBSCAN et/ou HDBSCAN.
- Mise en place d'une métrique d'évaluation commune pour les différentes méthodes de clustering (comme AICc et BIC), afin de mieux évaluer quelle(s) méthode(s) semblent être le(s) choix(s) le(s) le plus raisonnable(s). Le choix d'une méthode de clustering spécifique peut être guidé par l'expertise et/ou les préférences du domaine, mais disposer d'une métrique « neutre » pour conforter ce choix ou le remettre en question serait formidable.
- Pour chaque modèle de clustering, mise en œuvre d'autres métriques de clustering basées sur la variance (CCC, VRC, ...), la distance (Dunn, Silhouette scores, ...) et la théorie de l'information (AICc, BIC, ...).
Pourquoi cette idée est-elle importante ?
Les algorithmes de clustering fournis dans JMP représentent la majorité des cas attendus, mais le clustering basé sur la densité est vraiment absent et peut être trouvé dans de nombreuses situations différentes.
En l'absence d'une métrique commune pour comparer les différentes techniques de clustering, il peut être difficile de choisir la « bonne » méthode, ou d'être suffisamment confiant dans le choix d'une méthode particulière.
Enfin, en raison de la variété des regroupements basés sur différentes structures de données, il est important d'avoir des métriques d'évaluation différentes pour chaque méthode qui peuvent aider à évaluer la décision de « robustesse » concernant le nombre de clusters.
DBSCAN serait une fonctionnalité bienvenue
