Ciao cari utenti JMP e team JMP,
Cosa ha ispirato questa richiesta di lista dei desideri?
Imparando sempre di più sulle diverse applicazioni del clustering e sui diversi metodi disponibili (K-Means, Gaussian Mixtures, DBSCAN, Hierarchical ...), avevo diversi desideri aperti per discussioni sulle piattaforme e le metriche disponibili in JMP:
- Considerando i principali diversi tipi di clustering (basato sul centroide, basato sulla distribuzione, gerarchico e basato sulla densità, vedere Algoritmi di clustering | Apprendimento automatico | Sviluppatori Google ), sembra che JMP sia in grado di coprire 3 dei 4 tipi principali di clustering (rispettivamente con medie K, miscele normali e clustering gerarchico), ma non il clustering basato sulla densità. Questo argomento era già nella lista dei desideri di JMP dal 2021: clustering basato sulla densità - Comunità degli utenti JMP
- Osservando le metriche di "valutazione" per sapere quale numero di cluster sembra più ragionevole, ci sono alcune differenze tra le piattaforme:
- Per il clustering gerarchico, la metrica di valutazione è basata sulla distanza,
- Per il clustering K-Means (clustering centroide), la valutazione è basata sulla varianza con il Cubic Clustering Criterion (CCC),
- Per le miscele normali (clustering di distribuzione), la valutazione è basata sulla teoria dell'informazione con AICc e BIC.
Sembra abbastanza normale che in base all'algoritmo specifico del clustering, la valutazione possa essere diversa, ma sarebbe bello poter confrontare i metodi di clustering sulla stessa base/metrica. Anche in letteratura ( [2212.12189] Smettere di utilizzare il criterio del gomito per le k-medie e come scegliere invece il numero di cluster (arxiv.org) ), il criterio della varianza o il criterio BIC sembrano essere le opzioni preferite per confrontare un numero diverso di cluster per le medie K.
Quali sono i miglioramenti che vorresti vedere?
- Implementazione di un metodo di clustering basato sulla densità, come DBSCAN e/o HDBSCAN.
- Implementazione di una metrica di valutazione comune per i diversi metodi di clustering (come AICc e BIC), al fine di valutare meglio quale metodo sembra essere la scelta più ragionevole. La scelta di uno specifico metodo di clustering può essere guidata dalle competenze e/o dalle preferenze del settore, ma avere una metrica "neutrale" per confortare questa scelta o sfidarla sarebbe fantastico.
- Per ciascun modello di clustering, implementazione di altre metriche di clustering basate sulla varianza (CCC, VRC, ...), distanza (Dunn, Silhouette scores, ...) e teoria dell'informazione (AICc, BIC, ...).
Perché questa idea è importante?
Gli algoritmi di clustering forniti in JMP rappresentano la maggior parte dei casi previsti, ma il clustering basato sulla densità in realtà manca e può essere trovato in molte situazioni diverse.
In assenza di una metrica comune per confrontare le diverse tecniche di clustering, potrebbe essere difficile scegliere il metodo "giusto" o avere sufficiente fiducia nella scelta di un metodo particolare.
Infine, a causa della varietà di clustering basati su diverse strutture dati, è importante disporre di metriche di valutazione diverse per ciascun metodo che possano aiutare a valutare la decisione di "robustezza" relativa al numero di cluster.
DBSCAN sarebbe una funzionalità gradita
