Salve cari utenti JMP e team JMP,
Cosa ha ispirato questa richiesta di lista dei desideri?
Imparando sempre di più sulle diverse applicazioni di clustering e sui diversi metodi disponibili (K-Means, Gaussian Mixtures, DBSCAN, Hierarchical ...), ho avuto diversi desideri aperti per discussioni sulle piattaforme e le metriche disponibili in JMP:
- Osservando i principali tipi di clustering (basato sul centroide, basato sulla distribuzione, gerarchico e basato sulla densità, vedere Algoritmi di clustering | Apprendimento automatico | Sviluppatori Google ), sembra che JMP sia in grado di coprire 3 dei 4 principali tipi di clustering (rispettivamente con K-Means, Normal Mixtures e Hierarchical clustering), ma non il clustering basato sulla densità. Questo argomento era già nella lista dei desideri di JMP dal 2021: clustering basato sulla densità - Comunità di utenti JMP
- Osservando le metriche di "valutazione" per sapere quale numero di cluster sembra il più ragionevole, ci sono alcune differenze tra le piattaforme:
- Per il clustering gerarchico, la metrica di valutazione è basata sulla distanza,
- Per il clustering K-Means (clustering centroide), la valutazione è basata sulla varianza con Cubic Clustering Criterion (CCC),
- Per le miscele normali (cluster di distribuzione), la valutazione è basata sulla teoria dell'informazione con AICc e BIC.
Sembra abbastanza normale che in base all'algoritmo specifico di clustering, la valutazione possa essere diversa, ma sarebbe fantastico poter confrontare i metodi di clustering sulla stessa base/metrica. Anche in letteratura ( [2212.12189] Smetti di usare il criterio del gomito per k-medie e come scegliere invece il numero di cluster (arxiv.org) ), il criterio della varianza o il criterio BIC sembrano essere le opzioni preferite per confrontare un numero diverso di cluster per K-medie.
Quali sono i miglioramenti che vorresti vedere?
- Implementazione di un metodo di clustering basato sulla densità, come DBSCAN e/o HDBSCAN.
- Implementazione di una metrica di valutazione comune per i diversi metodi di raggruppamento (come AICc e BIC), al fine di valutare meglio quale metodo sembra essere la scelta più ragionevole. La scelta di uno specifico metodo di clustering può essere guidata dall'esperienza e/o dalle preferenze del dominio, ma avere una metrica "neutrale" per confortare questa scelta o sfidarla sarebbe fantastico.
- Per ogni modello di clustering, implementazione di altre metriche di clustering basate su varianza (CCC, VRC, ...), distanza (Dunn, Silhouette scores, ...) e teoria dell'informazione (AICc, BIC, ...).
Perché questa idea è importante?
Gli algoritmi di clustering forniti in JMP rappresentano la maggior parte dei casi previsti, ma il clustering basato sulla densità è davvero assente e può essere trovato in molte situazioni diverse.
In assenza di una metrica comune per confrontare le diverse tecniche di clustering, può essere difficile scegliere il metodo "giusto" o essere sufficientemente fiduciosi nella scelta di un particolare metodo.
Infine, a causa della varietà di clustering basati su diverse strutture di dati, è importante disporre di metriche di valutazione diverse per ciascun metodo che possono aiutare a valutare la decisione di "robustezza" sul numero di cluster.
