Hallo liebe JMP-Benutzer und JMP-Team,
Was hat diese Wunschlistenanfrage inspiriert?
Als ich mehr und mehr über verschiedene Anwendungen des Clusterings und die verschiedenen verfügbaren Methoden (K-Means, Gaußsche Mischungen, DBSCAN, Hierarchisch ...) lernte, hatte ich mehrere Wünsche für Diskussionen über die in JMP verfügbaren Plattformen und Metriken offen:
- Betrachtet man die wichtigsten verschiedenen Arten des Clusterings (zentroidbasiert, verteilungsbasiert, hierarchisch und dichtebasiert), siehe Clustering-Algorithmen | Maschinelles Lernen | Google-Entwickler ) scheint JMP in der Lage zu sein, drei der vier Haupttypen des Clusterings (jeweils mit K-Mittelwerten, normalen Mischungen und hierarchischem Clustering) abzudecken, nicht jedoch das dichtebasierte Clustering. Dieses Thema war bereits seit 2021 auf der JMP-Wunschliste: Dichtebasiertes Clustering – JMP-Benutzergemeinschaft
- Wenn man sich die „Bewertungs“-Metriken ansieht, um herauszufinden, welche Anzahl von Clustern am sinnvollsten erscheint, gibt es einige Unterschiede zwischen den Plattformen:
- Beim hierarchischen Clustering ist die Bewertungsmetrik distanzbasiert.
- Beim K-Means-Clustering (Centroïd-Clustering) erfolgt die Auswertung varianzbasiert mit dem Cubic Clustering Criterion (CCC).
- Für Normalmischungen (Verteilungsclusterung) erfolgt die Auswertung informationstheoretisch mit AICc und BIC.
Es erscheint ganz normal, dass die Auswertung basierend auf dem Clustering-spezifischen Algorithmus unterschiedlich ausfallen kann, aber es wäre großartig, die Clustering-Methoden auf derselben Basis/Metrik vergleichen zu können. Auch in der Literatur ( [2212.12189] Verwenden Sie nicht mehr das Ellbogenkriterium für k-Mittel und wie wählen Sie stattdessen die Anzahl der Cluster aus (arxiv.org) ), Varianzkriterium oder BIC-Kriterium scheinen die bevorzugten Optionen zu sein, um eine unterschiedliche Anzahl von Clustern für K-Mittel zu vergleichen.
Welche Verbesserungen würden Sie sich wünschen?
- Implementierung einer dichtebasierten Clustering-Methode wie DBSCAN und/oder HDBSCAN.
- Implementierung einer gemeinsamen Bewertungsmetrik für die verschiedenen Clustering-Methoden (wie AICc und BIC), um besser beurteilen zu können, welche Methode(n) die sinnvollste(n) Wahl(en) zu sein scheinen. Die Wahl einer bestimmten Clustering-Methode kann von Domänenexpertise und/oder Präferenzen geleitet werden, aber es wäre großartig, eine „neutrale“ Metrik zu haben, um diese Wahl zu erleichtern oder in Frage zu stellen.
- Für jedes Clustering-Modell Implementierung anderer Clustering-Metriken basierend auf Varianz (CCC, VRC, ...), Distanz (Dunn, Silhouette-Scores, ...) und Informationstheorie (AICc, BIC, ...).
Warum ist diese Idee wichtig?
Die in JMP bereitgestellten Clustering-Algorithmen repräsentieren zwar die meisten erwarteten Fälle, aber dichtebasiertes Clustering fehlt wirklich und kann in vielen verschiedenen Situationen gefunden werden.
Da es keine gemeinsame Metrik zum Vergleich der verschiedenen Clustering-Techniken gibt, kann es schwierig sein, die „richtige“ Methode auszuwählen oder sich bei der Wahl einer bestimmten Methode ausreichend sicher zu sein.
Schließlich ist es aufgrund der Vielfalt des Clusterings, das auf unterschiedlichen Datenstrukturen basiert, wichtig, für jede Methode unterschiedliche Bewertungsmetriken zu haben, die dabei helfen können, die „Robustheits“-Entscheidung über die Anzahl der Cluster zu bewerten.
DBSCAN wäre eine willkommene Funktion
