尊敬的 JMP 用户和 JMP 团队,您好:
是什么激发了这个愿望清单请求?
越来越多地了解聚类的不同应用和不同的可用方法(K 均值、高斯混合、DBSCAN、分层......),我有几个愿望希望讨论 JMP 中可用的平台和指标:
- 查看主要不同类型的聚类(基于质心、基于分布、分层和基于密度,请参阅聚类算法 |机器学习 |谷歌开发者),看来 JMP 能够涵盖 4 种主要聚类类型中的 3 种(分别使用 K 均值、正态混合和层次聚类),但不能涵盖基于密度的聚类。 自 2021 年以来,该主题已在 JMP 愿望清单中:基于密度的聚类 - JMP 用户社区
- 查看“评估”指标以了解哪些集群数量看起来最合理,平台之间存在一些差异:
- 对于层次聚类,评估指标是基于距离的,
- 对于 K 均值聚类(质心聚类),评估是基于三次聚类标准 (CCC) 的方差,
- 对于正态混合物(分布聚类),评估是基于 AICc 和 BIC 的信息论。
基于特定于聚类的算法,评估可能有所不同,这似乎很正常,但如果能够在相同的基础/指标上比较聚类方法,那就太好了。 文献中也有( [2212.12189] 停止使用 k 均值的肘部准则以及如何选择簇的数量 (arxiv.org) ),方差准则或 BIC 准则似乎是比较 K 均值不同簇数的首选选项。
您希望看到哪些改进?
- 基于密度的聚类方法的实现,例如 DBSCAN 和/或 HDBSCAN。
- 为不同的聚类方法(例如 AICc 和 BIC)实施通用评估指标,以便更好地评估哪种方法似乎是最合理的选择。 特定聚类方法的选择可以由领域专业知识和/或偏好来指导,但是有一个“中性”度量来安慰这种选择或挑战它会很棒。
- 对于每个聚类模型,基于方差(CCC、VRC、...)、距离(Dunn、Silhouette 分数、...)和信息论(AICc、BIC、...)实现其他聚类指标。
为什么这个想法很重要?
JMP 中提供的聚类算法确实代表了大多数预期情况,但基于密度的聚类确实缺失,并且可以在许多不同的情况下找到。
在缺乏比较不同聚类技术的通用度量的情况下,可能很难选择“正确”的方法,或者对特定方法的选择有足够的信心。
最后,由于基于不同数据结构的聚类多种多样,因此对每种方法有不同的评估指标非常重要,这可以帮助评估有关聚类数量的“鲁棒性”决策。