친애하는 JMP 사용자 및 JMP 팀 여러분, 안녕하세요.
이 위시리스트 요청에 영감을 준 것은 무엇입니까?
클러스터링의 다양한 응용과 사용 가능한 다양한 방법(K-평균, 가우스 혼합, DBSCAN, 계층적 ...)에 대해 점점 더 많이 알게 되면서 JMP에서 사용할 수 있는 플랫폼과 측정항목에 대해 논의하고 싶은 마음이 몇 가지 생겼습니다.
- 다양한 주요 클러스터링 유형(중심 기반, 분포 기반, 계층적 및 밀도 기반)을 살펴보세요. 클러스터링 알고리즘 | 머신러닝 | 구글 개발자 ), JMP는 4가지 주요 클러스터링 유형 중 3가지(각각 K-평균, 정규 혼합, 계층적 클러스터링)를 처리할 수 있지만 밀도 기반 클러스터링은 처리할 수 없는 것으로 보입니다. 이 주제는 2021년부터 이미 JMP 위시 리스트에 포함되었습니다. 밀도 기반 클러스터링 - JMP User Community
- 어떤 클러스터 수가 가장 합리적인지 확인하기 위해 "평가" 지표를 살펴보면 플랫폼 간에 몇 가지 차이점이 있습니다.
- 계층적 클러스터링의 경우 평가 측정항목은 거리 기반입니다.
- K-평균 군집화(중심 군집화)의 경우 평가는 CCC(Cubic Clustering Criterion)를 사용한 분산 기반입니다.
- 정규 혼합(분포 클러스터링)의 경우 평가는 AICc 및 BIC를 사용한 정보 이론 기반입니다.
클러스터링 특정 알고리즘을 기반으로 평가가 다를 수 있다는 것은 꽤 정상적인 것처럼 보이지만 동일한 기준/메트릭에서 클러스터링 방법을 비교할 수 있다면 좋을 것입니다. 또한 문헌( [2212.12189] k-평균에 대한 팔꿈치 기준 사용을 중지하고 대신 클러스터 수를 선택하는 방법(arxiv.org) ), 분산 기준 또는 BIC 기준은 K-평균에 대해 다양한 수의 클러스터를 비교하는 데 선호되는 옵션인 것 같습니다.
어떤 개선이 이루어졌으면 좋겠나요?
- DBSCAN 및/또는 HDBSCAN과 같은 밀도 기반 클러스터링 방법 구현.
- 어떤 방법이 가장 합리적인 선택인지 더 잘 평가하기 위해 다양한 클러스터링 방법(예: AICc 및 BIC)에 대한 공통 평가 지표를 구현합니다. 특정 클러스터링 방법의 선택은 해당 분야의 전문 지식 및/또는 선호도에 따라 결정될 수 있지만 이러한 선택이나 문제를 해결하기 위한 "중립적인" 측정 기준을 갖는 것이 좋습니다.
- 각 클러스터링 모델에 대해 분산(CCC, VRC, ...), 거리(Dunn, Silhouette 점수, ...) 및 정보 이론(AICc, BIC, ...)을 기반으로 다른 클러스터링 측정항목을 구현합니다.
이 아이디어가 왜 중요한가요?
JMP에서 제공되는 클러스터링 알고리즘은 예상 사례의 대부분을 나타내지만 밀도 기반 클러스터링은 실제로 누락되어 있으며 다양한 상황에서 찾을 수 있습니다.
서로 다른 클러스터링 기술을 비교할 수 있는 공통 측정 기준이 없으면 "올바른" 방법을 선택하거나 특정 방법을 선택하는 데 충분한 확신을 갖기가 어려울 수 있습니다.
마지막으로, 서로 다른 데이터 구조를 기반으로 하는 다양한 클러스터링으로 인해 클러스터 수에 대한 "강건성" 결정을 평가하는 데 도움이 될 수 있는 각 방법에 대해 서로 다른 평가 측정항목을 갖는 것이 중요합니다.
