친애하는 JMP 사용자 여러분, JMP 팀 여러분 안녕하세요.
이 위시리스트 요청에 영감을 준 것은 무엇입니까?
클러스터링의 다양한 응용 프로그램과 사용 가능한 다양한 방법(K-평균, 가우시안 혼합, DBSCAN, 계층적 ...)에 대해 점점 더 많이 알게 되면서 JMP에서 사용할 수 있는 플랫폼과 지표에 대해 논의할 몇 가지 희망 사항이 생겼습니다.
- 클러스터링의 주요 유형(중심 기반, 분포 기반, 계층적 및 밀도 기반, 참조) 클러스터링 알고리즘 | 기계 학습 | 구글 개발자 ), JMP는 클러스터링의 4가지 주요 유형 중 3가지(각각 K-평균, 일반 혼합 및 계층적 클러스터링 포함)를 다룰 수 있지만 밀도 기반 클러스터링은 처리할 수 없는 것으로 보입니다. 이 주제는 2021년부터 이미 JMP 위시리스트에 있었습니다. 밀도 기반 클러스터링 - JMP 사용자 커뮤니티
- 가장 합리적으로 보이는 클러스터 수를 알기 위해 "평가" 메트릭을 살펴보면 플랫폼 간에 몇 가지 차이점이 있습니다.
- 계층적 클러스터링의 경우 평가 메트릭은 거리 기반입니다.
- K-Means 클러스터링(중심 클러스터링)의 경우 평가는 CCC(Cubic Clustering Criterion)를 사용한 분산 기반입니다.
- 정규 혼합(분포 클러스터링)의 경우 평가는 AICc 및 BIC를 사용한 정보 이론 기반입니다.
클러스터링 특정 알고리즘을 기반으로 평가가 다를 수 있는 것은 매우 정상적인 것처럼 보이지만 동일한 기준/메트릭에서 클러스터링 방법을 비교할 수 있으면 좋을 것입니다. 또한 문헌( [2212.12189] k-평균에 대한 팔꿈치 기준 사용 중지 및 클러스터 수 선택 방법(arxiv.org) ), 분산 기준 또는 BIC 기준은 K-평균에 대해 서로 다른 클러스터 수를 비교하는 데 선호되는 옵션인 것 같습니다.
보고 싶은 개선 사항은 무엇입니까?
- DBSCAN 및/또는 HDBSCAN과 같은 밀도 기반 클러스터링 방법 구현.
- 어떤 방법이 가장 합리적인 선택인지 더 잘 평가하기 위해 다양한 클러스터링 방법(예: AICc 및 BIC)에 대한 공통 평가 지표 구현. 특정 클러스터링 방법의 선택은 도메인 전문 지식 및/또는 기본 설정에 따라 결정될 수 있지만 이러한 선택이나 문제를 해결하기 위해 "중립" 메트릭을 사용하는 것이 좋습니다.
- 각 클러스터링 모델에 대해 분산(CCC, VRC, ...), 거리(Dunn, Silhouette 점수, ...) 및 정보 이론(AICc, BIC, ...)을 기반으로 하는 다른 클러스터링 메트릭의 구현.
이 아이디어가 중요한 이유는 무엇입니까?
JMP에서 제공하는 군집화 알고리즘은 대부분의 예상 사례를 나타내지만 밀도 기반 군집화는 실제로 누락되었으며 다양한 상황에서 찾을 수 있습니다.
서로 다른 클러스터링 기술을 비교하기 위한 공통 메트릭이 없으면 "올바른" 방법을 선택하거나 특정 방법 선택에 대해 충분히 확신하기 어려울 수 있습니다.
마지막으로 서로 다른 데이터 구조를 기반으로 하는 다양한 클러스터링으로 인해 클러스터 수에 대한 "강건성" 결정을 평가하는 데 도움이 될 수 있는 각 방법에 대해 서로 다른 평가 메트릭을 갖는 것이 중요합니다.
