안녕하세요,
고객이 kmeans 클러스터링에 대한 클러스터 비교 보고서에 지정된 Optimal CCC가 때로는 다른 클러스터의 CCC보다 낮은 이유를 문서와 상충하는 이유를 물었습니다.
nicardipine 데이터 세트와 kmeans 클러스터링을 첨부 된대로 사용하여이 동작을 재현 할 수 있습니다 (클러스터링을위한 스크립트 실행)
문서에 언급되지 않은 결정과 관련된 다른 기준이 있습니까? 그렇지 않은 이유는 무엇입니까?
나는이 변칙을 일으키는 몇 가지가 있다고 생각합니다. 이 중 하나가 원인이면 문서에서 언급해야하므로 문서에서 더 자세한 내용이 필요하다고 생각합니다.
내 생각:
사용한 니카 디핀 변수는 연속적이 아닌 범주 형입니다. 그것은 문제에 기여할 수 있습니다. 데이터의 불연속성은 일반적으로 CCC가 너무 많은 클러스터를 선택하게합니다.
변수 중 두 가지는 상수 값입니다. 의사조차도 그들이 무시되었다고 말했기 때문에 그것이 문제라고 생각하지 않습니다.
6에서 시작하는 모든 클러스터에는 단일 관측치 만있는 클러스터가 있습니다. 그렇기 때문에 해당 클러스터가 "최적화"되지 않은 이유 일 수 있습니다 (그러나 저는 이것을 믿지 않지만 가능합니다).
클러스터 전체에서 CCC를 살펴보면 CCC가 급격히 떨어지고 부정적입니다. 음의 CCC 값은 일반적으로 특이 치를 나타냅니다. CCC가 더 낮은 연속으로 5 개의 클러스터 크기가 있기 때문에, 3 개의 클러스터 모델보다 CCC가 더 높은 것은 초과 적합을 나타낼 것이라고 생각합니다. JMP가 비슷한 논리를 적용 할 수 있습니까?
3 대신 4에서 12까지의 클러스터로 KMeans를 실행하면 예상 한 결과를 얻을 수 있으므로 이것이 버그입니까?
완벽을 기하기 위해 JMP 문서는 SAS 기술 문서를 참조하며, 그 문서의 완성도에 대한 결론을 포함 시켰습니다. 전체 문서는 다음과 같습니다. https://support.sas.com/kb/22/addl/fusion_22540_1_a108_5903.pdf
확실히 흥미로운 상황입니다. 3이 선택되는 진짜 이유를 듣고 싶습니다!
감사 D . 고객에게 특이 치, 군집 값 # 및 사용 된 열 유형을 확인합니다. 이것은 그것에 빛을 비출 수 있습니다.
그러나 누군가 누군가 근본적인 이유 (버그, 예상, 데이터 유형 등)를 알기를 바랍니다.
이제 고객 데이터에 대한 자세한 정보를 얻었습니다.
613 개의 관측치, 39 개의 변수 [SAS 문서를 기반으로 약 60 개의 클러스터를 볼 수 있음]
6 개의 변수는 약 85 % -90 % 값 0을 갖습니다.
8 개의 변수는 20-25 개의 다른 값을 갖습니다.
PCA 및 이상치 분석을 사용한 거친 점검으로 대부분의 극심한 이상치 만 제거되었습니다. 병렬 좌표 플롯을 사용하여 클러스터를 확인하고 노이즈를 선언하고 결합하는 것을 거의 사용하지 않습니다. 따라서 최적의 CCC는 지침 일 뿐이며 클러스터를 자세히 살펴 봐야합니다. 그러나 Optimal CCCC가 가장 높은 값이 아닌 이전 클러스터에서 선택되었음을 이해하기 어렵습니다. 필자의 경우 N = 2 및 N = 3 클러스터 만 음수이고 N = 4이지만 N = 7이지만 더 높은 N은 더 높은 값입니다.
예 아니오:
NCluster N 행 CCC 베스트 방법
K는 클러스터 2를 의미합니다. -11,181
K 군집을 의미합니다 3. -25,497
K는 클러스터 4를 의미합니다. 4,46481 최적의 CCC
K 클러스터를 의미합니다. 0,87854
K 군집을 의미합니다 6. 7,58562
K 클러스터를 의미합니다. 4,0766 à 관측치가 1 개인 클러스터
K 클러스터를 의미합니다. 25,9692
K 클러스터를 의미 9. 16,4746
K는 클러스터 10을 의미합니다. 23,1449 à 관측치가 0 인 하나의 군집 (y, 0…)
K 클러스터를 의미합니다. 24,0572
K는 클러스터 12를 의미합니다. 26,9875
K 클러스터를 의미합니다 13. 27,7786 à 관측치가 0 인 하나의 군집 (y, 0…)
K 클러스터를 의미합니다. 29,0657 à 관측치가 0 인 하나의 군집 (y, 0…)
K 클러스터를 의미합니다 15. 18,975 à 관측치가 0 인 하나의 군집 (y, 0…)
NCluster = 3 기준으로 약 10 개의 관측치가있는 하나 이상의 군집입니다.
- 5-15 개의 클러스터 만 사용하는 것은 어떻습니까?
예, 그러면 최적 CCC가 올바르게 표시됩니다!
!!! 또한 "클러스터 표준 편차 편차 사용"을 선택 취소하고 2-15 클러스터를 사용하면 표시된 결과가 예상대로 나타납니다.
NCluster CCC 베스트 방법
K는 군집 2를 의미합니다 -8,3209
K는 군집 3을 의미합니다 -14,199
K 평균 군집 4 9,28967
K 평균 군집 5 5,42936
K 평균 군집 6 24,6335
K는 클러스터 7을 의미합니다. 30,4458
K는 클러스터 8을 의미합니다. 23,5854
K는 클러스터 9를 의미합니다. 36,858
K 평균 군집 10 35,6172
K 평균 군집 11 36,5099
K 평균 군집 12 38,4017
K 평균 군집 13 48,2059
K 평균 군집 14 44,3545
K 평균 군집 15 49,7344 최적 CCC
==> 따라서 클러스터 내에서 진행중인 표준화가이 옵션을 사용하지 않는 것과 다른 최적 CCC를 발생시키는 것으로 보입니다. 이 경우 CCC가 확인되지 않은 옵션과 확인 된 옵션에 대해 다른 값을 갖는 것처럼 보이기 때문에 디스플레이를 수정해야합니다. 이는 문서의 물론 어딘가에 언급되어야합니다.
개발자 / 테스터 / 작가의 모든 통찰력은 가치가있을 수 있습니다. 물론 JMP에서 변경해야 할 기술 지원을 제공 할 수도 있습니다.
감사,
남자 이름
JMP는 클러스터 번호를 "최적 CCC"로 레이블 지정하는 데 처음으로 2 미만으로 떨어지기 전에 가장 큰 CCC를 사용합니다. JMP 문서에 " CCC 값이 클수록 더 적합 함 " 변경해야합니다.
