나선형 데이터에 대한 클러스터 분석을 가장 잘 수행하는 방법은 무엇입니까?안녕,
JMP나 JMP Pro에서 사용할 수 있는 어떤 클러스터링 플랫폼이 이러한 나선형 데이터에서 클러스터를 식별하는 데 가장 적합한지 알고 싶습니다.
HDBSCAN을 사용하면 아래 그림과 같이 클러스터를 정확하게 식별할 수 있지만 가능하다면 JMP를 사용하고 싶습니다.
테이블 스크립트가 첨부되었습니다.
고마워요 jpol
소비자 및 시장 조사Re: 나선형 데이터에 대한 클러스터 분석을 가장 잘 수행하는 방법은 무엇입니까?안녕 @jpol ,
나는 이 게시물을 발견했고 매우 흥미로웠다. 내가 무엇을 찾고 있었는지 지금은 기억조차 나지 않지만 이것은 정말 멋진 게시물이었고 가지고 놀 수 있는 원본 데이터 세트에 감사드립니다!나는 당신이 관심을 가질만한 다른 접근 방식을 시도했습니다. 먼저 데이터 테이블에 추가 열을 추가하고 필요하지 않은 다른 열을 제거했습니다. 더 많은 X 및 Y 데이터를 추가했지만 잡음이 있어서 나선이 보기에 좋지 않았습니다(단지 문제를 더 어렵게 만들기 위함이었습니다! 
). 클러스터링과 모델링을 테스트하기 위해 X/Y 좌표를 R/theta 좌표로 변환하기도 했지만 R과 theta가 클러스터링이나 모델링을 개선하지 못하는 것을 발견했습니다. 데이터 테이블도 첨부합니다.
데이터를 표준화할 때에도 계층적 클러스터링의 단일 연결 방법으로 이러한 "이상치" 포인트가 혼란을 야기한다는 것이 맞습니다. 이러한 점이 나머지 데이터와 공통점을 공유하고 해당 열(예: X 또는 Y) 내의 데이터에 대한 표준 편차를 부풀리기 때문이라고 생각합니다. 그러나 JMP 11에서는 이상값을 더욱 두드러지게 만드는 견고하게 표준화 옵션을 추가했습니다. 나는 그것에 대한 전체 알고리즘을 모르지만 JMP가 일종의 T^2, Jackknife 또는 KNN 이상값 테스트를 수행할 것이라고 추측합니다. 실제로 Multivariate 플랫폼을 사용하여 T^2 테스트를 수행하거나 Explore Outlier 플랫폼을 사용하여 KNN 테스트를 실행하면 5개의 추가 포인트가 잠재적인 이상값으로 표시되는 것을 확인할 수 있습니다. 문제의 유일한 사람은 중앙에 있는 사람일 수 있습니다. 아래 보고서를 볼 수 있습니다. 또한 데이터 테이블에 스크립트로 저장됩니다.
요컨대 이상값이 있다고 생각할 때 강력하게 표준화를 선택하면 JMP에서 데이터를 표준화할 때 이상값의 영향이 최소화됩니다. 덴드로그램을 얻을 때 8개의 클러스터를 선택할 수 있으며 계층적 클러스터링 플랫폼은 추가 5개의 데이터 포인트를 고유한 개별 클러스터로 올바르게 구분합니다. 아래 JMP의 HC 보고서를 참조하십시오. 모든 이상값 클러스터가 단일 성좌 암에 정렬되어 있음을 볼 수 있습니다. 그들은 서로 충분히 공통적으로 공유하지 않는 동시에 나머지 데이터 세트와 공통적으로 너무 많이 공유하기 때문에 자체 클러스터에 배치할 수 없습니다. 여전히 8개의 클러스터를 지정해야 합니다. 그렇지 않으면 중심점과 전체 나선을 하나의 클러스터로 그룹화하고 4개의 외부 포인트를 각각 고유한 클러스터로 그룹화합니다.
데이터의 3차원이 있다면 별의 밝기(은하 이미지와 매우 유사하기 때문에 단지 그렇게 말할 뿐입니다) 또는 Z 좌표를 데이터에 추가하여 다른 구별 방법을 허용할 수 있습니다. 이상값이라는 것을 미리 알고 있는 경우 항상 클러스터의 총 수(이 경우 8개)를 지정할 수 있으며 계층적 클러스터링은 이를 잘 선택합니다(강건하게 표준화할 때). 문제의 포인트가 사진 플레이트의 특정 위치를 표시하는 기점이나 Si 웨이퍼의 트랜지스터 레이아웃과 같은 것이라면 처음부터 데이터 세트에서 제거할 수 있습니다. 그러나 이것은 어떻게든 데이터에 포함해야 하는 선험적 지식입니다.
나는 이것을 조금 더 가지고 놀기로 결정하고 기계 알고리즘이 클러스터를 선택할 수 있는지 확인했습니다. JMP Pro에서 사용할 수 있는 방법 중에서 분류 출력을 도출하기 위해 수치 입력이 필요하기 때문에 서포트 벡터 머신이 가장 좋을 것 같습니다. 이 데이터 세트는 본질적으로 분류 문제입니다. 나선의 각 팔을 다른 팔과 구별하려고 합니다.
계층적 클러스터링 플랫폼의 클러스터를 JMP Pro의 Support Vector Machine 플랫폼에 대한 X 및 Y 입력과 함께 모델에 대한 출력으로 사용하여 다양한 클러스터를 완벽하게 모델링할 수 있었습니다. 모델에서 사용할 정확한 매개변수를 알지 못하여 40회 실행으로 튜닝 설계를 수행했으며 확실히 SVM 플랫폼은 8개의 클러스터를 선택할 수 있었습니다. 클러스터 대 예측 클러스터의 분할표에는 0개의 오분류가 있습니다. *업데이트*: SVM 모델을 교육할 때 데이터의 50%를 유효성 검사 세트로 사용했다는 사실을 언급하는 것을 잊었습니다.
다음은 SVM 보고서의 출력입니다. 각 암과 5개의 추가 이상값이 고유하게 식별되는 것을 볼 수 있습니다.
HC 방법과 SVM으로 채색된 데이터를 비교하면 본질적으로 동일하다는 것을 알 수 있습니다. (이상치에 대한 마커 유형을 *로 변경하여 보기 쉽게 했습니다.)
그리고 분할표에는 0개의 오분류가 표시됩니다.
이것은 가지고 놀기에 정말 멋진 데이터 세트였으며 이 질문을 게시해 주셔서 감사합니다. 다시 말하지만, 내가 원래 무엇을 찾고 있었는지 기억조차 나지 않지만 이것이 더 멋진 것을 발견했습니다. 나는 다른 플랫폼 중 일부를 시도하고 이 데이터를 모델링/분류하는 데 얼마나 좋은지 확인할 수 있습니다. 감사!
이게 도움이 되길 바란다!,
DS
**업데이트 2**:
그래서 저는 돌아가서 JMP의 다른 예측 모델링 플랫폼 중 일부를 사용하여 이 데이터 세트를 맞추는 테스트를 했습니다. 근접한 다른 두 개는 의사 결정 트리와 부트스트랩 포리스트 플랫폼이었습니다. 그럼에도 불구하고 둘 다 SVM 모델만큼 성능이 좋지 않습니다. 둘 다 모델링 중에 3개의 클러스터만 선택했으며 클러스터는 거의 동일하지만 완전하지는 않습니다. 따라서 실제로 SVM이 더 나은 선택인 것 같습니다.
새로운 XGBoost 플랫폼도 사용해 보았지만 놀랍게도 그다지 잘 작동하지 않았습니다. 여러 가지 피팅 옵션을 시도했지만 다양한 튜닝 매개변수가 있으므로 최적화하지 않았을 수 있습니다. 그것이 한 최선은 나선의 3개의 팔과 단 하나의 이상값을 분류하고 나머지는 잘못 분류한 것입니다. 따라서 결국 출력을 얻기 위한 HC 클러스터링과 잠재적인 알려지지 않은 나선에 대한 출력을 모델링하기 위한 SVM 모델링이 아마도 최고일 것입니다. 많은 재미!
Re: 나선형 데이터에 대한 클러스터 분석을 가장 잘 수행하는 방법은 무엇입니까?저는 여기서 전문가가 아닙니다. 나는 다른 사람들에게 미룰 것이다. 내 추측은 다른 지점에서 평균보다 멀지 않은 지점을 발견하기 위한 별도의 패스일 것이지만 서로 옆에 두 개의 이상값이 있는 경우 실패할 것이므로 두 클러스터를 테스트해야 할 것입니다...아마도 HDBSCAN은 그런 일을 하고 있습니다.
어떤 종류의 프로세스가 나선형 클러스터를 생성하는지 공유할 수 있습니까?
Re: 나선형 데이터에 대한 클러스터 분석을 가장 잘 수행하는 방법은 무엇입니까?올바른 방법과 기사 링크를 알려준 Craig에게 감사드립니다.
단일 링크 방법은 이 비교적 깨끗한 데이터 세트에서 매우 잘 작동합니다.
위에서 제공한 테이블 스크립트에는 "행 추가"라는 데이터 행을 몇 개 더 추가하는 스크립트가 포함되어 있습니다.
이들은 이상값으로 간주되거나 최소한 세 가지 주요 클러스터에 속하지 않는 것으로 식별되어야 합니다. HDBSCAN의 "-1" 클러스터와 같은 것.
이러한 추가 포인트의 추가는 단일 연결 방법(3개 또는 4개의 클러스터를 찾을 때)에 혼란을 주는 것으로 보입니다.
이것을 피하는 방법을 아십니까?
- 필립
Re: 나선형 데이터에 대한 클러스터 분석을 가장 잘 수행하는 방법은 무엇입니까?단일 연결. 원하는 클러스터 수(예: 3개)를 알아야 합니다. 그렇지 않으면 나선형 팔이 더 많은 클러스터로 나뉩니다.
Hierarchical Cluster(
Y( :X, :Y ),
Method( "Single" ),
Standardize Data( 1 ),
Color Clusters( 1 ),
Dendrogram Scale( "Distance Scale" ),
Number of Clusters( 3 )
)
Dendrogram with cluster colorsDendrogram with cluster colorsDendrogram with cluster colors클러스터 색상이 있는 덴드로그램
Graph with cluster colorsGraph with cluster colorsGraph with cluster colors 클러스터 색상이 있는 그래프
나는 이 기사가 도움이 될 것이라고 생각합니다. "체인"이 언급된 것을 볼 수 있을 만큼 충분히 읽었습니다.
https://stats.stackexchange.com/questions/195446/choosing-the-right-linkage-method-for-hierarchical-clustering
