스펙트럼 데이터에 대한 PCA + 클러스터링 분석안녕하세요!
스펙트럼 데이터의 PCA + 클러스터링 분석을 수행하는 단계에 관해 도와줄 수 있는 분이 있을지 궁금합니다.
저는 이미 모든 스펙트럼 데이터(강도)를 정규화했습니다. 구성 면에서 다양한 샘플이 있고, 각각 다른 처리 단계를 거칩니다. 다변량 기법이 샘플 클러스터링 측면에서 어느 것이 더 나은지(구성 또는 처리 단계)에 대해 논의함으로써 도움이 되기를 바랍니다.
유용할 수 있으므로, 제 데이터를 간략하게 첨부했습니다.
미리 감사드립니다!!
마리아나
고급 통계 모델링Re: 스펙트럼 데이터에 대한 PCA + 클러스터링 분석안녕하세요 @Mariana_Aguilar 님 ,
곡선 데이터 세트를 탐색하는 데에는 최소 2가지 옵션이 있습니다(하나는 JMP를 사용하고 다른 하나는 JMP Pro를 사용합니다):
- JMP를 사용하면 플랫폼 Fit Curve를 스택 데이터 형식으로 사용할 수 있으며, "Intensity normalized"를 Y로, "Wavelength (nm)"를 X로, "Sample"을 By 변수로 설정할 수 있습니다. 그런 다음, Skew Normal Peak(빨간색 삼각형의 Peak 모델에서 사용 가능)를 4개 샘플에 맞추고, 피팅된 곡선 매개변수인 Location , Scale , Skew 및 Peak 값을 추출할 수 있습니다("Parameter Estimates" 테이블을 마우스 오른쪽 버튼으로 클릭하고 "Make combined datatable"을 클릭합니다). 스택 형식으로 새 테이블이 열립니다.
이 표를 분할하고 PCA 플랫폼에서 매개변수 추정치를 사용하여 두 프로세스와 구성이 얼마나 유사하거나 다른지 평가할 수 있습니다.
대부분의 변화는 프로세스에서 비롯되는 것으로 보이며, 첫 번째 주성분은 매개변수 값의 변화 중 약 95%를 담당하며 프로세스와 연관되어 있습니다.
계층적 클러스터링은 또한 샘플 간의 가장 큰 차이가 프로세스의 차이(저온 살균 대 분산, 클러스터링에서 첫 번째 분할)와 연결될 수 있음을 보여줍니다.
-
JMP Pro를 사용하면 스택형 데이터 형식으로 함수 데이터 탐색기를 사용할 수 있으며, "정규화된 강도"를 Y, 출력, "파장(nm)"을 X, 입력, "샘플"을 ID, 함수 변수로 설정할 수 있습니다.
그런 다음 곡선 데이터에 B-Spline 모델을 적용할 수 있으며 17개의 스플라인이 있는 3차 모델이 잘 작동합니다.
그런 다음 샘플이 하나 또는 두 개의 기능적 주성분을 포함하고 있는지 시각화하기 위해 점수 플롯을 직접 볼 수 있습니다.
다시 한번, 샘플의 곡선 프로필에서 프로세스가 가장 큰 차이로 보이는 것을 보실 수 있습니다(곡선 데이터 변화의 99.8%를 담당하는 FPC1에 해당).
이 프로세스 중요성 결론은 Graph Builder를 통해서도 쉽게 시각화할 수 있습니다(두 샘플 ID는 매우 유사하지만 곡선의 변화는 대부분 프로세스 차이로 인한 것으로 추정할 수 있음):
여기에 설명된 분석을 따르기 위한 스크립트는 첨부된 데이터 표에서 확인하세요.
이 두 가지 솔루션이 도움이 되기를 바랍니다.
Re: 스펙트럼 데이터에 대한 PCA + 클러스터링 분석안녕하세요 @Mariana_Aguilar 님 ,
@Bill_Worley 가 작성한 스펙트럼 데이터에 대한 다변량 분석의 다음 리소스를 살펴보는 것이 좋습니다. 이 리소스는 JMP의 관련 도구를 이해하는 데 도움이 될 것입니다.
https://www.jmp.com/en_be/articles/analyzing-spectral-data-multivariate-methods.html
https://community.jmp.com/t5/Mastering-JMP/Building-Predictive-Models-for-Corlated-and-High-Dimensional/ta-p/618888
https://community.jmp.com/t5/Discovery-Summit-Americas-2020/Using-Multivariate-Tools-in-JMP-for-Analytic-of-Spectral-Data/ta-p/281561
감사해요,
벤
Re: 스펙트럼 데이터에 대한 PCA + 클러스터링 분석안녕하세요 빅터님, 친절하고 자세한 답변 감사합니다.
괜찮으시다면 몇 가지 질문이 더 있습니다.
1. 첫 번째 옵션(Fit Curve 메뉴 사용)의 경우 Peak Models 메뉴에서 Skew Normal Peaks를 찾을 수 없는 것 같습니다. Gaussian(녹색)으로 시도했지만 적어도 시각적으로는 잘 맞지 않는 것 같습니다. 그런 다음 ExGaussian으로 시도했는데 더 나은 것 같지만, 제 피팅된 곡선 매개변수에 더 많은 복잡성을 도입할지 확신할 수 없습니다.
두 번째 질문은 두 번째 옵션과 관련이 있습니다.
함수형 데이터 탐색기 플랫폼에서 얻은 주성분을 저장하여 계층적 클러스터링을 진행하는 방법을 아십니까? (또는 플랫폼 내에 클러스터링으로 이동할 수 있는 다른 옵션이 있습니까?)
매우 감사합니다!
마리아나
Re: 스펙트럼 데이터에 대한 PCA + 클러스터링 분석아, 한 가지 더 의심스럽습니다!
기능적 데이터 탐색기 플랫폼에서 먼저 B-Spline을 사용하여 데이터를 사전 처리하는 것과 모델 메뉴(빨간색 삼각형 아래)에서 Direct Functional PCA를 바로 사용하는 것의 차이점은 무엇입니까?
감사합니다!
Re: 스펙트럼 데이터에 대한 PCA + 클러스터링 분석안녕하세요 @Mariana_Aguilar 님 ,
귀하의 질문에 대하여 :
- 이 새로운 모델 유형 " Skew Normal Peak "는 JMP 18에서만 도입된 것으로 생각되므로 JMP 17을 사용하는 경우 언급한 세 가지 선택 사항인 Fit Curve Options 에만 액세스할 수 있습니다.
당장 JMP 18을 사용할 수 없다면, ExGaussian이 더 적합한 모델링 옵션일 수 있다는 데 동의합니다. 피크가 약간 비뚤어진 것 같으니까요. 대칭형 가우시안 피크가 있다면 가우시안 피크 모델이 더 적합합니다.
ExGaussian이 모델에 더 많은 "복잡성"을 추가하는 방법을 이해할 수 없습니다. ExGaussian과 Gaussian의 모델 복잡성에서 매개변수 하나만 다를 뿐이기 때문입니다. 정보 기준 AICc와 BIC를 살펴보면 매개변수 하나를 추가하면 모델링이 개선되고 모델 적합성과 모델 복잡성 간의 균형이 더 좋아집니다(정보 기준 AICc/BIC가 낮을수록 좋습니다).
- 기능 데이터 탐색기 플랫폼에서 기능 주성분을 저장할 수 있습니다. " 기능 요약 " 패널로 이동하여 빨간색 삼각형을 클릭하면 기능 요약 및 FPC를 사용자 지정하고 저장할 수 있습니다.
Score 플롯을 볼 때 FPC를 사용하여 2D 플롯에서 샘플을 직접 시각화할 수 있습니다.
이러한 보완적인 답변이 도움이 되기를 바랍니다.
Re: 스펙트럼 데이터에 대한 PCA + 클러스터링 분석안녕하세요 @Mariana_Aguilar 님 ,
차이점은 귀하가 언급한 대로 데이터를 사용하고 사전 처리하는 방법입니다. B-스플라인이나 P-스플라인을 사용하는 경우 먼저 원시 곡선 데이터에 해당하는 모델을 사용한 다음, 이 모델(근사치)을 기반으로 함수 주성분을 계산할 수 있습니다.
직접 기능적 PCA와 같은 직접 모델을 사용하면 원시 데이터에 대해 특이값 분해(SVD)를 직접 수행하여 고유값과 고유함수를 추출할 수 있습니다. 자세한 내용은 여기를 참조하세요: 기능적 모델 적합 유형
적합한 옵션이 무엇인지 확인하려면 다양한 모델을 맞추고 통계적 지표(정보 기준 AICc 및 BIC 등)와 진단 플롯의 시각화를 기반으로 평가하여 모델의 적절성/정밀도를 평가할 수 있습니다. 귀하의 경우 곡선 데이터로 함수 주성분을 추출하기 전에 B-Splines를 적용하는 것이 좋은 옵션인 듯합니다. 모델의 잔차가 Direct Functional PCA의 잔차와 달리 매우 낮고 균일하기 때문입니다.
B-Splines에 대한 진단 플롯:
직접 FPCA에 대한 진단 플롯:
이 답변이 도움이 되길 바랍니다.
Re: 스펙트럼 데이터에 대한 PCA + 클러스터링 분석고맙습니다, 빅터!
