분광 데이터 분석은 마치 무지개를 해독하는 것과 같습니다. 아름답지만 예측하기 어려운 함정으로 가득 차 있죠. 분광 데이터는 상관관계가 매우 높아 기존의 많은 분석 기법을 적용하기 어렵게 만드는 독특한 어려움을 지니고 있습니다.
본 강연에서는 이러한 어려움을 파악하고, 이러한 데이터를 처리하는 데 특화된 고급 방법들을 살펴봅니다. 특히, 주성분 분석(PCA), 부분 최소 제곱법(PLS), 함수 데이터 분석(FDA)이라는 세 가지 강력한 기법을 심층적으로 분석합니다. 이 방법들을 비교 분석하여 각각의 장점, 한계, 그리고 실제 적용 사례를 제시하고, 상관관계가 높은 스펙트럼 데이터를 분석하는 데 가장 적합한 접근 방식을 선택하는 데 필요한 통찰력을 제공합니다. 무지개를 바라보는 시각이 완전히 달라지더라도, 데이터를 생동감 넘치는 성공의 스펙트럼으로 변환하는 방법을 보여드리겠습니다.
'무지개 해독하기: 스펙트럼 데이터 분석의 가장 효과적이고 혼란스럽지 않은 방법' 포스터를 보러 와주셔서 감사합니다. 이 포스터는 북극 토양 분석에 근적외선 반사 분광법을 사용한 연구 논문을 중심으로 구성되었습니다. 스펙트럼 데이터 분석을 위한 세 가지 기법, 즉 주성분 분석, 부분 최소 제곱법, 함수 데이터 분석을 살펴보고, 각 기법의 성능을 비교 분석하여 여러분과 공유하겠습니다.
이 메인 페이지에는 스펙트럼, 세 가지 분석 기법, 그리고 최종 결론이 있습니다. 먼저 스펙트럼을 살펴보겠습니다. 여기에서 스펙트럼 데이터 분석의 어려움을 확인할 수 있습니다. 상관관계에 대한 다변량 컬러 맵을 보면, 데이터의 상관관계가 매우 높다는 것을 알 수 있습니다. 이 때문에 일반적으로 데이터를 분석할 때 사용하는 일부 기법을 적용할 수 없습니다. 따라서 상관관계가 높은 데이터를 효과적으로 처리할 수 있는 다른 접근 방식의 기법이 필요합니다.
여기서는 근적외선 영역에서 스펙트럼이 어떻게 나타나는지 살펴보겠습니다. 두 가지 반응, 즉 SOM(고체 유기물) 또는 에르고스테롤과 어떤 파장이 높은 상관관계, 낮은 상관관계, 심지어 음의 상관관계를 보이는지 확인할 수 있습니다. 또한 서로 다른 파장들이 서로 다른 정도로 상관관계를 나타내는 것을 볼 수 있습니다. 우리가 먼저 살펴볼 기법은 주성분 분석입니다. 토마스.
감사합니다, 피터. 네, 이 스펙트럼에 대한 주성분 분석(PCA)을 설명해 드리겠습니다. PCA는 탐색적 분석 방법으로, 스펙트럼 데이터처럼 상관관계가 높고 복잡하며 다변량인 데이터를 분석하는 데 매우 적합합니다. PCA는 사용법이 간단하기 때문에 가장 먼저 시도해 볼 만한 방법입니다. 데이터에서 여러 요소를 탐색할 수 있다는 것은 추세와 이상치를 찾을 수 있을 뿐 아니라, 스펙트럼 영역 내부를 탐색하여 모델 결과에 영향을 미치는 요소들을 찾아낼 수 있다는 의미입니다.
PCA에서는 원시 데이터를 주성분으로 분해합니다. 주성분은 직교성이라는 수학적 원리에 따라 추출되는데, 직교성은 화학적으로 유도된 것이 아니라는 의미입니다. 따라서 점수와 로딩 값을 해석하기가 다소 어려울 수 있습니다. 하지만 슬라이드에 표시된 세 개의 그래프에서 볼 수 있듯이 점수와 로딩 값을 시각적으로 매우 잘 표현할 수 있습니다. 위쪽 두 그래프를 보면 왼쪽은 첫 번째와 두 번째 주성분을 산점도로 나타낸 것이고, 오른쪽은 세 번째와 네 번째 주성분을 나타낸 것입니다.
PCA에서는 변이를 기반으로 이러한 주성분들이 추출됩니다. 실제로 원 데이터에서 설명되는 분산량이 주성분에 따라 감소하는 것을 볼 수 있습니다. 첫 번째 주성분은 변동의 거의 87%를 설명합니다. 이는 스펙트럼 데이터에서 매우 흔한 현상인데, 스펙트럼 전체에 걸쳐 형태가 거의 동일하고 미세한 차이들이 모든 화학적 정보를 담고 있기 때문입니다. 왼쪽의 첫 번째 스코어 플롯을 고체 유기물질에 따라 색칠하면, 스코어 플롯에 그라디언트가 나타나는 것을 확인할 수 있습니다. 이는 스펙트럼 어딘가에 고체 유기물질이 포착되었음을 의미합니다.
구성 요소 3과 4에 대해서도 같은 방식으로 분석할 수 있습니다. 하지만 에르고스테롤이 구성 요소 3과 4 사이에 어떤 형태로든 기울기를 나타내는 것을 볼 수 있습니다. 이것만으로는 두 구성 요소가 왜 다른지 알 수 없습니다. 그 이유를 알기 위해서는 로딩 플롯을 살펴봐야 합니다. 로딩 플롯에서 파장 축을 따라 이들을 나타내면, 절대값으로 봤을 때 높거나 낮은 영역일수록 해당 스코어 플롯에서 샘플들을 구분하는 데 더 중요한 역할을 한다는 것을 알 수 있습니다.
PCA를 사용하면 그룹화 또는 클러스터가 있는지 여부를 매우 잘 파악할 수 있습니다. 여기서는 이상치를 쉽게 찾기는 어렵지만, 분명한 기울기를 확인할 수 있습니다. 이는 스펙트럼에 화학적 정보가 담겨 있다는 것을 의미합니다. 이는 매우 중요한데, 데이터를 단순히 탐색하는 것 이상으로 활용하고 싶어하는 경우가 많기 때문입니다. 다음 두 가지 기술에서 설명할 것처럼 예측 모델을 구축하는 것도 중요합니다.
PCA는 예측 모델이 성공할지 실패할지 여부를 가늠해 볼 수 있는 아주 좋은 첫 번째 선택입니다. PCA의 장단점을 몇 가지 말씀드리자면, PCA는 스펙트럼 데이터에 매우 강력한 기법이며 이해하기 쉽고 시각적 해석이 매우 용이합니다.
단점을 꼽자면, 모든 것을 분산을 기준으로 추출한다는 점입니다. 분산이 화학적 성질과 관련이 없다면, 스펙트럼 내부에서 실제로 무슨 일이 일어나는지 파악하기 어려울 수 있습니다. 하지만 이 경우에는 분산이 화학적 성질과 일치하는 것을 볼 수 있습니다. 이제 좀 더 집중적으로 분석하는 다음 방법을 살펴보겠습니다. 빌.
감사합니다, 토마스. 다음으로 살펴볼 기법은 부분 최소 제곱 분석(PLS)입니다. 부분 최소 제곱 분석은 스펙트럼 데이터를 분석하는 데 매우 흔히 사용되는 기법입니다. 주성분 분석과 함께 이 기법을 활용하면 스펙트럼 데이터에서 어떤 현상이 일어나는지, 어떤 파장이 가장 중요한지 파악하고 전체 샘플을 분석하는 데 도움이 될 것입니다. 분석 과정에서 얻은 정보를 바탕으로 학습도 진행할 수 있습니다. 왼쪽 그래프를 보시면, 밴더빌트 T 제곱 값, 즉 Q 제곱 값을 비교해 볼 수 있습니다. 또한 누적 R 제곱과 누적 Q 제곱 값을 통해 최적의 잠재 요인 개수를 결정할 수 있습니다.
이 경우, 우리가 만든 최적의 모델은 14개의 잠재 요인을 사용했지만, 6개 정도의 잠재 요인만으로도 매우 좋은 모델을 얻을 수 있습니다. 이는 그래프에서 x축을 벗어나는 검은색 선을 통해 확인할 수 있습니다. 우리는 이 결과를 부분 사각형을 사용한 논문의 데이터와 비교해 보았습니다. 전반적으로 JMP는 스펙트럼 데이터 분석에서 매우 우수한 성능을 보였습니다. 최적의 잠재 요인 개수를 결정할 때는 주성분 분석과 같은 방법을 사용하는 것이 좋습니다. 주성분 분석은 상관관계가 높은 요인들을 고려하여 최적의 모델을 찾는 데 사용됩니다.
오른쪽에는 얻은 결과가 나와 있습니다. 맨 위 첫 번째 그래프는 회귀 계수 벡터 곡선으로, 각 물질에 대해 가장 중요한 파장이 어디인지 보여줍니다. 파란색 선은 그래프 안쪽에 숨겨져 있는데, 이는 모델 또는 원래 스펙트럼 선입니다. 즉, 원래 스펙트럼 데이터입니다. 녹색과 빨간색 선은 SOM과 에르고스테롤의 각 스펙트럼 계수에 대해 결정된 계수 변화를 나타냅니다.
오른쪽 하단에는 실제 데이터와 예측 데이터를 비교한 그래프가 있는데, 이를 통해 JMP가 에르고스테롤과 SOM 모두에서 전반적으로 매우 우수한 성능을 보였음을 알 수 있습니다. PLS의 장점 중 하나는 매우 뛰어난 예측 모델을 만들 수 있다는 점이며, PCA와 달리 전체 y 값에 대한 정보를 반환하지 않는다는 점이 특징입니다. 즉, 비지도 학습 방식에 가깝습니다.
PLS는 지도 학습 방식에 가깝기 때문에, 이를 통해 어느 정도 이해를 얻을 수 있습니다. 왜 그런 결과가 나오는지, 또는 무엇을 예측하려는지 이해할 수 있게 되죠. PLS는 좋은 예측 모델을 만들 수 있고, 널리 사용되며, 특히 스펙트럼 데이터 분석에 매우 효과적입니다. 모델 구축 자체는 계산량이 상당히 많을 수 있습니다. 실제로 PLS로 모델을 만들 때는 모든 데이터를 사용하지만, 필요에 따라 변수를 줄일 수도 있습니다. 마지막으로, 최종 모델의 크기가 매우 커질 수 있다는 점을 말씀드립니다. 이제 FDA에 대해 이야기해 줄 피트에게 마이크를 넘기겠습니다.
고마워요, 빌. 좋습니다. 마지막으로 살펴본 기법은 함수 데이터 분석입니다. 이는 앞서 살펴본 두 가지 기법과 유사합니다. 함수 데이터 분석의 기본 아이디어는 평균, 즉 스펙트럼 형태를 파악하는 것입니다. 아래 그래프에서 빨간색 선으로 표시된 부분이 바로 그 평균 스펙트럼 형태입니다.
이것은 모든 스펙트럼 데이터의 평균적인 형태이며, 우리는 이 평균적인 형태와의 차이를 살펴보고, 이를 형태 함수라고 부르는 것으로 추출합니다. 이러한 형태 함수는 함수적 주성분이라고 생각할 수 있습니다. 토마스가 설명한 변동 정의 주성분과 마찬가지로, 데이터의 변동을 설명하는 대신 형태의 변동을 설명하는 것입니다.
이 모델에서 볼 수 있듯이, 평균적인 형태와 그 평균과의 차이를 설명하는 네 가지 형태가 있습니다. 토마스의 경우처럼, 첫 번째 주성분이 거의 87%를 설명하고 그 이후로는 설명력이 떨어집니다. PCA에서 보았던 것과 매우 유사한 수치입니다. 빌도 언급했듯이, FDA(기능적 데이터 분석)의 장점 중 하나는 우리가 알아내려고 하는 '왜'라는 질문에 대한 답을 찾을 수 있다는 것입니다. 이것을 지도 학습이라고 합니다.
여기서는 두 가지 반응과 각 반응 수준에 따른 스펙트럼 형태를 볼 수 있습니다. 아래쪽에는 모델 결과가 나와 있는데, 이는 형태 구성 요소를 추출하고 두 가지 반응(SOM과 에르고스테롤)을 결정하는 모델을 만든 것입니다. 이 기법의 장점은 예측력이 매우 높은 모델을 만들 수 있다는 점입니다. 이 경우에는 PLS만큼 좋지는 않지만, 보기 좋은 시각화를 통해 결과를 쉽게 해석할 수 있습니다.
제 예상 스펙트럼이 응답 수준에 따라 어떻게 나타날지 보여주는 예시입니다. 단점 중 하나는 이 기법이 다른 기법만큼 널리 사용되지 않는다는 것입니다. PLS나 PCA는 널리 사용되지만, 이 기법은 관련 자료가 부족하고 이해도가 떨어집니다. 작동 원리를 이해하려면 약간의 설명이 필요하며, 형태 구성 요소를 생성하기 위한 중간 단계인 대리 모델이 필요합니다. 실제로 데이터를 피팅하고 형태 구성 요소를 추출하려면 웨이블릿이나 AP 스플라인과 같은 모델이 필요합니다.
이러한 모델들은 계산량이 많고 중간 대리 모델을 이해하기 어려울 수 있습니다. 앞서 보여드렸던 슬라이드로 돌아가서 결과를 보여드리겠습니다. 빌이 언급했듯이 논문에서는 PLS 기법을 사용했고, 여기서 얻은 결과, 즉 평균 제곱근 오차와 결정계수(r²)를 보면 상당히 좋은 모델을 만들었지만, PCA를 사용했을 때도 비슷한 결과를 얻을 수 있었다는 것을 알 수 있습니다. 이 경우에는 PLS가 가장 좋은 결과를 보여주었습니다. 함수형 데이터 분석은 그 중간 정도의 결과를 보였지만, 해석이 용이하다는 장점이 있습니다.
감사합니다. 토마스, 빌, 마지막으로 하실 말씀 있으신가요?
제가 보낸 건 아닙니다. 피터, 감사합니다.
아니요. 피터와 빌, 감사합니다.
고마워요, 토마스.
