우리가 중단한 부분에 대한 빠른 알림 분광 데이터에 관한 이 시리즈의 1부: 우리는 Martens 등이 설정한 인기 있는 분광학 데이터를 분석하고 있었습니다. " 확장된 곱셈 신호 보정을 통해 광산란과 흡광도를 분리합니다. 분말 혼합물의 근적외선 투과 분석에 적용 " 분석 화학 2003년 2월 1;75(3):394-404. 몇 가지 간단한 전처리 단계를 통해 데이터의 신호 대 잡음비를 획기적으로 향상할 수 있었습니다.
이 게시물에서는 동일한 데이터를 사용하여 다변량 플랫폼의 유용성을 보여줍니다. JMP . 스펙트럼 분석에서는 다양한 전처리 단계를 반복적으로 시도하고 데이터에 대한 영향을 평가하므로 다변량 통계가 광범위하게 사용됩니다. 처음에는 비지도 학습 또는 탐색적 데이터 분석에 중점을 둡니다. 그런 다음 FDE(기능 데이터 탐색기)를 사용하여 다변량 교정 모델을 구축하는 방법을 보여줍니다. 마지막으로, 보다 발전된 전처리 방법인 확장된 곱셈 신호 보정을 소개하고 이것이 어떻게 다변량 교정 모델을 더욱 향상시킬 수 있는지 보여줍니다.
다변량 방법
주성분 분석
우리가 시연하는 첫 번째 탐색 방법은 주성분 분석(PCA)입니다. 흥미롭게도 원시 스펙트럼에 대해 PCA를 수행하면 사전 처리 없이 알려진 하위 그룹을 점수 플롯에서 식별할 수 있습니다(그림 1).파트 1에서 샘플은 글루텐과 전분의 혼합물이며 색상은 글루텐 분율을 나타냄을 기억하세요. 그룹 간 분리는 양호하지만 동일한 글루텐 분율을 사용하는 스펙트럼에는 여전히 상당한 양의 변동이 있어 나중에 다변량 보정에 문제가 발생할 수 있습니다. 이 오류는 최적의 전처리 워크플로를 찾은 후 이 게시물이 끝날 때까지 상당히 개선됩니다.
그림 1. PCA 모델의 점수 및 로딩 플롯. 로딩 플롯은 예상대로 파장 전체에 걸쳐 높은 수준의 상관 관계를 나타냅니다. 색상은 각 샘플에 존재하는 글루텐 분율을 0(파란색)부터 1(빨간색)까지 나타냅니다. 고유값은 이 데이터 세트의 변동이 2개의 주성분으로 설명될 수 있음을 나타냅니다.
모델 기반 다변량 관리도
일반적으로 모델에서 영향력 있는 이상값을 식별하고 제거하기 위해 일부 유형의 이상값 분석이 수행됩니다. JMP는 PCA 플랫폼 내에서 이상치 분석 도구를 제공합니다. 그러나 JMP 15에는 근본 원인 분석을 심층적으로 조사하고 스펙트럼의 차이를 비교할 수 있는 이상값 분석을 위한 보다 완전한 기능을 갖춘 도구인 모델 기반 다변량 관리도(MDMCC)가 포함되었습니다.
그림 2.모델 기반 다변량 관리도는 다음에 따라 두 개의 스펙트럼(13 및 14)을 이상값으로 식별합니다. 티 2 및 SPE 차트 . 평균 기여 비율 도표는 제어 범위를 벗어난 신호에 가장 큰 기여를 하는 파장을 보여줍니다.
이 분석의 스펙트럼에 대해 MDMCC는 PCA 파생 T를 기반으로 하는 이상값으로 두 개의 스펙트럼(13 및 14)을 식별합니다. 2 및 SPE 차트(그림 2).T 2 차트는 이러한 점이 모델 평면 내의 데이터에서 멀리 떨어져 있음을 나타내고 SPE 차트는 점이 모델 평면에서 멀리 떨어져 있음을 나타냅니다. 이를 개념화하는 또 다른 방법은 이러한 스펙트럼이 1) 평균 스펙트럼과 거리가 멀고 2) PCA 모델에 적합하지 않다는 것입니다. 이 두 조건이 모두 충족되므로 점은 잠재적으로 영향력 있는 이상값입니다. 즉, 모델이 적합할 때 PCA 모델 평면을 해당 점 쪽으로 끌어당길 수 있습니다. 이것이 정말 잘못된 데이터라면 PCA 모델이 좋지 않을 가능성이 있습니다. 13과 14 외에 T에서 특이치인 다른 점이 있다는 점에 유의하세요. 2 차트에는 있지만 SPE 차트에는 없습니다. 이러한 점은 평균 스펙트럼과는 거리가 멀지만 여전히 PCA 모델에 적합하므로 영향력 있는 특이치가 될 가능성이 적습니다. T를 구별하는 좋은 일러스트를 보려면 2 및 SPE 이상치(그림 4 참조) 이 종이 .
점 13과 14가 특이치인 이유를 더 잘 이해하기 위해 T에 대한 평균 기여 비율 막대 차트를 구성합니다. 2 및 SPE 차트(그림 3).이는 두 차트 모두에서 이상치 상태에 가장 큰 기여를 하는 파장을 보여줍니다. 개별 막대 위로 마우스를 가져가면 특정 파장에 대한 일변량 관리도를 볼 수도 있습니다.
이 예에서는 관측값이 이상치인 이유를 더 잘 이해하기 위해 그래프 빌더에서 스펙트럼을 플롯하는 것이 도움이 됩니다(그림 3). 눈에 띄는 예외 중 하나는 이 두 스펙트럼이 더 긴 파장에서 비정상적으로 큰 흡광도를 갖는다는 것입니다.
이러한 이상치가 의심스럽다고 판단되면 이상치를 제거하여 모델을 다시 맞추는 것이 쉽습니다. 이렇게 하려면 MDMCC 보고서에서 자동 재계산을 켜고 T2 또는 SPE 관리 차트에서 이상값 관측치를 선택한 다음 >> 행 >> 행 제외를 마우스 오른쪽 버튼으로 클릭합니다.
그림 3. 동적 연결을 통해 MDMCC에서 선택된 스펙트럼 13 및 14에 대한 그래프 빌더 보기. 이 그래프는 나머지 데이터와 직접 비교할 때 선택한 두 스펙트럼이 어떻게 이상값으로 인식될 수 있는지 보여줍니다.
MDMCC의 점수 도표는 하위 그룹을 비교하는 데에도 사용할 수 있습니다(그림 4). 그룹 A는 상단의 "빨간색" 하위 그룹이고 그룹 B는 하단의 "파란색" 하위 그룹입니다. 상대 점수 기여도는 파장별로 두 하위 그룹 간에 유의미한 차이가 있는 위치를 보여줍니다.
그림 4. 0%와 100% 글루텐 스펙트럼 간의 그룹 비교. 막대 차트에서 절대 기여도가 가장 큰 파장은 그룹 간 차이가 가장 큽니다.
기능적 데이터 탐색기
JMP의 PCA 플랫폼은 훌륭한 범용 도구이지만 스펙트럼과 같은 함수형 데이터용으로 설계되지 않았습니다. 다행히도 JMP 프로 , 기능적 데이터를 위해 특별히 설계된 도구가 있습니다. JMP Pro의 FDE(Functional Data Explorer) 플랫폼은 스펙트럼 데이터를 더욱 심층적으로 조사하는 데 사용할 수 있습니다. FDE는 일부 연속체에 대한 곡선 데이터를 분석하는 데 사용됩니다. NIR 스펙트럼의 경우 연속체는 파장입니다. 모든 스펙트럼은 동일한 간격의 그리드에서 측정되기 때문에 기본 함수를 맞추지 않고 기능적 PCA를 수행하는 직접 기능적 PCA 모델을 맞출 수 있습니다(그림 5). 이전 섹션(13 및 14)에서 식별한 이상값을 FDE 모델에서 제외하지 않았습니다. 이러한 이상값을 제외하도록 선택할 수도 있지만 이후 섹션에서 이러한 관측값이 더 이상 이상값이 아닌 사전 처리된 데이터에 적합한 FDE 모델과 비교할 것이기 때문에 이를 적합치에 포함합니다(그림 14 참조).
그림 5에서 fPC(기능적 주성분)에 해당하는 고유값은 각 fPC가 얼마나 많은 변화를 설명하는지 보여줍니다. 이 데이터의 경우 PCA의 경우와 마찬가지로 처음 두 개의 fPC가 변형의 특징입니다. 또한 fPC와 관련된 평균 곡선도 볼 수 있습니다. 데이터가 평균 함수를 정확하게 추적하는 경우 모든 fPC는 0이 됩니다. fPC 값이 양수이면 함수의 모양은 해당 고유 함수와 유사한 모양으로 평균에서 달라지며, 음수 fPC는 반대 효과를 나타냅니다. 고유함수는 스펙트럼 로딩 플롯이라는 스펙트럼 데이터의 PCA 분석에 사용되는 일반적인 플롯과 유사합니다. 여기서 로딩은 파장별로 정렬됩니다.
그림 5. 직접 기능적 PCA 모델은 요약에 적합합니다. 두 가지 기능적 주성분이 데이터 변동을 100% 설명합니다.
개별 스펙트럼이 적합하고 결과 점수 플롯이 그림 6에 표시됩니다. 기능적 주성분 플랫폼의 편리한 기능은 점수 도표의 점 위로 마우스를 가져가서 해당 스펙트럼에 대한 그래프를 볼 수 있는 기능입니다. 점수 플롯은 데이터를 유사한 스펙트럼의 하위 그룹으로 구성한 다음 호버 도움말은 기능 형식의 차이점을 보여주기 때문에 이 예에서는 매우 유용합니다. 이는 더 정교한 분석에 의존하지 않고도 하위 그룹 간의 차이점을 발견하는 데 사용할 수 있습니다.
그림 6. FDE 모형 적합에 대한 점수 도표입니다. 점수 도표의 점 위로 마우스를 가져가면 하위 그룹 간의 차이점을 탐색하여 스펙트럼의 기능적 형태를 확인할 수 있습니다.
fPC 프로파일러를 사용하면 개별 fPC의 점수 차원을 더 쉽게 해석할 수 있습니다(그림 7). fPC 슬라이더 중 하나를 이동하면 다른 fPC 값이 고정된 상태에서 fPC 방향 중 하나를 따라 이동하는 예측 함수에 대한 효과가 표시됩니다.
그림 7. FDE 모델에 대한 고유함수(A)와 fPC 프로파일러(BD)가 적합합니다. fPC가 평균값(B)으로 설정되고, fPC2가 최소값(C)으로 설정되고, fPC2가 최대값(D)으로 설정된 fPC 프로파일러. fPC2 값이 양수이면 스펙트럼의 모양은 해당 고유 함수와 유사한 모양으로 평균에서 달라지며, 음수 fPC는 반대 효과를 나타냅니다.
기능적 실험 설계(다변량 교정)
이러한 데이터는 설계된 실험에서 나온 것이므로 기능적 DOE 분석이 적합합니다(그림 8). FDOE 프로파일러를 사용하면 실험 데이터에서 관찰되지 않은 전분 및 글루텐 분율의 기능적 스펙트럼 형태를 예측할 수 있습니다. 스펙트럼 분석에서는 이를 다변량 교정 모델이라고 합니다. 전분과 글루텐은 합이 1인 혼합 비율이므로 프로파일러에서 혼합 제약 조건을 적용합니다.
종종 실험적 요인(이 경우 구성 비율)이 스펙트럼의 함수로 예측되는 이 모델의 역 모델을 구축하는 것이 바람직합니다. 혼란스럽게도 이를 다변량 보정이라고도 합니다. 명확성을 위해 Brereton의 용어를 채택하고 이를 역다변량 보정이라고 합니다. 이러한 유형의 모델을 맞추기 위해 기능적 주성분을 출력하고 이를 JMP의 모든 예측 모델링 플랫폼에 제공할 수 있습니다. 이를 통해 신경망과 같은 유연한 모델을 함수 요약에 맞출 수 있습니다. 이러한 모델은 PLS보다 비선형성 및 종속성을 더 잘 모델링할 수 있습니다. 다음 게시물에서는 이러한 접근 방식을 설명하겠습니다.
그림 8. 기능적 DOE 프로파일러. 전분과 글루텐에 선형 제약 조건을 적용하여 합이 1이 되도록 했습니다. 스펙트럼은 원래 데이터에서 관찰되지 않은 실험 요인 조합에서 예측됩니다.
계층적 클러스터링
계층적 클러스터링은 스펙트럼 분석에서 널리 사용되는 또 다른 비지도 기계 학습 도구입니다. 계층적 군집화의 목표는 군집 내에서는 차이가 작고 군집 간에는 차이가 큰 데이터의 하위 그룹을 식별하는 것입니다. 이전 섹션에서는 하위 그룹을 식별했지만 주관적인 방식으로 식별했습니다. 계층적 클러스터링은 이러한 하위 그룹을 정의하기 위한 객관적인 기준을 제공합니다.
군집 덴드로그램은 모든 스펙트럼이 자체 군집에 있는 팁부터 모든 스펙트럼이 하나의 군집에 있는 루트까지 이어지는 군집 계층 구조를 보여줍니다. 덴드로그램은 클러스터링 알고리즘에 의해 클러스터가 반복적으로 병합되는 방식을 보여줍니다. 내부 가지의 길이는 군집 간의 차이에 비례하며, 군집 간의 차이는 연결 기준에 따라 정의됩니다.
JMP의 계층적 군집화는 여기에서 다룰 시간이 없는 스펙트럼 분석에 유용한 많은 기능을 갖춘 풍부한 플랫폼입니다. 스스로 그 특징을 발견할 수 있도록 첨부된 저널에 보고서를 제공합니다. 확인해 볼 만한 일부 기능으로는 클러스터 수의 대화형 선택, 클러스터 할당 출력, 덴드로그램에서 클러스터를 선택하고 강조 표시하는 기능, 클러스터에 대한 병렬 플롯을 시작하는 기능 등이 있습니다. 계층적 클러스터링은 큰 n 문제와 큰 p 문제에 대해 탁월한 성능을 발휘한다는 점도 주목할 가치가 있습니다.
그림 9. 원시 스펙트럼(왼쪽)과 이 시리즈의 1부에 따라 전처리된 스펙트럼(오른쪽)의 계층적 클러스터링입니다. 원시 데이터는 개별 스펙트럼의 훨씬 더 분산된 클러스터링을 보여주어 하위 그룹화가 불량한 반면, 사전 처리된 데이터는 더 잘 정의된 하위 그룹화를 보여줍니다. 원하는 경우 개별 클러스터 지정을 저장하고 이를 모델링 프로세스에 대한 입력으로 사용할 수 있습니다.
고급 전처리
확장된 다변량 신호 수정
이 섹션에서는 분산 효과 플롯이라는 유용한 진단 플롯과 EMSC(확장 곱셈 분산 보정)라는 강력한 전처리 방법을 소개합니다. 산점도 효과 도표는 JMP에서 간단하게 생성할 수 있으며, 첨부된 저널에 예시가 나와 있습니다. EMSC를 재현하려면 약간의 JSL 지식이 필요합니다. 우리는 EMSC가 이러한 데이터에 잘 작동하고 Fit Model 플랫폼이 이 방법을 가르치는 데 유용한 교육 도구이기 때문에 제시합니다. 또한 향후 JMP 릴리스에서는 FDE 플랫폼에서 EMSC와 같은 다양한 전처리 방법을 제공할 예정이니 많은 관심 부탁드립니다.
그림 10은 전처리 방법을 선택할 때 유용한 분산 효과 플롯을 보여줍니다. 이러한 플롯에는 다양한 노이즈 소스를 나타내는 패턴이 있으며, 이 정보를 사용하여 데이터에 적합한 전처리 방법을 선택할 수 있습니다. 산점도 효과 도표에서 y 절편의 이동은 일정한 기준선 이동 또는 추가 효과를 나타냅니다. 1과 같은 전처리 방법 성 이전 블로그 게시물에서 소개한 파생 Savitzky Golay(SG) 필터는 이러한 효과를 제거합니다. 곱셈 산란 효과는 스펙트럼이 특정 파장에서만 큰 변화를 가질 때 발생합니다. 이는 산점도 효과 플롯에서 경사 변화 또는 "패닝"으로 나타납니다. 곱셈 효과를 제거할 수 있는 일부 전처리 방법으로는 MSC(곱셈 분산 보정)와 표준 정규 변량이 있습니다. 이전 포스트에서 표준정규변량을 보여드렸습니다. 이번 포스팅에서는 MSC를 소개합니다. 화학적 효과도 이 플롯에서 뚜렷한 패턴으로 나타납니다. 흥미롭게도 이들은 루프로 나타납니다!
그림 10. 원시 스펙트럼(A) 및 1에 대한 산포 효과 플롯 성 SG 필터링된 데이터(B)를 파생합니다. SG 필터에 의해 덧셈 효과가 제거된 후에도 곱셈 효과는 그대로 유지됩니다. 이러한 데이터에는 곱셈 효과를 제거하는 전처리 방법이 필요합니다.
원시 데이터에 대한 분산 효과 플롯은 추가 효과를 강력히 시사합니다(그림 10A). 곱셈 효과도 있을 수 있지만 덧셈 효과가 너무 지배적이므로 말하기가 어렵습니다. 따라서 먼저 1을 적용하여 추가 효과를 제거합니다. 성 이전 게시물에서 했던 것처럼 데이터에서 SG 필터를 파생시킵니다. 이전 게시물에서는 그래프 빌더에서 전처리된 스펙트럼을 플로팅하고 곱셈 효과가 남아 있음을 보여주었습니다. 곱셈 효과는 분산 효과 플롯에서도 분명하게 나타납니다. 상당한 패닝이 나타납니다(그림 10B). 따라서 데이터에는 덧셈 효과와 곱셈 효과가 모두 있습니다. EMSC는 한 단계로 두 가지 소음원을 모두 제거할 수 있습니다.
원본 논문에서 Martens et al. EMSC를 도입하고 이 방법이 이전 게시물에 표시된 것과 같은 간단한 전처리 방법을 어떻게 개선할 수 있는지 보여주었습니다. EMSC까지 구축 중이지만 MSC(곱셈 산란 보정)부터 먼저 시작하는 것이 가장 쉽습니다. MSC는 데이터를 참조 스펙트럼처럼 보이게 만들어 데이터의 다양한 노이즈 소스를 수정하는 것을 목표로 합니다. 좋은 표준이 없는 경우가 많기 때문에 평균 스펙트럼이 자주 사용됩니다. 각 스펙트럼에 대해 별도의 회귀가 수행됩니다. 허락하다 엑스 = {x 1 , …, 엑스 피 } 주어진 스펙트럼에 대한 흡광도의 벡터이고 엑스 * = {x * 1 , …, 엑스 * 피 } 참조 스펙트럼. 모델은 다음과 같습니다
그리고 스펙트럼은 다음과 같이 수정됩니다.
MSC의 한 가지 문제점은 산란 효과와 파장 사이에 존재하는 관계를 설명하지 못한다는 것입니다. EMSC는 모델에 다항식 관계를 통합하여 이 문제를 해결합니다. 일반적으로 파장에 대해서는 2차 관계가 가정됩니다. MSC의 또 다른 문제는 평균 스펙트럼에서 각 스펙트럼을 회귀함으로써 관심 있는 실제 화학적 효과를 제거할 수 있다는 것입니다. 샘플이 소수의 화학 성분의 혼합물로 알려져 있고 각 성분에 대한 순수한 참조 스펙트럼을 사용할 수 있는 경우 이전 화학 성분 정보를 모델에 통합하여 EMSC를 더욱 확장할 수 있습니다. Marten et al.의 데이터에는 순수 글루텐( 엑스 g ) 및 순수 전분( 엑스 에스 ) 데이터의 샘플. Marten et al. 논문에서는 샘플 1과 샘플 93을 참조 스펙트럼으로 선택했습니다. EMSC 모델은 추정된 화학 조성에 따라 기준 스펙트럼을 수정하여 데이터의 실제 화학 신호를 더 잘 보존합니다.
중 = ( 엑스 g + 엑스 에스 )/2 및 케이 = ( 엑스 g - 엑스 에스 ) 그리고 엘 = {l 1 , …, 내가 피 }는 파장의 벡터입니다.그만큼 중 그리고 케이 모델 항은 수정 방정식을 단순화하기 위해 이러한 방식으로 표현됩니다. 수정된 스펙트럼은 다음과 같이 계산됩니다.
JMP에서 EMSC를 수행하려면 먼저 엑스 g 그리고 엑스 에스 참조 스펙트럼. 데이터 테이블을 하위 집합으로 나누어 참조 스펙트럼에 대한 테이블을 생성한 다음 참조 테이블을 다시 원래 테이블에 조인하여 이를 수행합니다. 우리는 다음 단계를 통해 이를 수행합니다.
- 행 >> 행 선택 >> 참조 스펙트럼 중 하나에 해당하는 모든 행을 선택하려면 위치를 선택하십시오.
- 하위 집합을 사용하여 참조 스펙트럼만 포함하는 테이블을 만듭니다.
- 파장을 일치 열로 사용하여 테이블을 원래 테이블에 다시 조인합니다.
다음으로 우리는 케이 그리고 중 열은 다음에서 작동하는 수식 열을 사용하여 수행할 수 있습니다. 엑스 g 그리고 엑스 에스 열. 이제 EMSC 모델을 추정할 준비가 되었습니다. 이는 그림 11에 표시된 옵션을 사용하여 적합 모델에서 수행할 수 있습니다. EMSC 수정을 수행하려면 모델 항 계수를 추출하여 데이터 테이블의 열에 저장해야 합니다. 이를 위해서는 jsl 스크립트를 사용해야 하지만 스크립트는 매우 간단합니다. 마지막으로 그림 12에 표시된 공식을 사용하여 EMSC 보정을 수행합니다.
그림 11. EMSC 모델에 대한 적합 모델 실행 대화상자입니다.
그림 12. EMSC 보정을 위한 열 공식입니다.
최종 결과는 그림 13에 나와 있습니다. 스펙트럼은 산란 효과가 현저히 없으며 실제 기본 스펙트럼을 훨씬 더 정확하게 표현합니다.
그림 13. 이 블로그에 적용된 전처리 단계 전후의 스펙트럼입니다. (위) 전처리 전, (아래) EMSC 보정 후.
최종 다변량 교정 모델
이제 FDE의 최종 다변량 교정 모델을 위한 스펙트럼이 준비되었습니다. FDE 섹션에 설명된 방법을 사용하여 기능적 DOE를 수행합니다. 결과 모델을 통해 주어진 혼합 비율 조합에 대한 스펙트럼 형태를 정확하게 예측할 수 있습니다. 이러한 예측의 예가 그림 14에 나와 있습니다.
그림 14. EMSC의 기능적 DOE는 전처리 전후의 스펙트럼을 수정했습니다. 전분과 글루텐에 선형 제약 조건을 적용하여 합이 1이 되도록 했습니다. 전처리 후 스펙트럼 형태의 큰 변화에 주목하세요. 스펙트럼에서 산란 효과가 제거되었으므로 데이터에서 관찰되지 않은 요인 조합에서 예측된 스펙트럼 모양에 대한 보다 정확한 추정치를 얻을 수 있습니다.
결론 및 향후 게시물
우리는 스펙트럼 데이터의 패턴을 식별하는 데 유용한 JMP의 여러 다변량 플랫폼을 시연했습니다. 우리는 스펙트럼 분석에서 흔히 볼 수 있는 하위 그룹 분석과 이상값 분석에 중점을 두었습니다. 스펙트럼 데이터 분석을 위한 FDE의 유틸리티는 사용 가능한 수많은 탐색 도구를 시연하면서 전체 화면에 표시되었습니다. 중요한 것은 실험의 기능적 설계를 통해 다변량 교정 모델을 쉽게 구축할 수 있다는 것입니다. 우리는 JMP의 모형 적합 플랫폼을 사용하여 EMSC(확장 곱셈 신호 보정) 모델을 구축하여 데이터의 노이즈를 극적으로 제거하는 방법을 시연했습니다. Fit Model에서 처음부터 EMSC 모델을 구축함으로써 모델 구축 프로세스에 대한 더 많은 제어력과 더 깊은 이해를 얻을 수 있습니다.
다음 포스팅에서는 지도 다변량 모델에 대해 다루겠습니다. 우리는 Brereton의 용어를 채택하고 이를 역다변량 보정 모델이라고 부릅니다. 이는 스펙트럼의 함수로서 실험적 요인을 예측합니다. 부분 최소 제곱 및 일반화 회귀 플랫폼에서 모델을 구축할 것입니다. 또한 FDE에서 어떻게 기능적 주성분을 출력하고 JMP의 예측 모델에 제공하여 더 복잡한 보정 모델을 구성할 수 있는지 보여드리겠습니다.
