이전 두 블로그 게시물에서 Jeremy Ash( @JeremyAshJMP ) 그리고 나는 전시했다 JMP Martens 등의 인기 있는 분광학 데이터 세트를 분석하여 스펙트럼 분석 및 시각화 기능을 제공합니다. 1 우리는 보여주었다 스펙트럼 데이터를 시각화하는 다양한 방법 그리고 몇 가지 전처리 단계 이를 통해 추가 분석 및 모델링을 위해 데이터의 신호 대 잡음 비율을 획기적으로 향상시킬 수 있었습니다.
블로그 시리즈의 세 번째 부분에서는 JMP에서 스펙트럼 데이터를 모델링할 수 있는 여러 가지 방법을 보여줍니다.부분 최소 제곱법(PLS)은 스펙트럼 데이터를 분석하는 가장 일반적인 도구이며, PLS는 JMP와 JMP를 모두 사용하여 수행할 수 있습니다. JMP 프로 . JMP Pro는 Elastic Net 페널티 회귀, 신경망 모델링, Bootstrap Forest와 같은 고급 의사결정 트리 방법도 제공합니다.
Bootstrap Forest 및 Elastic Net 기술을 사용하면 개별 화합물의 가장 중요한 파장은 물론 혼합물의 구성 요소를 정의하는 파장을 빠르고 쉽게 찾을 수 있습니다. 이러한 모델링 기술은 원시 데이터 또는 처리된 데이터에 사용할 수 있습니다. 이 게시물에서 Jeremy와 저는 원시 데이터 모델링과 사전 처리된 데이터 간의 차이점을 보여줌으로써 사전 처리 후 예측 능력의 전반적인 개선을 보여줍니다. 방법의 전반적인 비교에 대한 명확성을 설명하기 위해 동일한 2단계 검증 열이 모든 분석에 대한 검증 세트로 데이터의 20%와 함께 사용되었습니다.
모델링 방법
부분 최소제곱
부분 최소 제곱법은 스펙트럼을 분석하는 표준 방법입니다. PLS는 넓은 데이터와 큰 데이터를 모두 처리하며 특히 상관 관계가 높은 요인을 처리하는 데 효과적입니다. 스펙트럼 데이터는 흔히 높은 상관 관계의 흡광도를 가지며, 이로 인해 각 연속 파장이 바로 앞의 파장에 종속되기 때문에 이 기능은 스펙트럼에 좋은 징조입니다. 이러한 종속성으로 인해 PLS는 원시 스펙트럼 데이터를 분석하여 매우 좋은 결과를 얻는 데 자주 사용됩니다. 위에서 설명한 것처럼 사전 처리는 데이터 사전 처리에 시간과 노력을 투자할 만큼 충분히 결과 예측 모델을 향상시킵니다. 샘플 데이터는 글루텐과 전분의 혼합물 그룹이라는 점을 기억하세요. PLS의 경우 향후 샘플에서 글루텐과 전분 비율을 잘 예측하는 모델을 개발하는 데 정말 효과적입니다.
이전 주성분 분석에서는 두 개의 주성분을 사용했기 때문에 PLS 모델은 두 개의 잠재 요인으로 구축되었습니다. 또한 Q 2 두 가지 요소 이상으로 크게 개선되지 않으며 더 많은 요소를 추가하면 모델 해석이 더 어려워집니다.
Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.그림 1. 부분 최소 제곱 모델 설정 및 출력.
Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.Figure 1. Partial Least Squares model set up and output.그림 1. 부분 최소 제곱 모델 설정 및 출력.
Figure 2. Partial Least Squares model with Raw data.Figure 2. Partial Least Squares model with Raw data.Figure 2. Partial Least Squares model with Raw data.Figure 2. Partial Least Squares model with Raw data.Figure 2. Partial Least Squares model with Raw data.그림 2. 원시 데이터를 사용한 부분 최소 제곱 모델.
Figure 3. Partial Least Squares model with Pre-Processed data.Figure 3. Partial Least Squares model with Pre-Processed data.Figure 3. Partial Least Squares model with Pre-Processed data.Figure 3. Partial Least Squares model with Pre-Processed data.Figure 3. Partial Least Squares model with Pre-Processed data.그림 3. 사전 처리된 데이터를 사용한 부분 최소 제곱 모델.
다음은 두 PLS 모델에 대한 실제와 예측 플롯을 비교한 것입니다. 왼쪽은 원시 데이터용이고 오른쪽은 전처리된 데이터를 사용하는 것입니다. 보시다시피 전처리된 데이터를 사용한 모델이 크게 개선되었습니다.
Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.Figure 4. Partial Least Squares model comparison with Raw and Pre-Processed data.그림 4. 원시 및 사전 처리된 데이터와 부분 최소 제곱 모델 비교.
일반화 회귀(Gen Reg)
일반화 회귀 기법은 다음에서 찾을 수 있습니다. JMP 프로 . Gen Reg는 일반적인 최소 제곱에서 얻을 수 없는 최소한 두 가지를 제공합니다. 하나는 Gen Reg를 사용하면 데이터가 정규 분포를 따르지 않아도 된다는 것입니다. 다양한 유형의 배포에 대한 옵션이 있습니다. 또 다른 차이점은 Gen Reg에 Penalized Regression 기술이 포함되어 있으며 상관 관계가 높은 데이터를 매우 잘 처리한다는 것입니다. Gen Reg는 Ridge, Lasso 및 Elastic Net을 제공합니다. Elastic Net은 ENA(Elastic Net Alpha) 페널티를 조정하여 모델에 중요한 상관관계가 높은 여러 요인을 거부함으로써 모델이 과소적합되는 것을 방지할 수 있으므로 스펙트럼 데이터 모델링을 위한 좋은 절충안입니다. 초기 모델을 구축하는 데 기본값 0.99 ENA가 사용되었습니다. 이 모델은 다소 희박하고 잠재적으로 적합하지 않은 것으로 나타났습니다. Gen Reg의 고급 옵션을 사용하여 알파 값 범위를 스캔하여 더 나은 모델이 있는지 확인했습니다. 이 스캔은 ENA 값 0.55를 사용하여 더 나은 적합성을 제공했습니다. 아래 솔루션 경로에서 두 ENA 값의 적합도 차이를 확인할 수 있습니다.
Figure 5 – Elastic Net solution paths for Raw data.Figure 5 – Elastic Net solution paths for Raw data.Figure 5 – Elastic Net solution paths for Raw data.Figure 5 – Elastic Net solution paths for Raw data.Figure 5 – Elastic Net solution paths for Raw data.그림 5 - 원시 데이터에 대한 Elastic Net 솔루션 경로.
Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figure 6 - Fit Statistics for Gen Reg with Raw Data.Figure 6 - Fit Statistics for Gen Reg with Raw Data.그림 6 - 원시 데이터를 사용한 Gen Reg에 대한 적합 통계.
Figure 7 - Elastic Net solution paths for Pre-Processed data.Figure 7 - Elastic Net solution paths for Pre-Processed data.Figure 7 - Elastic Net solution paths for Pre-Processed data.Figure 7 - Elastic Net solution paths for Pre-Processed data.Figure 7 - Elastic Net solution paths for Pre-Processed data.그림 7 - 전처리된 데이터에 대한 Elastic Net 솔루션 경로.
Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.Figure 8 - Fit Statistics for Gen Reg with Pre-Processed Data.그림 8 - 사전 처리된 데이터를 사용하여 Gen Reg에 대한 적합 통계.
더 자세히 설명하지 않고 원시 데이터에 대한 적합성은 ENA(Elastic Net Alpha)가 0.99일 때 10개의 파장을 사용하고 ENA가 0.55일 때 37개의 파장을 사용했습니다.
전처리된 데이터의 결과는 상당히 다릅니다. Elastic Net을 다시 사용하면 0.99의 ENA를 사용하여 22개의 중요한 파장이 발견되었고 0.55의 ENA를 사용하여 53개의 중요한 파장이 발견되었습니다. ENA가 0.55인 것으로 식별된 37개와 53개의 중요한 파장이 많지만 두 결과 모두 PLS 모델보다 큰 폭으로 적습니다. 두 모델 세트 모두에 대한 적합 통계를 확인하면 사전 처리된 데이터가 더 나은 전체 예측 모델을 갖는 것으로 나타났습니다. 그러나 원시 데이터만 사용한 경우에도 합리적으로 좋은 예측 모델을 만들 수 있습니다.
Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.Figure 9 – Model comparison for Gen Reg with Raw and Pre-Processed Data.그림 9 – 원시 및 사전 처리된 데이터를 사용한 Gen Reg의 모델 비교.
처리된 데이터를 사용하여 PLS와 ELN 모델을 비교하면 ELN 모델이 R을 기반으로 약간 더 우수함을 알 수 있습니다. 2 . 그러나 ELN 모델은 더 간단하고 해석하기 쉽습니다.
Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.Figure 10 – Comparison of PLS and ELN modeling techniques for processed data.그림 10 - 처리된 데이터에 대한 PLS 및 ELN 모델링 기술 비교.
이는 모든 스펙트럼 분석에 Elastic Net 모델을 사용해야 한다는 뜻인가요? 이를 실행 가능한 후보로 고려해야 하지만 실제로는 사용 가능한 모델링 플랫폼과 예측 성능 외에 모델 해석 가능성이 바람직한지 여부에 따라 결정됩니다.
더 많은 모델링 옵션
신경망 모델
시연 목적으로 신경망 모델을 사용할 수도 있습니다. 이 경우에는 적합도가 매우 높지만 매우 복잡한 모델입니다.
하지만 JMP의 예측 프로파일러를 사용하면 가장 복잡한 비선형 모델도 해석할 수 있습니다. 예측에 모든 파장을 사용하면 프로파일러가 부담스러울 수 있습니다. 신경망 모델을 더 단순하게 유지하려면 모델 대화 상자에서 Gen Reg를 사용하여 선택한 파장을 제공할 수 있습니다.
Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.Figure 11 – Comparison of Neural Net fits for raw and pre-processed data.그림 11 - 원시 데이터와 사전 처리된 데이터에 대한 신경망 적합도 비교.
두 경우 모두 교차 검증을 위해 고정된 20% 검증 열을 사용하여 쌍곡선 탄젠트 활성화 함수를 사용하여 데이터를 하나의 숨겨진 레이어와 세 개의 노드로 피팅했습니다.
부트스트랩 포레스트
Bootstrap Forest 접근 방식을 사용하면 주어진 스펙트럼 세트에 대해 가장 중요한 파장을 얻을 수 있습니다. 이는 또한 전처리가 훨씬 더 나은 모델을 제공한다는 명확한 표시이기도 합니다. 차이점은 Validation R을 기반으로 합니다. 2 각 데이터 세트마다. 검증 R 2 원시 데이터의 경우 0.805이고, 처리된 데이터의 경우 검증 R 2 0.987이다. 아래 모델은 검증 세트의 무작위 선택을 피하기 위해 고정된 20%의 데이터를 검증 세트로 사용하여 적합되었습니다.
Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.Figure 12 – Comparison of Bootstrap Forest fits for Raw and Pre-Processed data.그림 12 – 원시 데이터와 전처리된 데이터에 대한 부트스트랩 포레스트 피팅 비교.
지원 벡터 회귀
SVR(지원 벡터 회귀) 모델링은 JMP Pro에서도 사용할 수 있으며 스펙트럼 데이터 분석을 위한 또 다른 좋은 대안입니다. SVR은 지속적인 응답을 위한 예측 모델을 구축하는 데 사용되는 강력하고 유연한 경계 기반 기계 학습 알고리즘입니다. 우리 데이터 세트의 경우 SVR은 처리된 데이터를 분석할 때 상당한 개선을 보여줍니다.
Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.Figure 13 - Comparison of SVR model fits for Raw and Pre-Processed data.그림 13 - 원시 데이터와 전처리된 데이터에 적합한 SVR 모델의 비교.
JMP와 JMP Pro에는 스펙트럼 데이터를 모델링하는 데 사용할 수 있는 더 많은 모델링 기술이 있습니다. 사용하고 싶거나 사용해 본 적이 없는 경우 알려주시면 해당 내용을 나중에 다루도록 하겠습니다. 미래의 블로그 게시물.
1) " 확장된 곱셈 신호 보정을 통해 광산란과 광흡수를 분리합니다. 분말 혼합물의 근적외선 투과 분석에 적용 " 분석 화학 2003년 2월 1;75(3):394-404
