이 블로그 게시물에서는 Sr. Analytics Software Tester @Mark_Bailey 그리고 나는 몇 가지를 설명한다 새로운 기능 JMP 프로 17에서. JMP 개발 팀은 소프트웨어에 새로운 화학 분석 기능을 구축하기 위해 열심히 노력했습니다. 대부분의 새로운 기능은 Functional Data Explorer를 중심으로 합니다. 이제 몇 번의 마우스 클릭으로 곡선 데이터를 사전 처리하고, 추가 다변수 분석을 위해 사전 처리된 데이터를 새 테이블에 저장하고, 하나의 플랫폼에서 이 데이터의 기능 분석을 완료할 수 있습니다. 이 게시물에서는 스펙트럼 데이터 분석에 중점을 둘 것이지만 이 플랫폼은 거의 모든 화학 측정 데이터를 뛰어난 결과로 분석합니다.
많은 덕분에 @clay_barker , @RyanParker , 그리고 @chris_gotwalt1 이 화학 분석 기능을 하나의 플랫폼으로 가져오기 위한 것입니다.
전처리
스펙트럼 데이터를 전처리하는 것은 FDE보다 훨씬 쉬울 수 없습니다. SNV(Standard Normal Variate), MSC(Multiplicative Scatter Correction), 1차 및 2차 미분 기능이 있는 Savitzky-Golay 평활화, 기준선 수정을 비롯한 여러 사전 처리 도구를 찾을 수 있는 새로운 스펙트럼 탭이 있습니다.
그림 1. FDE에 내장된 새로운 사전 처리 기능의 스크린샷
우리는 Dyrby et al.의 근적외선 데이터 세트를 사용하여 JMP Pro의 새로운 화학 측정 분석 기능을 시연합니다. Applied SpectroscopyVol 56, Number5, 2002.
초기 전처리
이 데이터 세트의 경우 초기 전처리 단계는 SNV에 이어 Baseline Correction이었습니다. Baseline Correction은 전체 기능에 대한 2차 모델이었습니다. 데이터의 변동을 대부분 완화하기 위해 전처리가 어떻게 작동했는지 아래 이미지에서 볼 수 있습니다.
단일 전처리 방법을 사용하거나 조합하여 데이터 표준화를 최대한 활용하십시오. 많은 과학 기사에서 볼 수 있는 보다 일반적인 조합 중 하나는 Savitzky-Golay 1st Derivative를 선택한 다음 SNV를 최종 단계로 취하는 것입니다. 이 조합은 잘 작동하지만 데이터에 가장 적합한 조합을 확인하기 위해 여러 조합을 시도하는 것을 부끄러워하지 마십시오.
그림 2. 정제 NIR 데이터 전처리 전후
추가 다변량 분석 단계를 위해 사전 처리된 데이터를 새로운 누적 테이블로 저장합니다. 추가 분석을 위해 데이터를 다시 와이드 형식으로 변환해야 합니다.
웨이블릿 모델링
이전에 FDE에서 B-Splines 및 P-Splines를 사용하여 스펙트럼 데이터를 모델링하는 방법을 보여주었습니다. JMP Pro 17에는 주로 화학 측정 데이터용으로 새로운 Wavelet 모델링 기능이 추가되었습니다. 빨간색 삼각형 아래에서 새로운 Wavelet 모델 토글을 찾을 수 있습니다(Functional Data Explorer > Models > Wavelets).
그림 3. JMP Pro 17의 FDE와 관련된 모델
웨이블릿 모델링은 스플라인 방법보다 피크가 많은 곡선 데이터를 피팅하는 데 훨씬 좋습니다.
아래에서 볼 수 있듯이 Wavelet 모델 출력은 모든 310개 배치에 대한 데이터를 빠르게 적합합니다. 결과는 Symlet 4 모델이 BIC(Bayesian Information Criteria)를 기반으로 하는 15개의 다른 알고리즘 중 모든 데이터에 가장 적합함을 시사합니다. BIC가 가장 낮은 모델이 가장 좋습니다.
그림 4. BIC 기반 웨이블릿 모델 선택 및 최적 적합
FDE가 관심 곡선의 모양에 대한 최상의 모델을 찾기 때문에 기능 주성분(FPC)이 이제 모양 함수라고 불리는 것을 알 수 있습니다.
그림 5. FDE 데이터에 대한 새로운 형상 함수 지정
또한 고유값 플롯이 여전히 개별 모양 함수가 모양 변화를 설명하는 정도를 보여줍니다.
이 시점에서 함수 요약을 새 테이블에 저장하려고 할 것입니다. 함수 요약의 빨간색 삼각형을 클릭하고 요약 저장을 선택합니다. 기능 주성분은 추가 변수와 함께 이 새 테이블에 웨이블릿 계수와 함께 저장됩니다. 예측 모델링 섹션에서 이 표를 다시 살펴보겠습니다.
새로운 Control Chart Builder 기능은 또한 각 샘플 ID에 대한 FPC별로 기능 요약을 그래프로 표시합니다.
그림 6. FDE에 내장된 Control Chart Builder.
이전과 마찬가지로 FPCA 모델 선택 도구를 사용하여 모양을 정의하는 데 사용되는 구성 요소의 수를 제한할 수 있습니다. 이 축소는 대부분의 변형이 원래 모델에 표시된 것보다 적은 수의 모양 구성 요소로 설명될 때 모델을 단순화하는 데 도움이 됩니다.
그림 7. 기능 주성분(형상 함수) 모델 선택 도구
웨이블릿 DOE 분석
마지막 새 기능은 Wavelets DOE Analysis로, Wavelet에 대한 빨간색 삼각형 메뉴에 있습니다(Reduce Grid(404)의 Wavelets).
그리드의 데이터를 사용하면 변환이 매우 빠릅니다. 축소된 그리드는 웨이브 번호가 소수점 없이 균일한 간격으로 표시되도록 합니다. JMP는 축소 그리드를 자동으로 개발하지만 원하는 경우 그리드의 규칙성을 제어할 수 있습니다.
그림 8. 웨이블릿 DOE 선택 옵션.
이 데이터의 경우 주어진 백분율 API를 가장 잘 에뮬레이트하는 곡선 또는 곡선 세트를 확인하려고 합니다. 웨이블릿 계수는 일반화 회귀 플랫폼을 사용하여 신속하게 분석됩니다. 결과 Wavelet DOE 프로파일러는 파장을 찾거나 다양한 백분율 수준 간의 차이를 정의하는 파장을 설정하는 데 사용됩니다. 계수는 파장과 분해능을 나타내기 때문에 FPC를 사용하여 가능했던 것보다 더 해석 가능한 모델을 구축하는 데 사용됩니다.
그림 9. Wavelet DOE 에너지 그래픽 및 FDOE 프로파일러.
위의 이미지에서 에너지 표는 모든 계수에 대한 가장 큰 차이를 보여줍니다. 파장 8175에서 Res 2에 대한 계수는 활성 파장의 총 에너지의 약 27%를 나타내는 가장 높은 에너지를 갖습니다. 보너스로 계수는 곡선 데이터의 특정 파장 또는 피크를 직접 나타냅니다.
웨이블릿 계수에서 예측 모델 구축
새로운 요약 테이블은 통계 분석 및 예측 모델링에 유용합니다. FPC를 사용하여 예측 모델을 구축할 수 있으며, 다른 옵션은 일반화 회귀 플랫폼을 사용하여 웨이블릿 계수 데이터의 하위 집합을 기반으로 예측 모델을 구축하는 것입니다. 아래 표 여백에서 볼 수 있듯이 모든 512 Wavelet 계수에 대한 열이 있습니다. 좋은 예측 모델을 구축하려면 모든 계수의 작은 부분집합만 있으면 됩니다.
그림 10. 웨이블릿 모델 요약 표(512 계수).
아래의 일반화 회귀 모델은 모든 웨이블릿 계수 데이터를 피팅에 대한 변수로 사용하는 피팅을 보여줍니다. Elastic Net 패널티는 0.56의 Elastic Net Alpha와 함께 사용되어 가능한 많은 필수 파장을 포함하지만 모델에서 512개의 Wavelet 계수를 모두 사용하여 과적합을 방지했습니다.
그림 11. 일반화 회귀 모델 적합.
자신의 데이터 세트로 새로운 기술을 시도하거나 데모를 요청하십시오. 우리의 우수한 개발 팀에 다시 한 번 감사드리며, 소프트웨어에 대한 이러한 판도를 바꾸는 개선 사항에 대한 귀하의 피드백을 기다리겠습니다.
