398718_ko-KR

liliconcom

스펙트럼 데이터 분석: 전처리 및 그 이상(2021-US-45MP-878)

레벨: 중급

 

Bill Worley, JMP 수석 글로벌 지원 엔지니어, SAS
Jeremy Ash, 분석 소프트웨어 테스터, SAS Institute, Inc.

 

JMP는 전처리에서 예측 모델 구축에 이르기까지 스펙트럼 데이터 분석 기능을 발전시키고 있습니다.이 프레젠테이션에는 시각화, 전처리 및 모델 개발이 나와 있습니다.분광기 과학자, 분석 화학자 및 재료 과학자는 이 프레젠테이션에서 무엇인가를 가져갈 것입니다.JMP를 사용하여 표준 정규 변량(SNV) 및 사비츠키-골레이(SG) 평활을 검토하고 시연합니다.그런 다음 더 고급 전처리 도구를 공유하고 Functional Data Explorer를 사용하여 스펙트럼을 시각화하고 정성적으로 분석하는 방법을 보여줍니다.JMP를 사용하여 부분 최소 제곱 및 일반화 회귀는 스펙트럼 데이터에 대한 모델 개발 도구로 시연됩니다.

 

 

자동 생성된 대본...

 

스피커	성적 증명서
제레미 애쉬, JMP	안녕하세요. 저희 이야기에 와주셔서 감사합니다. 저는 제레미 애쉬입니다. 저는 JMP R&D와 Bill Worley의 통계학자입니다. 그는 선임 시스템 엔지니어입니다. JMP에서 근적외선 분광법 데이터를 분석하는 방법에 대해 이야기하겠습니다.
	따라서 이것은 이 주제에 대해 수행된 첫 번째 대화가 아닙니다. Bill은 커뮤니티에서 찾을 수 있는 몇 가지 관련 대화를 가지고 있습니다.
	여기에 무료 자료에 대한 몇 가지 링크가 있습니다.
	Bill은 더 적은 수의 실험으로 다변수 교정 모델을 효율적으로 모델링하기 위해 FDE 및 DOE에 대해 설명하고 스펙트럼 전처리에 대해서도 자세히 설명했습니다.
	올해 초 디스커버리 유럽에서 그리고 Bill과 저는 이 주제에 대한 블로그 시리즈를 작성해 왔으며 Communit에 있습니다. 지금까지 다룬 주제는 다음과 같습니다. JMP 추가 기능을 만들었습니다. 이 추가 기능은 나중에 사용 방법을 보여드리겠습니다.
	따라서 근적외선 분광법의 일반적인 사용 사례는 혼합물의 화학적 조성을 결정하는 것이며 나는 오른쪽에 근적외선 스펙트럼의 예를 보여주고 있습니다.
	그리고 일부 흡광도 측정값은 파장 범위에서 수집되며 여기에서 스펙트럼은 여러 기본 화학 성분의 혼합물인 분말 곡물 샘플을 나타냅니다.
	그리고 순수한 성분에 대한 스펙트럼은 맨 아래에 있고 혼합물에 대한 스펙트럼은 맨 위에 있습니다. 그리고 다음과 같은 현상으로 인해
	배음 및 조합 대역에서 개별 구성 요소의 피크는 종종 넓고 겹치기 때문에 스펙트럼을 기본 구성 요소로 분해하기가 어렵습니다.
	따라서 사람들이 택하는 경로는 많은 파장에서 흡광도의 함수로 구성을 예측하는 모델을 구축하는 것이며, 이는 데이터를 고차원으로 만들고 변수는 종종 높은 상관관계를 갖게 합니다.
	따라서 근적외선 스펙트럼을 분석할 때 극복해야 할 주요 과제 중 하나는 신호 대 잡음비가 종종 낮고 이는 제어되지 않는 변동 때문입니다.
	빛의 산란 효과로 인해 발생합니다. 그리고 신뢰할 수 있는 모델을 구축하기 전에 정리해야 합니다. 따라서 데이터는 종종 몇 가지 주요 전처리 변환을 거치며 여기 오른쪽에 설명된 몇 가지 일반적인 노이즈 소스가 있습니다.
	실제 스펙트럼은 검은색으로 표시되고 녹색 스펙트럼은 일정한 기준선 이동 또는 추가 효과가 있습니다.
	그리고 파란색의 스펙트럼에는 가산 효과와 곱셈 효과가 있습니다. 승법 효과는 더 큰 흡광도에서 왜곡이 더 크고 보라색 스펙트럼에는 가산 효과, 승법 효과 및 기준선 이동에 대한 기울기가 있습니다.
	다음에는 이러한 노이즈 소스를 정리하기 위한 몇 가지 전처리 방법을 보여 드리겠습니다. 이 모든 것은 블로그 게시물에서 더 자세히 논의되지만 데모에서 몇 가지를 보여주고 Savitzky-Golay 1차 도함수는 추가 효과를 정리합니다.
	그런 다음 2차 미분 필터도 기울어진 기준선 이동을 정리합니다. 그리고 이것들은 일반적으로 사용되는 효과적인 방법이지만 문제는 변환이 원래 스펙트럼보다 훨씬 해석하기 어렵다는 것입니다.
	따라서 내가 언급할 다른 전처리 방법은 이 해석 가능성을 유지하는 데 더 효과적입니다. NS
	각 스펙트럼을 따라 단위 분산의 평균이 0이 되도록 표준 정규 변량 중심과 척도를 사용합니다. 이것은 단순한 정규화이지만 가법 효과와 승법 효과를 모두 제거하는 데 효과적입니다.
	그런 다음 곱셈 산란 보정은 선형 모델을 사용하여 각 스펙트럼을 참조 스펙트럼처럼 보이게 하고 종종 참조를 사용할 수 없으므로 평균 스펙트럼이 대신 사용됩니다.
	그런 다음 확장된 곱셈 산란 보정이 세 가지 노이즈 소스를 모두 제거하는 유일한 방법이며 이것은 혼합물의 각 구성 요소에 대한 참조 스펙트럼이 필요한 고급 방법입니다.
	그리고 우리는 그것이 어떻게 작동하는지 나중에 보게 될 것입니다.
	그리고 데이터가 고차원이고 변수의 상관관계가 높기 때문에 많은 다변량 방법을 적용할 수 있습니다. 나열된 모든 분석은 JMP에서 수행할 수 있습니다.
	차원 축소 방법은 데이터를 시각화하는 데 필수적입니다. 일반적인 방법은 주성분 분석 또는 다차원 스케일링입니다.
	그리고 기능적 데이터 탐색기의 기능적 주요 구성요소는 여기에서 특히 유용한 방법입니다.
	그리고 JMP는 스펙트럼 분석이 가능한 소프트웨어 중 유일하며 사용자 친화적인 기능 데이터 분석 플랫폼을 가지고 있습니다. 그리고 스펙트럼은 기능적 형태를 갖기 때문에 FDE는 스펙트럼에 대한 잠재적인 용도가 많습니다.
	그리고 우리는 이제 막 그러한 기능을 탐색하기 시작했습니다. 그런 다음 클러스터링이 일반적입니다. JMP의 계층적 클러스터링은 특히 유용합니다.
	그런 다음 일반적으로 이상치 분석을 수행합니다.
	이를 수행하려면 먼저 PCA 또는 PLS 모델을 빌드한 다음 T 제곱 및 DModX 차트에서 이상값을 식별합니다.
	그리고 이 모든 작업은 모델 기반 다변수 제어 차트 플랫폼에서 수행할 수 있습니다. 그리고 스펙트럼의 함수로 화학 성분을 예측하는 예측 모델을 다변량 보정 모델이라고 하며 이러한 모델은 관측값보다 변수가 더 많은 경우를 처리합니다.
	그리고 이것은 GenReg 또는 기능 데이터 탐색기의 PLS 또는 벌점 회귀에서도 잘 수행될 수 있습니다.
	자, JMP로 전환하고 데모를 시작하겠습니다.
	먼저 스펙트럼 도구 추가 기능을 사용하여 스펙트럼 데이터를 읽는 방법을 보여 드리겠습니다.
	텍스트로 구분된 파일의 경우 우리가 제공하는 추가 기능은 여기에 있는 다중 파일 가져오기를 위한 래퍼일 뿐입니다.
	그러나 추가 기능은 가장 유용한 기능 중 일부를 제공합니다. 그리고 JMP의 새로운 기능인 JCAMP-DX 가져오기 도구도 있습니다. 그리고 일반적으로,
	이 대부분은 이미 JMP에서 수행할 수 있지만 제 목표는 스펙트럼에 대한 워크플로를 약간 간소화하는 래퍼를 작성하는 것이었습니다. 그리고 JMP 17에서는 이 기능이 개선될 예정이므로 이 추가 기능이 곧 사용되지 않기를 바랍니다.
	이것은 스펙트럼 모델을 구축하는 경우 당분간 유용할 수 있습니다.
	그래서 나는 가지고있다
	csv 파일이 있는 폴더, 스펙트럼당 하나의 파일, 이 파일에서 첫 번째 열은 X 변수이고 두 번째 열은 Y 변수입니다. 그래서 이 디렉토리를 JMP로 가져올 것입니다.
	해당 폴더를 선택합니다.
	추가 기능에서 사용하는 형식이기 때문에 스택 형식으로 읽고 싶습니다.
	그런 다음 해당 파일에 헤더가 있습니다. 그 옵션을 선택하겠습니다. 그리고 이것을 사용하여 csv 파일만 선택할 수도 있습니다.
	따라서 이것은 스택 형식의 스펙트럼에서 읽습니다.
	여기 JMP 테이블에 메타데이터도 있습니다.
	이 데이터 테이블에 추가하고 싶습니다. 그리고 제가 하려고 하는 방법은 스펙트럼 열에 결합하는 것입니다.
	하지만 파일 확장자가 있는 파일 이름을 읽었으므로 여기에서 열에 텍스트를 사용하여
	해당 확장을 제거하십시오.
	더 유익한 파일 이름을 지정하겠습니다.
	그리고 테이블 업데이트를 사용하고 스펙트럼 열에서 일치시킬 것입니다.
	그리고 마지막으로 보여드릴 것은...
	또는 이 스펙트럼 열을 여기로 이동하겠습니다.
	자, 이렇게 데이터 테이블을 설정했습니다.
	추가 기능의 샘플 데이터에 추가했습니다.
	데이터를 먼저 살펴보고 이를 위해 추가 기능에서 그래프 빌더 시작 명령을 사용하겠습니다.
	글루텐으로 색칠해볼게요.
	그리고 여기 왼쪽에 있는 스펙트럼 도구는 몇 가지 유용한 컨트롤이 있는 일부 로컬 데이터 필터를 설정하므로 관심 영역에만 초점을 맞추기 위해 파장을 필터링할 수 있습니다. 따라서 여기에서 이 피크에 집중하고 싶다면
	데이터 테이블에서 모든 열을 선택한 경우 show 하위 집합 명령을 사용할 수 있습니다. 그러면 해당 영역이 포함된 하위 집합이 만들어집니다.
	이 필터를 사용하여 여기에 개별 스펙트럼을 표시할 수도 있습니다.
	스펙트럼을 검색하여 하위 집합을 그리는 것이 편리합니다.
	마지막으로 보여드릴 것은 애니메이션 컨트롤입니다.
	하지만 이렇게 하려면 축을 잠글 것입니다. 그렇지 않으면 축이 개별 스펙트럼에 맞게 조정됩니다.
	여기... 속도를 조금 높여서 스캔을 빠르게 할 수 있습니다.
	그리고 이 기능은 반응 모니터링과 같이 다른 시점에서 스펙트럼을 수집한 경우 특히 유용합니다.
	또한 그래프의 3D 산점도를 사용하여 해당 데이터를 시각화할 수도 있습니다.
	좋아, 그래서 내가 갈거야
	이것을 지우다
	필터.
	있을 때 기억해야 할 한 가지
	플롯이 원하는 방식으로 설정되면 이것을 저장할 수 있습니다.
	스크립트를 데이터 테이블로 되돌리면 사전 처리를 마친 후와 같이 새 데이터를 교체하려는 경우 나중에 그래프를 다시 만들 수 있습니다.
	그래서 제가 보여주고 싶었던 또 다른 것은 가변성과 몇 가지 진단 플롯을 시각화하는 것입니다. 그렇게 하려면 그룹화 변수를 제거하겠습니다.
	그러면 전반적인 스펙트럼이 요약됩니다. 그리고 상자 그림을 사용할 수 있습니다. 이것들은
	변화가 파장에 걸쳐 일정한지, 특정 파장에 특정한지 아이디어를 얻는 데 유용합니다. 일정하다면 추가적인 전처리가 필요하다는 것을 의미하지만, 파장에 특정한 경우에는 실제 화학적 효과인 경우가 많으므로 유용합니다.
	변동성을 시각화하는 또 다른 방법은
	막대 플롯. 저는 부동 막대 그림을 사용하는 것을 좋아하며 다른 하위 그룹의 변동성을 확인하려는 경우 그룹화 변수를 추가할 수도 있습니다.
	이것이 제가 시각화로 보여드릴 전부입니다. 그리고 제가 언급하고 싶은 또 다른 것은 JCAMP-DX 파일을 읽는 방법입니다.
	그래서 나는 디렉토리가있다.
	저것
	JCAMP-DX 표준 웹사이트에서 가져온 두 개의 JCAMP-DX 파일이 포함되어 있습니다. 나는 편하지 않았다
	추가 기능을 테스트하는 데 사용하는 공유 파일은 고객이 제공했기 때문입니다. 그래서 저는 그 웹사이트에서 테스트 파일을 가져와서 어떻게 읽을 수 있는지 보여주기 위해 두 번 복제했습니다.
	여러 파일. 그리고 우리는 압축 없이 X/Y 변수 목록이 있는 가장 일반적인 형식만 지원하며 파일당 하나의 스펙트럼만 지원합니다. 그리고 이것이 가장 일반적인 형식이라고 생각하지만 다른 것이 필요하면 알려주십시오.
	그래서 나는 그것을 함께 읽을 것입니다 ...
	여기에서 기본 옵션을 사용합니다.
	그리고 단지 당신에게 그것을 보여주기 위해
	이것은 올바르게 읽었으며,
	그래프 빌더에서 플롯하십시오.
	이것은 동일한 스펙트럼을 보여줍니다. 이것은 실제로 NMR 스펙트럼이지만 NIR 스펙트럼의 일반적인 형식이기도 합니다.
	그게 내가 보여줄 전부야
	데이터 가져오기와 함께.
	다음으로 스펙트럼 도구에 있는 몇 가지 간단한 전처리 방법을 보여 드리겠습니다. 의도는 사용자가 PLS와 같은 몇 가지 간단한 교정 모델을 시작할 수 있도록 하는 몇 가지 기본 전처리를 제공하는 것이었습니다.
	워크플로에 대한 피드백을 얻을 수 있지만 JMP 17의 FDE에서 보다 완전한 전처리 방법 제품군을 계획하고 있습니다. 이는 Pro에만 해당되지만 플랫폼은 실제로 기능 데이터 모델링을 전문으로 하기 때문에 사용자가 FDE를 사용하도록 권장합니다. 스펙트럼처럼.
	그래서 먼저 보여줄게
	Savitzky-Golay 평활화.
	여기에서 사용되는 다항식의 차수를 변경할 수 있습니다. 슬라이딩 창의 크기를 변경할 수 있습니다. 크기가 클수록 더 적극적으로 매끄럽게 됩니다. 그런 다음 여기에서 트림을 하면 불균형한 슬라이딩 창을 잘라낼 수 있습니다.
	그리고 Savitzky-Golay는 실제로 로컬 커널 회귀의 특별한 경우이므로 이에 대한 다른 옵션을 시도해 볼 수 있습니다.
	그래프 빌더에서 슬라이딩 창과 다른 가중치 함수를 정의하는 다양한 방법과 같습니다. 원하는 매개변수를 선택하고 나면 스펙트럼을 다시 테이블에 저장할 수 있습니다.
	그래서 다음에는 다음에 적용되는 표준 정규 변량을 보여 드리겠습니다.
	부드러운 스펙트럼.
	그리고
	이것은 각 스펙트럼을 개별적으로 중심에 두고 크기를 조정하며, 열 공식으로도 이 작업을 수행할 수 있습니다. Bill은 그의 전처리 연설에서 그것을 보여줄 것입니다.
	이제 전후를 시각화 해보겠습니다.
	이것을 사용하여. 그래프 빌더를 시작합니다.
	글루텐으로 색칠하기.
	간단한 전처리 방법으로 스펙트럼의 노이즈를 제거하기 위해 많은 작업을 수행했음을 알 수 있습니다. 하위 그룹에는 여전히 약간의 소음이 있습니다.
	그런 다음 Bill은 이전 연설에서 Savitzky-Golay 1차 미분 필터를 사용하면 데이터를 더욱 정리할 수 있는 방법을 보여주었습니다. 그리고 그것은 우리가 블로그 게시물에서 시도한 또 다른 추가 기능에 있지만 여기서는 다루지 않겠습니다.
	알아야 할 주요 사항은 Bill이 먼저 1차 도함수 필터를 수행한 다음 표준 정규 변수가 남아 있는 곱셈 효과를 정리한다는 것입니다.
	그래서 당신이 더 잘할 수 있다는 것이 밝혀졌습니다.
	확장된 승법 산란 보정(Extended Multiplicative scatter correction)이라는 것을 사용하여 이러한 스펙트럼을 전처리합니다.
	그래서 여기에 설정이 있습니다.
	따라서 이 데이터는 실제로 확장된 곱셈 산란 보정을 도입한 논문에서 가져온 것입니다(여기서부터는 EMSC라고 부르십시오).
	이 전처리 방법의 장점을 보여주기 위해 산점도 효과 플롯을 사용하겠습니다. 하지만 이렇게 하려면 각 파장에서 평균 흡광도를 계산해야 합니다.
	여기에서 열 수식으로 이를 수행할 수 있습니다.
	그리고 나서 이것을 그래프 빌더에서 플로팅할 것입니다.
	따라서 산란 효과 플롯은 개별 흡광도에 의한 각 파장의 평균 흡광도를 표시하고 Y축의 기울기는 추가 효과를 나타내는 반면
	변경 사항
	개별 스펙트럼의 기울기는 이러한 플롯에서 패닝으로 나타나며 이는 승법 효과를 나타냅니다. 그리고 흥미롭게도 화학적 효과는 이 플롯에서 루프로 나타납니다.
	그리고 여기에는 분명히 큰 추가 효과가 있으므로 이를 정리하기 위해 1차 도함수 Savitzky-Golay 필터를 사용할 수 있습니다. 여기에 그 데이터가 있습니다.
	따라서 이것은 추가 효과를 극적으로 정리하지만 이 플롯에는 여전히 약간의 패닝이 남아 있습니다. 따라서 표준 정규 변수로 정리할 수 있습니다.
	그러나 대신 EMSC가 하는 일은 한 단계에서 가산 및 승산 효과를 제거하고 파생 변환이 필요하지 않아 결과 스펙트럼을 더 쉽게 해석할 수 있기 때문에 유용합니다.
	그리고 본질적으로 EMSC가 하는 일은 화학적 효과로 인한 스펙트럼의 변화와 노이즈로 인한 변화를 분리하는 것입니다.
	그런 다음 노이즈로 인한 변동을 빼서 선형 모델로 수행하므로 여기에서 모델에 필요한 항을 설정했습니다. 그리고
	자세한 내용은 블로그에서 다룹니다. 내가 말하려는 것은 당신이 적합 모델을 사용할 수 있다는 것입니다.
	EMSC 모델에 적합하도록 하고, 더 이상 블랙박스가 아닌 전처리 모델을 적용하는 방법을 이해하는 데 매우 유용한 교육 도구입니다. 그래서 여기 모델에는 각 스펙트럼에 대한 별도의 모델과 추정된 계수가 있습니다.
	수정에 사용되며 다음을 수행할 수 있습니다.
	이것을 다시 시작
	다른 효과로 모델을 변경하여 상황이 어떻게 달라지는지 확인합니다.
	그래서 여기에 최종 보정을 적용했고 전과 후만 보여드리겠습니다.
	그래서
	스펙트럼은 이제 산란 효과에서 현저하게 자유롭고 스펙트럼에 대한 영향은 다음과 같습니다.
	혼합물 조성의 변화로 인해 이제 명확해졌습니다. 이것이 제가 다룰 전부입니다. Bill에게 넘기고 그는 모델링 방법 중 일부를 다룰 수 있습니다.
빌 월리	고마워, 제레미.
	여기에서 화면을 바꿔봅시다.
	그리고 지금쯤 내 데이터 테이블이 표시되어야 합니다. 클릭하자마자 기대됩니다.
	모두가 내 데이터 테이블을 보고 있습니까?
제레미 애쉬, JMP	예.
빌 월리	자, 이제 시작하겠습니다. 이것은 Jeremy가 사용했던 것과 동일한 데이터입니다. 이 경우를 제외하고는, 우리가 가지고 있습니다....저는 와이드 형식으로 가지고 있습니다. 데이터를 양방향으로 분석할 수 있음을 알려드립니다. 어떤 사람들은 스택 형식을 선호하고 어떤 사람들은 와이드 형식을 선호합니다.
	그러니 할 수 있다는 것만 알아두세요. 한 가지... 가장 먼저 보여드리고 싶은 것은,
	Jeremy가 이전에 이야기한 것은 원시 형식의 데이터를 보고 Savitzky-Golay 1차 도함수를 수행한 다음 최종 표준...표준 정규 변수 평활화를 수행하는 방법입니다. 그리고 다시, 이것이 와이드 형식으로 수행된다는 것을 알아두십시오.
	좋아, 그래서 거기에서 할 수 있음을 보여줍니다.
	다음으로 보여드리고 싶은 것은
	주요 구성 요소 분석. 이것은 스펙트럼 데이터를 사용하거나 분석하는 대부분의 사람들에게 꽤 표준입니다.
	우리는... JMP에서 매우 가능합니다. 분석하러 갑니다.
	다변량 방법 및 주요 구성 요소. 그래서 저는 이미 그렇게 했습니다. 저는 이미 여기에서 보여주고 있는 것을 설정했습니다. 대부분의 경우 두 가지 주요 구성 요소를 사용하여 진행 중인 모든 변형을 설명할 수 있다는 것입니다. 여기 이 점수 도표를 보면,
	우리가 가지고 있는 혼합물의 다른 그룹인 글루텐과 전분의 하위 그룹화를 볼 수 있습니다.
	우리는있어...
	글쎄, 우리는 그 하위 그룹을 볼 수 있습니다. 거기에 잘 되어 있습니다. 당신이 볼 수 있는 또 다른 것은 Jeremy가 상관관계가 높은 데이터에 대해 이야기했다는 것입니다.
	우리는 여기 다른 구성 요소 플롯에서 그것을 보여주고 있습니다. 변수를 켤 수는 있지만...레이블은 켤 수 있지만 엉망이 될 것입니다.
	봐. 여기 아래에 이상치 분석 플롯이 있습니다. 따라서 T 제곱 플롯이고 분석의 두 가지 주요 구성요소를 사용하고 있습니다. 그리고 그것은, 예, 아마도 우리가 약간 벗어난 스펙트럼을 가지고 있다는 것을 보여주고 있습니다...
	그것은 이상치일 수 있지만 대부분의 경우...대부분의 경우 어쨌든 모든 데이터를 사용하지 않을 것입니다. 데이터 범위를 지정하는 일종의 방법입니다.
	다음으로 보여주고 싶은 것은 모델 기반 다변량 관리도라고 하는 것인데, 이것은 내가 방금 한 주성분에 대해 했던 것과 거의 동일합니다.
	다른 방법. 따라서 우리는 이 동일한 두 가지 주요 구성 요소를 살펴보고 있습니다.
	여기에 하위 그룹의 그룹이 있습니다. 그리고 여기 아래를 보면 정규화된 DModX라는 것이 있습니다. 이는 이상치를 보는 또 다른 방법입니다...
	데이터 내의 잠재적인 이상값. 거기에 있다는 것만 알아두세요. 모델 기반 다변수 관리도가 제공하는 또 다른 기능은 데이터를 비교하는 방법입니다.
	여기서 내가 한 것은 샘플 13, 46, 95 및 45를 선택하여
	4개의 스펙트럼이 맞습니다. 이제 우리는 그것들이...그 그룹들에서 아주 다르다는 것을 알 수 있습니다. 맞습니다. 스펙트럼이 아주 다릅니다.
	이 비교를 수행할 수 있는 다른 방법은 여기 아래에 있는 스코어 플롯을 사용하는 것입니다. 올가미 도구를 제공할 문자 L을 선택하겠습니다.
	그리고 다른 데이터를 가져오지 않고 가능한 한 이것을 A 그룹으로 만들 것입니다. 그리고 여기 아래에 있는 빨간색 그룹, 이 마지막 빨간색 그룹,
	그것을 잡고 선택하십시오. 제 B그룹인데 비교해보세요. 그리고 이를 통해 데이터를 다시 효과적으로 비교할 수 있습니다.
	제가 이 일을 하면서 스펙트럼을 선택하는 방법을 알 수 있습니다. 다른 그룹에서 무엇이 선택되고 있는지 알 수 있습니다. 그래서 그것은 데이터를 시각화하는 일종의 멋진 방법일 뿐입니다.
	괜찮은. 다음으로 넘어가겠습니다. 이것은 원시 데이터입니다. 알겠습니다. 다음 단계는 전처리된 데이터를 사용하는 것이므로 이전에 본 것과 거의 동일한 데이터입니다.
	하지만 전처리를 완료했기 때문에 원시 데이터에서 표준 정규 변수까지 모든 방법을 사용했습니다. 그리고 여기에서 두 가지 주요 구성 요소를 사용하여
	데이터가 조금 더 잘 그룹화되었음을 알 수 있습니다. T 제곱 플롯보다 약간... 노이즈가 훨씬 적고 변동이 훨씬 적습니다. A 고의로 하지 않았다고 맹세하지만, 데이터는 지금이 조금 더 행복한 것 같습니다. 약간의 미소입니다.
	여기 아래에 있는 이 작은 그룹 각각은 20개의 스펙트럼입니다. 그 위로 마우스를 가져가면 실제로 그 스펙트럼을 그릴 수 있고, 그 스펙트럼을 꺼낼 수 있습니다.
	그리고 그걸 봐, 내가 그렇게 선택한다면, 알았어. 이전에 본 것과 동일한 그룹화를 수행할 수 있으므로 시도해 보겠습니다. 강조 표시
	그리고 이것은 내가 할 필요가 없기 때문에 조금 더 쉽게 만듭니다...그 그리기 도구를 사용합니다. 데이터가 조금 더 잘 그룹화되기 때문입니다. 같은 경우에 이전에 했던 작업을 수행하고 데이터를 강조 표시한 다음
	필요에 따라 비교를 수행합니다. 이것이 주성분을 사용하는 것입니다. 다음을 사용하여 동일한 유형의 분석을 수행하는 또 다른 방법이 있습니다.
	부분 최소 제곱. 부분 최소 제곱 X 점수를 저장한 다음 해당 데이터를 사용하여 거기에서 모델 기반 다변량 제어 차트를 작성합니다. 그리고 다시 보니 정말 깨끗합니다. 이것은 전처리된 데이터입니다. 그룹화는 정말 멋져 거기서부터 볼 수 있습니다.
	우리는 볼 수 있습니다
	디모드X. 여전히 약간의 노이즈가 있지만 주요 구성 요소가 있는 원시 데이터를 볼 때 데이터만큼 노이즈가 거의 없습니다. 다시 돌아가자
	다른 분석 방법을 살펴보고 이것은 더 높은...계층적 클러스터링을 살펴보는 것입니다. Jeremy는 이것을 언급했습니다.
	처음에는 데이터를 보고,
	클러스터링이 어떻게 일어나는지 살펴봅니다. 원시 데이터를 수행하면 더 작은 클러스터가 많이 있음을 알 수 있습니다.
	그리고 실제 데이터는... 다른 그룹에 분산되어 있는 것 같습니다. 내 말은, 그들은...그들은 당신이 바라는 대로 그룹화되지 않았습니다. 맞죠. 그래서 우리는 그것을 취했습니다
	전처리된 데이터와 동일한 분석을 수행하여 정말 멋진 그룹화를 얻었습니다. 그리고 이들 각각은 5개의 클러스터에 있습니다. 그래서 여기에서 볼 수 있습니다.
	그래서 전분과 글루텐은 여기에서 정말 잘 분리됩니다. 클러스터 저장 기능을 통해 이 데이터를 데이터 테이블에 다시 저장하면
	선택하면 모델링에서 실제로 사용할 수 있습니다. 가장 가까운 클러스터에 대한 공식을 저장할 수도 있습니다. 그러면 새로 들어오는 모든 데이터는
	가장 가까운 클러스터에 넣습니다.
	좋습니다. 데이터를 가져와서 살펴보고 모델링을 위해 설정하고 다음 단계는 모델링으로 이동하는 몇 가지 방법입니다. 그리고 다음에 제가 보여드릴 부분은 부분 최소 제곱입니다. 이것은 일반적으로 또는...죄송합니다. 이것은 일반화 회귀입니다.
	이것은 우리가 사람들에게 보여주고 싶은 일반화된 회귀 모델입니다.
	이것은
	진행 중인 몇 가지 일을 볼 수 있는 곳입니다. 그리고 저에게 몇 가지 변화가 생긴 것 같습니다.
	잡고 싶어...거기. 그것은 부분 최소 제곱이며, 이는 내가 실제로 데이터를 분석했음을 보여줍니다.
	좋은 모델을 주세요. 그리고 제가 한 일을 어떻게 하는지 보여드리겠습니다. 분석하러 가시면 JMP Pro 버전입니다. 내가 말했듯이... 일반 JMP에서 수행할 수 있는 많은 작업이 있습니다. 다변수 방법으로 가면
	부분 최소 제곱, 동일한 분석을 수행할 수 있지만 JMP Pro 버전을 수행할 것입니다. 전분과 글루텐을 선택하겠습니다.
	원시 데이터를 선택하고 추가한 다음 실행하겠습니다.
	오른쪽. 설정을 잘못했지만 가자
	돌아가다
	여기에서 설정한 분석입니다. 여기 아래에서 몇 가지 다른 것을 보여드릴 수 있습니다. 이것은 전처리된 데이터로 수행되었습니다.
	맞습니다. 핏이 정말 좋아보이네요. 잠시 후에 이 핏을 비교해서 보여드리겠습니다. 그래서
	우리는 원시 데이터에 대한 부분 최소 제곱 데이터, 부분... 그리고 전처리된 데이터를 얻었습니다. 그리고 그것들을 비교하고 싶다면,
	나는 그 모델들이 어떻게 작동하는지 볼 수 있습니다. 지금 여기에서 보여주고 있는 것은 왼쪽의 원시 데이터와 오른쪽의 전처리된 데이터를 비교한 것입니다. 전처리된 데이터와 훨씬 더 잘 맞으므로 Jeremy가 이전에 말한 것으로 돌아갑니다.
	우리가 얻을 수 있는 최상의 예측 모델을 얻으려면 이 데이터를 정리해야 합니다.
	또 하나 보여드리고 싶은 것은
	NS...
	내가 여기 어디 있는지 보자.
	기능적 데이터 탐색기임을 보여주고 싶습니다.
	그리고 이건
	방법...최신 모델링 방법 또는 최소한 JMP의 경우 스펙트럼 데이터를 모델링하는 최신 방법입니다. 연속을 통해 데이터를 분석할 수 있기 때문입니다.
	알겠습니다. 이 작업을 수행하는 방법을 보여 드리겠습니다. 하지만 이것이 보여주는 것은 바로 지금, 제가 원시 데이터를 본다면, 우리는 이것을 두 가지 기능적 주요 구성요소로 분석할 수 있다는 것입니다.
	주성분 분석에서 했던 것처럼 꽤 괜찮은 모델을 얻을 수 있습니다. 한 가지... 여러분은 이것이 더 많은 것을 알 수 있습니다. 이것은 다변수 교정 방법이지만 역 다변수 방법입니다.
	이 분석을 단계별로 살펴보겠습니다.
	분석합니다.
	그런 다음 특수 모델링으로 이동해야 하고 기능 데이터 탐색기로 이동해야 합니다.
	와이드 형식의 데이터가 있기 때문에 행을 함수로 사용해야 합니다.
	내 것을 사용할
	보충 변수로 전분과 글루텐. Spectra는 내 ID이고 원시 데이터를 가져올 것입니다.
	괜찮아.
	이제 기능적 데이터 탐색기에서 데이터를 정리하고 일부 사전 처리를 수행하는 한 할 수 있는 많은 작업이 있지만 Jeremy가 말했듯이 JMP 17에서는 더 좋아질 것입니다.
	여기에서 우리는 모델링을 하거나 이것으로 모델을 만들고 싶었습니다. 우리는 모든 데이터를 맞추기를 원합니다.
	그래서 우리는 모델, 직접적인 기능적 PCA로 갈 것입니다.
	그리고 여기에서 이것을 보면 5가지 기능적 주요 구성 요소를 사용할 수 있다고 하지만 거의 노력 낭비입니다. 왜냐하면 우리는...
	2로, 우리는 실제로 모든 데이터, 데이터의 100%, 변형을 맞춥니다. 그래서 저는 이것을 뒤로 밀고, 이것을 조금 정리하고, 다시 아래로 내려갈 것입니다.
	그리고 여기 점수 도표를 봅시다.
	이것은 이전에 본 것처럼 하위 그룹의 원시 데이터와 다른 모든 점수 플롯으로 데이터를 보여줍니다. 그리고 이것에 대한 좋은 점은 이 위에 마우스를 가져가면 이 개별 스펙트럼을 튀어나올 수 있다는 것입니다.
	시각적으로만 비교해 보세요. 알겠습니다.
	여기 더 아래에 기능적 주요 구성 요소 프로파일러가 있으며 훌륭합니다. 우리는 어떤 일이 일어날지 볼 수 있습니다
	우리가 기능적 주성분을 변경할 때 곡선을 그리지만, 사람들에게 말하려고 하면, 가서 기능적 주성분을 변경하십시오 2
	원하는 곡선을 얻으려면... 잘 되지 않습니다. 그래서 추가된 것은 기능적 DOE 분석이라는 기능입니다. 그리고 그것으로 당신은 할 수 있습니다
	내가 추가한 구성 요소, 보조 구성 요소, 혼합 구성 요소를 기반으로 곡선이 어떻게 변하는지 ...의 기능을 보십시오. 여기에 한 가지를 추가하고 선형을 변경하겠습니다. 제약 조건을 추가하겠습니다.
	그리고
	이것을 변경하십시오.
	알겠습니다. OK라고 말합니다. 그리고 우리가 여기에서 우리의 그룹을 볼 때, 전분에서 내려가면서 글루텐이 올라갈 것이므로 제약 조건을 통해 볼 수 있습니다.
	다른 그룹화 또는 혼합물이 비교되는 방법과 전분과 글루텐의 다른 수준을 변경함에 따라 곡선에 어떤 일이 일어날지 알 수 있습니다. 그리고 그것은 다시 연속체에 있습니다. 우리가 데이터에서 수행한 것은 매우 정의되어 있습니다.
	데이터의 일부를 사용하여 어떤 일이 일어날지 알 수 있습니다. 데이터에 표시된 것처럼 혼합물이 정확하지 않더라도 괜찮습니다.
	자, 원시 데이터를 사용하는 것이므로 이것이...다음 단계는...이것이 거의 동일한지 봅시다.
	그리고 내가 여기에 올바른 것을 가지고 있는지 확인하고 싶습니다. 이것은 전처리된 데이터로 수행되므로 동일한 기능 데이터 탐색기입니다.
	사전 처리된 데이터를 사용하여 실례합니다. 그러면 이미 차이점을 볼 수 있습니다.
	그리고 전처리된 데이터가 들어왔을 때의 곡선, 우리는 모델을 피팅하고 두 가지 기능적 주요 구성 요소를 얻습니다. 여기에서 살펴보고자 하는 것은
	점수 플롯. 그리고 우리는 변수의 그룹화가 다른 버전이나 다른 사실이라는 사실을 다시 볼 수 있습니다.
	글루텐과 전분의 그룹화 또는 혼합물은 여기에서 훨씬 더 멋지게 그룹화됩니다. 그래서 그리고 나서 다시, 당신은 다른 것들을 튀어나올 수 있습니다. 그래서 그것은 그것을 보는 종류입니다.
	마지막으로 보여주거나 이야기하고 싶은 것은 일반화 회귀(generalized regression)라는 것을 살펴보는 것입니다.
	그리고 만약 이것이
	저와 잘 놀아주세요. 이것은 원시 데이터의 일반화된 회귀 적합입니다. 그리고 k-fold 교차 검증과 함께 Elastic net fit을 사용하여 이 작업을 수행했습니다.
	저는 탄력적인 순 알파를 .56으로 설정하여 눈에 더 잘 맞는다고 부르는 것을 얻었습니다. 그것이하는 일은 다른 ... 또는 더 많은 그룹을 허용하는 것입니다.
	모델 적합에 추가할 파장. 전체 모델 적합성을 제한하는 것만이 아닙니다.
	내가 그렇게 했다면, 그 탄성, 그 알파를 제한한다면, 나는 이와 같이 보이는 핏을 얻을 것입니다. 이제는 훨씬 더 작은 모델, 훨씬 더 단순한 모델이지만, 또한 당신은...당신은 또한...당신은 첨가물이나
	더 나은 전체 적합도를 얻는 데 도움이 될 수 있는 추가 효과. 그래서 그것은 당신의 선택입니다, 더 간단한 모델은 장기적으로 당신을 도울 것입니다,
	다른 그룹이 필요한 경우 여러 구성 요소 혼합물이 있는 경우 다른 그룹을 찾는 데 도움이 되지만
	더 낮은 탄성 순 알파는 더 많은 요인과 변수, 더 많은 파장이 모델의 일부가 되도록 허용합니다.
	그리고 그것은 원시 데이터입니다. 이것이 나에게 줄 것인지 보자 ...
	우리는 우리가 얻을 수 있는지 볼 것입니다 ... 그리고 이것은
	완전히 사전 처리된 데이터이므로 거의 동일합니다.
	다른 전체 출력을 보고 있다는 것뿐입니다.
	오른쪽. 당신은 다른 모델을 보고 있습니다, 그것은 아주 다르게 보입니다. 이것은 다시 다른 탄성 순 알파를 사용하고
	무엇을...궁극적으로 우리가 원하는 것은 이러한 것들을 비교하는 것입니다. 비교하자면...
	다시 말하지만, PLS 원시 데이터와 전처리된 데이터를 비교하면 훨씬 개선된 적합성을 얻습니다. 일반화 회귀 대 ... 따라서 이것은 부분 최소 제곱 데이터입니다.
	더 작은 탄성 순 알파에서 일반화 회귀를 사용하여 전처리된 다음 더 높은 탄성 순 알파에서 전처리됩니다. 우리는 여기저기서 잘 어울리고 있어.
	JMP Pro의 일반화 회귀 대 부분 최소 자승. 실제로 당신은 정말 좋은 모델을 얻고
	데이터를 분석하고 향후 비교를 위해 또는 향후 데이터를 가져올 때 예측 모델을 구축하는 좋은 방법입니다.
	그것으로 감사의 인사를 전하겠습니다. Jeremy, 이 부분에 대해 대단히 감사합니다. 그리고 여러분 모두가 이것을 즐기시기 바랍니다. 피드백을 주세요. 피드백을 찾고 있습니다. 우리는 사람들이 이러한 새로운 기능에 대해 어떻게 생각하는지 알고 싶습니다.

브레이크아웃데이터 탐색통계 및 모델링