398718_ko-KR

liliconcom

스펙트럼 데이터 분석: 전처리 및 그 이상(2021-US-45MP-878)

수준: 중급

 

Bill Worley, JMP 수석 글로벌 지원 엔지니어, SAS
Jeremy Ash, 분석 소프트웨어 테스터, SAS Institute, Inc.

 

JMP는 전처리부터 예측 모델 구축까지 스펙트럼 데이터 분석 기능을 발전시키고 있습니다.이 프레젠테이션에는 시각화, 전처리 및 모델 개발이 나와 있습니다.분광학자, 분석화학자, 재료과학자들은 이 프레젠테이션에서 뭔가를 배울 것입니다.JMP를 사용하여 SNV(표준 정규 변량) 및 SG(Savitsky-Golay) 평활화를 검토하고 시연합니다.그런 다음 고급 전처리 도구를 공유하고 Functional Data Explorer를 사용하여 스펙트럼을 시각화하고 정성적으로 분석하는 방법을 보여줍니다.JMP를 사용하면 부분 최소 제곱과 일반화 회귀가 스펙트럼 데이터용 모델 개발 도구로 시연됩니다.

 

 

자동 생성된 스크립트...

 

스피커	성적 증명서
제레미 애쉬, JMP	안녕하세요. 강연에 와주셔서 감사합니다. 저는 제레미 애쉬입니다. 저는 JMP R&D의 통계학자이고 여기엔 Bill Worley가 있습니다. 그는 수석 시스템 엔지니어입니다. JMP에서 근적외선 분광학 데이터를 분석하는 방법에 대해 이야기하겠습니다.
	따라서 이것은 이 주제에 관해 행해진 첫 번째 강연이 아닙니다. Bill은 커뮤니티에서 찾을 수 있는 몇 가지 관련 강연을 제공합니다.
	여기에 무료 자료에 있는 몇 가지 링크가 있습니다.
	Bill은 더 적은 수의 실험으로 다변량 교정 모델을 효율적으로 모델링하기 위한 FDE 및 DOE에 대해 설명하고 스펙트럼 전처리에 대해서도 자세히 설명합니다.
	올해 초 Discovery Europe에서. 그리고 Bill과 저는 이 주제에 관한 블로그 시리즈를 작성해 왔고 그 내용은 커뮤니티에 있습니다. 지금까지 다룬 주제는 다음과 같습니다. JMP 추가 기능을 만들었는데 나중에 사용법을 보여드리겠습니다.
	따라서 근적외선 분광법의 일반적인 사용 사례는 혼합물의 화학적 조성을 결정하는 것입니다. 오른쪽에는 근적외선 스펙트럼의 예가 나와 있습니다.
	그리고 일부 흡광도 측정값은 다양한 파장에 걸쳐 수집되며 여기의 스펙트럼은 여러 기본 화학 성분의 혼합물인 분말 시리얼 샘플을 나타냅니다.
	순수한 성분에 대한 스펙트럼은 아래쪽에 있고, 혼합물에 대한 스펙트럼은 위에 있습니다. 그리고 다음과 같은 현상으로 인해
	배음 및 조합 밴드의 경우, 개별 구성 요소의 피크는 종종 넓고 겹치기 때문에 스펙트럼을 기본 구성 요소로 분리하는 것이 어렵습니다.
	따라서 사람들이 택하는 경로는 다양한 파장에서 흡광도의 함수로 구성을 예측하는 모델을 구축하는 것이며, 이로 인해 데이터가 고차원적으로 만들어지고 변수의 상관 관계가 높아지는 경우가 많습니다.
	따라서 근적외선 스펙트럼을 분석할 때 극복해야 할 주요 과제 중 하나는 신호 대 잡음비가 종종 낮고 이는 통제되지 않은 변화로 인해 발생한다는 것입니다.
	빛의 산란 효과로 인해 발생합니다. 그리고 신뢰할 수 있는 모델을 구축하려면 먼저 이러한 문제를 정리해야 합니다. 따라서 데이터는 종종 몇 가지 주요 전처리 변환을 거치게 되며 여기 오른쪽에 설명된 몇 가지 일반적인 노이즈 소스가 있습니다.
	실제 스펙트럼은 검은색으로 표시되고 녹색 스펙트럼에는 일정한 기준선 이동 또는 추가 효과가 있습니다.
	파란색 스펙트럼은 덧셈 효과와 곱셈 효과를 나타냅니다. 곱셈 효과는 흡광도가 클수록 왜곡이 더 커지며, 보라색 스펙트럼에는 덧셈 효과, 곱셈 효과 및 기준선 이동에 대한 기울기가 있습니다.
	다음에는 이러한 노이즈 원인을 제거하기 위한 몇 가지 전처리 방법을 보여 드리겠습니다. 이들 모두는 블로그 게시물에서 더 자세히 논의되지만 데모에서 몇 가지를 보여드릴 것이며 Savitzky-Golay 1차 파생물은 추가 효과를 정리할 것입니다.
	그런 다음 2차 미분 필터도 경사진 기준선 이동을 정리합니다. 그리고 이것들은 일반적으로 사용되며 효과적인 방법이지만, 문제는 변환이 원래 스펙트럼보다 해석하기가 훨씬 어렵다는 것입니다.
	따라서 제가 언급할 다른 전처리 방법은 이러한 해석 가능성을 유지하는 데 더 효과적입니다. 그만큼
	표준 정규 변량 중심 및 스케일을 사용하므로 각 스펙트럼에 따른 단위 분산의 평균이 0이 됩니다. 이는 단순한 정규화이지만 덧셈 및 곱셈 효과를 모두 정리하는 데 효과적입니다.
	그런 다음 곱셈 산란 보정은 선형 모델을 사용하여 각 스펙트럼을 참조 스펙트럼처럼 보이게 하며 참조가 없는 경우가 많으므로 대신 평균 스펙트럼이 사용됩니다.
	확장된 곱셈 산란 보정은 세 가지 노이즈 원인을 모두 제거하는 유일한 방법이며 혼합물의 각 구성 요소에 대한 참조 스펙트럼이 필요한 고급 방법입니다.
	나중에 그것이 어떻게 작동하는지 살펴보겠습니다.
	그리고 데이터가 고차원이고 변수의 상관 관계가 높기 때문에 많은 다변량 방법을 적용할 수 있습니다. 나열된 모든 분석은 JMP에서 수행할 수 있습니다.
	데이터를 시각화하려면 차원 축소 방법이 필수적입니다. 일반적인 방법은 주성분 분석 또는 다차원 척도법입니다.
	그리고 여기서는 기능적 데이터 탐색기의 기능적 주요 구성 요소가 특히 유용한 방법입니다.
	그리고 JMP는 스펙트럼 분석에 사용할 수 있는 소프트웨어 중에서 독특하며 사용자 친화적인 기능적 데이터 분석 플랫폼을 갖추고 있습니다. 그리고 스펙트럼은 기능적인 형태를 가지기 때문에 FDE는 스펙트럼에 대한 많은 잠재적인 용도를 가지고 있습니다.
	그리고 우리는 이러한 기능을 이제 막 탐색하기 시작했습니다. 그리고 클러스터링이 일반적입니다. JMP의 계층적 클러스터링은 특히 유용합니다.
	그런 다음 일반적으로 이상값 분석을 수행합니다.
	이를 수행하려면 먼저 PCA 또는 PLS 모델을 구축한 다음 T 제곱 및 DModX 차트에서 이상값을 식별합니다.
	그리고 이 모든 작업은 모델 기반 다변량 관리도 플랫폼에서 수행될 수 있습니다. 그리고 스펙트럼의 함수로 화학 조성을 예측하는 예측 모델을 다변량 보정 모델이라고 하며, 이 모델은 관찰보다 변수가 더 많은 경우를 처리합니다.
	그리고 이는 GenReg 또는 기능 데이터 탐색기의 PLS 또는 페널티화된 회귀를 통해 잘 수행될 수 있습니다.
	좋습니다. 이제 JMP로 전환하여 데모를 시작하겠습니다.
	먼저 스펙트럼 도구 추가 기능을 사용하여 스펙트럼 데이터를 읽는 방법을 보여드리겠습니다.
	텍스트로 구분된 파일의 경우, 우리가 제공하는 추가 기능은 여기에 있는 다중 파일 가져오기 도구에 대한 래퍼일 뿐입니다.
	하지만 이 추가 기능은 가장 유용한 기능 중 일부를 보여줍니다. 그리고 JMP에 새로 추가된 JCAMP-DX 임포터도 있습니다. 그리고 일반적으로,
	대부분의 작업은 이미 JMP에서 수행할 수 있지만 제 목표는 스펙트럼 작업 흐름을 약간 간소화하는 래퍼를 작성하는 것이었습니다. 또한 이 기능은 JMP 17에서 개선될 예정이므로 이 추가 기능이 곧 폐기되길 바랍니다.
	스펙트럼 모델을 구축하는 경우 이는 당분간 유용할 수 있습니다.
	그래서 나는
	csv 파일이 있는 폴더, 스펙트럼당 하나의 파일, 이 파일에서 첫 번째 열은 X 변수이고 두 번째 열은 Y 변수입니다. 따라서 이 디렉토리를 JMP로 가져오겠습니다.
	해당 폴더를 선택하세요.
	그리고 추가 기능이 사용하는 형식이기 때문에 스택 형식으로 읽고 싶습니다.
	그런 다음 해당 파일에 헤더가 있습니다. 해당 옵션을 선택하겠습니다. 그리고 이것을 사용하여 csv 파일만 선택할 수도 있습니다.
	따라서 이것은 스택 형식으로 스펙트럼을 읽습니다.
	그리고 여기 JMP 테이블에 일부 메타데이터도 있습니다.
	이 데이터 테이블에 추가하고 싶은 항목입니다. 제가 할 방법은 스펙트럼 열의 조인을 사용하는 것입니다.
	하지만 파일 확장자가 있는 파일 이름을 읽었으므로 여기 열에 텍스트를 사용하여
	해당 확장을 제거하십시오.
	나는 이것에 더 유익한 파일 이름을 부여하고 있습니다.
	그리고 테이블 업데이트를 사용하여 스펙트럼 열을 일치시키겠습니다.
	그리고 마지막으로 보여드릴 것은...
	아니면 이 스펙트럼 열을 여기로 옮기겠습니다.
	좋아요, 이것이 제가 이 데이터 테이블을 설정한 방법입니다
	추가 기능의 샘플 데이터에 추가했습니다.
	먼저 데이터를 살펴보고 이를 위해 추가 기능에서 Graph Builder 실행 명령을 사용하겠습니다.
	글루텐으로 색을 칠할 거예요.
	여기 왼쪽의 스펙트럼 도구는 몇 가지 유용한 제어 기능이 있는 일부 로컬 데이터 필터를 설정하므로 파장을 필터링하여 관심 영역에만 집중할 수 있습니다. 따라서 제가 여기서 이 정점에 집중하고 싶다면
	데이터 테이블에서 모든 열을 선택한 경우 show subset 명령을 사용하면 해당 관심 영역의 하위 집합이 만들어집니다.
	또한 이 필터를 사용하여 개별 스펙트럼을 여기에 표시할 수도 있습니다.
	하위 집합을 플롯하기 위해 스펙트럼을 검색하는 것이 편리합니다.
	마지막으로 보여드릴 것은 애니메이션 컨트롤입니다.
	하지만 이렇게 하려면 축을 잠그겠습니다. 그렇지 않으면 개별 스펙트럼에 적응하게 됩니다.
	여기...속도를 조금 높여서 매우 빠르게 스캔할 수 있습니다.
	그리고 이 기능은 반응 모니터링과 같이 다양한 시점에서 스펙트럼을 수집한 경우 특히 유용합니다.
	또한 그래프의 3D 산점도를 사용하여 해당 데이터를 시각화할 수도 있습니다.
	알았어, 그럼 난 갈게
	이것을 지우다
	필터.
	그럴 때 기억해야 할 한 가지
	원하는 대로 플롯을 설정하고 저장할 수 있습니다.
	일부 전처리를 수행한 후와 같이 새 데이터를 교체하려는 경우 나중에 그래프를 다시 만들 수 있도록 데이터 테이블로 다시 스크립트를 작성합니다.
	그래서 제가 보여주고 싶었던 또 다른 것은 가변성과 몇 가지 진단 플롯을 시각화하는 것입니다. 이를 위해 그룹화 변수를 제거하겠습니다.
	그러면 전반적인 스펙트럼에 대한 요약이 제공됩니다. 그리고 상자 그림을 사용할 수도 있습니다. 이것들은
	변화가 파장 전반에 걸쳐 일정하고 특정 파장에 특정한 경우 아이디어를 얻는 데 유용합니다. 일정하다면 추가 전처리가 필요함을 의미하지만 파장에 특정한 경우 이는 실제 화학적 효과인 경우가 많으므로 유용합니다.
	그리고 변동성을 시각화하는 또 다른 방법은 다음과 같습니다.
	막대 플롯. 저는 부동 막대 그래프를 사용하는 것을 좋아하며, 다른 하위 그룹의 변동성을 확인하려는 경우 그룹화 변수를 추가할 수도 있습니다.
	이것이 제가 시각화를 통해 보여드릴 전부입니다. 그리고 제가 언급하고 싶었던 또 하나는 JCAMP-DX 파일을 읽는 방법입니다.
	그래서 디렉토리가 있어요
	저것
	JCAMP-DX 표준 웹사이트에서 가져온 두 개의 JCAMP-DX 파일이 포함되어 있습니다. 나는 편하지 않았다
	추가 기능을 테스트하는 데 사용하는 파일을 공유합니다. 해당 파일은 고객이 제공한 것이기 때문입니다. 그래서 저는 해당 웹사이트에서 테스트 파일을 가져와서 두 번 복제하여 어떻게 읽을 수 있는지 보여주었습니다.
	여러 파일. 그리고 우리는 가장 일반적인 형식, 즉 압축 없이 X/Y 변수 목록이 있는 파일만 지원하며 파일당 하나의 스펙트럼만 지원합니다. 이것이 가장 일반적인 형식이라고 생각합니다. 하지만 다른 형식이 필요한 경우 알려주시기 바랍니다.
	그래서 나는 그것을 함께 읽을 것입니다 ...
	여기에서는 기본 옵션을 사용합니다.
	그리고 그걸 보여드리기 위해
	이 내용은 올바르게 읽혔습니다.
	Graph Builder에서 플롯합니다.
	이것은 동일한 스펙트럼을 보여줍니다. 이것은 실제로 NMR 스펙트럼이지만 이는 NIR 스펙트럼의 일반적인 형식이기도 합니다.
	그래서 제가 보여드릴 건 이게 전부예요
	데이터 가져오기와 함께.
	다음으로 스펙트럼 도구에 있는 간단한 전처리 방법 중 일부를 보여 드리겠습니다. 목적은 사용자가 PLS와 같은 간단한 교정 모델을 시작할 수 있도록 몇 가지 기본 전처리를 제공하는 것이었습니다.
	작업 흐름에 대한 피드백을 얻을 수 있도록 JMP 17의 FDE에서 보다 완전한 전처리 방법 모음을 계획하고 있습니다. 이는 Pro에만 해당되지만 해당 플랫폼은 실제로 기능 데이터 모델링에 특화되어 있으므로 FDE를 사용하도록 권장하고 있습니다. 스펙트럼처럼.
	그럼 먼저 보여드릴께요
	Savitzky-Golay 스무딩.
	그리고 여기서 사용되는 다항식의 차수를 변경할 수 있습니다. 슬라이딩 창의 크기를 변경할 수 있습니다. 크기가 클수록 더욱 공격적으로 스무딩됩니다. 그런 다음 여기 트림은 불균형한 슬라이딩 창을 잘라냅니다.
	그리고 Savitzky-Golay는 실제로 로컬 커널 회귀의 특별한 경우이므로 이에 대한 다른 옵션을 시도해 볼 수도 있습니다.
	그래프 빌더에서는 슬라이딩 윈도우를 정의하는 다양한 방법과 다양한 가중치 기능이 있습니다. 원하는 매개변수를 선택한 후에는 스펙트럼을 다시 테이블에 저장할 수 있습니다.
	다음에는 다음에 적용되는 표준 정규 변량을 보여 드리겠습니다.
	부드러운 스펙트럼.
	그리고
	이는 각 스펙트럼을 따라 개별적으로 중심을 잡고 크기를 조정하며 열 공식을 사용하여 이 작업을 수행할 수도 있습니다. Bill은 전처리 강연에서 이를 보여줄 것입니다.
	이제 전후를 시각화해 보겠습니다.
	이것을 사용하여. 그래프 빌더를 실행하세요.
	글루텐으로 색상을 지정합니다.
	간단한 전처리 방법만으로도 스펙트럼의 노이즈를 제거하기 위해 많은 노력을 기울였다는 것을 알 수 있습니다. 하위 그룹에는 여전히 약간의 소음이 있습니다.
	그리고 Bill은 이전 강연에서 Savitzky-Golay 1차 미분 필터를 사용하면 데이터를 더욱 깔끔하게 정리할 수 있는 방법을 보여주었습니다. 이는 블로그 게시물에서 시도한 또 다른 추가 기능에 있지만 여기서는 다루지 않겠습니다.
	Bill이 이를 보여주기 위해 알아야 할 주요 사항은 먼저 1차 미분 필터를 수행한 다음 표준 정규 변량이 나머지 곱셈 효과를 정리한다는 것입니다.
	그래서 당신이 더 잘할 수 있다는 것이 밝혀졌습니다
	확장된 곱셈 산란 보정이라는 것을 사용하여 이러한 스펙트럼을 전처리합니다.
	그래서 여기에 그 설정이 있습니다.
	따라서 이 데이터는 실제로 확장된 곱셈 산란 보정(여기서는 EMSC라고 부르겠습니다)을 도입한 논문에서 가져온 것입니다.
	이 전처리 방법의 장점을 보여주기 위해 산점도 효과 플롯을 사용하겠습니다. 하지만 이렇게 하려면 각 파장의 평균 흡광도를 계산해야 합니다.
	여기 열 수식을 사용하여 그렇게 할 수 있습니다.
	그런 다음 그래프 빌더에서 이를 플롯하겠습니다.
	따라서 산란 효과 플롯은 각 파장의 평균 흡광도를 개별 흡광도로 표시하고 Y축의 기울기는 추가 효과를 나타냅니다.
	변화
	개별 스펙트럼의 기울기는 이 플롯에서 패닝으로 나타나며 이는 곱셈 효과를 나타냅니다. 그리고 흥미롭게도 화학적 효과는 이 도표에서 루프로 나타납니다.
	여기에는 분명히 큰 추가 효과가 있으므로 이를 정리하기 위해 1차 파생 Savitzky-Golay 필터를 사용할 수 있습니다. 여기에 그 데이터가 있습니다.
	따라서 이는 추가 효과를 극적으로 제거하지만 이 플롯에는 여전히 일부 팬닝이 남아 있습니다. 따라서 표준 정규 변량을 사용하여 이를 정리할 수 있습니다.
	그러나 EMSC가 하는 일은 한 단계에서 덧셈과 곱셈 효과를 제거하고 미분 변환이 필요하지 않다는 것입니다. 이는 결과 스펙트럼을 더 쉽게 해석할 수 있기 때문에 유용합니다.
	본질적으로 EMSC가 하는 일은 화학적 효과로 인한 스펙트럼의 변화와 잡음으로 인한 변화를 분리하는 것입니다.
	그런 다음 노이즈로 인한 변동을 빼고 선형 모델을 사용하여 이 작업을 수행하므로 여기에서 모델에 필요한 항을 설정했습니다. 그리고
	자세한 내용은 블로그에서 다루겠습니다. 내가 말하려는 것은 적합 모델을 사용할 수 있다는 것입니다.
	EMSC 모델에 맞추는 것이며, 전처리 모델이 어떻게 적용되어 더 이상 블랙박스가 아닌지 이해하는 데 매우 유용한 교육 도구입니다. 여기 모델에는 각 스펙트럼에 대해 별도의 모델이 있으며 추정된 계수는 다음과 같습니다.
	수정에 사용되며 다음과 같은 작업도 가능합니다.
	이것을 다시 시작
	다양한 효과를 적용하여 모델을 만들어 상황이 어떻게 바뀌는지 확인하세요.
	그래서 여기에 최종 수정사항을 적용했고 전후만 보여드리겠습니다.
	그래서
	이제 스펙트럼에는 산란 효과가 현저히 없으며 스펙트럼에 미치는 영향은 다음과 같습니다.
	혼합물 조성의 변화로 인해 이제 명확해졌습니다. 이것이 제가 다룰 전부입니다. Bill에게 넘겨주면 그는 일부 모델링 방법을 다룰 것입니다.
빌 월리	안녕, 고마워요, 제레미.
	여기서 화면을 전환해 보겠습니다.
	이제 내 데이터 테이블이 표시될 것입니다. 클릭하자마자 기대됩니다.
	모든 사람이 내 데이터 테이블을 보고 있나요?
제레미 애쉬, JMP	예.
빌 월리	알았어 이제 간다. 이것은 Jeremy가 사용한 것과 동일한 데이터입니다. 단, 이 경우를 제외하면 우리는 그것을 얻었습니다...저는 그것을 넓은 형식으로 얻었습니다. 데이터를 두 가지 방법으로 분석할 수 있다는 점을 알려드립니다. 스택 형식을 선호하는 사람도 있고 와이드 형식을 선호하는 사람도 있습니다.
	그러니 그것이 가능하다는 것만 알아두세요. 한 가지...가장 먼저 보여드리고 싶은 것은,
	Jeremy가 이전에 이야기했던 것은 원시 형식의 데이터를 보고 Savitzky-Golay 1차 도함수를 수행한 다음 최종 표준...표준 정규 변량 평활화를 수행하는 방법에 관한 것입니다. 그리고 다시 한 번 말씀드리지만, 이 작업은 와이드 형식으로 수행됩니다.
	좋습니다. 거기서도 가능하다는 것을 보여드리겠습니다.
	다음으로 보여드리고 싶은 것은
	주요 구성 요소 분석. 이는 스펙트럼 데이터를 사용하거나 분석하는 대부분의 사람들에게 매우 표준입니다.
	JMP에서는...이것이 매우 가능합니다. 아시다시피, 분석하러 가는데,
	다변량 방법 및 주요 구성 요소. 그래서 저는 이미 그렇게 했습니다. 여기서 보여드리는 내용은 대부분 두 가지 주요 구성 요소를 사용하여 진행 중인 모든 변형을 설명할 수 있다는 것을 이미 설정했습니다. 여기 이 점수 도표를 보면,
	우리가 가지고 있는 혼합물의 다양한 그룹인 글루텐과 전분의 하위 그룹을 볼 수 있습니다.
	우리는있어...
	음, 우리는 그 하위 그룹을 볼 수 있습니다. 거기는 잘 끝났어요. 또 다른 점은 Jeremy가 상관 관계가 높은 데이터에 대해 이야기했다는 것입니다.
	우리는 여기 다른 구성요소 도표에서 그것을 보여주고 있습니다. 변수를 켤 수 있지만...라벨을 켜면 좀 엉망이 될 것입니다.
	보려고. 여기 아래에는 이상값 분석 도표가 있습니다. 즉, 이는 T 제곱 도표이며 분석의 두 가지 주성분을 사용하고 있습니다. 그리고 그것은 아마도 우리가 약간 벗어난 스펙트럼을 가지고 있을 수도 있다는 것을 보여주고 있습니다...
	그것은 특이치일 수 있지만 대부분의 경우...대부분의 경우 어쨌든 모든 데이터를 사용하지는 않을 것입니다. 그것은 단지 데이터의 범위를 지정하는 일종의 방법일 뿐입니다.
	다음으로 보여드리고 싶은 것은 모델 기반 다변량 관리도라는 것입니다.
	다른 방법. 그래서 우리는 동일한 두 가지 주요 구성요소를 살펴보고 있습니다.
	여기에 하위 그룹이 그룹화되어 있습니다. 여기 아래를 보면 정규화된 DModX라는 것이 있는데, 이는 이상값을 보는 또 다른 방법입니다.
	데이터 내의 잠재적 이상값. 거기에 있다는 것만 알아두세요. 모델 기반 다변량 관리도가 제공하는 또 다른 기능은 데이터를 비교하는 방법입니다.
	여기서 제가 한 일은 샘플 13, 46, 95, 45를 선택하여 두 샘플 사이의 차이점을 보여주는 것입니다.
	그 네 가지 스펙트럼이요. 그렇죠. 이제 우리는 그 그룹들 중에서 그것들이 상당히 다르다는 것을 알 수 있습니다. 맞죠, 스펙트럼은 상당히 다릅니다.
	이 비교를 수행할 수 있는 다른 방법은 여기 점수 도표를 통한 것입니다. 올가미 도구를 제공하는 문자 L을 선택하겠습니다.
	그리고 저는 다른 데이터를 가져오지 않고 가능한 한 최선을 다해 이것에 동그라미를 치고 그것을 A 그룹으로 만들 것입니다. 그리고 여기 아래 빨간색 그룹의 마지막 빨간색 그룹은
	그걸 잡고 선택하세요. 제 B그룹인데 비교해보면 그렇죠. 그러면 이를 통해 데이터를 다시 효과적으로 비교할 수 있습니다.
	이 작업을 수행하면서 스펙트럼을 선택하면서 다양한 그룹에서 무엇이 선택되는지 알 수 있습니다. 이는 데이터를 시각화하는 멋진 방법입니다.
	괜찮은. 다음으로 넘어가겠습니다. 그래서 이것은 원시 데이터입니다. 다음 단계는 전처리된 데이터를 사용하는 것이므로 이전에 본 데이터와 거의 동일합니다.
	하지만 전처리를 완료했으므로 원시 데이터에서 표준 정규 변량까지 모든 과정을 진행했습니다. 그리고 다시 여기서 두 가지 주요 구성 요소를 사용하여
	데이터가 조금 더 잘 그룹화되어 있음을 알 수 있습니다. T 제곱 플롯보다 노이즈가 훨씬 적고 변동도 훨씬 적습니다. 그리고 맹세코 일부러 그런 건 아니지만, 데이터를 보니 지금이 조금 더 행복해진 것 같군요. 약간의 미소입니다.
	여기 아래에 있는 이 작은 그룹 각각은 20개의 스펙트럼입니다. 그 위로 마우스를 가져가면 실제로 해당 스펙트럼을 표시하고 표시할 수 있습니다.
	그리고 저것 좀 보세요. 제가 그렇게 선택한다면 알겠습니다. 이전에 살펴본 것과 동일한 그룹화를 수행할 수 있으므로 시도해 보겠습니다. 이것을 강조하세요
	그리고 이렇게 하면 작업이 좀 더 쉬워집니다. 왜냐하면 그리기 도구를 사용할 필요가 없기 때문입니다. 데이터가 좀 더 잘 그룹화되어 있기 때문입니다. 그렇죠. 같은 경우에는 이전에 했던 작업을 수행하여 데이터를 강조 표시한 다음
	필요에 따라 비교를 해보세요. 이것이 주요 구성 요소를 사용하는 것입니다. 동일한 유형의 분석을 수행하는 또 다른 방법은 다음과 같습니다.
	부분최소제곱. 부분 최소 제곱 X 점수를 저장한 다음 해당 데이터를 사용하여 거기에서 모델 기반 다변량 관리 차트를 작성합니다. 다시봐도 정말 깨끗해 보이네요. 전처리된 데이터입니다. 그룹화가 정말 좋아서 거기에서 볼 수 있습니다.
	우리는 다음을 볼 수 있습니다.
	DModX. 여전히 약간의 노이즈가 있지만 주성분이 포함된 원시 데이터를 볼 때 데이터만큼 노이즈가 많지는 않습니다. 그럼 다시 돌아가 보자.
	또 다른 분석 방법을 살펴보면, 이것은 더 높은 계층적 클러스터링을 살펴보는 것입니다. 제레미가 이런 말을 했었지
	처음에 데이터를 살펴보니
	클러스터링이 어떻게 일어나는지 살펴보세요. 원시 데이터를 보면 더 작은 클러스터가 많이 있음을 알 수 있습니다.
	그리고 실제 데이터는...여러 그룹에 분산되어 있는 것 같습니다. 내 말은, 그들은...당신이 바라는 대로 그룹화되어 있지 않다는 거죠. 그렇죠. 그래서 우리는 그것을 취했습니다
	데이터를 전처리하고 동일한 분석을 수행하여 정말 멋진 그룹화를 얻었습니다. 그리고 이들 각각은 5개의 클러스터로 구성되어 있습니다. 여기 보이는 곳이 바로 그 곳입니다.
	그래서 전분과 글루텐은 여기서 정말 잘 분리됩니다. 클러스터 저장 기능을 통해 이 데이터를 데이터 테이블에 다시 저장하면
	원하는 경우 실제로 이를 모델링에 사용할 수 있습니다. 가장 가까운 클러스터에 대한 공식을 저장할 수도 있으며, 그러면 얻는 새 데이터는 다음과 같습니다.
	가장 가까운 클러스터에 넣습니다.
	좋습니다. 이제 데이터를 가져오고 살펴보고 모델링을 위해 설정한 후 다음 단계는 모델링으로 이동하는 몇 가지 방법에 불과합니다. 다음에 보여드릴 것은 부분 최소 제곱법입니다. 이는 일반적으로 ...죄송합니다. 이것은 일반화된 회귀입니다.
	이것이 바로 우리가 사람들에게 보여주고 싶은 일반화된 회귀 모델입니다.
	이것은
	여기서 우리는 무슨 일이 일어나고 있는지 볼 수 있습니다. 그리고 나에게 몇 가지 변화가 생긴 것 같습니다.
	잡고 싶어...저기, 저기. 이것은 부분 최소 제곱입니다. 이는 제가 실제로 데이터를 분석한 방식이 다음과 같다는 것을 보여줍니다.
	좋은 모델을 주세요. 제가 한 일을 어떻게 하는지 보여드리겠습니다. 분석하러 가는데 이것이 JMP Pro 버전입니다. 제가 말씀드린 것처럼... 제가 보여드리는 많은 작업은 일반 JMP에서 수행할 수 있습니다. 다변량 방법으로 이동하면
	부분 최소 제곱법을 사용하면 동일한 분석을 할 수 있지만 JMP Pro 버전을 사용하겠습니다. 그렇죠. 그리고 전분과 글루텐을 선택하겠습니다.
	원시 데이터를 선택하고 추가한 다음 거기에서 실행하겠습니다.
	오른쪽. 설정을 잘못했는데 가죠
	돌아가다
	우리가 여기서 설정한 분석입니다. 그리고 저는 여기 아래에서 여러분에게 몇 가지 다른 것들을 보여드릴 수 있습니다. 이는 전처리된 데이터를 사용하여 수행되었습니다.
	그렇군요 핏이 정말 멋져보이네요 조금 있다가 핏 비교 보여드리겠습니다. 그래서
	우리는 원시 데이터, 부분, 그리고 전처리된 데이터에 대한 부분 최소 제곱 데이터를 얻었습니다. 그리고 그것들을 비교하고 싶다면,
	그 모델들이 어떻게 작동하는지 알 수 있죠. 그렇죠. 지금 제가 보여드리는 것은 왼쪽의 원시 데이터와 오른쪽의 전처리된 데이터를 비교한 것입니다. 전처리된 데이터를 사용하면 훨씬 더 잘 맞습니다. 따라서 이는 앞서 Jeremy가 말한 내용으로 돌아갑니다.
	우리가 얻을 수 있는 최고의 예측 모델을 얻으려면 이 데이터를 정리해야 합니다.
	또 보여드리고 싶은 점은
	그만큼...
	내가 여기 어디에 있는지 보자.
	제가 보여드리고 싶은 것은 기능적 데이터 탐색기입니다.
	그리고 이건
	최신 모델링 방법 중 하나입니다. 적어도 JMP에서는 스펙트럼 데이터를 모델링하는 최신 방법입니다. 데이터를 지속적으로 분석할 수 있기 때문입니다.
	좋습니다. 이제 이 작업을 수행하는 방법을 보여 드리겠습니다. 하지만 이것이 보여주는 것은 바로 지금 원시 데이터만 보면 이를 두 가지 기능적 주요 구성 요소로 분석할 수 있다는 것입니다.
	주성분 분석에서 했던 것처럼 꽤 괜찮은 모델을 얻을 수 있습니다. 하지만 한 가지 주목할 점은 이것이 더 많은 것입니다...이것은 다변량 보정 방법이지만 역다변량 방법입니다.
	이 분석을 단계별로 살펴보겠습니다.
	분석하다.
	그런 다음 특수 모델링으로 이동해야 하며 기능적 데이터 탐색기로 이동해야 합니다.
	데이터가 와이드 형식이므로 행을 함수로 사용해야 합니다.
	내 것을 사용할거야
	전분과 글루텐을 보충 변수로 사용합니다. Spectra는 내 ID이고 원시 데이터를 가져오겠습니다.
	좋아요.
	이제 Functional Data Explorer에서는 데이터를 정리하고 일부 전처리를 수행하는 등 많은 작업을 수행할 수 있습니다. 하지만 Jeremy가 말했듯이 이러한 기능은 JMP 17에서 더욱 향상될 것입니다.
	여기에서 우리는 이것으로 일부 모델링을 하거나 모델을 만들고 싶었습니다. 우리는 모든 데이터를 맞추고 싶습니다.
	그래서 우리는 직접적인 기능을 하는 PCA 모델로 갈 것입니다.
	여기를 보면 다섯 가지 기능적 주요 구성 요소를 사용할 수 있지만 거의 노력 낭비라는 뜻입니다. 왜냐하면...
	두 개를 사용하면 실제로 모든 데이터, 즉 데이터의 100% 변형을 맞추는 것입니다. 그래서 저는 이것을 뒤로 밀고, 이것을 조금 정리한 다음 다시 아래로 내려갈 것입니다.
	여기 점수 도표를 살펴보겠습니다.
	이것은 이전에 본 것처럼 하위 그룹의 원시 데이터와 다른 모든 점수 도표를 보여줍니다. 여기서 좋은 점은 여기에 마우스를 가져가면 개별 스펙트럼을 표시할 수 있다는 것입니다.
	시각적으로 비교해 보세요.
	더 아래쪽에는 기능적 주성분 프로파일러가 있는데 정말 좋습니다. 우리는 앞으로 무슨 일이 일어날지 살펴볼 수 있습니다.
	기능적 주성분을 변경하면서 곡선을 그리지만 사람들에게 기능적 주성분을 변경하라고 말하려고 합니다. 2
	당신이 원하는 곡선을 얻는 것은...잘 진행되지 않을 것입니다. 그래서 추가된 것은 기능적 DOE 분석이라는 기능입니다. 그리고 그걸로 당신은 할 수 있습니다
	제가 추가한 구성 요소, 보조 구성 요소, 혼합 구성 요소를 기반으로 곡선이 어떻게 변하는지 살펴보세요. 여기에 한 가지를 추가하고 선형을 변경하겠습니다. 제약 조건을 추가하겠습니다.
	그리고
	이것을 바꾸십시오.
	좋아요, 그리고 OK라고 말하세요. 그리고 여기에 있는 그룹을 살펴보면...전분이 줄어들수록 글루텐은 올라가게 됩니다. 따라서 제약 조건을 통해 다음을 볼 수 있습니다.
	서로 다른 그룹화 또는 혼합물이 어떻게 비교되는지 그리고 전분과 글루텐의 수준을 다르게 하면 곡선에 어떤 일이 일어날지 알겠습니다. 그리고 그것은 다시 연속체에 있습니다. 우리가 데이터에서 수행한 작업은 매우 정의되어 있습니다.
	데이터의 일부를 사용하여 앞으로 무슨 일이 일어날지 알 수 있습니다. 혼합물이 데이터에 표시된 것과 정확하지 않더라도 괜찮습니다.
	좋아요, 그게 원시 데이터입니다. 이것이...나의 다음 단계는...이것은 사실상 같은 것입니다.
	그리고 나는 여기서 올바른 것을 얻었는지 확인하고 싶습니다. 이는 전처리된 데이터로 수행되므로 동일한 기능적 데이터 탐색기입니다.
	전처리된 데이터를 사용하면 죄송하지만 이미 차이점을 볼 수 있습니다.
	그리고 전처리된 데이터가 들어오면 곡선이 생성됩니다. 모델을 피팅하고 두 가지 기능적 주성분을 얻습니다. 그리고 우리가 여기서 살펴보고 싶은 것은
	점수 플롯. 그리고 우리는 변수의 그룹화가 어떻게 다른 버전인지 또는 다른 것인지 다시 볼 수 있습니다.
	글루텐과 전분의 그룹화 또는 혼합물은 여기에서 훨씬 더 좋게 그룹화됩니다. 그래서 또 다시, 당신은 다른 것들을 튀어나올 수 있습니다. 그래서 그것은 일종의 보는 것입니다.
	제가 마지막으로 보여주거나 이야기하고 싶은 것은 일반화 회귀라는 것을 살펴보는 것입니다.
	그리고 만약 이것이
	저와 잘 놀아주세요. 이것은 원시 데이터의 일반화된 회귀 적합입니다. 그렇죠. 그리고 저는 k-겹 교차 검증과 함께 탄성 네트 핏을 사용하여 이 작업을 수행했습니다.
	나는 눈에 더 보기 좋은 핏을 얻기 위해 탄성 순 알파를 .56으로 설정했습니다. 그것이 하는 일은 서로 다른...또는 더 많은 그룹을 허용하는 것입니다.
	모델에 맞는 파장을 추가합니다. 이는 전체 모델 적합성을 제한하는 것이 아닙니다.
	그렇게 하면, 그 탄력성, 즉 알파를 제한하면 이렇게 보이는 핏을 얻을 수 있을 것입니다. 이제는 훨씬 더 작은 모델, 훨씬 단순한 모델이 되었습니다. 하지만 여러분은 또한...추가적인 부분이나
	전체적으로 더 나은 핏을 얻는 데 도움이 될 수 있는 추가 효과입니다. 따라서 그것은 귀하의 선택입니다. 더 간단한 모델이 장기적으로 도움이 될 것입니다.
	다른 그룹이 필요한 경우 여러 구성 요소가 혼합된 경우 다른 그룹을 찾는 데 도움이 될 것입니다. 하지만
	탄성 순 알파가 낮을수록 더 많은 요인과 변수, 더 많은 파장이 모델의 일부가 될 수 있습니다.
	그리고 그것은 원시 데이터와 관련이 있습니다. 이것이 나에게 주어질지 보자...
	우리가 얻는지 알아보겠습니다...그리고 이게 딱 맞는 건가요?
	완전히 전처리된 데이터이므로 사실상 동일합니다.
	단지 전체적으로 다른 결과를 보고 있을 뿐입니다.
	오른쪽. 다른 모델을 보고 계시는데, 정말 다르게 보입니다. 이것은 다시 다른 탄성망 알파와
	우리가 궁극적으로 하고 싶은 것은 이것들을 비교하는 것입니다. 비교하자면...
	다시 한번 PLS 원시 데이터와 전처리된 데이터를 비교하면 훨씬 향상된 적합성을 얻을 수 있습니다. 일반화된 회귀 대...를 살펴보면 이는 다음에 대한 부분 최소 제곱 데이터입니다.
	전처리되고, 더 작은 탄성 순 알파에서 일반화 회귀를 사용하여 전처리된 다음, 더 높은 탄성 순 알파에서 전처리됩니다. 우리는 여기저기서 잘 맞고 있습니다. 그렇죠? 따라서
	JMP Pro의 일반화 회귀와 부분 최소 제곱 비교. 실제로 당신은 정말 좋은 모델을 얻었고
	이는 데이터를 분석하고 향후 비교를 위해 또는 향후 데이터를 가져올 때 예측 모델을 구축할 수 있는 좋은 방법입니다.
	이것으로 감사 인사를 전하겠습니다. 제레미 씨, 이 일에 참여해 주셔서 정말 감사드립니다. 그리고 우리는 여러분 모두가 이것을 즐기기를 바랍니다. 의견을 보내주세요. 우리는 피드백을 찾고 있습니다. 우리는 사람들이 이러한 새로운 기능에 대해 어떻게 생각하는지 알고 싶습니다.

브레이크아웃데이터 탐색통계 및 모델링