756807_ko-KR

liliconcom

스펙트럼 데이터 분석: 전처리 및 그 이후 (2021-US-45MP-878)

Bill Worley, JMP 수석 글로벌 활성화 엔지니어, SAS
제러미 애시, SAS Institute, Inc.의 분석 소프트웨어 테스터

JMP는 스펙트럼 데이터 분석 기능을 전처리에서 예측 모델 구축까지 확장합니다. 본 프레젠테이션에서는 시각화, 전처리 및 모델 개발 과정을 소개합니다. 분광학자, 분석 화학자, 재료 과학자들이 이 프레젠테이션을 통해 많은 것을 얻을 수 있을 것입니다. JMP를 사용하여 표준 정규 변량(SNV)과 사비츠키-골레이(SG) 평활화를 검토하고 시연합니다. 또한, 더욱 발전된 전처리 도구를 소개하고 Functional Data Explorer를 사용하여 스펙트럼을 시각화하고 정성적으로 분석하는 방법을 보여줍니다. JMP를 사용하여 스펙트럼 데이터 모델 개발 도구로서 부분 최소 제곱법과 일반화 회귀 분석을 시연합니다.

자동 생성된 대본...

스피커	성적 증명서
제레미 애쉬, JMP	안녕하세요. 저희 강연에 와주셔서 감사합니다. 저는 제레미 애쉬입니다. JMP R&D팀의 통계학자이고, 빌 워리도 여기 있습니다. 그는 선임 시스템 엔지니어입니다. 저희는 JMP에서 근적외선 분광 데이터를 분석하는 방법에 대해 이야기해 보겠습니다.
	이 주제에 대한 강연이 처음은 아닙니다. 빌이 여러 관련 강연을 진행했는데, 커뮤니티에서 찾아보실 수 있습니다.
	여기에는 무료 자료에 대한 몇 가지 링크가 있습니다.
	Bill은 더 적은 실험으로 다변수 교정 모델을 효율적으로 모델링하기 위해 FDE 및 DOE에 대해 이야기하고 있으며 스펙트럼 전처리에 대해서도 더 자세히 다루었습니다.
	올해 초 Discovery Europe에서요. 빌과 저는 이 주제에 대한 블로그 시리즈를 작성해 왔고, 커뮤니티에 올라와 있습니다. 지금까지 다룬 주제는 다음과 같습니다. JMP 추가 기능도 만들었는데, 나중에 사용법을 보여드리겠습니다.
	따라서 근적외선 분광법의 일반적인 사용 사례는 혼합물의 화학적 구성을 결정하는 것입니다. 오른쪽에 근적외선 스펙트럼의 예를 보여드리겠습니다.
	그리고 흡광도 측정은 다양한 파장 범위에서 수집되며, 여기의 스펙트럼은 여러 가지 화학 성분이 섞인 분말 시리얼 샘플을 나타냅니다.
	그리고 순수 성분의 스펙트럼은 아래쪽에 있고, 혼합물의 스펙트럼은 위쪽에 있습니다. 그리고 다음과 같은 현상 때문에
	오버톤과 조합 대역의 경우, 개별 성분의 피크는 넓고 겹치는 경우가 많으며, 이로 인해 스펙트럼을 기본 성분으로 분해하는 것이 어렵습니다.
	따라서 사람들이 택하는 방법은 여러 파장에서 흡광도의 함수로 구성을 예측하는 모델을 만드는 것입니다. 이를 통해 데이터의 차원이 높아지고 변수 간의 상관관계가 높아지는 경우가 많습니다.
	따라서 근적외선 스펙트럼을 분석할 때 극복해야 할 주요 과제 중 하나는 신호 대 잡음비가 종종 낮고 이는 통제되지 않은 변화로 인해 발생한다는 것입니다.
	광산란 효과로 인해 발생합니다. 신뢰할 수 있는 모델을 구축하기 전에 이러한 효과를 정리해야 합니다. 따라서 데이터는 종종 주요 전처리 변환 과정을 거치게 되며, 오른쪽 그림과 같이 몇 가지 일반적인 노이즈 원인이 있습니다.
	실제 스펙트럼은 검은색으로 표시되고, 녹색 스펙트럼은 일정한 기준선 이동 또는 가산 효과가 있습니다.
	파란색 스펙트럼은 가산 효과와 곱셈 효과를 보입니다. 곱셈 효과는 흡광도가 클수록 왜곡이 더 커지는 효과가 있고, 보라색 스펙트럼은 가산 효과, 곱셈 효과, 그리고 기준선 이동에 대한 기울기를 보입니다.
	다음으로 이러한 노이즈 소스를 제거하는 전처리 방법 몇 가지를 보여드리겠습니다. 이 방법들에 대해서는 블로그 게시물에서 더 자세히 다루겠지만, 데모에서 몇 가지 방법을 보여드리겠습니다. Savitzky-Golay 1차 미분은 가산 효과를 제거하는 데 도움이 될 것입니다.
	그리고 2차 미분 필터는 기울어진 기준선 이동을 제거합니다. 이러한 방법들은 일반적으로 사용되고 효과적이지만, 문제는 변환된 스펙트럼을 해석하는 것이 원래 스펙트럼보다 훨씬 어렵다는 것입니다.
	따라서 제가 언급할 다른 전처리 방법은 이러한 해석 가능성을 유지하는 데 더 효과적입니다.
	표준 정규 변량 중심과 척도를 사용하여 각 스펙트럼을 따라 단위 분산의 평균이 0이 되도록 합니다. 이는 간단한 정규화이지만 가산 및 곱셈 효과를 모두 정리하는 데 효과적입니다.
	그리고 곱셈적 산란 보정은 선형 모델을 사용하여 각 스펙트럼을 참조 스펙트럼처럼 보이게 만들고 종종 참조할 수 있는 것이 없기 때문에 대신 평균 스펙트럼을 사용합니다.
	그리고 확장된 곱셈적 산란 보정은 세 가지 노이즈 소스를 모두 제거할 수 있는 유일한 방법이며, 이는 혼합물의 각 성분에 대한 참조 스펙트럼이 필요한 보다 진보된 방법입니다.
	그리고 그것이 나중에 어떻게 작동하는지 보겠습니다.
	데이터가 고차원이고 변수 간 상관관계가 높기 때문에 다양한 다변량 분석법을 적용할 수 있습니다. 나열된 모든 분석은 JMP에서 수행할 수 있습니다.
	차원 축소 방법은 데이터 시각화에 필수적입니다. 일반적인 방법으로는 주성분 분석이나 다차원 척도법이 있습니다.
	그리고 여기서는 기능적 데이터 탐색기의 기능적 주성분이 특히 유용한 방법입니다.
	JMP는 스펙트럼 분석 소프트웨어 중에서도 독보적이며, 사용자 친화적인 함수형 데이터 분석 플랫폼을 갖추고 있습니다. 스펙트럼은 함수형 형태를 가지므로, FDE는 스펙트럼을 활용할 수 있는 다양한 잠재력을 가지고 있습니다.
	저희는 이제 막 그 기능들을 탐색하기 시작했습니다. 그리고 클러스터링은 흔한 기능입니다. JMP의 계층적 클러스터링은 특히 유용합니다.
	그리고 일반적으로 이상치 분석이 수행됩니다.
	이를 위해 먼저 PCA 또는 PLS 모델을 구축한 다음 T 제곱 차트와 DModX 차트에서 이상치를 식별합니다.
	이 모든 작업은 모델 기반 다변량 관리도 플랫폼에서 수행할 수 있습니다. 또한, 스펙트럼의 함수로 화학 성분을 예측하는 예측 모델(다변량 보정 모델이라고 함)이 있는데, 이 모델은 관측값보다 변수가 더 많은 경우를 처리합니다.
	이 작업은 PLS나 GenReg의 페널티 회귀 또는 기능적 데이터 탐색기를 사용하여 효과적으로 수행할 수 있습니다.
	좋습니다. 그러면 JMP로 전환해서 데모를 시작하겠습니다.
	먼저 스펙트럼 도구 추가 기능을 사용하여 스펙트럼 데이터를 읽는 방법을 보여드리겠습니다.
	텍스트로 구분된 파일의 경우, 우리가 제공하는 추가 기능은 여기에 있는 여러 파일 가져오기 도구를 위한 래퍼일 뿐입니다.
	하지만 이 추가 기능은 가장 유용한 기능 중 일부를 제공합니다. 그리고 JMP에 새롭게 추가된 JCAMP-DX 임포터도 있습니다. 그리고 전반적으로,
	이 중 대부분은 이미 JMP에서 구현할 수 있지만, 제 목표는 스펙트럼 워크플로를 간소화하는 래퍼를 작성하는 것이었습니다. 이 부분은 JMP 17에서 개선될 예정이므로, 이 추가 기능은 곧 지원 중단될 것으로 예상됩니다.
	지금으로선 스펙트럼 모델을 구축하고 있다면 유용할 수도 있겠네요.
	그래서 나는 가지고있다
	csv 파일이 있는 폴더가 있는데, 스펙트럼당 파일 하나씩 있고, 이 파일들의 첫 번째 열은 X 변수이고 두 번째 열은 Y 변수입니다. 따라서 이 디렉터리를 JMP로 가져오겠습니다.
	해당 폴더를 선택하세요.
	그리고 추가 기능에서 사용하는 형식이 스택형이기 때문에 스택형 형식으로 읽고 싶습니다.
	그리고 해당 파일에 헤더가 있습니다. 해당 옵션을 선택하겠습니다. 이 옵션을 사용하면 CSV 파일만 선택할 수도 있습니다.
	그래서 이것은 스택된 형태로 스펙트럼을 읽습니다.
	그리고 여기 JMP 테이블에도 몇 가지 메타데이터가 있습니다.
	이 데이터 테이블에 추가하고 싶은 것이 있습니다. 이를 위해 spectra 열에 조인을 적용하겠습니다.
	하지만 파일 이름에 파일 확장자를 넣어서 읽었는데 여기서는 텍스트를 열로 사용합니다.
	해당 확장자를 제거하세요.
	좀 더 자세한 정보를 담은 파일 이름을 지정하겠습니다.
	그리고 테이블 업데이트를 사용하고 스펙트럼 열에 맞춰서 정렬할 거예요.
	그리고 마지막으로 보여드릴 것은...
	아니면 이 스펙트럼 열을 여기로 옮기겠습니다.
	알겠습니다. 이렇게 데이터 테이블을 설정했습니다.
	그리고 추가 기능의 샘플 데이터에 추가했습니다.
	그래서 먼저 데이터를 살펴보겠습니다. 그러기 위해 추가 기능에서 Graph Builder 실행 명령을 사용하겠습니다.
	글루텐으로 색칠할게요.
	그리고 여기 왼쪽에 있는 스펙트럼 도구는 유용한 제어 기능을 갖춘 로컬 데이터 필터를 설정하는데, 이를 통해 파장을 필터링하여 관심 영역에만 초점을 맞출 수 있습니다. 예를 들어 여기 이 피크에만 초점을 맞추고 싶다면,
	데이터 테이블에서 모든 열을 선택한 경우 show subset 명령을 사용하면 관심 있는 영역으로 하위 집합이 만들어집니다.
	이 필터를 사용하여 개별 스펙트럼을 여기에서도 플로팅할 수 있습니다.
	스펙트럼을 검색하여 하위 집합을 그리는 것이 편리합니다.
	그리고 마지막으로 보여드릴 것은 애니메이션 컨트롤입니다.
	하지만 이를 위해 축을 잠그겠습니다. 그렇지 않으면 축이 개별 스펙트럼에 맞춰 조정됩니다.
	여기서는... 조금 속도를 높여서 아주 빠르게 살펴볼 수 있도록 하겠습니다.
	특히 이 기능은 반응 모니터링처럼 다양한 시점에서 스펙트럼을 수집하는 경우에 유용합니다.
	또한 그래프에서 3D 산점도를 사용하여 해당 데이터를 시각화할 수도 있습니다.
	좋아, 그럼 나는 갈거야
	이것을 지우다
	필터.
	당신이 가질 때 기억해야 할 한 가지
	원하는 대로 플롯을 설정하면 이것을 저장할 수 있습니다.
	스크립트를 데이터 테이블로 다시 돌려놓으면, 전처리를 한 후에 새로운 데이터를 넣어 그래프를 다시 만들 수 있습니다.
	제가 보여드리고 싶었던 또 다른 것은 변동성과 몇 가지 진단 플롯을 시각화하는 것입니다. 이를 위해 그룹화 변수를 제거하겠습니다.
	그러면 전반적인 스펙트럼 요약을 얻을 수 있습니다. 그리고 상자 그림을 사용할 수도 있습니다. 이것들은
	파장에 따라 변화가 일정한지, 특정 파장에만 국한되는지 파악하는 데 유용합니다. 변화가 일정하다면 추가적인 전처리가 필요함을 의미하지만, 파장에 따라 다르다면 실제 화학적 효과인 경우가 많으므로 유용합니다.
	그리고 변동성을 시각화하는 또 다른 방법은 다음과 같습니다.
	막대 그래프. 저는 떠다니는 막대 그래프를 사용하는 걸 좋아하는데, 여러 하위 그룹의 변동성을 살펴보고 싶다면 그룹화 변수를 추가할 수도 있습니다.
	시각화를 통해 보여드릴 내용은 여기까지입니다. 그리고 또 하나 말씀드리고 싶은 것은 JCAMP-DX 파일을 읽는 방법입니다.
	그래서 저는 디렉토리를 가지고 있어요
	저것
	JCAMP-DX 표준 웹사이트에서 가져온 두 개의 JCAMP-DX 파일이 포함되어 있습니다. 불편했습니다.
	추가 기능 테스트에 사용하는 파일을 공유하고 있습니다. 고객으로부터 받은 파일들이기 때문입니다. 그래서 방금 해당 웹사이트에서 테스트 파일을 가져와서 두 번 복제해서 어떻게 읽을 수 있는지 보여드렸습니다.
	여러 파일입니다. 저희는 가장 일반적인 형식, 즉 압축되지 않은 X/Y 변수 목록이 있는 파일만 지원하며, 파일당 하나의 스펙트럼만 지원합니다. 이것이 가장 일반적인 형식이라고 생각하지만, 다른 형식이 필요하시면 알려주세요.
	그래서 저는 그것을 이렇게 읽을 것입니다...
	여기서는 기본 옵션을 사용합니다.
	그리고 당신에게 그것을 보여주기 위해서
	이것은 올바르게 읽혔습니다.
	그래프 빌더에 그려보세요.
	이는 동일한 스펙트럼을 보여줍니다. 실제로는 NMR 스펙트럼이지만 이는 NIR 스펙트럼의 일반적인 형식이기도 합니다.
	그래서 내가 보여줄 것은 그게 전부입니다
	데이터 가져오기 포함.
	다음으로 Spectral Tools에 있는 간단한 전처리 방법 몇 가지를 보여드리겠습니다. 이 글의 목적은 사용자가 PLS와 같은 도구를 사용하여 간단한 교정 모델을 시작할 수 있도록 기본적인 전처리 기능을 제공하는 것입니다.
	워크플로에 대한 피드백을 얻을 수 있도록 JMP 17에서 FDE의 더욱 완벽한 전처리 방법을 계획하고 있습니다. 이는 Pro 버전에서만 제공될 예정이지만, 해당 플랫폼이 스펙트럼과 같은 기능적 데이터 모델링을 전문으로 하기 때문에 사용자들에게 FDE를 사용하도록 권장하고 있습니다.
	그럼 먼저 보여드릴게요
	사비츠키-골레이 평활화.
	여기서 사용되는 다항식의 차수를 변경할 수 있습니다. 슬라이딩 윈도우의 크기를 변경할 수 있는데, 크기가 클수록 더 적극적으로 매끄럽게 처리됩니다. 그리고 여기서 트림을 사용하면 불균형한 슬라이딩 윈도우를 잘라낼 수 있습니다.
	그리고 Savitzky-Golay는 실제로 로컬 커널 회귀의 특수한 경우이므로 이에 대한 다른 옵션을 시도해 볼 수 있습니다.
	그래프 빌더에서는 슬라이딩 윈도우를 정의하는 다양한 방법과 다양한 가중치 함수를 제공합니다. 원하는 매개변수를 선택한 후에는 스펙트럼을 다시 테이블에 저장할 수 있습니다.
	다음으로 표준 정규 변수를 적용하는 방법을 보여드리겠습니다.
	매끄러운 스펙트럼.
	그리고
	이 함수는 각 스펙트럼을 개별적으로 중심화하고 크기를 조정하며, 열 수식을 사용해서도 이 작업을 수행할 수 있습니다. 빌이 전처리 강의에서 이를 보여드리겠습니다.
	그럼 이제 전후를 시각화해보겠습니다.
	이것을 사용하여 Graph Builder를 실행하세요.
	글루텐으로 색을 낸다.
	이렇게 간단한 전처리 방법만으로도 스펙트럼의 노이즈를 많이 제거한 것을 볼 수 있습니다. 하지만 하위 그룹에는 여전히 노이즈가 남아 있습니다.
	빌은 앞서 자신의 강연에서 사비츠키-골레이 1차 미분 필터를 사용하면 데이터를 더욱 정교하게 정리할 수 있는 방법을 보여줬습니다. 이 부분은 블로그 게시물에서 시도해 본 다른 추가 기능에도 나와 있지만, 여기서는 자세히 다루지 않겠습니다.
	빌이 보여줄 가장 중요한 점은 먼저 1차 미분 필터를 적용한 다음 표준 정규 변량을 적용하면 남아 있는 곱셈 효과가 제거된다는 것입니다.
	그래서 당신은 더 나은 일을 할 수 있다는 것이 밝혀졌습니다.
	이러한 스펙트럼을 확장된 곱셈 산란 보정이라는 방법을 사용하여 전처리합니다.
	여기에 그런 설정이 있습니다.
	따라서 이 데이터는 실제로 확장된 곱셈 산란 보정(이하 EMSC라고 함)을 도입한 논문에서 가져온 것입니다.
	이 전처리 방법의 장점을 보여주기 위해 산란 효과 플롯을 사용하겠습니다. 하지만 이를 위해서는 각 파장의 평균 흡광도를 계산해야 합니다.
	여기 열 수식을 사용해서 그걸 할 수 있습니다.
	그리고 이것을 그래프 빌더에 표시하겠습니다.
	따라서 산란 효과 플롯은 개별 흡광도에 따른 각 파장의 평균 흡광도를 표시하고 Y축의 기울기는 가산 효과를 나타냅니다.
	변화
	개별 스펙트럼의 기울기는 이 플롯에서 부채꼴 모양으로 나타나는데, 이는 곱셈 효과를 나타냅니다. 그리고 흥미롭게도 화학적 효과는 이 플롯에서 고리 모양으로 나타납니다.
	따라서 여기에는 분명히 큰 가산 효과가 있습니다. 이를 정리하기 위해 1차 미분 사비츠키-골레이 필터를 사용할 수 있습니다. 해당 데이터는 여기에 있습니다.
	이렇게 하면 가산 효과가 극적으로 줄어들지만, 이 플롯에는 여전히 약간의 팬닝 효과가 남아 있습니다. 따라서 표준 정규 변량을 사용하면 이 부분을 줄일 수 있습니다.
	하지만 그 대신 EMSC는 한 단계에서 덧셈 및 곱셈 효과를 제거하고 미분 변환을 필요로 하지 않습니다. 미분 변환은 결과 스펙트럼을 해석하기 쉽게 만들어주기 때문에 유용합니다.
	EMSC의 핵심 기능은 화학적 효과로 인한 스펙트럼 변화와 노이즈로 인한 변화를 분리하는 것입니다.
	그리고 노이즈로 인한 변동을 빼는데, 선형 모델로 이 작업을 수행하므로 여기에 모델에 필요한 항을 설정했습니다. 그리고
	자세한 내용은 블로그에서 다루겠습니다. 제가 말씀드릴 것은 Fit 모델을 사용할 수 있다는 것입니다.
	EMSC 모델에 맞추기 위해, 이는 전처리 모델이 어떻게 적용되는지 이해하고 더 이상 블랙박스가 되지 않도록 하는 데 매우 유용한 교육 도구입니다. 따라서 이 모델에서는 각 스펙트럼에 대해 별도의 모델을 사용하고, 추정된 계수는
	수정에 사용되며... 또한 가능합니다.
	이것을 다시 시작하다
	다양한 효과가 있는 모델을 만들어서 그것이 어떻게 달라지는지 살펴보세요.
	그래서 여기에 마지막 수정 사항을 적용했고, 그 전과 후를 보여드리겠습니다.
	그래서
	이제 스펙트럼은 산란 효과가 거의 없으며 스펙트럼에 미치는 영향은 다음과 같습니다.
	혼합물 조성의 변화로 인한 것이 이제 명확해졌습니다. 자, 이제 제가 다룰 내용은 여기까지이고, 빌에게 넘겨서 모델링 방법 몇 가지를 설명해 드리겠습니다.
빌 워리	안녕, 고맙네, 제레미.
	여기서 화면을 바꿔보겠습니다.
	지금쯤 제 데이터 테이블을 보실 수 있을 겁니다. 클릭하자마자 바로 보실 수 있기를 바랍니다.
	모든 사람이 내 데이터 테이블을 보고 있나요?
제레미 애쉬, JMP	예.
빌 워리	좋아요, 시작해 볼까요? 제레미가 사용했던 것과 같은 데이터인데, 이번에는 와이드 포맷으로 저장했어요. 두 가지 방식으로 데이터를 분석할 수 있다는 점을 알려드리고자 합니다. 어떤 사람들은 스택 포맷을 선호하고, 어떤 사람들은 와이드 포맷을 선호합니다.
	그러니 가능하다는 걸 알아두세요. 제가 가장 먼저 보여드리고 싶은 건,
	제레미가 전에 이야기했던 건, 원시 형식의 데이터를 보고 사비츠키-골레이 1차 미분을 한 다음, 최종 표준... 표준 정규 변수 평활화를 하는 방법에 대한 것입니다. 다시 한번 말씀드리지만, 이 작업은 와이드 형식으로 이루어진다는 점만 알아두세요.
	좋아요, 그러면 거기서도 그런 일이 가능하다는 걸 보여드리겠습니다.
	다음으로 보여드리고 싶은 것은
	주성분 분석. 스펙트럼 데이터를 사용하거나 분석하는 대부분의 사람들에게는 꽤 표준적인 방법입니다.
	JMP에서는 아주 쉽게 할 수 있어요. 분석하는 거죠.
	다변량 분석법과 주성분 분석이죠. 이미 다 해 봤습니다. 여기서 보여드리는 것은 대부분 두 개의 주성분을 사용하면 발생하는 모든 변동을 설명할 수 있다는 것입니다. 여기 점수 도표를 보면,
	우리가 가지고 있는 혼합물의 여러 그룹, 즉 글루텐과 전분의 하위 그룹을 볼 수 있습니다.
	우리는 가지고 있어요...
	음, 하위 그룹화를 볼 수 있네요. 잘 되어 있네요. 또 하나 눈에 띄는 건 제레미가 상관관계가 높은 데이터에 대해 이야기했다는 겁니다.
	여기 다른 구성 요소 플롯에서 그걸 보여주고 있습니다. 변수는 켤 수 있지만... 레이블은 켤 수 있지만 좀 엉망이 될 겁니다.
	살펴보겠습니다. 아래는 이상치 분석 그래프인데, T 제곱 그래프이고 분석에서 나온 두 주성분을 사용하고 있습니다. 스펙트럼 중 일부가 약간 어긋나는 부분이 있을 수 있다는 것을 보여주고 있습니다...
	이상치일 수도 있지만 대부분의 경우... 대부분의 경우 우리는 어차피 모든 데이터를 사용하지 않을 겁니다. 그저 데이터의 범위를 좁히는 방법일 뿐이죠.
	다음으로, 모델 기반 다변수 관리도라고 불리는 것을 보여드리고 싶습니다. 이것은 제가 주성분에 대해 한 것과 거의 동일합니다.
	다른 방식입니다. 그래서 우리는 이 두 가지 주요 구성 요소를 살펴보고 있습니다.
	여기 위쪽에는 부분군 그룹이 있고요. 그리고 여기 아래쪽을 보면 정규화된 DModX라는 게 있는데, 이상치를 보는 또 다른 방식입니다.
	데이터 내 잠재적 이상치를 파악할 수 있습니다. 그냥 그런 이상치가 존재한다는 사실만 알아두세요. 모델 기반 다변량 관리도가 제공하는 또 다른 이점은 데이터를 비교할 수 있다는 것입니다.
	여기서 제가 한 일은 샘플 13, 46, 95 및 45를 선택하여 차이점을 보여준 것입니다.
	네 가지 스펙트럼, 그렇죠. 이제 우리는 그 그룹들이 서로 상당히 다르다는 것을 알 수 있습니다. 스펙트럼이 상당히 다르죠.
	이 비교를 할 수 있는 또 다른 방법은 스코어 플롯 아래쪽에 있습니다. L자를 선택하면 올가미 도구가 나타납니다.
	그리고 다른 데이터는 건드리지 않고 최대한 동그라미를 쳐서 A 그룹으로 만들겠습니다. 그리고 여기 빨간색 그룹, 마지막 빨간색 그룹은
	그걸 잡아서 선택하세요. 제 B 그룹이요. 그럼 비교가 되는 거죠. 그러면 데이터를 다시 효과적으로 비교할 수 있어요.
	이렇게 하면 스펙트럼을 선택하면 다양한 그룹에서 무엇이 선택되는지 볼 수 있습니다. 데이터를 시각화하는 멋진 방법이죠.
	좋아요. 다음으로 넘어가겠습니다. 이건 원시 데이터입니다. 다음 단계는 전처리된 데이터입니다. 그러니까 이전에 보셨던 것과 거의 같은 데이터죠.
	하지만 전처리를 완료했기 때문에 원시 데이터부터 표준 정규 변량까지 모두 다루었습니다. 그리고 다시, 여기 두 가지 주성분을 사용하여,
	데이터가 좀 더 잘 그룹화된 걸 볼 수 있어요. T제곱 플롯보다 노이즈도 훨씬 적고, 변동도 훨씬 적어요. 그리고 솔직히 말해서, 일부러 이렇게 한 건 아니지만, 데이터가 좀 더 좋아 보이는 것 같아요. 뭔가 웃음이 나오는 것 같죠?
	여기 아래 작은 그룹들은 각각 20개의 스펙트럼입니다. 그 위에 마우스를 올리면 실제로 그 스펙트럼을 그려서 꺼내올 수 있습니다.
	그리고 저걸 보세요, 제가 원한다면, 좋아요. 전에 봤던 것과 같은 그룹화를 할 수 있으니, 그걸 시도해 볼게요. 이걸 강조해서 보여주세요.
	이렇게 하면 좀 더 쉬워지는데, 굳이 그리기 도구를 쓸 필요가 없거든요. 데이터가 좀 더 잘 그룹화되거든요. 같은 상황에서는 이전에 했던 것처럼 데이터를 강조 표시한 다음
	필요에 따라 비교를 하세요. 알겠습니다. 이것이 주성분을 사용하는 것입니다. 같은 유형의 분석을 수행하는 또 다른 방법이 있습니다.
	부분 최소 제곱법입니다. 부분 최소 제곱 X 점수를 저장한 다음, 해당 데이터를 사용하여 모형 기반 다변량 관리도를 작성합니다. 다시 한번 말씀드리지만, 이 데이터도 정말 깔끔해 보입니다. 전처리된 데이터입니다. 그룹화가 잘 되어 있어서 바로 확인할 수 있습니다.
	우리는 볼 수 있습니다
	DModX. 여전히 노이즈가 좀 있긴 하지만, 주성분이 포함된 원시 데이터를 볼 때만큼 노이즈가 심하지는 않습니다. 자, 그럼 다시 돌아가 볼까요?
	또 다른 분석 방법을 살펴보겠습니다. 더 높은 계층적 클러스터링을 살펴보는 것이죠. Jeremy가 이에 대해 언급했습니다.
	처음에 데이터를 살펴보면,
	클러스터링이 어떻게 이루어지는지 살펴보겠습니다. 원시 데이터를 분석해 보면, 작은 클러스터들이 많이 있다는 것을 알 수 있습니다.
	그리고 실제 데이터는... 여러 그룹으로 분산되어 있는 것 같습니다. 제 말은, 여러분이 기대하는 방식으로 그룹화되어 있지 않다는 거죠. 그래서 우리는 그걸 고려했습니다.
	전처리된 데이터를 사용하고 동일한 분석을 수행했더니 정말 멋진 그룹화가 이루어졌습니다. 각각 다섯 개의 클러스터로 나뉘었는데, 여기 보시는 바와 같습니다.
	전분과 글루텐은 여기서 아주 깔끔하게 분리됩니다. 클러스터 저장 기능을 통해 이 데이터를 데이터 테이블에 다시 저장하면,
	원한다면 실제로 모델링에 사용할 수 있습니다. 또한 가장 가까운 클러스터에 대한 공식을 저장하면 새로 입력되는 모든 데이터가
	가장 가까운 클러스터에 넣으세요.
	좋아요, 지금까지 데이터를 가져와서 살펴보고 모델링을 위한 설정을 완료한 후, 다음 단계는 모델링을 진행하는 것입니다. 다음으로 보여드릴 것은 부분 최소 제곱법인데, 일반적으로... 죄송합니다. 일반화 회귀 분석입니다.
	그래서 이것은 우리가 여러분에게 보여주고 싶은 일반화된 회귀 모델입니다.
	이것은
	뭔가 일어나고 있는 일들을 볼 수 있을 것 같아요. 그리고 제게도 몇 가지가 바뀐 것 같아요.
	저는... 저기, 저기를 잡고 싶어요. 제 부분 최소 제곱법인데, 이건 제가 실제로 데이터를 분석해서
	좋은 모델을 주세요. 제가 한 일은 그냥 어떻게 하는지 보여드리겠습니다. 분석으로 가세요. 이건 JMP Pro 버전입니다. 말씀드렸듯이, 제가 보여드리는 많은 작업들은 일반 JMP에서도 할 수 있습니다. 다변량 분석법을 사용하면,
	부분 최소 제곱법도 같은 분석을 할 수 있지만, JMP Pro 버전을 사용할 겁니다. 전분과 글루텐을 선택하겠습니다.
	원시 데이터를 선택하여 추가한 다음 거기에서 실행하려고 합니다.
	맞아요. 제가 잘못된 설정을 넣었지만, 가보죠.
	돌아가다
	여기 설정된 분석입니다. 그리고 여기 아래에 몇 가지 다른 것들을 보여드릴 수 있습니다. 이는 전처리된 데이터를 사용하여 수행되었습니다.
	네, 핏이 정말 좋네요. 잠시 후에 핏을 비교해 드릴게요.
	원시 데이터에 대한 부분 최소 제곱 데이터, 부분... 그리고 전처리된 데이터가 있습니다. 이 데이터들을 비교하고 싶다면,
	모델이 어떻게 작동하는지 알겠어요. 지금 보여드리는 건 왼쪽의 원시 데이터와 오른쪽의 전처리된 데이터를 비교한 것인데, 전처리된 데이터가 훨씬 더 잘 맞는다는 걸 알 수 있어요. 제레미가 아까 말했던 내용과 다시 연결되는 거죠.
	우리는 이 데이터를 정리해서 가능한 가장 좋은 예측 모델을 얻어야 합니다.
	내가 당신에게 보여주고 싶은 또 다른 것은
	그만큼...
	내가 어디에 있는지 봅시다.
	제가 보여드리고 싶은 것은 기능적 데이터 탐색기입니다.
	그리고 이것은
	...최신 모델링 방법, 또는 적어도 JMP의 경우 스펙트럼 데이터를 모델링하는 최신 방법입니다. 지속적으로 데이터를 분석할 수 있기 때문입니다.
	좋아요, 그럼 이 방법을 보여드리겠습니다. 하지만 여기서 보여드리는 것은, 지금 원시 데이터만 봐도 두 가지 기능적 주성분을 사용하여 분석할 수 있다는 것입니다.
	주성분 분석에서 했던 것처럼 꽤 괜찮은 모델을 얻을 수 있습니다. 하지만 한 가지 주목할 점은... 이게 더... 다변량 보정 방법이지만, 역 다변량 방법입니다.
	이 분석을 단계별로 살펴보겠습니다.
	분석하다.
	그리고 전문화된 모델링으로 넘어가서 기능적 데이터 탐색기를 사용해야 합니다.
	데이터가 넓은 형식이므로 행을 함수로 사용해야 합니다.
	내 것을 사용할거야
	전분과 글루텐을 보충 변수로 사용했습니다. 제 ID는 Spectra이고, 원시 데이터를 가져올 겁니다.
	좋아요.
	그리고 이제 기능적 데이터 탐색기에서 데이터 정리 및 사전 처리와 같은 다양한 작업을 할 수 있습니다. 하지만 Jeremy가 말했듯이 JMP 17에서는 이 부분이 더욱 개선될 것입니다.
	여기서부터는 모델링을 하거나 이를 기반으로 모델을 구축하고 싶었습니다. 모든 데이터를 적합시키고 싶었고,
	그래서 우리는 모델, 직접적인 기능적 PCA를 살펴볼 것입니다.
	그리고 여기를 살펴보면, 우리는 5개의 기능적 주성분을 사용할 수 있다고 말하고 있지만, 그것은 노력 낭비에 가깝습니다. 왜냐하면...
	두 개를 사용하면 실제로 모든 데이터, 즉 변동성의 100%를 맞추는 셈이죠. 그러니까 이걸 뒤로 밀어서 조금 정리한 다음 다시 아래로 이동하겠습니다.
	그리고 여기 점수 플롯을 살펴보죠.
	이전에 보셨듯이, 여기에는 하위 그룹의 원시 데이터와 다른 모든 점수 플롯이 표시됩니다. 이 차트의 좋은 점은 마우스를 올리면 개별 스펙트럼을 바로 볼 수 있다는 것입니다.
	그리고 시각적으로만 비교해 보세요, 알겠어요?
	여기 아래쪽에는 기능적 주성분 프로파일러가 있는데, 아주 좋습니다.
	우리가 기능적 주성분을 변경할 때 곡선이 생기지만 사람들에게 기능적 주성분을 변경하라고 말하려고 합니다.
	원하는 곡선을 얻는 것은... 잘 되지 않을 겁니다. 그래서 기능적 실험계획법(DOE) 분석이라는 기능이 추가되었습니다. 이 기능을 사용하면
	제가 추가한 구성 요소, 보조 구성 요소, 혼합 구성 요소에 따라 곡선이 어떻게 변하는지 살펴보겠습니다. 여기에 한 가지를 더 추가해서 선형을 변경해 보겠습니다. 제약 조건을 추가하겠습니다.
	그리고
	이것을 바꾸세요.
	좋습니다. OK라고 합시다. 그리고 여기 그룹화를 살펴보면... 전분 함량이 낮아지면 글루텐 함량이 높아지므로 이 제약 조건을 통해 다음을 살펴볼 수 있습니다.
	다양한 그룹이나 혼합물을 비교하는 방식, 그리고 전분과 글루텐 함량을 변경했을 때 곡선에 어떤 변화가 생기는지, 알겠어요? 그리고 이것도 연속선상에 있는 것인데, 데이터에서 우리가 한 일은 아주 명확하게 정의되어 있습니다.
	데이터의 일부를 보면, 혼합물이 데이터에 표시된 대로 정확하지 않더라도 무슨 일이 일어날지 알 수 있습니다.
	좋아요, 원시 데이터는 여기까지이고, 이게... 다음 단계는... 사실상 똑같은 것인지 살펴보겠습니다.
	그리고 여기에 제가 원하는 것이 있는지 확인하고 싶습니다. 이 작업은 전처리된 데이터를 사용하여 수행되므로 동일한 기능적 데이터 탐색기라고 할 수 있습니다.
	전처리된 데이터를 사용하면, 잠깐만요, 이미 차이점을 보실 수 있을 겁니다.
	그리고 전처리된 데이터가 입력되면 곡선이 나타납니다. 모델을 적합시키면 두 개의 함수적 주성분이 나옵니다. 그리고 여기서 우리가 보고 싶은 것은
	점수 플롯. 그리고 우리는 변수 그룹화가 서로 다른 버전 또는 서로 다른 사실임을 다시 볼 수 있습니다.
	글루텐과 전분의 그룹이나 혼합물이 훨씬 더 잘 모여 있죠. 그리고 또, 다른 것들을 꺼낼 수도 있으니까, 그런 걸 좀 살펴보는 거죠.
	제가 보여드리거나 이야기하고 싶은 마지막 것은 일반화 회귀라는 것을 살펴보는 것입니다.
	그리고 이것이라면
	잘 들어보세요. 이건 원시 데이터의 일반화 회귀 적합이에요. 그리고 저는 k-겹 교차 검증을 적용한 탄력적 네트워크 적합을 사용해서 이 작업을 했습니다.
	탄성망 알파를 0.56으로 설정해서... 눈에 더 잘 맞는 핏을 얻었습니다. 이렇게 하면... 더 다양한... 그룹이 생깁니다.
	모델 적합성에 추가할 파장을 지정합니다. 이는 전반적인 모델 적합성을 제한하는 데 그치지 않습니다.
	제가 그렇게 했다면, 그 탄성률과 알파를 제한했다면, 이런 핏을 얻을 수 있었을 겁니다. 이제 훨씬 더 작고 단순한 모델이 되었지만, 여러분은... 어쩌면 첨가물이나
	더 나은 전반적인 핏을 얻는 데 도움이 될 수 있는 부가적인 효과입니다. 따라서 선택은 여러분의 몫이며, 더 단순한 모델이 장기적으로 도움이 될 것입니다.
	여러 구성 요소가 혼합되어 있는 경우 다른 그룹이 필요한 경우 다른 그룹을 찾는 데 도움이 되지만 적합성을 알아야 합니다.
	탄성 순 알파가 낮으면 더 많은 요인과 변수, 더 많은 파장이 모델에 포함될 수 있겠죠.
	그리고 이건 원시 데이터입니다. 이게 제게 어떤 결과를 줄 수 있을지 한번 봅시다...
	우리는 ...이것이 맞는지 볼 것입니다.
	완전히 사전 처리된 데이터이므로 사실상 동일한 것입니다.
	다만 전체적인 출력이 다르게 보일 뿐이죠.
	맞아요. 다른 모델을 보고 계시는데, 아주 다르게 보이네요. 이것도 다른 탄성 네트 알파를 사용하고 있고요.
	뭐... 결국 우리가 하고 싶은 건 그냥 이것들을 비교하는 거예요. 만약 제가 이것들을 비교한다면...
	다시 한번, PLS 원시 데이터와 전처리된 데이터를 비교해 보면 훨씬 더 향상된 적합도를 보입니다. 일반화 회귀 분석과... 부분 최소 제곱 데이터를 비교해 보면...
	전처리 후, 더 작은 탄성 네트 알파에서 일반화 회귀를 사용하여 전처리한 다음, 더 높은 탄성 네트 알파에서 전처리했습니다. 모든 부분에서 좋은 적합도를 얻고 있으니,
	JMP Pro에서 일반화 회귀를 부분 최소 제곱법과 비교해보세요. 실제로는 정말 좋은 모델을 얻을 수 있고
	이건 데이터를 분석하고 미래의 비교를 위해 예측 모델을 구축하거나 미래의 데이터가 들어올 때 사용할 수 있는 좋은 방법입니다.
	그럼, 감사 인사를 드리겠습니다. 제레미, 이 자리에 함께해 주셔서 정말 감사합니다. 모두 즐겁게 참여해 주시길 바랍니다. 피드백을 남겨주세요. 저희는 여러분의 의견을 기다립니다. 새로운 기능에 대한 여러분의 의견을 듣고 싶습니다.

고급 통계 모델링기본 데이터 분석 및 모델링소비자 및 시장 조사실험 설계예측 모델링 및 머신 러닝품질 및 공정 엔지니어링결과 공유 및 전달