756634_ko-KR

liliconcom

SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

필립 램지, 노스 헤이븐 그룹 및 뉴햄프셔 대학교 교수
웨인 레빈(Wayne Levin), Predictum 사장 겸 CEO
트렌트 렘커스, 뉴햄프셔 대학교 박사과정
Christopher Gotwalt, SAS 통계 R&D 부문 JMP 이사

DOE 방법은 실험자들의 요구와 기대에 따라 수년에 걸쳐 발전해 왔습니다. 역사적으로, 효과 추정치의 편향을 줄이기 위해 효과를 분리하고 가설 검정력을 극대화하는 데 중점을 두었는데, 이는 당시의 방법론적 및 계산 도구의 영향을 크게 받습니다. 산업계에서 DOE는 종종 가능한 변화 속에서 제품 또는 공정의 거동을 예측하기 위해 수행됩니다. 본 연구에서는 DOE 분석에 본질적으로 예측 가능한 알고리즘적 접근 방식인 자기 검증 앙상블 모델(SVEM)을 소개합니다. SVEM은 부분 부트스트랩을 일반화하여 DOE에서 흔히 사용되는 소규모 데이터셋에 대한 머신 러닝 및 배깅을 가능하게 합니다. 기존 DOE 방법과 비교했을 때, SVEM은 최대 수십 배 더 높은 예측 정확도를 제공합니다. SVEM이 행보다 활성 매개변수가 더 많은 모델을 효과적으로 적합시킬 수 있음을 보여주는 놀랍고 심오한 결과를 도출했으며, 이는 자유도와 같은 기존 통계 개념의 역할을 영원히 바꿀 수 있는 잠재력을 가지고 있습니다. 사례 연구를 통해 SVEM을 설명하고 입증하며, 기존 DOE 방법과의 성능을 비교하는 연구 시뮬레이션을 설명합니다. 또한 JMP의 새로운 후보 집합 디자이너(Candidate Set Designer)를 시연합니다. 이 기능을 사용하면 사용자 데이터에서 SVEM의 성능을 쉽게 평가할 수 있습니다. SVEM을 사용하면 이전보다 훨씬 적은 데이터 세트로 정확한 모델을 얻을 수 있으므로 출시 기간을 단축하고 혁신 비용을 절감할 수 있습니다.

자동 생성된 대본...

스피커	성적 증명서
웨인 레빈	우리는 이를 실험 설계의 패러다임 전환으로 보고 자체 검증 앙상블 모델을 적용합니다.
	그냥... 됐습니다. 오늘의 주제는... 누가 발표하는지 간단히 소개하겠습니다.
	그렇다면 SVEM은 무엇이고, 왜, 어떻게 사용하는 걸까요? DOE와 머신 러닝에 대해 간략히 살펴보고, 이를 SVEM에 접목하는 방법을 설명하고, 실제 SVEM 실험들을 분석해 보겠습니다.
	최근 연구를 검토하고 JMP 16의 새로운 후보 세트 디자이너를 시연해 보죠. 그런 다음 평소와 마찬가지로 다음 단계와 Q&A 등으로 마무리하겠습니다.
	SVEM은 DOE를 포함한 소량의 데이터에서 더 정확한 예측 모델을 구축하고 더 적은 실험 주기를 통해 더 많은 통찰력을 추출하는 놀라운 새로운 방법입니다.
	SVEM을 사용하면 비용이 절감되고, 시장 출시가 빨라지며, 문제 해결 속도도 훨씬 빨라질 것으로 예상하고 약속드립니다. 앞으로 이 모든 것을 탐구해 나갈 것입니다.
	세션에서.
	저는 웨인 레빈이고 Predictum의 사장입니다. 저와 함께 JMP의 수석 데이터 과학자인 크리스 갓월트, 그리고 Predictum의 수석 데이터 과학자이자 뉴햄프셔 대학의 준교수인 필 램지가 있습니다.
	그럼 그냥 하자
	여기서 확인해 보세요. JMP가 데이터 과학에 기여한 바는 매우 크기 때문에 우리 모두 알고 있습니다. 20년도 더 전 DOE 분야에서는... 좌표 교환 알고리즘을 탑재한 JMP 4가 있었을 겁니다.
	그리고 약 8년, 9년 전에 확정적 스크리닝 설계가 나오는 것을 보았습니다. 그리고 SVEM, 줄여서 자기 검증 앙상블 모델링(세 번 반복해서 말해 보세요)이라고 부르는 것도 또 다른 기여라고 생각합니다.
	머신러닝과 실험 설계.
	제한된 양의 데이터라는 한계를 극복하는 거죠. 적은 양의 데이터로는 머신러닝을 할 수 없고, 보통은 많은 양의 데이터가 있어야 머신러닝이 가능하거든요.
	이제 저희는 현장에서 SVEM을 시도해 왔고, 여러 회사에서 저희에게 연락해 왔고, SVEM의 체험판을 출시했습니다.
	이 분야에서 최초로 제품을 만들어 시장에 출시한 Predictum에 대해, 지금까지 배운 내용을 여러분과 공유하고 싶습니다.
	하나는 SVEM이 매우 잘 작동한다는 것입니다. 즉, 매개변수와 실행 횟수가 많을수록 SVEM은 매우 잘 작동합니다.
	고차 모델입니다. 이는 더 정확한 예측을 제공하고, DOE(실험실 환경) 오류 발생 시 복구하는 데에도 도움이 됩니다. 예를 들어, 확정적인 스크리닝 설계가 있는 경우
	어떤 이유로든 적합성 검사를 실행할 수 없는 경우, 우리는 다음과 같은 역사적 DOE를 받았습니다.
	전력이 부족했습니다. 그들은 아무것도 찾지 못했지만, SVEM을 사용하면 실제로 찾아냈습니다. 가능했죠. 그리고 누락되었거나 의심스러운 실행 사례도 있었습니다.
	또 다른 사실은 합리적 요인 분석에는 도움이 되지 않는다는 것입니다. 이런 것들 말이죠. 저희는 여기서 예측 모델에 관심이 있습니다.
	그리고 부분 요인 분석은 실제로 예측 모델을 제공하지 않습니다. 예측 모델용으로 설계되지 않았기 때문입니다. 따라서 데이터가 구조화되어 있지 않은 정보를 제공하지는 않습니다.
	적어도 그 정도는 아닙니다. 우리가 알게 된 또 다른 사실은 SVEM의 잠재력을 아직 완전히 검증하지 못했다는 것입니다. 그러기 위해서는 정말
	우선 SVEM을 염두에 두고 실험을 설계해야 합니다. 즉, 더 많은 요인을 살펴보는 것을 의미합니다. 세 개나 네 개의 요인만 살펴보는 것이 아니라, 10개, 15개, 또는 그 이상을 고려하는 것은 어떨까요?
	Chris와 Phil이 논의할 연구를 통해 베이지안 I-최적 설계가 SVEM 및 혼합 설계와 함께 사용하기에 가장 좋은 접근 방식이라는 것을 알게 되었습니다.
	특히 SVEM에 유용했는데, 나중에 좀 더 자세히 말씀드리겠습니다. SVEM에 관해서는
	혹시 시도해 보고 싶으시다면, Chris와 Phil이 이야기를 나눈 후 마지막에 관련 정보를 제공해 드리겠습니다. 자, 이제 Chris에게 전달해 드리겠습니다.
	SVEN의 정체, 이유, 그리고 방법에 대해 이야기해 볼까요? 자, 이제 크리스에게로 가볼까요?
크리스 갓월트	알겠습니다. 고맙습니다, 웨인. 아, 잠깐, 제 화면 공유하고 있는 건가요?
웨인 레빈	아직 아님.
	여기 있습니다.
크리스 갓월트	알았어요, 알았어요, 고맙습니다, 웨인.
	이제 자체 검증 앙상블 모델, 즉 SVEM이라는 개념을 소개하겠습니다.
	아주 기본적인 내용으로 진행하겠습니다. 실험 설계 및 분석 경험이 있으시다고 가정하겠습니다.
	가장 중요한 것은 통계 모델링 프로세스가 데이터에 함수를 맞추는 것으로 귀결된다는 것을 이해해야 한다는 것입니다.
	예측 변수의 반응 변수를 입력 변수의 함수로 변환합니다. 높은 수준에서 SVEM은 빅데이터 애플리케이션을 사용하는 머신 러닝 알고리즘과
	실험계획법(DOE)은 일반적으로 규모가 작고 유용한 분석 문제로 여겨집니다. 머신러닝과 DOE는 각각 오랜 역사를 가지고 있지만, 지금까지는 비교적 별개의 분야였습니다.
	저희의 연구에 따르면 SVEM을 사용하면 더 적은 관찰치로 더 정확한 모델을 얻을 수 있습니다.
	즉, 더 적은 시간과 더 적은 자원을 사용하여 더 낮은 비용으로 제품 및 프로세스 개선을 이룰 수 있습니다. 따라서 경쟁이 치열한 업계에 종사하고 있다면,
	시장에 가장 먼저 진출하는 것이 중요하다면 SVEM이 여러분에게 큰 도움이 될 것입니다.
	특히, 우리는 SVEM이 제약 및 바이오 기술 산업에 엄청난 잠재력을 가지고 있다고 믿습니다.
	반도체 제조와 같은 첨단기술과 소비자 제품 개발에 활용됩니다.
	저는 JMP에서 일하면서 다양한 산업과 응용 분야에서 데이터가 어떻게 처리되는지에 대한 전반적인 관점을 갖게 되었습니다.
	저는 최적 설계 실험을 구성하기 위한 알고리즘과 혼합 모델 및 모델 일반화와 같은 관련 분석 절차를 개발했습니다.
	반면에 저는 JMP Pro의 신경망 알고리즘과 그 제품에 포함된 기타 머신 러닝 기술의 개발자이기도 합니다.
	지난 20년 동안 저는 대규모 관찰 데이터 세트를 모델링할 때 머신 러닝이 더욱 두드러지고 많은 새로운 것을 보는 것을 보았습니다.
	개발된 알고리즘도 있습니다. 동시에, 설계된 실험에 대한 분석 방식도 변화했지만, 지난 20년 동안 점진적으로 변화했습니다.
	산업 실험의 전반적인 통계적 방법론은 1970년대 후반에 박스, 헌터, 그리고 헌터의 저서를 읽은 사람이라면 누구나 알아볼 수 있을 것입니다.
	머신 러닝과 실험 설계는 일반적으로 산업에서 예측적 성격의 문제를 해결하기 위해 적용됩니다.
	이러한 도구를 사용하면 센서가 잘못된 배치를 나타내는지, 수율을 극대화하면서 비용을 최소화하기 위해 프로세스를 어떻게 조정하는지 등의 질문에 답할 수 있습니다.
	둘 다 본질적으로 예측적이지만, 머신 러닝과 실험 설계는 일반적으로 다소 다른 유형의 데이터에 적용됩니다.
	이제 두 가지에 대한 간략한 개요를 설명한 다음, 두 가지를 SVEM으로 어떻게 혼합했는지 설명하겠습니다.
	실제 실험에서 얻은 데이터를 분석하여 그 작동 원리와 전반적으로 매우 좋은 성과를 보이는 이유를 보여드리겠습니다.
	저는 전체적으로...저는...뉴햄프셔 대학의 박사과정 학생인 트렌트 림프키스(?)가 수행한 시뮬레이션 결과를 검토하겠습니다. 이를 통해 저희는 이 접근 방식이 매우 유망하다는 확신을 얻었습니다.
	그러면 JMP 16의 새로운 후보 집합 설계를 사용하여 기존 데이터 집합의 최적 하위 집합을 찾는 방법을 보여주는 예를 살펴보겠습니다. 그러면 여러분이 직접 SVEM을 시도해 볼 수 있을 겁니다.
	저는 몇 가지 관찰 결과를 강조하고, 앞으로 답을 얻고자 하는 몇 가지 질문에 대해 언급했습니다. 그런 다음 Phil에게 넘겨서 SVEM 추가 기능에 대한 보다 심층적인 사례 연구와 데모를 진행하겠습니다.
	화면에 표시된 간단한 데이터를 생각해 보겠습니다. 이는 야금 공정에서 얻은 데이터이며, 우리는 각 공정 단계의 마지막 단계에서 발생하는 수축량을 예측하려고 합니다.
	수축률을 예측하는 데 사용할 세 개의 변수가 왼쪽에 있습니다. 모델링은 압력, 시간, 온도를 연결하는 함수를 찾는 것으로, 이 함수는 수축률에 대한 반응(수축률)을 예측합니다.
	이 모델이 미래에 새로운 데이터를 생성하고 일반화되기를 바랍니다.
	머신 러닝 환경에서 이를 수행하는 표준적인 방법은 해당 데이터를 두 개의 분리된 행 집합으로 분할하는 것입니다. 하나는 학습 집합이라고 하며, 데이터에 과적합되지 않도록 모델을 학습하는 데 사용됩니다.
	이로 인해 새로운 관측치에 대해 부정확한 모델이 생성됩니다. 검증 세트라는 또 다른 데이터 하위 집합이 있는데, 이는 우리가 사용해 온 다양한 모델을 테스트하는 데 사용됩니다.
	훈련 세트에 적합된 함수입니다. 여기에는 상충 관계가 있는데, 너무 단순한 함수는 충분한 변동을 설명하지 못하기 때문에 훈련 세트와 검증 세트에 적합하지 않게 됩니다.
	반면에 너무 복잡한 모델은 훈련 세트에서는 거의 완벽하게 맞을 수 있지만 검증 세트에서는 매우 부정확할 수 있습니다.
	우리는 너무 단순하지도 복잡하지도 않은 골디락스 모델을 찾기 위해 검증 R 제곱과 같은 측정값을 사용합니다.
	이 골디락스 모델은 검증 세트에서 검증 R 제곱이 가장 높은 모델입니다.
	이 홀드 아웃 스타일 모델 선택은 상당히 많은 수의 행이 있는 경우 진행하기에 아주 좋은 방법입니다.
	종종 수억 개 이상의 행으로 구성됩니다. 상당히 큰 문장은 의도적으로 모호하며, 해당 작업에 따라 달라집니다. 하지만 여기 보이는 12행은 실제로는 너무 작아서 예시로만 사용했습니다.
	DOE에서는 보통 시간 및/또는 자원에 심각한 제약이 있는 상황에 처해 있습니다.
	설계된 실험, 특히 JMP의 핵심 기능인 최적 설계 실험의 핵심 아이디어는 가능한 한 가장 적은 수의 행에 최고 품질의 정보를 넣는 것입니다.
	수년에 걸쳐 많은 뛰어난 사람들이 F 테스트, 반정규 플롯 및 AIC 및 BIC와 같은 모델 선택 기준과 같은 통계 도구를 만들었습니다.
	DOE 데이터 모델에 대한 의사 결정을 내리는 데 도움이 되는 정보입니다. 이러한 정보는 모두 과학, 엔지니어링 및 제조 관련 의사 결정의 기반이 되는 모델을 파악하는 데 도움이 되는 지침입니다.
	자주 사용되지 않는 것 중 하나는 머신러닝 모델 선택을 설계된 실험에 적용하는 것입니다. 그렇다면 왜 그럴까요?
	중요한 이유 중 하나는 정보가 설계에 너무 밀집되어 몇 가지 관찰만 제거해도 주요 효과와 상호 작용이 붕괴될 수 있다는 것입니다.
	더 이상 고유하게 추정 가능한 효과로 분리할 수 없게 됩니다. 어쨌든 그렇게 하려고 하면, 모델 보고서에 자유도 손실이나 특이점 세부 정보가 추가되었다는 소프트웨어 보고서 경고가 표시될 가능성이 높습니다.
	이제 작은 사고 실험을 해 볼게요. 조금만 속여 보면 어떨까요?
	원본 테이블의 모든 행, 즉 X와 Y를 복사해서 한 쪽에는 "훈련", 다른 쪽에는 "검증"이라는 레이블을 붙이면 어떨까요? 이제 데이터는 충분하죠, 그렇죠? 틀렸습니다. 이런 식으로는 아무도 속일 수 없습니다. 이건 정말 말도 안 되는 계획입니다.
	미친 짓이죠. 이 접근 방식을 사용하여 모델링을 시도하고 적합도 지수의 플롯을 살펴보면 더 복잡하게 만들면 훈련 세트에 더 잘 맞는다는 것을 알 수 있지만 훈련과 검증이
	이 경우 집합이 동일하므로 이러한 접근 방식은 항상 과적합으로 이어질 것입니다.
	그러니 머신 러닝 모델 선택을 동일한 데이터에 대해 계산된 두 개의 가중 제곱합에 대한 이야기로 다시 해석해 보겠습니다.
	모델 선택을 두 개의 데이터 분할을 기준으로 생각하는 대신, 두 개의 가중치 열로 생각할 수 있습니다.
	훈련 세트의 행에 대해 1과 같고 그렇지 않은 경우 0인 훈련 가중치가 있으며 검증 열이 있습니다.
	즉, 훈련 행의 경우 0이고 검증 열의 경우 1입니다.
	따라서 머신 러닝 모델을 선택하면 각 행이 고유한 가중치 값 쌍을 가지고 있다고 생각할 수 있으며, 두 가중치는 모두 이진수 0과 1입니다.
	이런 방식으로 설정하면 모델 적합성을 독립적으로 평가할 수 있습니다.
	모델은 훈련 가중치를 사용하여 가중치를 적용한 제곱 오차의 합을 최소화하는 매개변수 값을 찾는 방식으로 적합되고, 일반화 성능은 검증 열 가중치를 사용하여 가중치를 적용한 제곱 오차의 합을 사용하여 측정됩니다.
	이러한 가중치 쌍을 산점도로 표시하면, 물론 훈련 검증 가중치가 완벽하게 반대 상관관계를 가지고 있음을 알 수 있습니다.
	이제 완벽하게 반대 상관관계가 있는 이진 값 쌍을 사용하도록 강요하는 대신 값이 0과 1의 값만 가질 수 있다는 요구 사항을 완화한다면 어떨까요?
	그리고 가중치가 엄격하게 양수 값을 갖도록 허용할까요?
	그렇게 하려면, 제가 아는 한, 수학적으로 작동하려면 뭔가를 포기해야 합니다. 완벽하게 반대 상관관계를 갖는 가중치 쌍을 가질 수는 없지만, 여전히 상당한 반대 상관관계를 갖는 방식으로 이 작업을 수행할 수 있습니다.
	이를 수행할 수 있는 방법은 여러 가지가 있지만 이를 수행하는 한 가지 방법은 평균이 1인 지수 분포를 사용하는 분수 가중 부트스트랩과 동일한 방식을 사용하여 가중치를 생성하는 것입니다.
	가중치를 생성하는 방법입니다. 균일 분포의 특성을 이용하면 지수적으로 분포하지만 높은 역상관성을 갖는 가중치 쌍을 생성할 수 있습니다.
	이것을 두 열 가중치 검증 방식으로 사용할 때, 우리는 이를 자동 검증이라고 부릅니다. Phil과 저는 이 아이디어에 대해 Discovery 논문을 여러 편 발표했습니다.
	이 접근 방식을 사용하는 것은 분산 평균이 1인 가중치의 교육 열과 동일한 속성을 가진 검증 열이 있는 것과 같습니다.
	이 자동 검증 방식에 따르면, 행이 훈련 제곱합에 평균 이상의 가중치를 기여하는 경우, 해당 행은 검증 제곱합에 덜 기여하게 되고 그 반대의 경우도 마찬가지입니다.
	Mike가 만든 애드인이 있는데, Mike Anderson이 만든 애드인이 있는데, JMP Pro 모델링 플랫폼에서 사용할 수 있는 이런 종류의 형식으로 데이터 세트를 설정합니다.
	최근 필과 저는 트렌트를 박사과정 학생으로 받아들이게 되었습니다.
	봄과 가을 동안 트렌트는 DOE 데이터에 모델을 적합시키는 다양한 접근법을 시도하며 많은 시뮬레이션을 수행했습니다. 여기에는 자동 검증 기반 접근법이 모두 포함되었습니다. 그의 결과 중 일부를 보여드리겠습니다.
	잠시 후에 설명하겠습니다. 독립적인 테스트 세트에서 최소 평균 오차 측면에서 가장 일관되게 효과적인 접근 방식은 자동 검증을 적용하는 것이었습니다.
	전방 선택과 같은 변수 선택 절차와 결합하지만 이를 한 번 수행하는 대신 수십 또는 수백 번 프로세스를 반복합니다.
	예측 공식을 매번 저장하고, 궁극적으로 모든 자동 검증 반복에 걸쳐 모델을 평균화합니다. 이러한 일반적인 절차를 자체 검증 앙상블 모델 또는 SVEM이라고 합니다.
	좀 더 구체적으로 설명하기 위해 이를 보여주는 간단한 예를 들어 보겠습니다. 먼저 자동 검증 가중치를 초기화합니다.
	라쏘나 전진 선택과 같은 모델 선택 절차를 적용한 다음 예측 공식을 다시 표에 저장합니다.
	첫 번째 예측 공식은 다음과 같습니다. 이번 반복에서는 두 개의 선형 주효과만 선택되었습니다.
	그런 다음 가중치를 다시 초기화하고, 새로운 가중치 세트를 사용하여 모델에 다시 맞춘 다음 해당 예측 공식을 저장합니다.
	두 번째 자동 검증 예측 공식은 다음과 같습니다. 이번에는 주효과와 상호작용 변수의 집합이 달라졌고, 회귀 계수도 다릅니다.
	우리는 이 과정을 여러 번 반복합니다.
	결국 SVEM 모델은 모든 예측 공식의 평균일 뿐입니다.
	SVEM 알고리즘을 다이어그램으로 보여주는 간결한 다이어그램이 있습니다. 부트스트랩 절차와 모델 평균화를 결합하는 아이디어는 다음과 같습니다.
	가중치를 다시 초기화한 후에도 계속해서 반복됩니다. 해당 반복에서 예측 공식을 저장합니다.
	여기서 매개변수를 저장하고 있습니다... 여기 그림은 매개변수를 보여주지만, 수식도 마찬가지입니다. 그냥 모두 저장하면 됩니다. 그러면 최종 모델은 모든 반복 과정의 평균이 됩니다.
	작업이 끝나면 확장 중간 공식을 켜서 그래프 프로파일러에서 SVEM 모델을 사용하여 결과 모델을 시각화하고 프로세스를 최적화하는 등의 작업을 수행할 수 있습니다.
	이제 트렌트의 논문 연구 결과를 살펴보겠습니다.
	4개 요인과 8개 요인에 대한 박스 벤켄스(Box Behnkens)와 DSD(분산성 표준편차)를 계산했습니다. 각 시뮬레이션은 1,000회의 시뮬레이션 반복으로 구성되었으며, 각 시뮬레이션은 이차 반응 표면 모델에 대한 고유한 참 매개변수 값을 가졌습니다.
	활성 매개변수는 이중 지수 분포를 보였으며, 우리는 50%에서 100%까지 다양한 활성 효과 비율을 탐구했습니다.
	1,000번의 시뮬레이션 반복에 대해 SVEM 예측은 요인 공간에 대한 10,000번의 실행 공간 채우기 설계로 구성된 독립적인 테스트 세트에서 실제 모델과 비교하여 평가되었습니다.
	우리는 다양한 고전적인 단일 샷 모델링 접근 방식과 모든 검증에 대한 여러 변형을 살펴보았습니다.
	하지만 비교할 내용이 너무 많아서 가장 흥미로운 결과만 보는 게 더 쉬웠습니다. 조사한 모든 상황에서 이야기는 매우 일관적이었습니다.
	이 시뮬레이션은 기본 설계가 8개의 요인과 21개의 실행을 포함하는 확정적 선별 설계였던 시뮬레이션 중 하나입니다. 이 경우 효과의 50%는 0이 아니었습니다.
	이는 모델이 실행 횟수만큼 0이 아닌 매개변수를 가지고 있다는 것을 의미합니다.
	왼쪽에는 라쏘, 단치히 선택기, 전방 선택기, 가지치기 전방 선택기의 로그 제곱 평균 오차의 상자 그림이 있으며, 모두 해당 방법 중 가장 성능이 좋은 AICc를 사용하여 조정되었습니다.
	또한, 적합성 확정 플랫폼에서 가장 성능이 좋은 방법이 다음이며, 다른 모델링에 적용된 SVEM이 그 뒤를 따릅니다. 오른쪽에는 여러 가지 다른 모델링 절차가 있습니다.
	SVEM 예측과 관련하여 테스트 세트의 RMSE를 비교해보면 독립 테스트 세트의 제곱 평균 오차가 극적으로 감소합니다.
	그리고 이것은 로그 척도이므로 예측 성능에 있어서 꽤 극적인 차이가 있음을 알 수 있습니다.
	훨씬 더 흥미로운 결과가 있습니다. 저를 정말 놀라게 한 플롯은 바로 이겁니다. 시뮬레이션 설정은 동일하지만, 모든 효과가 0이 아니라는 점이 다릅니다.
	따라서 실제 모델은 설계 매트릭스뿐만 아니라 매개변수 자체에서도 과포화 상태에 있습니다.
	과거에는 활성 효과의 수가 모든 효과의 작은 부분집합이고 행의 수보다 확실히 작다고 가정해야 했습니다.
	여기서는 활성 매개변수의 수에도 불구하고 상당히 정확한 모델을 얻을 수 있는데, 행의 수가 약 2배 정도입니다. 이는 정말 놀라운 일입니다.
	이제 간단한 예를 들어 보겠습니다.
	SVEM을 활용하여 기존 DOE에 어떻게 적용할 수 있는지 보여드리겠습니다. 발효 공정에서 5요인 DOE의 실제 사례를 살펴보겠습니다. 여기서 관심 반응은 pDNA 역가로 측정한 생산 수율이었습니다.
	SVEM의 가장 큰 장점은 더 적은 실행 횟수로 더 정확한 모델을 얻을 수 있다는 것입니다. 즉, 기존 데이터 세트를 사용하여
	JMP 16의 새로운 후보 집합 디자이너를 사용하여 원래 디자인의 예측 핵심을 형성하는 행의 하위 집합을 식별합니다.
	36개 행으로 구성된 원래 데이터를 가져와서 5개 열을 공변량으로 로드한 다음, 사용자 정의 디자이너에게 해당 크기에서 가장 예측 성능이 좋은 원래 디자인의 16개 행 하위 집합을 제공해 달라고 요청합니다.
	그런 다음 해당 하위 집합 디자인에 없는 모든 행을 숨기고 제외하여 나중에 독립적인 테스트 집합으로 사용할 수 있도록 합니다.
	SVEM 모델을 실행하고 표준 절차(예: 전방 선택)와 동일한 16회 실행에 대한 AICc 적합을 적용했을 때의 성능과 SVEM 모델의 성능을 비교해 보겠습니다.
	JMP 16의 새로운 후보 세트 디자이너도 주목할 만한 기여라고 말하고 싶습니다. 그리고 이 새로운 도구를 만드는 데 브래드 팀이 얼마나 훌륭한 노력을 기울였는지 말씀드리고 싶습니다. 이 도구는 SVEM을 포함하여 여러 면에서 엄청나게 유용할 것입니다.
	이를 위해 데이터 세트를 가져와서 사용자 정의 디자이너로 이동하면 됩니다.
	공변량 행을 선택하므로 JMP 16의 새로운 개요 노드입니다.
	그런 다음 5가지 입력 요소를 선택합니다.
	계속을 클릭하세요.
	그리고 RSM 버튼을 누르면 최적성 기준이 자동으로 I-최적 또는 예측 유형 설계로 변환됩니다.
	모든 비차단 요인을 선택하고 모델에서 마우스 오른쪽 버튼을 클릭합니다.
	여기서 목록을 선택하고 생성하세요... 가능한 모든 비차단 효과를 설정합니다. 이렇게 하면 모델을 만들 수 있습니다.
	설계 기준이 베이지안 I-최적 설계가 되므로, 기본 설계로 런 수보다 매개변수가 더 많은 런을 설계합니다. 이제 런 수를 16으로 설정할 수 있습니다.
	디자인 만들기를 클릭하세요.
	그리고 이 작업이 완료되면 최적화 프로그램이 마법을 부리며 베이지안 I-최적 부분 집합 설계에 있는 모든 행이 이제 원래 테이블에서 선택됩니다.
	표로 가서 표시기나 변환 열을 사용하여 현재 행 선택을 기록할 수 있습니다.
	그리고 나는 나중에 사용할 수 있도록 컬럼의 이름을 의미 있는 이름으로 바꾸었습니다.
	새로운 지표 열이 0인 모든 행을 선택하여 하위 집합 디자인에 없는 점을 선택할 수 있습니다.
	그리고 해당 행을 숨기거나 제외하여 모델 적합 과정에 포함되지 않도록 할 수 있습니다.
	Phil이 SVEM 추가 기능 데모를 시연할 예정이니, 모델링 단계는 건너뛰고 바로 베이지안 I-최적 부분집합 설계에 포함되지 않은 행에 대한 전진 선택 + AICc 모델과 SVEM 모델의 모델 비교로 넘어가겠습니다. 빨간색으로 표시된 부분을 보시면 비교가 눈에 띄실 겁니다.
	여기 보고서의 빨간색 윤곽선 부분에서 SVEM에 R 제곱이 있는 것을 볼 수 있습니다.
	독립적인 테스트 세트가 0.5이고, 전통적인 절차의 R 제곱은 0.22입니다. 즉, SVEM으로 설명한 변동량이 전통적인 절차보다 기본적으로 두 배나 많습니다.
	SVEM을 46개 관측치 모두에 적용하면 두 모델의 프로파일 추적을 비교할 수도 있습니다.
	기본적으로 SVEM을 46개 런에 모두 적용해도 SVEM을 적용한 16개 런에서만 얻은 결과와 동일한 모델을 얻는다는 것이 분명합니다.
	하지만 전진 선택 기반 모델에는 곡률 항이 빠져 있습니다. 놓칠 수 없는 부분이죠... 상호작용 항도 많이 빠져 있다는 건 말할 것도 없고요. 이 과정은 꽤 간단합니다. SVEM을 자신의 과거 데이터로 직접 테스트해 볼 수 있는 아주 간단한 절차입니다.
	그래서 전반적으로 모든 것
	많은 의문이 제기됩니다. 그중 많은 의문은 설계 실험에서 자유도의 역할에 초점을 맞추고 있습니다. 이제 우리는 행보다 매개변수가 더 많은 모델을 적합할 수 있기 때문에, 만약 그런 것이 있다면 사실상 음의 자유도가 될 것입니다.
	저는 이것이 산업 실험에서 P값 기반 사고의 역할을 재고하게 만들 것이라고 생각합니다.
	우리는 분석의 불확실성, 즉 예측과 같은 불확실성에 대한 새로운 방법을 확립하기 위해 노력해야 할 것입니다. 예측에 대한 신뢰 구간도 마찬가지입니다.
	필과 저는 우리가 활용할 수 있는 최적의 기본 모델군이 무엇인지 파악하기 위한 연구를 진행하고 있습니다. 이차 RSM(역방향 대칭 모델)을 사용할 수도 있고, 오래전에 제안되었지만 이제는 재고해 볼 가치가 있다고 판단되는 부분 삼차 모델도 살펴보고 있습니다.
	어떤 종류의 설계를 사용해야 할까요? 사용하는 기본 모형의 요인 수에 따라 적절한 표본 크기는 얼마일까요? 스크리닝 실험의 역할은 무엇일까요? 그리고 가장 큰 미지수는 블로킹 실험과 분할 플롯 실험의 역할입니다.
	이런 프레임워크 안에서?
	그럼 이제 필에게 넘겨드리겠습니다. 필은 더 심층적인 사례 연구를 진행하고 Predictum의 SVEM 추가 기능도 시연할 겁니다. 필, 받아가세요.
필립 램지	알겠습니다, 고맙습니다, 크리스. 그리고 제가 할 일은 사례 연구를 논의하는 것입니다.
	슬라이드쇼를 하고 나도 좀 할게
	Chris가 말했듯이 예측의 예
	실제로 SVEM 분석의 많은 부분을 자동화하는 추가 기능입니다. 그리고 우리가 살펴보려는 것은 생명공학 산업에서 사용되는 분석 방법입니다.
	이건 치료용 단백질의 글리코프로파일링을 특성화하는 것인데, 기본적으로 단백질이 항체가 되는 것입니다.
	그리고 그 업계에 종사하시는 분들 중 많은 분들이 당단백질이 치료제의 매우 풍부한 공급원이라는 것을 알고 계실 겁니다. 또한 GMP를 준수하려면 측정 시스템의 신뢰성을 입증해야 한다는 것도 알고 계실 겁니다. 그리고 실제로 당프로파일링의 경우,
	빠르고 사용하기 쉬운 분석 방법은 아직 완전히 개발되지 않았습니다. 따라서 이 실험의 아이디어는 사람들이 다양한 요인을 정확하게 평가할 수 있는 상당히 빠르고 쉬운 방법을 고안하는 것이었습니다.
	(저는 화학자가 아닙니다) 설탕은
	전사 후 기본 단백질에 부착됨.
	그리고 크로마토그래피를 사용하는 아이디어에 대해 알려드리자면, 저는 여러분이 그것에 대해 어느 정도 알고 있다고 가정하겠습니다. 기본적으로 그것은 다음과 같은 방법입니다.
	어떤 해결책이 있다면 그것을 컬럼을 통해 실행한 다음, 다양한 화학 종이 컬럼을 통과할 때,
	이들은 분리되어 컬럼에서 다른 시간에 나오는 경향이 있습니다. 따라서 기본적으로 크로마토그램이라고 불리는 형태가 있는데, 피크가
	농도의 함수이며, 피크가 발생하는 시간은 실제로 해당 종이 어떤 종인지 식별하는 데 중요합니다. 따라서 이 경우 여러 가지를 살펴보겠습니다.
	당류입니다. 저는 이것을 단순히 당형태(glycoform)라고 부르겠습니다. 여기서 중요한 것은 이 연구를 수행한 과학자들이 보정 용액을 개발했다는 ​​것입니다.
	그리고 우리는 교정 용액에 무엇이 들어 있는지 정확히 알고 있습니다. 어떤 피크가 용출되어야 하는지, 그리고 대략 어디에서 용출되어야 하는지 정확히 알고 있습니다.
	그러면 실제 인간 항체 샘플을 교정 샘플과 비교할 수 있습니다. 그런데 이 당단백질 형태 중 일부는 전하를 띠고 있어서 컬럼을 통과시키기가 어렵습니다.
	그들은 그것에 집착하는 경향이 있으므로, 우리는 때때로 기울기 용출 절차라고 불리는 방법을 사용하고 있습니다.
	자세한 내용은 언급하지 않겠습니다. 저희가 여기서 하는 일은 고성능 음이온 교환 크로마토그래피라는 기술을 사용하는 것입니다. 저는 이 분야의 전문가는 아니지만, 제가 함께 연구했던 과학자가
	이 교정을 개발한 것은 매우 훌륭한 일이며 역사적으로 교정 솔루션이 필요한 이유는 다음과 같습니다.
	인간 항체 샘플에서 용출되는 당은 컬럼에서 어디로 나올지 완전히 예측할 수 없기 때문에 우리는 보정에 사용할 수 있는 방법을 가지고 있습니다.
	그래서.
	이 작업을 수행한 사람은 (잠시 후에 언급하겠지만) 두 가지 별도의 실험을 설계했습니다. 하나는 16회 실행으로 구성된 3단계 설계입니다.
	그리고 나중에 그녀는 더 큰 28회 실행, 3단계 설계를 했습니다. 그래서 하나는 훈련 세트로, 다른 하나는 검증 세트로 사용할 수 있었지만, Chris가 말했던 공변량 선택기와 베이지안 I-최적 전략을 보여주기 위해,
	두 디자인을 모두 단일 44런 디자인으로 결합했습니다. 그런 다음
	그 설계를 공변량 선택기를 사용하여 맞춤형 설계로 적용한 다음 다양한 베이지안 I-최적 설계를 만들었습니다.
	더 많은 조합을 시도할 수도 있었지만, 이 문제에 대해 이야기할 시간은 한정되어 있습니다. 그래서 세 가지 디자인이 있습니다. 하나는 10번의 런을 하는 것이고, 다섯 가지 요소를 기억하세요. 10번의 런을 하는 겁니다.
	13런 설계와 16런 설계, 그리고 다시 말씀드리지만, 우리는 훨씬 더 많은 것을 할 수 있습니다. 그래서 우리가 하고 싶은 것은 이것들이 어떻게 작동하는지 보는 것입니다.
	팬을 사용하여 모델을 맞춘 후에 설계가 수행되고, 그런데 크리스가 언급했듯이 이러한 각 설계에서 44개에서 선택되지 않은 실행은 모델의 수행 정도를 확인하기 위한 검증 또는 테스트 세트로 사용됩니다.
	좋아요, 이것이 초기 요소, 즉 아세트산나트륨의 초기 양과 수산화나트륨의 초기 양입니다. 그리고 세 가지 별도의 기울기 용출 단계가 진행됩니다.
	약 40분 정도 걸리는 처리 시간 동안, 실험에서 사용되고 조작되는 설정은 다음과 같습니다.
	사실, 이 실험에서는 44가지의 서로 다른 반응을 살펴볼 수 있습니다. 그래서 시간이 허락하는 한 두 가지만 살펴보겠습니다.
	하나는 글리코폼 3의 보유 시간인데, 이것이 핵심이며, 교정 크로마토그램을 고정하는 것입니다.
	그리고 우리는 그것이 약 8분 30초에 나오기를 바랍니다. 왜냐하면 그것이 인간 항체 샘플과 잘 일치하기 때문입니다.
	사실 모델링은 꽤 쉽습니다. 두 번째 반응은 글리코폼 10의 머무름 시간입니다. 글리코폼 10은 하전된 글리코폼입니다. 매우 늦게 용출되고 다른 하전된 글리코폼과 뭉쳐지는 경향이 있어 구분하기가 더 어렵습니다. 네, 이 두 가지 반응을 살펴보겠습니다.
	크로마토그래피에 익숙하지 않은 분들을 위해 크로마토그램이라고 불리는 몇 가지를 소개합니다. 이는 본질적으로 다음과 같은 반응입니다.
	응답이 어떻게 보이는지에 대한 사진과 이 경우 사진을 살펴보면 보유 시간, 즉 언제인지 살펴보겠습니다.
	피크 3이 나왔나요? 피크 10은 몇 시에 나왔나요? 그리고 피크 10은 몇 시에 나와서 크로마토그램에 나타났나요? 그리고, 그나저나 두 피크 사이에 있는 걸 보세요.
	제가 보여드리는 크로마토그램은 프로파일이 얼마나 다른지 보여줍니다. 이 실험에서 우리가 실험적 요인들을 조작했을 때
	(참고로, 이 크로마토그램이 44개 있는데, 그중 두 개를 보여드리겠습니다.) 이 피크들의 모양, 머무름 시간 등, 그리고 분해능에서 많은 차이를 보실 수 있습니다. 그러니까 우리가 무엇을 하든, 분명히 조작하고 있는 겁니다.
	크로마토그램에 대해 궁금해하시는 분들을 위해 말씀드리자면, 저희는 미래에 이것을 기능적 데이터로 생각하고 있으며, 기능적 데이터 분석이 어떻게 활용될 수 있을지도 생각해 보고 있습니다.
	하지만 그건 종종 미래일 뿐이지만, 분명 우리가 매우 관심을 갖고 있는 부분입니다. 크로마토그램은 결국 함수형 데이터입니다. 하지만 저는 두 가지 특징을 추출해서 모델링해 보려고 합니다. 좋습니다. 그리고 저는 또한
	사이토밴스 바이오로직스의 엘리자 영 박사는 좋은 친구이자 훌륭한 과학자였습니다. 모든 실험 작업을 그녀가 맡았고, 이...을 만드는 아이디어를 생각해 낸 것도 바로 그녀였습니다.
	그녀가 포도당 사다리라고 부르는 교정 솔루션이죠. 그리고 엘리자는 좋은 사람일 뿐만 아니라 JMP도 좋아해요. 그래서 저희는 엘리자를 여러모로 좋아해요, 알겠어요. 훌륭한 과학자죠. 알겠어요, 그러니까
	내가 들어가기 전에
	SVEM, 제가 언급하고 싶은 게 있는데요... 크리스가 최적화의 기초로 1950년대부터 사용되어 온 완전한 2차 모델을 언급했습니다.
	기본적으로 모든 주효과, 두 요인 상호작용, 그리고 제곱항입니다. 사실, 많은 복잡한 물리 시스템의 경우, 반응 속도가 그 모델에 비해 너무 복잡합니다.
	그리고 Cornell과 Montgomery는 1998년에 발표한 매우 훌륭한 논문에서 이를 지적하고 많은 경우 다음과 같이 제안했습니다.
	그들이 상호작용 모델이라고 부르는, 우리는 부분 입방 모델이라고 부르는 것이 더 효과적일 수 있습니다. 제 경험상, SVEM을 사용하고 이 모델을 많은 사례 연구에 적용해 본 결과, 그들이 옳았습니다. 실제로 더 나은 예측 모델을 제공하지만, 문제가 있습니다.
	이러한 부분적 3차 모델은 거대할 수 있으며, 크리스가 언급한 것처럼 과포화 모델이 큰 문제인 기존 모델링 전략에 큰 어려움을 줍니다.
	잠재적 항은 몇 개나 될까요? K 제곱에 두 배를 곱하고 절편을 하나 더하면 됩니다. 그러면 요인이 다섯 개일 때 전체 항은
	부분 3차 모형은 51개의 항을 가집니다. 그런데, 저는 이 모형들을 사용할 예정이지만, 보통 가장 중요한 항들 중 40개만 사용할 겁니다.
	그리고 우리는 모델을 맞추기 위해 자체 검증 앙상블 모델링을 사용할 것입니다. 크리스가 말했듯이 SVEM은 과포화 모델에는 문제가 없습니다.
	그런데 머신 러닝 분야에서는 과포화 모델이 항상 적합하다고 합니다.
	그리고 올바른 머신 러닝 기술을 사용하면 실제로 더 나은 예측 성능을 얻을 수 있다는 것을 보여줄 수 있습니다.
	이건 기존 통계학에서는 잘 알려지지 않은 내용입니다. 그래서 SVEM 추가 기능을 사용할 건데, 혹시 더 자세히 알고 싶으시면 Predictum의 Wayne Levin에게 문의해 보세요. 이미 발표하신 적이 있는 분인데, Wayne이 기꺼이 여러분과 이야기를 나눌 거라고 생각합니다.
	그러면 JMP에 대해 간략하게 살펴보겠습니다.
	그러면 실제로 애드인이 어떻게 작동하는지 보여드리겠습니다. JMP를 가져와 보겠습니다.
	그래서 추가 기능을 설치해서 별도의 탭을 만들었습니다. 그래서 Predictum을 클릭합니다. 참고로, 이건 저희가 만든 베이지안 I-최적 설계 중 하나인데, 실행 횟수가 16회입니다. "자체 검증 앙상블 모델링"을 선택하세요.
	일반적인 핏 모델 출시 대화가 어떻게 보이는지 보시죠. 저는 다섯 가지 요소를 선택하겠습니다.
	그리고 이 시점에서 설명을 위해 반응 표면 모델을 만들려고 합니다. 그리고 모델링하고 싶습니다.
	글리코폼 3의 보유 시간입니다. 배경에서 이 설정, 자동 검증 테이블, 대기 기능이 있다는 것을 확인하세요.
	그리고 자동 검증 부분이 있습니다. 이건 모두 백그라운드에서 실행되므로 볼 필요가 없습니다. 하지만 이 부분은... 애드인이 생성한 후 기본적으로 숨겨져 있습니다. 원하시면 볼 수는 있지만, 굳이 볼 필요가 없기 때문에 숨겨져 있습니다.
	이제 GenReg를 엽니다. 이것이 GenReg입니다.
	제어판입니다. 참고로, SVEM은 모델 구축에 사용하는 방법에 따라 완전히 다릅니다. 실제로 GenReg에는 없는 방법도 사용할 수 있지만, 오늘은 바로 이 부분에 집중하겠습니다. 그래서 전진 선택(forward selection)을 다루겠습니다.
	시간이 제한되어 있으므로 10회만 반복할 것입니다.
	'이동'을 클릭하면 모델이 생성됩니다.
	10회 반복에 대한 출력 결과는 다음과 같습니다. 예측된 실제 플롯을 얻을 수 있습니다. 하지만 이 방법의 가장 좋은 점은 앙상블 모델 평균을 실제로 생성해 준다는 것입니다.
	그래서 '자체 검증 앙상블 모델'을 클릭하고 예측 공식을 저장합니다. 이제 이 화면을 닫겠습니다.
	이리 오세요.
	그리고 이게 제 모델이에요.
	이제 이 모델을 가져와서 검증 데이터에 적용할 수 있습니다. 선택된 실행이 16개이므로, 실제 결과를 확인하기 위해 검증 세트로 사용할 수 있는 실행이 28개 더 있습니다. 이제 다시 다음 단계로 돌아가겠습니다.
	프레젠테이션과 SVEM 추가 기능 없이는 특히 JMP 스크립팅에 능숙하지 않은 경우 약간 어려울 수 있습니다.
	실제로 이 모델들을 만드는 거죠. 그 추가 기능은 백그라운드에서 별로 많은 작업을 한 것처럼 보이지 않을 수도 있습니다. 자, 그럼 어떻게 됐냐고요? 슬라이드쇼로 다시 돌려보겠습니다.
	그래서 제가 한 건 세 가지 디자인이 있었어요. 16런 디자인, 13런 디자인, 그리고 10런 디자인이었죠. 정말 한계를 뛰어넘는 디자인이에요.
	그리고 두 가지 반응이 있는데, 제가 말씀드렸듯이 글리코폼 10은 늦게 용출되고 노이즈가 많은 경향이 있으며 분리하기 어려울 수 있습니다. 따라서 16회 실행 설계의 경우, 실제로 40항 부분 3차 모델을 적용했습니다. 16회 실행이라는 점을 명심하세요. 그리고 저는 40항 모델을 적용했습니다.
	그리고 이것의 핵심은 검증 세트의 제곱 평균 제곱근 오차입니다. 알겠어요?
	나는 여섯 번째...40개 항목 모델에 적합했고 그 다음에는
	검증 세트의 루트 평균 제곱 오차가 낮았고 검증 R 제곱은 실제로 98에 가까웠으므로 매우 잘 맞았습니다.
	훨씬 더 시끄러운 경우에도 주의하세요.
	글리코폼 10에서도 꽤 좋은 모델을 얻었습니다. 실제 결과와 예측 결과를 보여드리겠습니다. 13번에 대해서도 같은 방식으로 진행했고, 다시 한번 13번에 대해 아주 좋은 결과를 얻었습니다.
	그리고 마지막으로 10입니다. 그런데 10에 대해서는 그냥 표준적인 2차 모형에 맞았을 뿐인데, 정말 운을 시험하는 것 같은 느낌이 들었습니다.
	하지만 부분 입방 분석(partial cubic)을 시도해 볼 수도 있었을 겁니다. 그리고 다시 한번, 10번 실행하고 글리코폼 3의 머무름 시간을 모델링했는데도 R 제곱값이 0.94라는 것을 알 수 있습니다.
	제게는 정말 인상적이었고, 다시 한번 모델링을 했습니다. 제 모델은 관찰치보다 두 배나 많은 예측 변수를 가지고 있었고, 모델링하기 어려운 글리코폼 10에도 불구하고 우리는 꽤 좋은 성과를 보였습니다.
	그럼, 실제 예측 플롯을 몇 가지 보여드리겠습니다. 그리고 다시 글리코폼 10을 선택한 이유는 모델링하기가 정말 어렵기 때문입니다.
	그래서 시스템을 너무 많이 조작하고 싶지 않았습니다. 경험상 모델링이 어렵다는 걸 알고 있으니까요. 그래서 실제 예측 플롯이 있습니다. 10회 설계에 대한 실제 예측 플롯도 하나 더 있는데, 그래도 꽤 잘 작동합니다.
	우리가 여기서 하려는 일을 생각해 보면요.
	그리고 마지막으로, 전반적으로 우리는 어떤 성과를 거두었나요?
	그래서 이건 제가 만든 작은 표인데, 16런 디자인을 기준으로 삼았고, 10런을 맞추었을 때 무슨 일이 일어났는지 비교하는 거예요.
	용어 모델과 G10의 보유 시간에 대한 13번째 용어.
	13번에서는 오류가 꽤 크고 10번에서는 훨씬 작은 오류가 있다는 것을 알 수 있습니다. 왜 그런지는 모르겠습니다. 결과만 보여드리기로 했습니다. 좀 미스터리한 부분이라 다시 살펴보지는 않았습니다.
	하지만 보유 시간 3의 경우 16에서 10으로 낮아지는 것을 알 수 있습니다. 예, 제곱 평균 루트 오차가 약간 증가했지만 예측 플롯에 따른 실제 오차를 살펴보면
	검증 세트에서는 여전히 예측 성능이 좋습니다. 그래서 이 문제의 핵심은, 제가 바이오테크 회사들과 많이 일한다는 것입니다.
	여러분이 실험 설계에서 잠재적으로 달성할 수 있는 실제 효율성은 무엇인지 알고 있습니다. 그리고 여러분 중 많은 분들이 이런 실험에 많은 비용을 들이고 있다는 것을 알고 있습니다.
	그리고 더 중요한 것은, 시간이 많이 걸린다는 것입니다. 이를 통해 실험 시간을 단축하고 실험 예산을 절감하며 더 많은 정보를 얻을 수 있습니다.
	그럼 간단히 요약해 보겠습니다. 이 SVEM 절차와 이것, 그리고 크리스가 보여드렸듯이, 우리는 시뮬레이션과 사례 연구를 통해 이 문제를 조사했습니다.
	SVEM은 과포화 모델에 매우 효과적입니다. 여기서 자세히 설명하지는 않겠지만, 머신러닝 실무에서는 과포화 모델이 매우 우수한 성능을 보이는 것으로 알려져 있습니다. 딥러닝을 예로 들 수 있습니다.
	기본적으로 크리스가 말했듯이 SVEM은 머신 러닝과 실험 설계를 결합한 것입니다.
	그리고 더 중요한 점은, SVEM 경로를 택하기 시작하면 실험에 대한 생각 방식에도 영향을 미친다는 것입니다.
	따라서 기본적으로 SVEM을 사용하면 혁신 속도를 크게 높이고 실험 시간과 비용을 실질적으로 줄일 수 있는 고효율 실험에 대해 생각해 볼 수 있습니다. 그리고 시간과 함께 제품과 프로세스를 개발할 수 있습니다.
	리드타임이 점점 짧아지고 있다는 건 사소한 문제가 아닙니다. 바이오텍 분야에 종사하는 많은 분들이 심각한 예산 제약에 직면해 있다는 걸 알고 있습니다.
	그리고 (대부분의 사람들이 그렇듯이) 마지막으로 유망한 분야 중 하나는 베이지안 I-최적 설계입니다.
	그리고 다시 한번, Brad Jones와 그의 팀이 JMP에 이러한 기능을 도입하는 데 큰 성과를 냈다는 점을 말씀드리고 싶습니다. 제가 아는 한, 베이지안 I-최적 설계를 실제로 구현하는 소프트웨어 패키지는 JMP뿐입니다.
	그리고 SVEM이 수많은 가능성의 문을 열어줄 것이라고 생각합니다. 기본적으로, 이것이 제 이야기이고, 이제 Wayne Levin에게 이야기를 넘기겠습니다.
웨인 레빈	그것에 대해 정말 감사합니다.
	필과 크리스. 모두가 이 문제에 대해 엄청난 노력과 많은 연구가 이루어졌다는 것을 알 수 있기를 바랍니다.
	참호 속에서 일하고 있다고 말할 수도 있을 겁니다. 저는 이 분야에서 30년 넘게 일해 왔고, 여기서 보고 있는 것에 대해 매우 기쁘다고 말하고 싶습니다.
	저는 이것이 정말 혁신적일 수 있다고 생각합니다. 산업 실험이 여기서 어떻게 진행되는지, 무엇을... 어떻게 진행되는지 정말 바꿀 수 있습니다. 저는 이전에 과포화 디자인 자체만으로도 매우 흥미로웠는데,
	맞춤형 디자이너와 협력하여 이제는 디자인 측면에서 작업을 진행합니다.
	사물의.
	이제 분석 측면에서 SVEM을 도입할 때, 저는 그것이 두 가지 훌륭한 맛이라고 말하고 싶습니다.
	잘 어울린다고 할 수도 있겠죠. 어쨌든, 마무리로, 여기에 한 가지만 더 덧붙이겠습니다.
	필, 저, 그리고 마리 고다드는 주문형 코스를 준비하고 있습니다(4월쯤, 다음 분기에 제공될 예정입니다).
	혼합물 설계 실험에 집중할 예정이며, 이 수업에서 SVEM에 상당한 시간을 할애할 예정입니다. 관심 있으시면 알려주세요. 아니면... 저희가 알려드리거나 LinkedIn이나 다른 곳에서 저희를 팔로우해 주시면 감사하겠습니다.
	그리고 SVEM 추가 기능에 대해서도 말씀드리자면, 저희가 이 기능을 가장 먼저 시장에 내놓게 되어 기쁩니다.
	저희는 몇 달 동안 열심히 작업해 왔습니다. 매달 새로운 버전을 출시하기 때문에 현장의 피드백을 받으면서 꾸준히 발전하고 있습니다. 필에게 진심으로 감사드립니다.
	이 일을 이끌어 주셔서 감사합니다. 그리고 그는 우리 개발자 중 한 명(???)과 협력해 왔는데, 정말 엄청난 노력이었고, 정말 많은 노력이 필요했습니다.
	이 지점까지 도달하기 위해, 우리는 여러분께 그것을 제공하고 싶습니다. Phil이 앞서 언급했듯이, 이 기능을 시도해 볼 수 있는 방법은 두 가지가 있습니다. 하나는 애드인 자체를 사용해 보는 것이고,
	14와 15에서 작동합니다. 16이 출시되면 16에서도 작동할 것 같습니다. JMP Pro가 필요하므로 JMP Pro가 없으신 분들은 여기 링크를 통해 JMP Pro 체험판 라이선스를 신청하실 수 있습니다.
	물론, 이 프레젠테이션 슬라이드를 다운로드하시면 링크를 얻으실 수 있습니다. 이렇게 링크를 얻으실 수 있으니, 직접 사용해 보실 수 있는 방법 중 하나입니다.
	또 다른 방법은 저희에게 연락하시면 개념 증명을 기반으로 여러분과 함께 작업할 수 있다는 것입니다.
	그리고 몇 가지 비교 분석 등을 할 수 있고, 물론 그 분석 결과를 여러분과 함께 검토할 수도 있습니다. 그러면 필요한 서류 작업을 준비해 놓을 수 있을 겁니다.
	시도해 보는 것도 나쁘지 않습니다. 저희는 이미 많은 회사에서 그렇게 해왔고, 여러분에게는 그게 가장 쉬운 방법일 수도 있습니다. 어떤 방법이든 여러분에게 맞는 방법을 선택하시면 됩니다. 좋아요, 그럼 지금은 제가 하고 싶은 말은 다음과 같습니다.
	지금 질문이나 의견이 있으시면 언제든지 환영합니다. 크리스와 필을 대신하여, 함께해 주셔서 감사합니다. 질문이나 의견은 언제든 환영합니다.

고급 통계 모델링기본 데이터 분석 및 모델링소비자 및 시장 조사데이터 탐색 및 시각화실험 설계예측 모델링 및 머신 러닝품질 및 공정 엔지니어링결과 공유 및 전달