349244_ko-KR

liliconcom

SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

수준: 중급

 

필립 램지(Philip Ramsey), 노스 헤이븐 그룹 교수, 뉴햄프셔 대학교 교수
웨인 레빈(Wayne Levin), Predictum 사장 겸 CEO
트렌트 렘커스(Trent Lemkus) 박사 뉴햄프셔 대학교 후보자
Christopher Gotwalt, SAS 통계 R&D 부문 JMP 이사

 

DOE 방법은 실험자의 요구와 기대에 따라 수년에 걸쳐 발전해 왔습니다. 역사적으로 초점은 효과 추정의 편향을 줄이기 위해 효과를 분리하고 가설 테스트 능력을 극대화하는 데 중점을 두었습니다. 이는 주로 당시의 방법론 및 계산 도구를 반영한 것입니다. 업계에서는 가능한 변화에 따른 제품이나 프로세스 동작을 예측하기 위해 DOE를 수행하는 경우가 많습니다. 우리는 DOE 분석에 대한 본질적인 예측 알고리즘 접근 방식인 SVEM(Self-Validating Ensemble Model)을 소개합니다. 이 방법은 부분 부트스트랩을 일반화하여 DOE에서 흔히 볼 수 있는 작은 데이터 세트에 대해 기계 학습 및 배깅을 가능하게 합니다. 기존 DOE 방법과 비교하여 SVEM은 최대 수십 배 더 높은 예측 정확도를 제공합니다. 우리는 SVEM이 행보다 더 많은 활성 매개변수를 사용하여 모델에 적합하며 잠재적으로 자유도와 같은 고전적인 통계 개념의 역할을 영원히 바꿀 수 있음을 보여주는 놀랍고 심오한 결과를 얻었습니다. 우리는 사례 연구를 사용하여 SVEM을 설명 및 시연하고 SVEM의 성능을 기존 DOE 방법과 비교하는 연구 시뮬레이션을 설명합니다. 또한 JMP의 새로운 Candidate Set Designer를 시연합니다. 이를 통해 자체 데이터에 대한 SVEM의 성능을 쉽게 평가할 수 있습니다. SVEM을 사용하면 이전보다 더 작은 데이터 세트로 정확한 모델을 얻을 수 있어 출시 기간을 단축하고 혁신 비용을 절감할 수 있습니다.

 

 

자동 생성된 성적표...

 

스피커	성적 증명서
웨인 레빈	자체 검증 앙상블 모델은 실험 설계 등의 패러다임 전환으로 간주됩니다.
	그냥...자, 간다. 여기서 우리의 의제는...우리는...누가 말하고 있는지에 대한 간단한 소개입니다.
	그렇다면 SVEM의 내용, 이유 및 방법은 무엇입니까? 따라서 우리는 DOE와 기계 학습에 대한 간략한 개요를 살펴보고 이를 SVEM에 혼합하는 방법을 설명하고 실제 SVEM 실험을 분석한 다음
	현재 연구를 검토하고 JMP 16에 새로 추가된 JMP의 새로운 후보 세트 디자이너를 시연한 후 일반적인 다음 단계와 Q&A 등으로 마무리하겠습니다.
	SVEM은 더 적은 실험 주기로 더 많은 통찰력을 추출하고 DOE를 포함한 소규모 데이터 세트에서 더 정확한 예측 모델을 구축하는 놀랍고 새로운 방법입니다.
	SVEM을 사용하면 비용이 절감되고 시장 출시가 빨라지며 문제 해결 속도가 훨씬 빨라질 것이라고 약속합니다. 우리는 앞으로 나아가면서 모든 것을 탐구할 것입니다.
	세션에서.
	저는 Wayne Levin이고 Predictum의 사장입니다. 저와 함께 JMP의 최고 데이터 과학자인 Chris Gotwalt가 합류했습니다. 또한 여기 Predictum의 선임 데이터 과학자이자 University of University의 부교수인 Phil Ramsey가 합류했습니다. 뉴햄프셔.
	그러니 그냥하자
	여기에서 재고를 확보하십시오. 데이터 과학에 대한 JMP의 기여는 엄청나므로 우리 모두 알고 있습니다. 20여 년 전 DOE 분야에서는 좌표 교환 알고리즘이 포함된 JMP 4가 있었습니다.
	그리고 약 8년 전, 9년 전에 우리는 최종 심사 디자인이 나오는 것을 보았습니다. 그리고 우리는 SVEM을 짧고 자체 검증하는 앙상블 모델링(빠르게 세 번 시도하고 말함)이라고 부르며 이것이 또 다른 기여라고 생각하고 싶습니다.
	기계 학습 및 실험 설계.
	한정된 데이터 양의 한계를 극복한 거죠. 적은 양의 데이터로는 머신러닝을 수행할 수 없으며, 일반적으로 이를 위해서는 많은 양의 데이터가 필요합니다.
	이제 우리는 현장에서 SVEM을 시도하고 있으며 이에 대해 우리에게 접근한 여러 회사가 있었고 SVEM의 평가판을 사용할 수 있게 만들었습니다. 우리는
	이 분야에서 최초로 제품을 만든 Predictum은 제품을 시장에 내놓았는데, 지금까지 우리가 배운 내용 중 일부를 여러분과 공유하고 싶습니다.
	그리고 하나는 SVEM이 매우 잘 작동한다는 것입니다. 내 말은, 더 많은 매개변수와 실행 횟수가 있으면 다음과 같이 매우 잘 작동한다는 것입니다.
	고차 모델. 더 정확한 예측을 제공하고 손상된 DOE를 복구하는 데도 도움이 됩니다. 예를 들어, 다음과 같은 확정 선별 설계가 있는 경우
	이유가 무엇이든 확실하게 실행할 수 없는 경우, 우리는 몇 가지 역사적 DOE를 우리에게 보냈습니다.
	힘이 부족합니다. 그들은 아무것도 찾지 못했지만 SVEM에서는 실제로 찾았습니다. 가능했습니다. 그리고 누락되거나 의심스러운 실행이 있는 경우도 있었습니다.
	우리가 배운 또 다른 점은 합리적 계승에 도움이 되지 않는다는 것입니다. 우리는 여기서 예측 모델에 관심이 있습니다.
	그리고 부분 계승은 실제로 예측 모델을 제공하지 않습니다. 그들은 그것을 위해 설계되지 않았습니다. 따라서 데이터가 제공하도록 구조화되지 않은 것을 제공하지는 않을 것입니다.
	적어도 그 정도는 아닙니다. 우리가 배운 또 다른 사실은 아직 SVEM의 전체 잠재력을 테스트하지 않았다는 것입니다. 그러기 위해서는 정말 필요해요
	처음부터 SVEM을 염두에 두고 실험을 설계한다는 것은 더 많은 요소를 살펴보는 것을 의미합니다. 우리는 서너 가지 요소만 살펴보고 싶지 않습니다. 10, 15 또는 그 이상은 어떻습니까?
	우리는 연구를 통해 Chris와 Phil이 Bayesian I-최적 설계가 최고라고 이야기할 것이라는 것을 알고 있습니다. SVEM 및 혼합 설계와 함께 사용하기 위한 최선의 접근 방식입니다.
	이는 SVEM에 특히 유용했으며 이에 대해서는 나중에 더 이야기하겠습니다. 그리고 SVEM이 진행되는 한
	시도해 보고 싶으시면 Chris와 Phil이 이에 대해 이야기한 후 마지막에 몇 가지 정보를 제공하겠습니다. 그래서 나는 그것을 당신에게 넘겨주겠습니다, 크리스.
	SVEN의 내용과 이유, 방법에 대해 알아보세요. 그럼 너한테 맡겨, 크리스.
크리스 갓월트	좋아요, 좋아요. 고마워요, 웨인. 아 잠깐만요, 제가 화면을 공유하고 있나요?
웨인 레빈	아직 아님.
	우리는 거기에 갈.
크리스 갓월트	알았어, 알았어, 고마워, 웨인.
	이제 저는 자체 검증 앙상블 모델(SVEM)에 대한 아이디어를 소개하겠습니다.
	나는 그것을 아주 기본적인 것으로 유지할 것입니다. 나는 당신이 실험의 설계와 분석 경험이 있다고 가정하겠습니다.
	가장 중요한 것은 통계 모델링 프로세스가 결국 데이터에 함수를 맞추는 것으로 요약된다는 점을 이해해야 합니다.
	입력 변수의 함수인 예측 응답 변수입니다. 높은 수준에서 SVEM은 빅 데이터 애플리케이션을 사용하는 기계 학습 알고리즘 간의 다리입니다.
	일반적으로 작고 좋은 분석 문제로 간주되는 실험 설계. 머신러닝과 DOE는 각각 오랜 역사를 갖고 있지만 지금까지는 상대적으로 별개의 전통이었습니다.
	우리의 연구에 따르면 SVEM을 사용하면 더 적은 관찰을 사용하여 더 정확한 모델을 얻을 수 있습니다.
	이는 더 적은 비용으로 더 적은 자원을 사용하여 더 짧은 시간에 제품 및 프로세스 개선이 이루어질 수 있음을 의미합니다. 따라서 경쟁이 치열한 업계에 종사하는 경우
	시장에 가장 먼저 진출하는 것이 중요한 분야라면 SVEM이 큰 관심을 끌 것입니다.
	특히, 우리는 SVEM이 제약 및 생명공학 산업에서 특별한 잠재력을 가지고 있다고 믿습니다.
	반도체 제조와 같은 첨단 기술과 소비자 제품 개발에 참여하고 있습니다.
	여기 JMP에서 일하면서 저는 다양한 산업과 응용 분야에서 데이터가 어떻게 처리되는지에 대해 조감도를 얻었습니다.
	최적의 설계 실험을 구성하고 혼합 모델과 같은 관련 분석 절차를 구성하고 모델을 일반화하기 위한 알고리즘을 개발했습니다.
	한편, 저는 JMP Pro의 신경망 알고리즘과 제품에 포함된 기타 기계 학습 기술의 개발자이기도 합니다.
	지난 20년 동안 저는 대규모 관찰 데이터 세트를 모델링하고 많은 새로운 것을 볼 때 머신러닝이 더욱 두드러지는 것을 보았습니다.
	개발된 알고리즘. 동시에 설계된 실험의 분석도 변경되었지만 지난 20년 동안 더욱 점진적으로 변경되었습니다.
	산업 실험의 전반적인 통계 방법론은 1970년대 후반 Box, Hunter 및 Hunter를 읽는 사람이라면 누구나 알아볼 수 있을 것입니다.
	기계 학습과 실험 설계는 일반적으로 예측 가능한 문제를 해결하기 위해 산업에 적용됩니다.
	우리는 이러한 도구를 사용하여 센서가 잘못된 배치를 나타내는지 또는 비용을 최소화하면서 수율을 최대화하기 위해 프로세스를 조정하는 방법과 같은 질문에 답합니다.
	둘 다 본질적으로 예측적이지만, 기계 학습과 실험 설계는 일반적으로 다소 다른 유형의 데이터에 적용되었습니다.
	이제 제가 할 일은 두 가지 모두에 대한 간략한 개요를 제공하고 이를 SVEM에 어떻게 혼합했는지 설명하는 것입니다.
	실제 실험에서 얻은 일부 데이터를 분석하여 그것이 어떻게 작동하는지, 그리고 왜 전반적으로 매우 잘 작동하고 있다고 생각하는지 보여 드리겠습니다.
	전반적으로...가겠습니다...뉴햄프셔 대학의 박사 과정 학생인 Trent Limpkiss(?)가 수행한 시뮬레이션 결과를 살펴보겠습니다. 이는 접근 방식이 매우 우수하다는 확신을 주었습니다. 유망하다.
	그런 다음 SVEM을 직접 시험해 볼 수 있도록 JMP 16의 새로운 후보 세트 설계를 사용하여 기존 데이터 세트의 최적 하위 세트를 찾는 방법을 보여주는 예를 살펴보겠습니다.
	우리가 관찰한 내용 중 일부를 강조하고, 앞으로 답변하고 싶은 몇 가지 질문을 언급한 다음 이를 Phil에게 전달하겠습니다. Phil은 보다 심층적인 사례 연구와 SVEM 추가 데모를 진행할 것입니다. 안에.
	화면의 간단한 데이터를 고려하십시오. 이는 야금 공정의 데이터이며 가공 단계가 끝날 때 수축량을 예측하려고 합니다.
	왼쪽에는 수축을 예측하는 데 사용하려는 세 가지 변수가 있습니다. 모델링은 여기서 응답(수축)을 예측하는 압력, 시간, 온도를 연결하는 함수를 찾는 것과 같습니다.
	이 모델이 미래에 새로운 데이터를 생성하고 일반화할 수 있기를 바랍니다.
	기계 학습 컨텍스트에서 이를 수행하는 표준 방법은 해당 데이터를 두 개의 분리된 행 집합으로 분할하는 것입니다. 하나는 훈련 세트라고 하며 데이터에 과적합되지 않도록 모델을 피팅하는 데 사용됩니다.
	이는 새로운 관찰에서 부정확한 모델로 이어집니다. 우리는 다양한 모델을 테스트하는 데 사용되는 검증 세트라고 불리는 데이터의 또 다른 하위 세트를 가지고 있습니다.
	훈련 세트에 맞춰진 것입니다. 여기에는 트레이드오프가 있습니다. 너무 단순한 함수는 충분한 변형을 설명하지 못하기 때문에 훈련 및 검증 세트에 적합하지 않습니다.
	너무 복잡한 모델은 훈련 세트에서는 거의 완벽하게 맞을 수 있지만 검증 세트에서는 매우 부정확할 수 있습니다.
	우리는 너무 단순하지도 너무 복잡하지도 않은 골디락스 모델을 찾기 위해 검증 R 제곱과 같은 방법을 사용합니다.
	이 goldilocks 모델은 검증 R 제곱이 검증 세트에서 가장 높은 모델입니다.
	이 홀드아웃 스타일 모델 선택은 합리적으로 많은 수의 행을 인용하지 않은 견적이 있을 때 진행할 수 있는 매우 좋은 방법입니다.
	종종 수억 개 이상의 행에 있습니다. 합리적으로 큰 진술은 의도적으로 모호하며 현재 작업에 따라 다릅니다. 즉, 여기에 보이는 12개 행은 너무 작아서 단지 설명을 위해 사용되었습니다.
	DOE에서는 일반적으로 시간 및/또는 자원에 심각한 제약이 있는 상황에 처하게 됩니다.
	설계된 실험, 특히 핵심 JMP 기능인 최적으로 설계된 실험의 핵심 아이디어는 가능한 가장 적은 수의 행에 담긴 최고 품질의 정보를 얻는 것입니다.
	수년에 걸쳐 많은 뛰어난 사람들이 F 검정, 반정규 도표, AIC 및 BIC와 같은 모델 선택 기준과 같은 통계 도구를 만들었습니다.
	이는 DOE 데이터 모델에 대한 결정을 내리는 데 도움이 됩니다. 이는 모두 과학, 엔지니어링, 제조 결정의 기반이 되는 모델을 식별하는 데 도움이 되는 가이드입니다.
	자주 수행되지 않는 한 가지는 기계 학습 모델 선택을 설계된 실험에 적용하는 것입니다. 이제 왜 그럴까요?
	한 가지 중요한 이유는 정보가 설계에 너무 촘촘하게 들어있어 몇 가지 관찰만 제거해도 주 효과와 상호 작용이 무너질 수 있다는 것입니다.
	그래서 우리는 더 이상 그것들을 고유하게 평가할 수 있는 효과로 분리할 수 없습니다. 어쨌든 그렇게 하려고 하면 자유도 상실이나 모델 보고서에 추가된 특이점 세부 정보와 같은 소프트웨어 보고서 경고가 표시될 수 있습니다.
	이제 우리는 약간의 사고 실험을 수행할 것입니다. 우리가 조금 속임수를 쓰려고 하면 어떨까요?
	원래 테이블의 모든 행인 X와 Y를 복사하고 한 복사본에는 "training"이라는 레이블을 지정하고 다른 복사본에는 "validation" 레이블을 지정하면 어떻게 될까요? 이제 데이터는 충분합니다. 그렇죠? 잘못된. 우리는 이것으로 누구도 속이는 것이 아닙니다. 이것은 미친 계획입니다.
	말도 안 되는 일입니다. 이 접근 방식을 사용하여 모델링을 시도하고 적합도 지수 플롯을 살펴보면 더 복잡하게 만들면 훈련 세트에 더 잘 맞는다는 것을 알 수 있지만 훈련 및 검증 때문에
	이 경우 세트는 동일하므로 접근 방식은 항상 과적합으로 이어집니다.
	따라서 기계 학습 모델 선택을 동일한 데이터에 대해 계산된 두 개의 가중 제곱합 이야기로 백업하고 재구성해 보겠습니다.
	두 개의 데이터 파티션 측면에서 모델 선택을 생각하는 대신 두 개의 가중치 열로 생각할 수 있습니다.
	훈련 세트의 행에 대해서는 1이고 그렇지 않으면 0인 훈련 가중치가 있고 검증 열이 있습니다.
	이는 훈련 행의 경우 0과 같고 검증 열, 검증 행의 경우 1과 같습니다.
	따라서 기계 학습 모델 선택을 통해 각 행에는 고유한 가중치 값 쌍이 있다고 생각할 수 있습니다. 여기서 두 가중치는 모두 이진수 0과 1입니다.
	이러한 방식으로 설정하면 모델 적합성에 대한 독립적인 평가가 가능해집니다.
	훈련 가중치를 이용하여 가중치를 부여한 오차 제곱합을 최소화하는 매개변수 값을 찾아 모델을 피팅하고, 검증 열 가중치를 이용하여 가중치를 부여한 오차 제곱합을 이용하여 일반화 성능을 측정합니다.
	이러한 가중치 쌍을 산점도에 표시하면 물론 훈련 검증 가중치...훈련 가중치와 검증 가중치는 완벽하게 반상관 관계라는 것을 알 수 있습니다.
	이제 완벽하게 역상관된 이진 값 쌍을 사용하도록 강요하는 대신 값이 0과 1의 값만 가질 수 있다는 요구 사항을 완화하면 어떨까요?
	가중치가 엄격하게 양수 값을 갖도록 허용합니까?
	그러기 위해서는 특히 내 지식에 따라 뭔가를 포기해야 합니다. 이것이 수학적으로 작동하려면 더 이상 완벽하게 반상관된 가중치 쌍을 가질 수 없지만 여전히 상당한 반을 갖는 방식으로 이를 수행할 수 있습니다. 상관관계.
	이를 수행할 수 있는 방법은 여러 가지가 있지만 이를 수행하는 한 가지 방법은 부분 가중치 부트스트랩과 동일한 방식을 사용하여 가중치를 생성하는 것입니다. 여기서는 평균이 1인 지수 분포를 사용합니다.
	가중치를 생성합니다. 그리고 지수 분포를 생성하는 데 사용할 수 있는 균일 분포의 속성을 사용하는 약간의 트릭이 있지만 상관 관계가 매우 높은 가중치 쌍을 생성합니다.
	이것을 2열 가중 검증 방식으로 사용하는 경우 이를 자동 검증이라고 합니다. Phil과 나는 바로 이 아이디어에 대해 여러 개의 Discovery 논문을 발표했습니다.
	이 접근 방식을 사용하는 것은 분산 평균이 1인 가중치 훈련 열과 동일한 속성을 가진 검증 열을 갖는 것과 같습니다.
	이 자동 유효성 검사 체계에서 행이 훈련 제곱합에 평균 가중치보다 더 많이 기여하는 경우 해당 행은 유효성 검사 제곱합에 덜 기여하고 그 반대의 경우도 마찬가지입니다.
	Mike가 만든 추가 기능이 있습니다...JMP Pro의 모델링 플랫폼에서 사용할 수 있는 이러한 형식으로 데이터 설정을 설정하는 Mike Anderson이 만든 추가 기능이 있다는 점을 지적하고 싶습니다.
	최근에 Phil과 저는 Trent를 박사 과정 학생으로 받아들이게 되었습니다.
	봄과 가을 동안 Trent는 전체 자동 검증 기반 접근 방식을 포함하여 DOE 데이터에 모델을 맞추는 다양한 접근 방식을 시도하는 많은 시뮬레이션을 수행했습니다. 그의 결과 중 일부를 보여주겠다
	여기 조금 있으면. 말하자면, 독립적인 테스트 세트에 대한 최소 평균 오류 측면에서 일관되게 가장 잘 작동한 접근 방식은 자동 검증을 적용하는 것이었습니다.
	순방향 선택과 같은 변수 선택 절차와 결합하여 수행하는 대신 이러한 과정을 수십, 수백 번 반복하면
	매번 예측 공식을 저장하고 궁극적으로 자동 검증된 모든 반복에서 모델의 평균을 구합니다. 그리고 우리는 이 일반적인 절차를 자체 검증 앙상블 모델(SVEM)이라고 부릅니다.
	따라서 상황을 좀 더 구체적으로 설명하기 위해 이를 설명하는 간단한 예를 들어 보겠습니다. 자동 검증 가중치를 초기화하는 것부터 시작합니다.
	올가미 또는 순방향 선택과 같은 모델 선택 절차를 적용한 다음 예측 공식을 다시 테이블에 저장합니다.
	첫 번째 예측 공식은 다음과 같습니다. 이 반복에서는 두 개의 선형 주효과만 선택되었습니다.
	그런 다음 가중치를 다시 초기화하고 새 가중치 세트를 사용하여 모델에 다시 맞춘 다음 해당 예측 공식을 저장합니다.
	두 번째 자동 검증된 예측 수식은 다음과 같습니다. 이번에는 다른 주효과 및 상호 작용 세트가 선택되었으며 해당 회귀 계수도 이번에는 다릅니다.
	우리는 이 과정을 여러 번 반복합니다.
	그리고 결국 SVEM 모델은 단순히 모든 예측 공식의 평균입니다.
	다음은 SVEM 알고리즘을 다이어그램으로 보여주는 간결한 다이어그램입니다. 따라서 부트스트랩 절차와 모델 평균화를 결합하는 아이디어는
	가중치를 다시 초기화한 후에도 계속해서 이런 일이 발생합니다. 해당 반복에서 예측 공식을 저장합니다.
	저장합니다...여기에 매개변수를 저장합니다...여기 그림에서는 매개변수를 보여주고 있지만 공식에서도 마찬가지입니다. 모두 저장한 다음 결국 최종 모델은 모든 반복에 대한 평균일 뿐입니다.
	작업이 완료되면 중간 수식 확장이 활성화된 그래프 프로파일러에서 해당 SVEM 모델을 사용하여 결과 모델을 시각화하고 프로세스 최적화 등을 수행할 수 있습니다.
	이제 트렌트의 논문 연구 결과를 살펴보겠습니다.
	4개 및 8개 요인의 Box Behnkens 및 DSD. 각 시뮬레이션은 1,000개의 시뮬레이션 복제로 구성되었으며 각 시뮬레이션에는 2차 반응 표면 모델에 대한 고유한 실제 매개변수 값 세트가 있었습니다.
	활성 매개변수는 이중 기하급수적으로 분포되었으며 50%에서 100%까지 활성 효과의 다양한 비율을 탐색했습니다.
	1,000개의 시뮬레이션 반복 각각에 대해 SVEM 예측은 요인 공간에 대한 10,000개의 실행 공간 채우기 설계로 구성된 독립 테스트 세트에서 실제 모델을 기준으로 평가되었습니다.
	우리는 다양한 기존 단일 샷 모델링 접근 방식과 모든 검증에 대한 다양한 변형을 살펴보았습니다.
	하지만 비교할 내용이 너무 많기 때문에 가장 흥미로운 결과만 살펴보는 것이 더 쉽습니다. 이야기는 우리가 조사한 모든 상황에서 매우 일관되었습니다.
	이는 기본 설계가 8개의 요인과 21개의 실행을 포함하는 확정 선별 설계인 시뮬레이션 중 하나입니다. 이 경우 효과의 50%는 0이 아니었습니다.
	이는 모델에 실행 횟수만큼 0이 아닌 매개변수가 많이 있다는 것을 의미합니다.
	왼쪽에는 Lasso, Dantzig 선택기, 순방향 선택 및 가지치기 순방향 선택에 대한 로그 제곱 평균 오차의 상자 그림이 있으며 모두 AICc를 사용하여 조정되었으며 해당 방법에서 가장 성능이 좋습니다.
	또한 Fit Definitive 플랫폼의 방법 중 최고 성능을 발휘하는 방법이 그 다음이고 오른쪽에는 다양한 모델링에 SVEM이 적용됩니다. 여러 가지 모델링 절차가 있습니다.
	SVEM 예측과 관련하여 테스트 세트 RMSE를 비교할 때 독립 테스트 세트의 평균 제곱근 오차가 크게 감소했습니다.
	이는 로그 규모이므로 예측 성능에 있어 매우 극적인 차이가 있습니다.
	여기에 훨씬 더 흥미로운 결과가 있습니다. 이것은 나를 정말 놀라게 한 음모였습니다. 이것은 모든 효과가 0이 아니라는 점을 제외하면 동일한 시뮬레이션 설정입니다.
	따라서 실제 모델은 설계 매트릭스뿐만 아니라 매개변수 자체에서도 과포화 상태입니다.
	과거에는 활성 효과의 수가 모든 효과의 작은 하위 집합이고 확실히 행 수보다 작다고 가정해야 했습니다.
	여기서 우리는 활성 매개변수의 수에도 불구하고 행 수의 약 2배인 합리적으로 정확한 모델을 얻었습니다. 이는 정말 놀라운 일입니다.
	이제 간단한 그림을 살펴보겠습니다.
	SVEM을 자신의 과거 DOE에 어떻게 적용할 수 있는지 보여줍니다. 나는 발효 공정의 5가지 요소 DOE의 실제 예를 사용하려고 합니다. 여기서 관심 있는 반응은 pDNA 역가로 측정된 제품 수율이었습니다.
	SVEM의 가장 큰 장점은 더 적은 실행으로 더 정확한 모델을 얻을 수 있다는 것입니다. 이는 기존 데이터 세트를 사용할 수 있음을 의미합니다.
	JMP 16의 새로운 후보 세트 디자이너를 사용하여 원래 디자인의 인용문 비인용문 예측 핵심을 형성하는 행의 하위 집합을 식별합니다.
	36개 행이 있는 원본 데이터를 가져와서 5개 열을 공변량으로 로드하고 사용자 지정 디자이너에게 해당 크기에서 가장 잘 예측된 성능을 제공하는 원래 디자인의 16개 행 하위 집합을 제공하도록 지시하겠습니다.
	그런 다음 해당 하위 집합 디자인에 없는 모든 행을 숨기고 제외하여 나중에 독립적인 테스트 집합으로 사용할 수 있습니다.
	SVEM 모델을 실행하고 SVEM 모델의 성능을 순방향 선택과 같은 표준 절차를 적용하고 동일한 16개 실행에 AICc를 적용한 경우 얻을 수 있는 성능과 비교해 보겠습니다.
	저는 JMP 16의 새로운 후보 세트 디자이너가...역시 놀라운 공헌이라고 말하고 싶습니다. 그리고 Brad의 팀이 이 새로운 도구를 만드는 데 얼마나 훌륭한 역할을 했는지 강조하고 싶습니다. SVEM을 포함하여 여러 가지 방법으로 유용합니다.
	이를 위해 데이터 세트를 가져와서 맞춤 디자이너로 이동합니다.
	공변량 행을 선택하므로 이는 JMP 16의 새로운 개요 노드입니다.
	그런 다음 5개의 입력 요소를 선택합니다.
	계속을 클릭하세요.
	그리고 최적성 기준을 I-최적 또는 예측 유형 설계로 자동 변환하는 RSM 버튼을 누를 것입니다.
	모든 비절편 요인을 선택하고 모델에서...을 마우스 오른쪽 버튼으로 클릭합니다.
	여기에서 목록을 선택하고 생성...모든 비절편 효과를 가능한 효과처럼 설정하세요. 이것이 우리가 모델을 가질 수 있게 해주는 것입니다.
	이제 설계 기준이 베이지안 I-최적 설계가 되므로 기본 설계로 실행된 것보다 더 많은 매개변수가 포함됩니다. 이제 실행 횟수를 16으로 설정할 수 있습니다.
	디자인 만들기를 클릭하세요.
	일단 이 작업을 수행하면 최적화 프로그램이 마술을 부리고 베이지안 I-최적 하위 집합 설계에 있는 모든 행이 이제 원본 테이블에서 선택됩니다.
	테이블로 이동한 다음 표시기나 변환 열을 사용하여 현재 행 선택을 기록할 수 있습니다.
	그리고 나중에 의미 있는 이름으로 열 이름을 바꿨습니다.
	새 표시 열이 0인 모든 행을 선택하여 부분 집합 설계에 없는 점을 선택할 수 있습니다.
	그런 다음 해당 행을 숨기고 제외하여 모델 피팅 프로세스에 포함되지 않도록 할 수 있습니다.
	Phil은 SVEM 추가 기능을 시연할 예정이므로 모델링 단계를 건너뛰고 베이지안 I-최적 하위 집합 설계에 포함되지 않은 행에 대한 순방향 선택과 AICc 및 SVEM 모델의 모델 비교로 바로 이동하겠습니다. 여기 빨간색으로 표시된 비교를 볼 수 있습니다.
	여기 보고서의 빨간색 윤곽선 부분에 있습니다. SVEM에는 R 정사각형이 있는 것을 볼 수 있습니다.
	독립적인 테스트 세트는 .5이고 기존 절차의 R 제곱은 .22이므로 기본적으로 SVEM으로 설명된 변동량의 두 배를 얻고 기존 절차보다 더 많은 양을 얻게 됩니다.
	또한 SVEM을 46개 관측치 모두에 적용하면 두 모델의 프로파일 추적을 비교할 수도 있습니다.
	SVEM에서 단 16개의 실행만 얻는 것처럼 SVEM을 46개의 실행 모두에 적용할 때와 기본적으로 동일한 모델을 얻는다는 것이 분명합니다.
	그러나 전진 선택 기반 모델에는 곡률 항이 누락되어 있습니다. 놓칠 수 없는 일입니다. 또한 누락된 상호 작용이 많이 있다는 것은 말할 것도 없습니다. 이것은 상당히 절차입니다. 자신의 과거 데이터에 대해 SVEM을 테스트하는 데 사용할 수 있는 매우 간단한 절차입니다.
	그래서 전반적인 SVEM
	많은 질문을 제기합니다. 이제 우리는 행보다 더 많은 매개변수가 있는 모델을 적합할 수 있으므로 그 중 다수는 설계 실험에서 자유도의 역할을 중심으로 합니다. 즉, 그러한 것이 있다면 사실상 음의 자유도가 있을 것임을 의미합니다.
	이는 산업적 실험에서 P값 기반 사고의 역할을 재고하게 만들 것이라고 생각합니다.
	우리는 예측과 같은 분석의 불확실성에 대한 새로운 방법을 확립하기 위해 노력해야 합니다. 예측에 대한 신뢰 구간이 필요합니다.
	Phil과 저는 우리가 작업할 수 있는 최고의 기본 모델 제품군이 무엇인지 이해하려고 노력하고 있습니다. 따라서 이것은 2차 RSM이 될 수 있으며 우리는 오래 전에 제안되었던 부분 입방 모델도 검토하고 있지만 이제는 재고할 가치가 있다고 믿습니다.
	어떤 종류의 디자인을 사용해야 할까요? 우리가 사용하는 기본 모델의 요인 수에 따라 적절한 표본 크기는 무엇입니까? 스크리닝 실험의 역할은 무엇입니까? 그리고 한 가지 큰 미지의 점은 차단 및 분할 플롯 실험의 역할이 무엇인지입니다.
	이 프레임워크에서는?
	이제 나는 그것을 Phil에게 넘겨주려고 합니다. 그는 보다 심층적인 사례 연구를 수행하고 Predictum의 SVEM 추가 기능을 시연할 예정입니다. 가져가세요, 필.
필립 램지	알았어, 고마워요, 크리스. 그리고 제가 하려는 것은 사례 연구에 대해 논의하는 것입니다.
	슬라이드쇼를 하고 제가 좀 할게요
	Chris가 말했듯이 예측에 대한 그림
	실제로 많은 SVEM 분석을 자동화하는 추가 기능입니다. 그리고 우리가 살펴보려고 하는 것은 생명공학 산업에서 사용되는 분석 방법입니다.
	그리고 이것은 치료용 단백질, 기본적으로 항체가 되는 단백질의 글리코프로파일링을 특성화하기 위한 것입니다.
	그리고 해당 산업에 종사하는 많은 분들은 당단백질이 실제로 매우 풍부한 치료제 공급원이라는 것을 알고 있으며 GMP를 확인하기 위해 노력하려면 측정 시스템의 신뢰성을 입증해야 한다는 것도 알고 있습니다. 실제로 글리코프로파일링의 경우,
	빠르고 사용하기 쉬운 분석 방법은 실제로 완전히 개발되지 않았습니다. 따라서 이 실험의 아이디어는 사람들이 사용할 수 있는 매우 빠르고 쉬운 방법을 찾아내어 다양한 요인에 대한 정확한 평가를 제공하는 것이었습니다.
	(저는 여기서 화학자가 아닙니다)
	전사 후 기본 단백질에 부착됩니다.
	그리고 여러분에게 크로마토그래피 사용에 대한 아이디어를 제공하기 위해 저는 여러분이 그것에 대해 어느 정도 익숙하다고 가정하겠습니다. 기본적으로 이것은 여러분이 하는 방법입니다.
	어떤 용액이 있으면 이를 기둥에 통과시킨 다음, 다양한 화학종이 기둥을 통과하면서
	그들은 서로 다른 시간에 기둥에서 분리되어 나오는 경향이 있습니다. 그래서 기본적으로 크로마토그램이라고 불리는 형태입니다.
	는 농도의 함수이며 피크가 발생하는 시간은 실제로 종이 무엇인지 식별하는 데 중요합니다. 따라서 이 경우에는 여러 가지를 살펴보겠습니다.
	설탕. 저는 단순히 그것들을 글리코폼이라고 부르겠습니다. 여기서 일어나고 있는 일은 이 작업을 수행한 과학자들이 보정 솔루션을 개발했다는 것입니다.
	그리고 우리는 교정 용액에 무엇이 들어 있는지 정확히 알고 있습니다. 우리는 정확히 어떤 피크가 용출되어야 하며 대략적인 위치를 알고 있습니다.
	그런 다음 실제 인간 항체 샘플을 보정 샘플과 비교할 수 있습니다. 그리고 이러한 당형 중 일부는 전하를 띠고 있습니다. 기둥을 통과하기가 어렵습니다.
	그들은 그것에 달라붙는 경향이 있기 때문에 우리는 때때로 경사 용출 절차라고 불리는 것을 사용하고 있습니다.
	그리고 자세한 내용은 다루지 않겠습니다. 여기서 우리가 하는 일은 고성능 음이온 교환 크로마토그래피라는 것을 사용하는 것입니다. 나는 그것에 대한 전문가는 아니지만 나와 함께 일했던 과학자가 해냈습니다.
	이 교정을 개발한 것은 매우 훌륭한 일이며 역사적으로 교정 솔루션이 필요한 이유는 다음과 같습니다.
	인간 항체 샘플에서 용출되는 당은 컬럼에서 어디로 나올지 완전히 예측할 수 없으므로 교정에 사용할 수 있는 방법이 있습니다.
	그래서.
	잠시 후에 그녀에 대해 언급하겠습니다. 이 작업을 수행한 사람은 두 가지 별도의 실험을 설계했습니다. 하나는 16개로 구성된 3단계 설계입니다.
	그리고 나중에 그녀는 돌아와서 더 큰 28개 층, 3층 디자인을 했습니다. 따라서 하나는 훈련 세트로 사용할 수 있고 다른 하나는 검증 세트로 사용할 수 있지만 Chris가 이야기한 공변량 선택기와 베이지안 I-최적 전략을 보여주기 위해 다음과 같이 합니다.
	두 디자인 모두 단일 44-런 디자인으로 결합되었습니다. 그러면 우리는
	공변량 선택기를 사용하여 해당 디자인을 맞춤형 디자인으로 가져온 다음 다양한 베이지안 I-최적 디자인을 만들었습니다.
	그리고 우리는 더 많은 조합을 할 수도 있었지만 이것에 대해 이야기할 시간이 너무 많습니다. 그래서 3가지 디자인이 있습니다. 하나는 10번의 실행이 있습니다. 5가지 요소를 기억하고 10번의 실행을 수행합니다.
	13개 런 디자인과 16개 런 디자인 그리고 다시 우리는 훨씬 더 많은 것을 할 수 있었습니다. 그래서 우리가 하고 싶은 것은 이러한 것들이 어떻게 이루어지는지 보는 것입니다.
	디자인은 팬을 사용하여 모델을 맞춘 후에 수행되며 Chris가 언급한 것처럼 이러한 각 디자인에서 44개 중에서 선택되지 않은 실행은 모델이 얼마나 잘 맞는지 확인하기 위한 검증 또는 테스트 세트로 사용됩니다. 수행.
	좋아요, 이것이 초기 요소입니다. 아세트산 나트륨의 초기 양, 수산화 나트륨의 초기 양입니다. 그런 다음 세 가지 별도의 기울기 용출 단계가 발생합니다.
	처리 시간은 약 40분에 이릅니다. 이것이 실험에서 사용되고 조작되는 설정입니다.
	실제로 이 실험에서는 44가지의 서로 다른 반응을 볼 수 있습니다. 그래서 시간이 허락한다면 두 가지를 살펴보겠습니다.
	하나는 글리코폼 3의 머무름 시간이고, 이것이 핵심이며, 이것이 교정 크로마토그램을 고정시키는 것입니다.
	그리고 우리는 그것이 인간 항체 샘플과 잘 일치하기 때문에 약 8분 30초 후에 나오길 원합니다.
	실제로 모델링하는 것은 매우 쉽습니다. 두 번째 반응은 글리코폼 10의 체류 시간입니다. 이는 하전된 글리코폼입니다. 이는 매우 늦게 용출되며 다른 하전된 글리코형과 뭉쳐지는 경향이 있어 구별하기가 더 어렵습니다. 좋습니다. 이것이 제가 살펴볼 두 가지 응답입니다.
	크로마토그래피에 익숙하지 않은 분들을 위해 크로마토그램이라고 불리는 몇 가지 기능을 소개합니다. 이것은 본질적으로 응답입니다.
	응답이 어떤 모습인지에 대한 사진과, 이 경우 사진을 보시면 보존 시간, 즉 언제 응답했는지 살펴보겠습니다.
	피크3나오나요? 그리고 몇시에 Peak 10이 나와 크로마토그램에 나타납니까? 그리고, 그런데, 둘 사이에 주목하세요.
	제가 보여드리는 크로마토그램은 프로필이 얼마나 다른지 보여줍니다. 그래서 이번 실험에서는 이러한 실험적 요소들을 조작했을 때
	(그런데, 우리는 이 크로마토그램 중 44개를 가지고 있습니다. 그 중 두 개를 보여드리겠습니다.) 피크의 모양, 머무름 시간 등과 분해능에서 많은 차이가 있음을 알 수 있습니다. 그러니 우리가 무엇을 하든 우리는 분명히 조작하고 있는 것입니다.
	궁금하신 분들을 위해 말씀드리자면, 네, 우리는 미래에 이것을 기능적 데이터로 생각하고 기능적 데이터 분석이 어떻게 사용될 수 있는지 생각하고 있습니다.
	그러나 그것은 종종 미래일 때가 많지만 확실히 우리가 매우 관심을 갖고 있는 것입니다. 크로마토그램은 결국 기능적 데이터입니다. 하지만 저는 두 가지 특징을 추출하여 모델링해 보겠습니다. 좋아요. 그리고 나는 또한 공로를 인정하고 싶습니다
	좋은 친구이자 훌륭한 과학자인 Cytovance Biologics의 Eliza Yeung 박사. 그리고 그녀는 모든 실험 작업을 수행했고, 그 건물을 만드는 아이디어를 생각해낸 사람도 바로 그녀였습니다.
	그녀가 포도당 사다리라고 부르는 것은 교정 용액입니다. Eliza는 좋은 사람일 뿐만 아니라 JMP도 좋아합니다. 그래서 우리는 여러 면에서 엘리자를 좋아합니다. 훌륭한 과학자. 알았어, 그러니까
	내가 들어가기 전에
	SVEM, 저는 단지 언급하고 싶습니다...Chris는 1950년 이후 최적화의 기초로 사용되어 온 완전 2차 모델을 언급했습니다.
	기본적으로 모든 주 효과, 두 요인 상호 작용 및 제곱 항입니다. 사실, 많은 복잡한 물리적 시스템의 경우 동역학은 실제로 해당 모델에 비해 너무 복잡합니다.
	그리고 코넬과 몽고메리는 1998년에 발표한 정말 훌륭한 논문에서 이 점을 지적하고 많은 경우에 다음과 같이 제안했습니다.
	그들이 상호 작용 모델이라고 부르는 것, 우리는 그것을 부분 입방 모델이라고 부르는 것이 더 잘 작동할 수 있습니다. 그리고 내 경험에 따르면 SVEM을 사용하고 이 모델을 많은 사례 연구에 적용한 결과가 옳았습니다. 실제로 더 나은 예측 모델을 제공하지만 문제가 있습니다.
	이러한 부분 입방 모델은 거대할 수 있으며 Chris가 언급한 것처럼 과포화 모델이 큰 문제가 되는 기존 모델링 전략에 큰 도전입니다.
	잠재적인 용어는 몇 개나 있나요? 음, K 제곱에 두 배를 곱하고 절편에 1을 더하세요. 따라서 5가지 요인에 대해 전체
	부분 3차 모델에는 51개의 항이 있습니다. 그런데, 저는 이 모델들을 사용할 것인데, 일반적으로 가장 중요한 용어 중 40개만 사용하겠습니다.
	그런 다음 자체 검증 앙상블 모델링을 사용하여 모델을 맞출 것이며 Chris가 말했듯이 SVEM은 과포화 모델에 문제가 없습니다.
	그건 그렇고, 기계 학습 문헌에서는 과포화 모델이 항상 적합합니다.
	그리고 올바른 기계 학습 기술을 사용하면 실제로 더 나은 예측 성능을 얻을 수 있다는 것을 보여줄 수 있습니다.
	이것은 전통적인 통계에서는 거의 알려지지 않았습니다. 그래서 우리는 SVEM 추가 기능을 사용할 것이며 이에 대해 배우고 싶다면 Predictum에서 이미 연설한 Wayne Levin에게 연락할 수 있으며 Wayne이 여러분과 이야기하고 싶어할 것이라고 확신합니다.
	그럼 JMP에 대해 간단히 살펴보겠습니다.
	추가 기능이 실제로 어떻게 작동하는지 보여드릴 테니 JMP를 살펴보겠습니다.
	그래서 추가 기능을 설치하여 자체 탭을 갖게 되었습니다. 그래서 Predictum을 클릭합니다. 그건 그렇고, 이것은 우리가 만든 베이지안 I-최적 설계 중 하나이며 16개의 실행이 있습니다. 자체 검증 앙상블 모델링을 선택합니다.
	따라서 일반적인 적합 모델 실행 대화 상자가 어떻게 보이는지 확인할 수 있습니다. 저는 다섯 가지 요인을 선택하겠습니다.
	그리고 저는 지금 설명을 위해 반응 표면 모델을 만들 예정입니다.
	글리코폼의 체류 시간 3. 백그라운드에서 이 설정, 자동 유효성 검사 테이블을 확인하세요. 대기 기능이 있습니다.
	그리고 자동 유효성 검사 부분이 있습니다. 이 모든 것이 배경에 있으므로 볼 필요가 없습니다. 하지만 톱은...하지만 추가 기능이 그것을 만든 다음 기본적으로 숨기지만 원하면 볼 수 있지만 보는 것이 별로 중요하지 않기 때문에 숨겨져 있습니다.
	이제 GenReg를 엽니다. 이것이 GenReg입니다.
	제어판. 그리고 설명을 위해 SVEM은 모델 구축에 사용하는 방법 측면에서 실제로 불가지론적입니다. 따라서 실제로 GenReg에도 없는 방법을 사용할 수 있지만 이것이 오늘날 우리의 주요 초점입니다. 그래서 우리는 순방향 선택을 할 것입니다.
	그리고 시간이 너무 많아서 10번만 반복하겠습니다.
	이동을 클릭하면 모델이 생성됩니다.
	따라서 여기에 단 10회 반복에 대한 출력이 있으며 예측 플롯을 통해 실제 결과를 얻을 수 있습니다. 하지만 이것의 정말 좋은 점은 실제로 앙상블 모델 평균을 생성해 준다는 것입니다.
	그래서 자체 검증 앙상블 모델을 클릭하고 예측 공식을 저장합니다. 이제 이 디스플레이를 닫겠습니다.
	이리와.
	그리고 내 모델이 있어요.
	이제 이 모델을 가져와 검증 데이터에 적용할 수 있습니다. 따라서 선택된 16개의 실행이 있으므로 실제로 수행한 방법을 확인하기 위한 검증 세트로 사용할 수 있는 또 다른 28개의 실행이 있습니다. 그래서 이 시점에서 나는 이제 다시 원래의 이야기로 돌아가겠습니다.
	그런데 SVEM 추가 기능이 없으면 약간 어려울 수 있습니다. 특히 JMP 스크립팅에 능숙하지 않은 경우에는 더욱 그렇습니다.
	실제로 이러한 모델을 만들 수 있습니다. 따라서 해당 추가 기능은 백그라운드에서 엄청난 작업을 수행한 것처럼 보이지 않을 수도 있습니다. 그래서 우리는 어떻게 했나요? 그럼 이것을 다시 슬라이드쇼에 올려보겠습니다.
	그래서 제가 한 것은 세 가지 디자인이 있습니다. 16런 디자인, 13런 디자인, 그리고 10런 디자인을 골랐습니다. 우리는 정말로 한계를 뛰어넘었습니다.
	그리고 제가 말했듯이 두 가지 반응이 있습니다. 글리코폼 10은 늦게 용출되고 잡음이 많은 경향이 있으며 분리가 어려울 수 있습니다. 따라서 16개 실행 설계의 경우 실제로 40항 부분 3차 모형에 적합합니다. 16번 실행된다는 점을 명심하세요. 그리고 저는 40기 모델에 적합합니다.
	그리고 이것의 핵심은 검증 세트의 평균 제곱근 오차입니다. 좋습니다. 그래서
	나는 여섯 번째...40년 모델을 맞췄고, 그 다음에는
	검증 세트의 평균 제곱근 오차는 낮았고 검증 R 제곱은 실제로 98에 가까웠으므로 매우 잘 맞습니다.
	훨씬 더 시끄러운 경우에도 주의하세요.
	글리코폼 10, 우리는 여전히 꽤 좋은 모델을 갖고 있습니다. 실제 예측 플롯을 보여드리겠습니다. 그래서 우리는 13번에 걸쳐 이 작업을 수행했고 다시 한번 13번에 걸쳐 매우 좋은 결과를 얻었습니다.
	그리고 마침내 10시. 그런데 10의 경우 표준 완전 2차 모델에 딱 맞았고 정말 행운을 빕니다.
	하지만 계속해서 부분삼차를 시도해 볼 수도 있었습니다. 그리고 다시 한 번, 10번의 실행에도 불구하고 당형 3 유지 시간을 모델링한 결과 R 제곱은 .94를 얻었습니다.
	나에게 그것은 정말 인상적이었고 다시 모델링했습니다. 내 모델에는 관측치보다 두 배나 많은 예측 변수가 있었고 심지어 글리코형 10을 모델링하기 어려운 경우에도 꽤 잘 해냈습니다.
	여기에 실제 예측 플롯이 있습니다. 다시 한 번 글리코폼 10을 선택합니다. 왜냐하면 모델링하기가 정말 어렵기 때문입니다.
	그래서 나는 시스템을 너무 많이 게임하고 싶지 않았습니다. 경험을 통해 모델링이 어렵다는 것을 알고 있습니다. 그래서 실제와 예측된 플롯이 있습니다. 10회 디자인에 대한 또 다른 실제 예측 플롯이 있지만 여전히 꽤 좋습니다.
	우리가 여기서 무엇을 하려는지 생각해 보세요.
	그리고 마지막으로 우리는 전반적으로 어떻게 지내셨나요?
	그래서 이것은 제가 만든 작은 테이블입니다. 저는 16개 디자인을 기준으로 삼았습니다.
	용어 모델과 G10의 유지 시간에 대한 13번째 용어입니다.
	13에서는 다소 큰 오류가 발생하고 10에서는 훨씬 작은 오류가 발생했음을 알 수 있습니다. 이유를 모르겠습니다. 나는 결과가 무엇인지 보여주기로 결정했습니다. 그것은 약간의 미스터리이며 나는 그것을 탐험하기 위해 다시 돌아가지 않았습니다.
	하지만 보존 시간 3의 경우 16에서 10으로 줄어듭니다. 예, 평균 제곱근 오차가 약간 증가했습니다. 하지만 실제 예측 플롯을 보면 알 수 있습니다.
	여전히 검증 세트에 대한 예측을 잘 수행합니다. 그래서 이 존재의 요점은, 나도 알아요, 저는 생명공학 회사들과 많이 일한다는 것입니다.
	실험 설계에서 잠재적으로 달성할 수 있는 실제 효율성이 높으며 많은 분들이 이러한 실험에 비용이 많이 든다는 것을 알고 있습니다.
	그리고 더욱 중요한 것은 시간이 많이 걸린다는 것입니다. 이는 실제로 실험 시간을 단축하고 실험 예산을 줄이며 더 많은 정보를 얻을 수 있습니다.
	그래서 이것에 대한 빠른 결론을 내립니다. 이 SVEM 절차와 Chris가 보여주었듯이 우리는 시뮬레이션과 사례 연구를 통해 이를 조사했습니다.
	SVEM은 과포화 모델에 적합합니다. 자세히 설명하지는 않겠지만, 기계 학습 실습을 통해 과포화 모델이 매우 잘 수행되는 것으로 알려져 있습니다. 그들은 항상 딥러닝을 예로 사용합니다.
	기본적으로 Chris가 말했듯이 SVEM은 기계 학습과 실험 설계를 결합합니다.
	그리고 더 중요한 것은 SVEM의 길을 걷기 시작하면 실험에 대해 어떻게 생각하는지 알려준다는 것입니다.
	따라서 기본적으로 SVEM을 사용하면 실제로 혁신 속도를 높이고 실험 시간과 비용을 실제로 줄일 수 있는 매우 효율적인 실험에 대해 생각할 수 있습니다. 그리고 제품과 프로세스를 개발하는 데 시간이 걸립니다.
	점점 더 짧아지고 있는 리드 타임은 사소한 문제가 아니며 생명 공학 분야의 많은 분들도 심각한 예산 제약에 직면해 있다는 것을 알고 있습니다.
	그리고 (그런데 대부분의 사람들은 그렇습니다) 마지막으로 유망한 영역 중 하나는 Bayseian I-optimal 디자인입니다.
	그리고 다시 한 번 말씀드리지만, Brad Jones와 그의 그룹은 JMP에서 이러한 기능을 훌륭하게 도입했습니다. 실제로 베이지안 I-최적 설계를 수행하는 제가 아는 유일한 소프트웨어 패키지입니다.
	그리고 우리는 SVEM이 많은 가능성을 열어줄 것이라고 생각합니다. 그래서 기본적으로 그것은 내 이야기이고 나는 그것을 Wayne Levin에게 넘겨줄 것입니다.
웨인 레빈	정말 고마워요.
	필과 크리스. 엄청나게 많은 작업이 있고 이에 대한 많은 연구가 이루어졌음을 모든 사람이 알 수 있기를 바랍니다.
	참호 속에서 일하고 있다고 말할 수도 있습니다. 저는 이 게임에 30년 넘게 종사해 왔지만 여기서 보고 있는 것에 대해 매우 기대된다고 말씀드리고 싶습니다.
	저는 이것이 정말 변혁적일 수 있다고 생각합니다. 여기에서 산업 실험이 수행되는 방식을 정말로 바꿀 수 있다고 생각합니다. 나는 이전에 과포화 디자인만으로도 매우 흥미로웠고 그것은
	맞춤형 디자이너를 통해 작업이 가능해졌고 이제는...그것이 디자인 측면에 있습니다.
	사물의.
	이제 SVEM을 분석 측면으로 가져오면 이것이 두 가지 훌륭한 취향이라는 뜻입니다.
	잘 어울린다고 말할 수도 있겠네요. 어쨌든 결론을 내리자면 여기로 들어가겠습니다.
	Phil, 저, Marie Goddard는 주문형 과정을 준비하고 있습니다(4월과 같이 다음 분기에 제공될 예정입니다).
	혼합물 설계 실험에 대해 설명하고 해당 과정에서는 SVEM에 많은 시간을 집중할 것입니다. 따라서 그것이 당신에게 관심이 있다면 저에게 알려주십시오. 그래야 우리가 LinkedIn이나 그 중 하나에서 당신에게 알리거나 우리를 팔로우할 수 있습니다.
	그리고 SVEM 추가 기능의 경우, 다시 한번 말씀드리지만 우리가 이 기능을 최초로 출시하게 되어 기쁩니다.
	우리는 몇 달 동안 열심히 노력해 왔습니다. 매달 새로운 릴리스를 진행하므로 현장에서 피드백을 받으면서 발전하고 있습니다. Phil에게 진심으로 감사의 말씀을 전하고 싶습니다.
	이것을 이끌어줘서. 그리고 그는 우리 개발자 중 한 명(???)과 파트너십을 맺고 있는데 정말 엄청난 노력과 노력이었죠.
	이 지점에 도달하기 위해 우리는 그것을 여러분에게 제공하고 싶습니다. Phil이 앞서 언급했듯이 이를 시도하는 방법에는 실제로 두 가지가 있습니다. 하나는 추가 기능 자체를 사용해 보는 것입니다.
	14와 15에서 작동합니다. 그리고 16개가 나오면 16개에서도 작동할 것이라고 생각합니다. JMP Pro가 필요하므로 JMP Pro가 없으면 여기에 신청하여 JMP Pro 평가판 라이센스를 얻을 수 있는 링크가 있습니다.
	물론 이 프레젠테이션의 슬라이드를 다운로드하면 이 링크를 얻을 수 있습니다. 이것이 바로 여러분이 그것을 얻을 수 있는 방법입니다. 따라서 이것은 여러분이 직접 시도해 볼 수 있는 한 가지 방법입니다.
	또 다른 방법은 저희에게 연락하시는 것입니다. 그러면 개념 증명을 기반으로 귀하와 협력할 수 있습니다.
	그리고 우리는 몇 가지 비교 분석 등을 수행할 수 있으며 물론 귀하와 함께 해당 분석을 검토할 수도 있습니다. 그러니 우리가 필요한 서류를 준비하고
	우리는 그것을 시도해도 괜찮습니다. 우리는 많은 회사를 위해 그렇게 해왔고 무엇이 당신에게 효과가 있든 간에 그것이 당신에게 가장 쉬운 방법일 수 있습니다. 좋아요, 그리고 지금으로서는 제가 하고 싶은 일은
	지금 질문이나 의견이 있으면 열어주세요. Chris와 Phil을 대신하여 우리와 함께해주셔서 감사하다고 말씀드리겠습니다. 좋아요, 질문과 의견을 부탁드립니다.

정상회담 최고브레이크아웃암사슴예측 모델링답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

SVEM 추가 기능을 다운로드하려는 사람은 누구나 이 페이지를 방문하면 됩니다.

https://predictum.com/products/svem/

 

평가판 라이선스를 요청하는 링크가 표시됩니다.

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

@ahmedmohamed , SVEM 추가 기능이 개발되지 않았습니다.SVEM 분석에 도움이 되도록 수정할 수 있는 Discovery 강연에서 사용할 수 있는 간단한 스크립트가 있습니다.실험의 설계와 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

내 말은 SVEM 추가 기능을 추가해 주세요.

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

@ahmedmohamed , 설정 추가 기능을 말씀하시는 건가요?여기에서 찾을 수 있습니다.자동 검증 작업 흐름을 지원하는 추가 기능

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

이 추가 기능을 사용해 볼 수 있나요?

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

안녕 @philramsey 그리고 @chris_gotwalt1 . 최근에 자동 유효성 검사를 위한 추가 기능을 설치하고 사용해 보았습니다. 여기 이는 Null Factor 아이디어를 사용하여 변수를 선택하는 데 유용합니다. 이 링크에 제시된 추가 기능은 모델 평균화로 인해 더 완전하거나 포괄적인 것 같습니다. 무료 추가 기능인가요?

 

그럼에도 불구하고 모델 평균화에 사용된 자동 검증 추가 기능의 시뮬레이션된 매개변수 추정치가 있었습니까? 그렇다면 최종 평균 모델에서 null 요인 매개 변수를 어떻게 제거할 수 있습니까?

 

감사해요.

 

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

안녕 @philramsey , 답장을 보내 주셔서 감사합니다.죄송합니다. 명확하게 설명하지 못했습니다. 반복적인 k-겹 교차 검증을 언급하고 있었습니다. 이는 DOE 컨텍스트에서 쉽게 구현되고 설계 크기 및 k 선택에 따라 앙상블에 수십만 개의 모델을 제공할 수도 있습니다.대부분의 경우, 일반적으로 전체 모델 실행 횟수가 100회 미만으로 훌륭하게 작동하는 k-fold의 소수 반복을 접했습니다.  

 

현재 SVEM JSL 코드를 사용한 초기의 쉬운 테스트 중 하나는 부분 가중치 공식을 변경하여 홀드아웃 크기를 제어하는 일부 임계값을 기반으로 가중치를 0 또는 1로 변환하는 것입니다.이것은 엄밀히 말하면 더 이상 완전한 k-fold가 아니라 일련의 무작위 단일 홀드아웃입니다.나는 이것이 여전히 잘 작동하고 합리적인 결과를 제공한다고 생각합니다.XGBoost 추가 기능과 함께 제공되는 Make K-Fold Columns 유틸리티에서 사용할 수 있는 것처럼 직교하도록 설정된 k-fold 파티션 모음을 구성하는 것이 더 효율적입니다.

참고로 XGBoost 추가 기능은 반복되는 k-fold를 쉽게 수용하기 위해 유효성 검사 열을 다른 JMP Pro 플랫폼과 다르게 처리한다는 점을 언급하고 싶었습니다.또한 SVEM이 끝날 때 모든 예측 열의 평균을 구하는 것과 마찬가지로 예측 공식을 저장할 때 모든 개별 k-겹 모델을 자동으로 앙상블합니다.행 중복이 필요하지 않습니다.  

 

반복된 k-폴드는 문헌에 잘 확립되어 있으며 Python sklearn,model_selection.RepeatedKFold, R 패키지 캐럿 및 이제 XGBoost 추가 기능과 같은 위치에서 구현됩니다.솔직히 말해서 진지한 사용자가 SVEM을 채택하도록 설득하려면 SVEM과 반복 k-fold를 공정하고 설득력 있게 비교하는 것이 정말 필요하다고 생각합니다.

 

SVEM에 대한 나의 현재 해석은 반복되는 k-fold의 매끄러운 버전입니다.또는 위에서 언급했듯이 k-겹을 부분 가중치의 개별 비닝으로 보기 위해 뒤집어 볼 수도 있습니다.내 생각에는 정직하게 평가된 표본 외 성능은 대부분의 경우 비슷할 것이지만 확실히 비교를 보고 싶습니다.   

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

p-값의 역할에 대한 질문이 있었습니다. 우리는 산업 실험의 상당 부분이 수율 극대화, 낭비 최소화, 사양에 맞는 제품 제조 등 본질적으로 예측적이라는 점을 알고 있습니다. 자주 사용되는 도구에는 활성 요인을 결정하고 정규성 및 비자기상관 오류와 같은 모델링 가정을 평가하기 위한 가설 테스트에 대한 많은 내용이 포함됩니다. 우리는 SVEM이 데이터에서 예측 모델로 직접 이동하는 것으로 봅니다. 우리는 더 이상 자유도에 얽매이지 않기 때문에 '중요한' 효과를 결정하는 것(가설 테스트 의미에서)은 앞으로 몇 년 동안 덜 중요해질 수 있습니다. 질문은 "어떤 요소가 중요하고 어떤 요소가 무시할 수 있습니까?"로 전환되어 사람들이 20세기 후반의 어색한 통계 기계를 피하고 당면한 문제 해결에 직접 집중할 수 있습니다.

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

@J_Asscher

 

질문에 관심을 가져주셔서 감사합니다. 내 답변은 다음과 같습니다.

 

 

1) 자동 검증 알고리즘이 반복실험 쌍을 고려할 수 있습니까?우리는 아직 반복실험을 통합하는 방법을 탐구하지 않았습니다. 하지만 그렇게 하는 것은 쉬울 것입니다. 하나의 반복이 '훈련 세트에' 있을 때 다른 반복은 제외되도록 가중치 체계를 간단히 조정하면 됩니다. 흥미로운 확장과 수정이 너무 많아서 연구에서 초점을 유지하고 본질만 제거하고 출판용으로 제출하는 것이 어려웠습니다.

 

2) 특정 실행이 모델 선택이나 모델 매개변수 또는 예측에 큰 영향을 미치는지 여부를 식별하기 위해 이러한 모든 계산을 활용할 수도 있습니까?그렇습니다. 흥미로운 진단은 회귀 계수와 특정 관찰에 대한 가중치의 산점도를 살펴보는 것입니다. 계수와 가중치 간의 상관관계가 절대값으로 크면 해당 실행이 해당 효과에 큰 영향을 미칩니다. 이것은 우리가 아직 추구할 시간이 없었던 또 다른 훌륭한 아이디어입니다!

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

@eharoon 감사합니다. 우리는 지금까지의 결과에 대해 매우 기대하고 있으며, 이번 산학협력을 통해 앞으로도 많은 성과를 얻을 수 있을 것입니다. 우리는 다음 주에 출판을 위해 논문을 제출할 예정이며, 9월까지 발표할 세 가지 논문 중 첫 번째 논문이 될 것입니다.

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

안녕 러스,

그런데 저는 XGBoost 추가 기능을 좋아합니다.SVEM은 잠재적으로 앙상블할 수 있는 수백 또는 수천 개의 모델을 제공하기 때문에 K-fold를 능가할 수 있다고 생각합니다.우리의 경우에는 DoE에 중점을 두기 때문에 하나를 빼거나(실제로는 항상 나쁜 생각) k-fold와 같은 기술을 사용하는 것이 불가능했습니다.향후 작업을 위해서는 비교가 필요하고 프로세스의 기본 개요가 타당하다는 말씀이 맞다고 생각합니다. pDNA 데이터를 결합하면 귀하가 제안한 대로 수행할 수 있을 것입니다. 아마도 이에 대해 더 이야기해야 할 것이며 Chris Gotwalt가 토론에 참여하기를 바랍니다.

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

참신한 연구네요!모델 검증을 위한 데이터 과학 커뮤니티의 최적 표준은 k-겹 교차 검증입니다. 샘플 외 성능 측면에서 SVEM과 k-fold 간의 공정한 비교를 보는 것은 흥미로울 것입니다.하나 이상의 k-겹 실행에서 얻은 모델도 앙상블할 수 있으며 실제로 이것이 다음에서 수행됩니다. JMP Pro용 XGBoost 추가 기능 .나는 pDNA 데이터에 대해 다음과 같은 내용을 상상하고 있습니다.

 

1. 외부 루프는 DOE Custom Designer를 실행하여 작은 대상 교육 하위 집합(예: 강연에서 했던 것처럼 46개 중 16개)을 추출하는 것으로 구성됩니다.내 이해는 이 하위 집합이 확률적이므로 이와 같은 외부 루프가 의미가 있고 단일 홀드아웃으로 인한 잠재적인 편향도 방지한다는 것입니다.
2. 각 반복마다 숨기기/제외를 사용하여 비훈련 관측치를 완전히 따로 보관하거나 홀드아웃 데이터에 대해 누락된 값이 있는 새 응답을 만듭니다.훈련 데이터에 대해 SVEM 및 k-겹 앙상블을 실행하고 훈련 데이터만을 기반으로 예측 공식 및 예상 일반화 성능과 같은 중요한 결과를 저장합니다.
3. 홀드아웃 세트에 공식을 적용하고 성능 통계(예: RSquare 연속 응답, 평균 제곱근 오차 및 Pearson 상관 관계)를 수집합니다.

 

흥미로운 부수적인 질문은 작은 훈련 세트의 크기 감소로 인해 k-겹 개별 적합이 손상되거나 성능이 저하되는 경우입니다. 이러한 종류의 발생은 SVEM의 사례를 강화할 것입니다.또한, 위와 같이 경험적으로 얻은 표본 외 검증 성능 추정치와 표본 내 검증 성능 추정치가 어떻게 비교되는지 궁금합니다.

 

또 다른 연결은 공변량이 있는 사용자 정의 DOE를 사용하여 k-겹을 생성할 수도 있지만 X 대신 Y 변수를 공변량으로 사용한다는 것입니다.JMP Pro XGBoost 추가 기능에는 이 작업을 수행하기 위한 보충 루틴인 Make K-Fold Columns가 함께 제공됩니다. 이는 k-겹 파티션 집합에서 정보 획득을 최적화하는 좋은 방법이며 위의 실험에서 권장되는 접근 방식입니다.

 

마지막으로 XGBoost를 기본 모델로 사용하여 부분 가중치 SVEM 접근 방식을 시도하는 데 관심이 있습니다.가중치를 정의하는 열의 수식을 재평가하는 영리한 트릭을 통해 루프에서 쉽게 수행할 수 있는 것처럼 보입니다.

훌륭한 작업이며 SVEM의 추가 개발 및 적용을 기대합니다.

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

매우 흥미로운!

두 가지 질문:

1) 9:51부터 시작하는 예에 사용된 12개의 런이 포함된 설계에는 4개의 반복실험 쌍이 포함됩니다. 자동 검증 알고리즘이 반복실험 쌍을 고려할 수 있습니까? 예를 들어, 반복실험 쌍에는 (0,1), (1,0) 가중치 또는 (a, b), (b, a) 가중치가 제공될 수 있습니다. 어떤 차이가 있을까요? 물론, pDNA 예에서 16개 행이 있는 "예측 심장" 디자인에는 복제가 포함되지 않을 것입니다. 하지만 36개 행이 있는 전체 디자인에는 복제가 포함되어 있습니다.

2) SVEM 모델을 찾는 것 외에, 특정 실행이 모델 선택이나 모델 매개변수 또는 예측에 큰 영향을 미치는지 여부를 식별하기 위해 이러한 모든 계산을 활용할 수도 있습니까? 예를 들어 이러한 조건에서 프로세스를 다시 실행할 수 있습니다. 실행 횟수가 적은 초기 설계를 사용하는 경우 이 옵션을 고려하는 것이 당연합니다. 보다 광범위하게는 초기 디자인을 보강하고 싶을 수도 있지만 이는 별개의 문제입니다.

감사합니다 - 다음주 화요일 토론을 기대합니다!

 

답변: SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)

일관된 노력으로 이 영역을 개발함으로써 Gottwalt와 Ramsey는 종종 작은 샘플로 어려움을 겪는 생물 의학 및 생명 공학 연구 분야에 엄청난 서비스를 제공해 왔습니다. 이러한 영역에 기계 학습 접근 방식이 적용되었음에도 불구하고 이러한 노력은 판도를 바꾸는 변화로 발전할 수 있기를 바랍니다. 이 작업을 완료해 주셔서 감사합니다. JMP와 Predictum의 흥미로운 개발 소식을 알려주세요. 흥미롭게도 이는 데이터 분석 분야에서 학계와 산업계의 주요 협력 성공을 의미하기도 합니다.