398685_ko-KR

liliconcom

SVEM: DOE에 적용된 기계 학습(2021-US-45MP-847)

레벨: 중급

 

Peter Hersh, JMP 수석 시스템 엔지니어, SAS
Trent Lemkus, 박사 과정 학생, University of New Hampshire
Phil Kay, JMP 학습 관리자

 

우리는 프로세스와 시스템을 이해하기 위해 실험을 설계합니다. 즉, 제어해야 하는 입력 요소와 원하는 결과를 일관되게 달성하기 위해 이를 제어하는 방법을 알기 위해 실험을 설계합니다. 통계적 실험 계획(DOE)은 이러한 이해를 제공하는 모델을 구축하는 가장 효과적인 방법입니다. DOE를 사용하면 실험적 노력에서 이해를 극대화할 수 있습니다.

그러나 이러한 방법을 사용하려면 도메인에 대한 지식과 경험에 항상 만족하지 않는 특정 가정(효과 희소성, 효과 유전, 활성/비활성 효과 포함)을 수락해야 하는 경우가 많습니다. 기계 학습 접근 방식이 이러한 문제 중 일부를 극복하고 추가 비용 없이 실험을 통해 더 풍부한 이해를 제공할 수 있습니까? 이것이 실험 설계 및 분석의 혁명이 될 수 있을까요?

이 강연에서는 자체 검증 앙상블 모델링(SVEM)의 혁신적인 방법을 탐구합니다. 애니메이션 시각 자료를 통해 작은 데이터 세트의 부분 가중치가 설계된 실험을 위한 모델 피팅에서 자가 검증을 가능하게 하는 방법을 확인할 수 있습니다. 또한 이 검증 방법을 사용하여 구축된 앙상블 모델의 예측 견고성을 입증하는 엄격한 시뮬레이션 연구 결과를 볼 수 있습니다.그리고 과학자와 엔지니어가 SVEM을 사용하여 추가 노력 없이 실험에서 이해도를 높일 수 있는 방법을 보여주는 사례 연구 예제가 제시됩니다.

 

 

자동 생성된 성적표...

 

스피커	성적 증명서
조던 힐러	외출.
필 케이	알겠습니다. 참여해 주셔서 감사합니다. 저는 필 케이입니다. 저는 JMP의 학습 관리자이며 자체 검증 앙상블 모델링인 SVEM의 대화형 예제로 이 프레젠테이션을 시작하겠습니다.
	저는 SVEM이 무엇인지, 그리고 그것이 어떻게 작동하는지에 대한 메커니즘에 대해 알아볼 것입니다. 그런 다음 Pete와 Trent가 예제를 공유할 것입니다.
	사례 연구 및 시뮬레이션, 이를 수행하려는 이유를 실제로 설명합니다. 나는 단지 이것을 발표 할 것입니다
	매우 간단한 사례 연구이므로 처음에는 그 이유가 명확하지 않을 수 있습니다. 이 작업을 수행하려는 이유가 명확하지 않을 수 있지만 제가 설명한 후에는 메커니즘을 이해할 수 있기를 바랍니다.
	자, 이제 비디오를 멈추고 여기서 소프트웨어 데모에 집중하겠습니다.
	여기에 JMP 저널이 있으며 여러분과 공유하고 있으므로 Community.JMP.com의 JMP 커뮤니티 게시물에서 액세스할 수 있습니다.
	그리고 우리가 사용할 예제는 고전적인 DOE 예제입니다. JMP의 도움말 파일에서 가져올 수 있는 바운스 데이터입니다.
	그래서 그것은 3개의 요인, 15 런입니다. 이것은 Box-Behnken 디자인이고 거기에 응답이 있습니다.
	전통적인 구식 DOE.
	그리고 이 데이터를 모델링하는 데 실질적인 어려움은 없습니다. 그리고 우리는 이 곡선적 행동, 이 2차 효과, 요인 간의 상호 작용이 중요한 것으로 밝혀진 반응 표면 모델에 적합한지 확인합니다.
	이제 SVEM 접근 방식을 사용하여 이를 모델링하는 방법을 살펴보겠습니다.
	따라서 SVEM을 사용하여 이것을 모델링하려는 경우 가장 먼저 눈에 띄는 것은 30행의 데이터가 있다는 것입니다. 따라서 실제로 각 데이터 행을 복제했습니다. 약간 미친 것처럼 보일 수 있습니다. 속이는 것처럼 보일 수 있습니다. 이것은 SVEM 방법론의 핵심 요령입니다.
	여기에 몇 가지 추가 열이 있는 것을 볼 수 있으며 핵심은 이 유효성 검사 가중치입니다. 그래서 당신이 그것이 무엇을 의미하는지 볼 수 있도록 그것을 플롯 해 봅시다.
	데이터의 각 행, 각 실행에 대해 실제로 실행 쌍이 있으므로 첫 번째 실행은 여기에서 볼 수 있습니다.
	우리는 실제로 이러한 각 실행에 0인 훈련 세트 또는 1인 검증 세트에 가중치를 부여하고 있습니다. 각 쌍에 대해
	이러한 가중치는 반비례합니다. 예를 들어 여기에서 7번을 실행하면 교육에서 가중치가 높고 검증 세트가 0이고 검증 세트에서 그에 따라 가중치가 낮다는 것을 알 수 있습니다.
	이제 그것들이 무작위로 할당되었고 우리는...
	여기를 클릭하면 가중치를 다시 할당할 수 있도록 다시 그릴 수 있습니다. 그리고 다시 행이 훈련 세트에서 무거운 가중치를 갖는 경우, 예를 들어 여기에서 행 번호 6이 훈련 세트에서 무거운 가중치를 가지면 그에 따라 검증 세트에서 낮은 가중치를 갖게 됩니다.
	그래서 여기에서 데이터 행을 두 배로 늘리고 있습니다.
	그리고 우리는 이것을 자체 검증에 사용할 것입니다. 따라서 우리가 실제로 할 수 있는 것은 홀드백 유효성 검사에 대한 변형을 사용할 수 있다는 것입니다.
	한 행의 데이터를 유효성 검사 세트로 완전히 보류하는 대신 각 데이터 행의 일부를 보류하여 각 행이 실제로 교육 세트와 유효성 검사 세트 내에 있을 수 있도록 합니다. 이러한 가중치를 재할당할 수 있습니다.
	앙상블 모델링과 관련하여 반복적으로 수행됩니다.
	자, 요약하자면 우리는 기본적으로 데이터의 각 행을 복제했고 일부 행은 훈련에 더 많이 들어가고 일부는 훈련에 더 많이 들어가도록 가중치를 할당했습니다. 검증 세트.
	이제 유효성 검사를 사용하여 모델을 맞출 수 있습니다.
	여기에서 GenReg를 사용하고 있고 유효성 검사 세트를 사용하고 있음을 알 수 있습니다(그리고 거기에 있는 오류 메시지는 무시하세요).
	우리는 Lasso를 사용하고 있으며 검증을 모델 선택으로 사용하고 있습니다. 그리고 이 경우 실제로 모델에서 활성 효과를 선택하지 않았습니다. 따라서 반응 표면 모델에 적합하고 올가미를 사용하여 선택 방법으로 유효성 검사를 사용했습니다.
	그리고 우리는 어떤 효과도 실제로 활성화되어 있지 않다고 판단했으므로 사실상 활성 영향이 없는 모델이 있습니다.
	그런 다음 수행할 수 있는 작업은 해당 가중치를 다시 그리는 것이므로 열에 가중치를 다시 적용할 수 있습니다.
	이번에는 다른 모델을 얻게 됩니다. 따라서 실제로 일부 효과가 활성화되어 실리카와 황 사이의 상호 작용에서 실리카가 활성화됩니다.
	해당 모델을 저장해 보겠습니다.
	그래서 지금 우리와 함께
	데이터 테이블에 저장된 모델 수식 열이 있는 것을 볼 수 있습니다.
	그 가중치를 다시 그려봅시다. 그래서 다시 우리는 다시 그립니다. 일부 행은 훈련에 더 많이 포함되고 일부 행은 유효성 검사에 더 많이 포함됩니다.
	그리고 우리는 다시 다른 모델을 얻었고 지금 그것을 저장합시다. 그래서 우리는 지금
	저장된 예측 공식이 있는 두 행...두 열.
	그리고 우리는 그것을 다시 할 수 있습니다. 가중치를 다시 그리고 예측 공식을 저장하겠습니다. 나는 우리를 위해 그것을 하는 대본을 가지고 있습니다. 그런 다음 실제로 이 모델 평균을 생성하므로 저장된 세 모델의 평균을 구했습니다.
	따라서 각 개별 모델은 서로 다른 검증 가중치를 사용했습니다.
	각 모델은 달랐고 일부는 다른 것보다 낫습니다. 핵심은 우리가 그것들을 함께 평균할 때,
	그 평균은 지금까지 최고의 모델입니다. 그래서 이것이 실제로 우리가 표준에 표준 방법을 사용하여 장착한 원래 모델에 매우 가깝게 보이는 것을 볼 수 있습니다...
	원본 데이터 세트.
	그리고 우리는 이것을 계속할 수 있습니다. 우리는 이것을 10번 이상 할 수 있으므로 그것을 반복할 것입니다. 가중치를 다시 그리는 것을 볼 수 있습니다. 우리는 약간 다른 모델을 얻을 때마다.
	그리고 우리는 각각의 서로 다른 모델을 저장할 수 있습니다.
	그리고 궁극적으로 아마도 최고의 모델인 평균으로 끝납니다.
	그리고 실제로 이 데이터의 표준 분석에서 본 원래 모델과 비교하면
	두 모델이 실제로 거의 일치하는 것을 볼 수 있습니다.
	따라서 이 경우 이 자체 검증된 앙상블 모델링을 사용하면 표준을 사용할 때와 동일한 모델에 실제로 도달했습니다.
	선형 회귀.
	그래서 나는 당신이 거기에서 본 것의 핵심 포인트를 살펴보고 싶습니다. 그리고 제가 말했듯이 이 새로운 모델링 기술을 사용하려는 동기를 설명할 Pete와 Trent에 대해 설명하겠습니다.
	우리가 한 것은 원래 데이터 행을 복제한 것입니다.
	그런 다음 의미하는 바는 무작위 가중치를 적용하여 각 행 쌍이 훈련과 검증에 얼마나 있는지 말할 수 있다는 것입니다.
	이를 통해 유효성 검사를 사용할 수 있습니다. 그렇게 작은 데이터 세트에는 사용할 수 없습니다. 한 행의 데이터를 완전히 유지하는 것은 이치에 맞지 않지만 이 복제 세트로 할 수 있는 작업
	가중 유효성 검사를 받는 것입니다. 그래서 우리는 이 경우에 올가미 선택을 사용하여 모델을 적합시켰고 그 올가미 선택은 이 가중 검증 열을 사용했습니다.
	그런 다음 해당 가중치를 다시 그립니다. 해당 행 쌍에 다시 임의로 다른 가중치를 할당하고 모델을 다시 적합시킵니다. 그리고 우리의 경우에는 이 과정을 10-15번 반복했지만 실제로는 자체적으로 검증된 좋은 앙상블 모델을 얻으려면 이 과정을 100번 이상 반복해야 합니다.
	그리고 각 모델은 그 자체입니다... 해당 반복 프로세스의 각 단계에서 각 개별 모델은 특별히 유용하지 않지만 모델 평균 또는 앙상블은 우리가 모든 반복의 평균으로 달성한 최종 모델에서 본 것처럼 유용합니다. .
	이제 Pete에게 넘겨주고 사례 연구를 통해 이야기할 것입니다. 실제로 이와 같은 데이터 모델링에 이 특이한 방법을 사용하려는 이유를 실제로 보여줍니다.
피터 허쉬	감사합니다, 필. 계속해서 여기에서 내 화면을 공유하겠습니다.
	그리고 우리가 할 수 있는 경우에 대한 예를 살펴보겠습니다.
	이 방법을 사용하십시오. 그래서 여기 있어요
	결과를 먼저 살펴보고 매우 작은 DOE인 몇 가지 설계를 살펴보고 있습니다. 즉, 3개의 요인이 있는 6런, 8런, 10런 DOE입니다.
	이것들은 본질적으로 과포화 내지 포화 상태인 반응 표면 설계이며 모두 최적의 설계이므로 실행 횟수가 매우 적습니다.
	여기에서 우리의 목표를 달성하기 위해. 그래서 이것이 우리가 갈 곳입니다. 다시 돌아가서 디자인에 대해 이야기하고 어떻게 여기까지 왔는지 이야기해 봅시다.
	그래서.
	이것은 다양한 영양소 조합을 조정하여 미생물의 성장률을 최대화하려는 사례 연구입니다. 이전에 언급한 것처럼 초포화 I 최적 설계를 사용하고 실행 횟수를 조정하고 있습니다.
	그리고 이것은 모든 2차 방정식뿐만 아니라 모든 주요 효과가 활성화된 시뮬레이션 데이터입니다.
	이것이 어떻게 설정되었는지, 우리는 세 가지 요소로 시작했습니다. 내 모델을 디자인했습니다. 이전에 JMP에서 포화 또는 과포화 설계를 설계한 적이 없다면
	이를 수행하는 방법은 가능한 한 주요 효과가 아닌 효과를 처리하고 모델 효과를 수행할 때 더 적은 실행 또는 동일한 양의 실행을 허용하는 것입니다. 그런 다음 거기에서 내 디자인을 생성했습니다.
	그리고 이 과정을 거쳤고 Phil은 데이터를 리샘플링하고 역비례 가중치를 얻는 과정을 아름답게 설명했습니다. 이 과정의 핵심입니다.
	우리는 이미 몇 가지 대화를 나눴고 저는 그것들에 대한 QR 코드만 가지고 있습니다.
	이 기법은 Chris Gotwalt와 Phil Ramsey가 개발했으며 이전 몇 차례 대화에서 이 기법을 소개했습니다. 그리고 이 마지막
	QR 코드는 이전 버전의 JMP에서 이 검증 열을 설정하는 추가 기능입니다. JMP 16부터는 기본적으로 소프트웨어에서 이 작업을 수행할 수 있지만 JMP 15가 있는 경우 이 추가 기능 설정을 사용해야 합니다.
	그리고 Phil이 말했듯이
	개별 모델은 데이터에 잘 맞지 않을 수 있으며 일부는 잘 맞고 일부는 용어가 없습니다.
	그러나 이것은 각 개별 모델을 볼 수 있는 여기의 예를 살펴보는 것입니다. 일부는 절편일 뿐이고, 일부는 잘 맞지 않으며, 간헐적인 모델은 꽤 잘 수행됩니다.
	그리고 이것은 Phil이 설명한 것과 같습니다. 이들 각각은 다시 계산된 가중치가 다릅니다. 그래서 우리는 약간 다른 모델을 얻었고 계속해서 그것들을 저장할 것입니다. 이것이 첫 번째 단계입니다.
	그런 다음 다음 단계는 해당 모델의 평균을 구하는 것입니다. 보시다시피 이러한 모델, 점점 더 많은 모델의 평균을 내면서 모델 적합도가 점점 더 좋아집니다. 따라서 개별 모델은 훌륭하지 않지만 전체 평균 모델은 우리에게 적합합니다.
	마지막으로 말씀드리고 싶은 것은 이러한 모델은 본질적으로 편향되어 있다는 것입니다. Phil이 만든 첫 번째 모델에서 보았듯이 거기에는 활성 효과가 없었습니다. 그래서
	모델을 사용하여 일부 모델 또는 변수 선택 기술을 수행할 때 특정 변수가 입력되지 않는 모델을 가끔 얻을 수 있습니다.
	따라서 여기 이 분포를 보면 알 수 있습니다.
	이 모든 것은 활성 효과이며 효과 크기인 5 정도의 분포를 가지고 있지만 여기 아래에 0인 막대도 있습니다.
	그래서 우리는 이것을 상쇄하기 위해 0을 얻는 만큼 자주 효과를 과대평가하지 않을 것입니다. 그래서 이것은 더 낮은 값으로 편향될 것입니다.
	이러한 모델의 편견을 없애기 위한 작은 트릭입니다. 여기서 우리는
	이 모델을 최소 제곱 모델의 예측 변수로 취급하면 편향이 제거됩니다. 이 프로세스를 통해 그 방법을 보여 드리겠습니다.
	그러나 결국 우리는 매우 적은 수의 실행으로 공유한 매우 좋은 결과를 얻습니다. SVEM을 사용하는 동기는 이 기술을 사용하지 않고 할 수 있는 것보다 더 적은 실행으로 적절한 모델을 예측하고 만드는 능력입니다.
	이제 JMP로 넘어갑시다.
	그리고
	그 과정을 거칩니다.
	자, 여기 제가 보여드린 예의 6회 실행 DOE가 있습니다. 여기에 세 가지 요소와 성장률이 있습니다. 모델을 만든 후의 모습입니다.
	이것이 보이는 것입니다. 그리고 우리는 지금 통과하고 실행했습니다. 따라서 6개의 결과와 함께 6개의 실행이 있습니다. 다음 단계는 유효성 검사 열을 만들고 JMP 내에서 수행하기 위해 예측 모델링을 분석하는 것입니다.
	유효성 검사 열을 만든 다음 유효성 검사 열 대신 자동 유효성 검사 테이블을 만들 것입니다.
	좋아요, 그래서 제가 이 일을 한 방법입니다. 나는 이미 그 일을 겪었고, 그래서 그 과정을 반복하지 않을 것이다.
	그러나 Phil이 보여준 것처럼 다시 샘플링된 데이터와 역으로 상관된 가중치가 있는 데이터가 있습니다. 반복 실행의 낮은 가중치와 결합된 높은 가중치가 있습니다. 이 작업을 완료한 후 모델을 작성합니다.
	이 경우 GenReg 모델을 사용했으며 변수 선택 기술 중 하나를 선택하려고 합니다. 계속해서 이것을 실행하면 정방향 선택 올가미와 같은 작업을 수행하고 싶습니다.
	또는 그러한 선택 기술 중 하나. 그리고 Trent는 이러한 선택 기술과 그들이 조사한 기술에 대해 자세히 설명할 것입니다.
	따라서 모델을 실행한 후 JMP가 실행되어 활성화된 일부 효과를 선택했음을 알 수 있습니다. 일부는 잡혔지만 여기에서 볼 수 있습니다.
	우리가 보고 있는 바이어스, 이 두 가지 주요 효과가 활성화되어야 하지만 0으로 나왔습니다. 그래서 이것을 데이터 테이블에 저장하면
	Phil이 보여준 것처럼 새 열을 만든 다음 해당 가중치를 다시 계산하고 반복해서 수행합니다. 이 작업을 100번 수행하는 간단한 스크립트가 있습니다.
	우리는 이것을 공유하게 되어 기쁩니다. 스크립트, 모델 스크립트를 여기에 복사하여 붙여넣고 여기에서 수행한 작업을 재현하는 것은 매우 쉽습니다.
	자, 여기 최종 결과가 있습니다. 여기서 DOE와 결과를 검토한 다음
	내가 저장한 100개의 모델
	그리고 여기에 숨겨져 있습니다. 그리고 최종 모델인
	해당 모델 100개 모두의 평균입니다. 그리고 우리가 하고 싶은 마지막 단계는 편향성 제거 단계입니다. 그래서 우리가 할 일은 이것을 치료하는 것입니다.
	성장률에 대한 예측 변수로서의 평균 모델.
	여기에서 우리가 가지고 있는 원래 모델을 볼 수 있습니다.
	경사가 훨씬 더 가파르므로 적절한 R 제곱을 얻었지만 우리가 기대했던 것만큼 좋지는 않습니다. 내 말은, 심지어 6개의 실행이 있더라도 이것은...6개의 실행이 꽤 적합하지만
	편견을 없앨 수 있다면 조금 더 잘할 수 있을지도 모릅니다. 정말 간단한 설정. 우리는 단지 성장률을 취합니다. 우리의 응답은 Y입니다. 우리는
	여기에 있는 앙상블 모델은 이들 모두의 평균입니다.
	개별 모델을 예측 변수로 사용합니다. 우리는 이것을 실행하고 결과를 얻습니다. 예측된 플롯에 의해 훨씬 더 나은 실제임을 알 수 있습니다. 그리고 거기에서 비교를 실행하면 편견을 제거하는 것이 긍정적인 방향으로 큰 영향을 미친다는 것을 알 수 있습니다.
	맞아 그래서 Trent에게 돌려주기 전에 하나 더 보여주고 싶었어
	기본적으로 요약된 내용입니다.
	우리가... (내 작업 표시줄을 잃어버렸습니다.)...우리는 여러분이 사용하도록 강력히 권장합니다.
	이 기술을 확인하십시오. 그러나 모든 상황에서 항상 작동하는 마법 기술은 아닙니다. 그러나 심사 디자인과 이와 같은 것에서 이것을 확인할 때 이것은 매우 좋은 기술이 될 수 있습니다.
	표준 모델링 기술로는 할 수 없었던 작업을 수행하는 데 도움이 됩니다. 그리고 그것으로 나는 그것을 가지고 있는 Trent에게 그것을 넘길 것입니다.
	이 작업이 수행되는 방법과
	거기에 정보. 그래서 트렌트, 가져갈래?
트렌트 렘커스	네, 고마워요, 피터. 알겠습니다.
	그래서
	나는 내 것을 공유하고 있다
	PDF. 나는 그것이 실제로 공유되고 모든 사람이 그것을 볼 수 있는지 확인하고 싶습니다.
피터 허쉬	네.
트렌트 렘커스	좋아요 환상적입니다. 그래서
	Phil과 Peter가 제시한 사례 연구는 SVEM의 힘과 SVEM을 언제, 왜 사용해야 하는지를 보여주는 경이로운 일화라고 생각합니다.
	현재 피어 리뷰 프로세스에 있는 연구 논문을 위해 우리가 수행한 것은 SVEM이 예측 설정에서 어떻게 수행되는지 경험적으로 보기 위해 과도한 양의 시뮬레이션 연구를 수행한 것입니다. 그래서
	다음...보여줄 일련의 슬라이드가 있습니다. 조금 지루하고 건조하게 보일 수 있다는 것을 알지만 세부 사항을 논의하는 것이 필수적이라고 생각합니다.
	조금 더 재미있는 것으로 들어가기 전에 우리가 어떻게 사용했는지에 대한 예입니다...
	JMP, JSL을 어떻게 사용했는지, 시뮬레이션을 예시로 어떻게 실행했는지, 그리고 결과뿐만 아니라 일부 출력이 어떻게 보이는지 보여줍니다.
	따라서 무엇보다도 시뮬레이션 연구의 개요와 목표는 주로
	우리는 실제 시뮬레이션 아키텍처를 만들고 싶었습니다. 그래서 우리는 시뮬레이션이 실제 산업 DOE를 가능한 한 인간에 가깝게 모방하기를 원했습니다.
	두 번째로, 우리는 현대 모델 구축 또는 현대 모델 선택 기술과 SVEM이 주로 순수 예측에 초점을 맞출 때 어떻게 수행되는지 확인하고 싶었습니다.
	평범하고 단순합니다. 그래서 우리는 모델을 설계에 맞출 때 모델이 어떻게 진실 또는 홀드아웃 데이터 집합을 예측하는지 또는 내 억양, 데이터를 변명하는지 확인하고 싶었습니다.
	그리고 이것으로부터 우리가 이러한 고유한 실행을 가능한 한 많이 시뮬레이션할 수 있다면 계산적으로 실현 가능합니다. 우리는 실제 결과를 추론하고 싶습니다...우리는 만들고 싶습니다...실제 결과를 가능한 한 가깝게 추론하여 ~할 수 있다
	SVEM은 초기 단계이기 때문에 설정과 SVEM을 사용하는 위치와 방법을 규정합니다.
	그래서 무엇보다도 시뮬레이션에 어떤 디자인을 사용했습니까? 확정 선별 설계를 사용했습니다.
	그리고 Box-Behnken 설계를 사용했는데 여기서 우리 설계의 기본 실제 생성 모델은 완전 2차 모델 또는 구어체로 2차 모델로 알려져 있습니다. 그리고 우리가 이러한 디자인을 선택한 이유는 A) 최종 선별 디자인의 경우
	주 효과가 많을수록 모델이 더 포화되고 과포화됩니다. 즉, 자유도가 훨씬 낮아지고 주 효과가 높아집니다. Box-Behnken 디자인에 우리가 사용한 주요 효과가 있는 반면,
	당신은 그 시나리오에 빠지지 않습니다. 그래서 우리는... 우리는 두 시나리오 사이에 병치를 가지고 있습니다.
	모델 선택 기법을 적용할 때 계수를 추정하기 위해 Box-Behnken 설계의 적절한 자유도와 확정 선별 설계 사례에서 거의
	대부분의 경우 설계가 매우 포화 상태였기 때문에 자유도가 충분하지 않았습니다. 즉, 간단히 말해서,
	올가미, Dantzig 선택기 등과 같은 전방 선택과 같은 최신 모델 작성 기술을 사용할 때 모든 효과를 예측할 수 없습니다.
	시뮬레이션에 사용한 실제 모델 알고리즘이 무엇인지 알 수 있습니다. 따라서 SVEM 모델의 경우 다음 사항을 염두에 두십시오.
	SVEM이 무엇인지 제대로 이해하지 못했다면 Peter가 언급한 이전 프레젠테이션으로 돌아가는 것이 매우 중요합니다.
	그러나 시뮬레이션 연구에 사용하는 정방향 선택, 정방향 가지치기 및 올가미와 같은 기본 모델 구축 기술과 함께 SVEM을 사용해야 합니다.
	비 SVEM 모델 사례에서는 동일한 모델 구축 알고리즘을 사용하지만 DOE에서 꽤 인기 있는 Dantzig Selector도 통합했습니다.
	뿐만 아니라 결정적 선별과 전적으로 밀접한 적합 확정적 선별 설계; 다른 디자인에는 사용되지 않습니다.
	게다가, 우리는 AICc 또는 수정된 AIC라는 정보 기준을 사용합니다. 이것은 DOE에서 매우 일반적이며 실제로는 매우 간결한 모델을 선택하는 것으로 꽤 유명합니다.
	보시다시피 우리는 산업 DOE 사용에 매우 최신인 최신 기술을 통합하려고 노력하고 있습니다. 이 기술은 초기 슬라이드에서 보여드린 핵심...핵심 포인트를 고수하고 있습니다.
	우리는 시뮬레이션 연구를 통해 가능한 한 인간에 가까운 실제 세계를 모방하기를 원합니다.
	따라서 이러한 다양한 모델 구축 알고리즘이 어떻게 예측적으로 수행되는지 경험적으로 평가할 수 있습니다. 그리고 SVEM이 경험적으로 경쟁사를 능가하거나 능가한다는 것을 보여줄 수 있기를 바랍니다.
	따라서 실제 시뮬레이션 구조를 위해 각 모델 구축 알고리즘에 대해 1,000번의 시뮬레이션을 실행했습니다. 예를 들어, AICc로 포워드 모델을 피팅한다면,
	1,000회 실행마다 실제 모델인 진실을 생성한 다음 여기에 노이즈를 추가합니다.
	가우시안 노이즈(학계 및 연구 수행 시 매우 일반적임),
	그렇게 함으로써 트레이닝 세트를 생성하고 진실 세트를 생성하여 일단 모델을 맞추면 해당 모델이 진실에 대해 어떻게 예측하는지 볼 수 있습니다. 그리고 이러한 데이터 세트를 무작위로 1,000번 재실행하고 재생성합니다.
	SVEM 하이퍼파라미터는 자세히 설명하지 않겠습니다. 우리는 nBoot를 200으로 사용했습니다. 간단히 말해서 우리는 기본적으로 200개의 모델을 피팅했고 최종 SVEM 모델을 산출하기 위해 해당 모델의 평균을 구했습니다.
	디자인은 또한 여러 기능에 걸쳐 반복되었습니다. 따라서 주요 효과의 수는
	최종 선별 설계의 경우 4개의 주요 효과와 8개의 주요 효과가 있었습니다. Box-Behnken 설계의 경우,
	세 가지 주요 효과와 다섯 가지 주요 효과. 이것이 의미하는 바는 예를 들어 DSD의 경우입니다. 예를 들어 K가 8인 경우 8개의 주요 효과가 있습니다. 완전한 2차 모형이 있는 경우

 

탈주암사슴통계 및 모델링