756826_ko-KR

liliconcom

SVEM: DOE에 적용된 머신 러닝(2021-US-45MP-847)

Peter Hersh, JMP 수석 시스템 엔지니어, SAS
트렌트 렘커스, 뉴햄프셔 대학교 박사과정 학생
Phil Kay, JMP 학습 관리자

우리는 프로세스와 시스템을 이해하기 위해 실험을 설계합니다. 즉, 어떤 입력 요소를 제어해야 하고, 원하는 결과를 지속적으로 달성하기 위해 어떻게 제어해야 하는지 파악하기 위해서입니다. 통계적 실험 계획법(DOE)은 이러한 이해를 도출하는 모델을 구축하는 가장 효과적인 방법입니다. DOE를 통해 실험 노력을 통해 얻은 이해를 극대화할 수 있습니다.

하지만 이러한 방법을 사용하려면 효과 희소성, 효과 유전성, 활성/비활성 효과 등 특정 가정을 받아들여야 하는 경우가 많은데, 이는 해당 분야에 대한 우리의 지식과 경험과 항상 일치하지는 않습니다. 머신러닝 접근법은 이러한 과제 중 일부를 극복하고 추가 비용 없이 실험을 통해 더욱 풍부한 이해를 제공할 수 있을까요? 이것이 실험 설계 및 분석에 혁명을 가져올 수 있을까요?

이 강연에서는 혁신적인 자가 검증 앙상블 모델링(SVEM) 방법을 살펴봅니다. 애니메이션 시각 자료를 통해 소규모 데이터 세트에 부분 가중치를 적용하여 설계된 실험 모델 적합 시 자가 검증을 어떻게 지원하는지 확인할 수 있습니다. 또한, 이 검증 방법을 사용하여 구축된 앙상블 모델의 예측 강건성을 입증하는 엄격한 시뮬레이션 연구 결과도 확인할 수 있습니다. 또한, 과학자와 엔지니어가 SVEM을 사용하여 추가적인 노력 없이도 실험에 대한 이해도를 높일 수 있는 방법을 보여주는 사례 연구 사례도 제시합니다.

자동 생성된 대본...

스피커	성적 증명서
조던 힐러	외출.
필 케이	네, 함께해 주셔서 감사합니다. 저는 JMP의 학습 관리자 필 케이입니다. 이번 프레젠테이션을 SVEM(자체 검증 앙상블 모델링)의 인터랙티브 예시로 시작하겠습니다.
	저는 SVEM이 무엇이고 어떻게 작동하는지에 대한 메커니즘을 설명할 것이고 Pete와 Trent가 예를 공유할 것입니다.
	사례 연구와 시뮬레이션을 통해 왜 이런 작업을 해야 하는지 자세히 설명할 수 있습니다. 저는 이 내용을
	매우 간단한 사례 연구이므로 처음에는 왜 이렇게 해야 하는지 명확하지 않을 수 있지만, 제가 설명한 후에는 그 메커니즘을 이해하실 수 있을 겁니다.
	좋아요, 이제 영상을 멈추고 소프트웨어 데모에 집중하겠습니다.
	저희는 JMP 저널을 공유하고 있습니다. Community.JMP.com의 JMP 커뮤니티 게시물에서 접근할 수 있습니다.
	우리가 사용할 예시는 고전적인 실험 계획법(DOE) 예시입니다. 이는 JMP 도움말 파일에서 얻을 수 있는 바운스 데이터입니다.
	3개의 요인, 15개의 런입니다. Box-Behnken 디자인이고, 거기에 반응하는 스트레치가 있어서 정말 간단하고 표준적인 방식입니다.
	전통적인 구식 DOE.
	그리고 이 데이터를 모델링하는 데 실제적인 어려움은 없으며, 이 곡선적 행동, 이차적 효과, 그리고 중요한 것으로 밝혀진 요인들 간의 상호 작용을 반응 표면 모델에 적용하는지 확인합니다.
	그러면 SVEM 접근법을 사용하여 이를 어떻게 모델링할 수 있는지 살펴보겠습니다.
	SVEM을 사용하여 모델링할 경우, 가장 먼저 눈에 띄는 것은 30행의 데이터가 있다는 것입니다. 즉, 각 행을 실제로 복제한 것입니다. 다소 이상하게 보일 수도 있고, 부정행위처럼 보일 수도 있습니다. 이것이 SVEM 방법론의 핵심입니다.
	여기에 몇 개의 추가 열이 있는데, 핵심은 바로 검증 가중치입니다. 무슨 뜻인지 알 수 있도록 그래프로 표시해 보겠습니다.
	그래서, 각 데이터 행과 각 실행에 대해 실제로 실행 쌍이 있다는 것을 볼 수 있습니다. 실행 번호 1은 여기에서 볼 수 있습니다.
	실제로 우리는 이러한 각 실행에 가중치를 부여하여 훈련 세트(0) 또는 검증 세트(1)에 넣습니다. 각 쌍에 대해 다음을 확인할 수 있습니다.
	가중치는 반비례합니다. 예를 들어, 여기 7번 실행을 보면 훈련 가중치가 높고 검증 세트는 없으며, 그에 따라 검증 세트의 가중치도 낮습니다.
	이제 이것들은 무작위로 할당되었고 우리는...
	여기를 클릭하면 가중치를 재할당할 수 있도록 다시 그릴 수 있습니다. 또한, 훈련 세트에서 행의 가중치가 높으면(예를 들어, 여기 6번 행이 훈련 세트에서 가중치가 높으면) 검증 세트에서도 그에 상응하는 낮은 가중치를 갖게 됩니다.
	그러니 여기서는 데이터 행을 두 배로 늘리겠습니다.
	그리고 이것을 자체 검증에 사용할 것입니다. 따라서 실제로 할 수 있는 것은 보류 검증의 변형을 사용하는 것입니다.
	데이터 행을 검증 세트에 완전히 보관하는 대신 각 데이터 행의 일부를 보관하여 각 행이 실제로 훈련 세트와 검증 세트 내에 있을 수 있도록 하고, 중요하게도 해당 가중치를 다시 할당할 수 있습니다.
	반복적으로 수행하면 앙상블 모델링에 도움이 될 것입니다.
	좋아요, 요약하자면 우리는 기본적으로 각 데이터 행을 복제하고 각 행에 가중치를 할당하여 일부 행은 학습 세트에 더 많이 포함되고 일부 행은 검증 세트에 더 많이 포함되도록 했습니다.
	이제 검증을 사용하여 모델을 적합시킬 수 있습니다.
	여기서는 GenReg를 사용하고 있고, 검증 세트를 사용하고 있는 것을 볼 수 있습니다(그리고 오류 메시지는 무시하세요).
	라쏘를 사용하고 검증을 모델 선택으로 사용하고 있습니다. 이 경우에는 실제로 모델에서 어떤 활성 효과도 선택되지 않았습니다. 따라서 반응 표면 모델을 적합하고 검증을 선택 방법으로 사용했는데, 라쏘를 사용했습니다.
	그리고 우리는 실제로 활성화된 효과가 없다는 것을 확인했으므로, 효과적으로 활성화된 영향이 없는 모델을 갖게 되었습니다.
	그러면 우리가 할 수 있는 일은 가중치를 다시 그려서 열의 가중치를 다시 지정하는 것입니다.
	이번에는 다른 모델을 볼 수 있습니다. 실제로 일부 효과가 활성화되어 실리카와 황 사이의 상호작용에서 실리카가 활성화됩니다.
	해당 모델을 저장해 보겠습니다.
	그래서 지금, 우리의
	데이터 테이블을 보면 저장된 모델 수식 열이 있는 걸 볼 수 있습니다.
	가중치를 다시 그려 봅시다. 다시 한번 가중치를 다시 그려서, 어떤 행은 학습에, 어떤 행은 검증에 더 많이 할당되도록 합니다.
	그리고 우리는 다시 다른 모델을 얻었고 지금 그것을 저장해 보겠습니다. 그래서 우리는 이제
	두 행, 두 열에 예측 공식이 저장되어 있습니다.
	다시 할 수 있습니다. 가중치를 다시 그려서 예측 공식을 저장하겠습니다. 이 작업을 대신해주는 스크립트가 있습니다. 실제로 이 모델 평균을 생성해서, 저장된 세 모델의 평균을 구했습니다.
	그래서 각 모델은 서로 다른 검증 가중치를 사용했습니다.
	각 모델은 달랐고, 어떤 모델은 다른 모델보다 더 좋았습니다. 중요한 점은 이러한 모델들을 평균화했을 때,
	그 평균이 지금까지 가장 좋은 모델입니다. 따라서 표준 모델을 사용하여 표준 방법을 사용하여 학습한 원본 모델과 실제로 매우 유사해 보인다는 것을 알 수 있습니다.
	원본 데이터 세트.
	이 작업을 계속할 수 있습니다. 10번 반복할 수 있으니, 이 과정을 반복할 겁니다. 가중치를 다시 그리는 것을 보실 수 있습니다. 매번 약간씩 다른 모델이 나옵니다.
	그리고 우리는 각각의 다른 모델을 저장할 수 있습니다.
	그리고 궁극적으로는 아마도 가장 좋은 모델인 평균을 얻게 될 것입니다.
	그리고 실제로 우리가 이 데이터의 표준 분석에서 본 원래 모델과 비교한다면,
	두 모델이 실제로 매우 가깝게 일치한다는 것을 알 수 있습니다.
	따라서 이 경우 자체 검증된 앙상블 모델링을 사용하면 표준을 사용하여 얻을 수 있는 것과 동일한 모델에 도달하게 됩니다.
	선형 회귀.
	그럼, 여러분이 보신 내용의 핵심을 다시 한번 살펴보겠습니다. 그리고 말씀드렸듯이, Pete와 Trent에게 이 새로운 모델링 기법을 사용하고자 하는 동기를 설명해 드리겠습니다.
	우리가 한 일은 원본 데이터 행을 복제한 것이었습니다.
	그러면 각 행 쌍이 훈련에 얼마나 사용되는지, 검증에 얼마나 사용되는지에 대한 무작위 가중치를 적용할 수 있다는 뜻입니다.
	이렇게 하면 유효성 검사를 사용할 수 있습니다. 하지만 이렇게 작은 데이터 세트에는 이 기능을 사용할 수 없습니다. 데이터 행 전체를 보관하는 것은 의미가 없지만, 이 중복된 데이터 세트에는 다음과 같은 작업을 수행할 수 있습니다.
	가중치 검증을 하는 것입니다. 따라서 이 경우 올가미 선택을 사용하여 모델을 적합시켰고, 그 올가미 선택은 이 가중치 검증 열을 활용했습니다.
	그런 다음 가중치를 다시 그립니다. 각 행 쌍에 무작위로 다른 가중치를 할당하고 모델을 다시 적합시킵니다. 이 경우에는 이 과정을 10~15회 반복했지만, 실제로 좋은 자체 검증 앙상블 모델을 얻으려면 이 과정을 100회 이상 반복해야 합니다.
	그리고 각 모델은 그 자체입니다. 반복적 과정의 각 단계에 있는 개별 모델은 특별히 유용하지 않지만, 모델 평균이나 앙상블은 유용합니다. 우리가 모든 반복의 평균으로 달성한 최종 모델에서 보았듯이요.
	그럼, 이제 피트에게 넘겨드리겠습니다. 그는 사례 연구를 통해 이와 같은 특이한 방법을 사용하여 데이터를 모델링하는 이유를 실제로 설명할 것입니다.
피터 허쉬	고마워요, 필. 제 화면을 여기에 공유할게요.
	그리고 우리가 언제 그럴 수 있는지에 대한 예를 살펴보겠습니다.
	이 방법을 사용하세요. 그래서 여기 있습니다
	먼저 결과를 살펴보면, 우리는 매우 작은 DOE인 몇 가지 설계를 보고 있습니다. 즉, 3가지 요인을 사용한 6회 실행, 8회 실행, 10회 실행 DOE입니다.
	그리고 이것들은 본질적으로 초포화에서 포화에 이르는 반응 표면 설계이며 모두 최적 설계이므로 실행 횟수가 매우 적습니다.
	여기서 목표를 달성하기 위해서입니다. 자, 이제 우리가 나아갈 방향입니다. 자, 잠깐 돌아가서 디자인에 대해 이야기하고, 어떻게 여기까지 왔는지 알아보겠습니다.
	그래서.
	이 사례 연구는 다양한 영양소 조합을 조절하여 미생물의 성장률을 극대화하려는 것입니다. 앞서 언급했듯이, 과포화 I 최적 설계를 사용하고 실험 횟수를 조절하고 있습니다.
	그리고 이것은 모든 주요 효과가 활성화된 시뮬레이션 데이터이며, 모든 2차 효과도 활성화되어 있습니다.
	설정 방법은 다음과 같습니다. 세 가지 요인으로 시작했습니다. 저는 모델을 설계했습니다. JMP에서 포화 또는 초포화 설계를 설계해 본 적이 없다면,
	그렇게 하려면 주 효과가 아닌 효과들을 가능한 한 처리해야 하는데, 이렇게 하면 모델 효과와 같은 개수의 런을 사용하거나 더 적은 런을 사용할 수 있습니다. 그래서 저는 거기서 디자인을 생성했습니다.
	그리고 필이 아주 아름답게 설명한 대로, 데이터를 리샘플링하고, 이 과정에서 핵심이 되는 역비례 가중치를 구하는 과정을 거쳤습니다.
	이미 진행된 강연이 몇 개 있는데, 그 강연에 대한 QR 코드만 있습니다.
	이 기술은 Chris Gotwalt와 Phil Ramsey가 개발했으며, 두 사람은 이전 몇 차례 강연에서 이 기술을 소개했습니다. 그리고 이번 마지막 강연에서는
	QR 코드는 이전 버전의 JMP에서 이 검증 열을 설정하는 추가 기능이었습니다. JMP 16부터는 소프트웨어에서 기본적으로 이 기능을 사용할 수 있지만, JMP 15를 사용하는 경우에는 이 추가 기능 설정을 사용해야 합니다.
	그리고 Phil이 말했듯이, 그래서
	개별 모델은 데이터에 잘 맞지 않을 수도 있고, 괜찮게 맞는 모델도 있고, 아무런 용어가 없는 모델도 있습니다.
	하지만 여기서는 각 모델을 개별적으로 볼 수 있는 예시를 살펴보는 것에 불과합니다. 어떤 모델은 절편에 불과하고, 어떤 모델은 적합도가 매우 낮으며, 가끔은 꽤 좋은 모델도 있습니다.
	이건 필이 설명한 것처럼, 각각 재계산된 가중치가 다릅니다. 그래서 약간 다른 모델을 만들고, 그걸 저장해 보겠습니다. 이게 첫 번째 단계입니다.
	다음 단계는 이 모델들을 평균화하는 것입니다. 보시다시피, 모델들을 평균화할수록, 더 많은 모델들이 모일수록 모델의 적합도는 점점 더 좋아집니다. 개별 모델들은 좋지 않지만, 전체 평균 모델은 좋은 적합도를 보여줍니다.
	그리고 제가 마지막으로 말씀드리고 싶었던 것은 이러한 모델들이 본질적으로 편향되어 있다는 것입니다. 필이 만든 첫 번째 모델에서 보셨듯이, 거기에는 능동적인 효과가 없었습니다. 그래서
	모델에 어떤 모델이나 변수 선택 기법을 적용할 때, 가끔은 특정 변수가 포함되지 않은 모델을 얻게 됩니다.
	따라서 우리가 여기 이 분포를 살펴보면 다음을 볼 수 있습니다.
	이 모든 것은 활성 효과이고, 효과 크기인 5를 중심으로 분포합니다. 하지만 여기 아래에는 0인 막대도 있습니다.
	따라서 우리는 이를 상쇄하기 위해 0이 될 때까지 효과를 과대평가하지 않을 것이므로 이것은 더 낮은 값으로 편향될 것입니다.
	이러한 모델의 편향을 해소하기 위한 작은 요령은 다음과 같습니다.
	이 모델을 최소 제곱 모델의 예측 변수로 취급하면 편향이 제거됩니다. 그 방법을 보여드리기 위해 이 과정을 살펴보겠습니다.
	하지만 결국 아주 적은 횟수의 실행으로 제가 공유한 아주 좋은 결과를 얻었습니다. SVEM을 사용하는 이유는 이 기법을 사용하지 않을 때보다 적은 횟수로 예측하고 괜찮은 모델을 만들 수 있기 때문입니다.
	좋습니다. 그럼 여기 JMP로 넘어가 볼까요?
	그리고
	그 과정을 살펴보세요.
	좋아요, 제가 보여드린 예시의 6단계 DOE는 다음과 같습니다. 세 가지 요인과 성장률을 고려한 것입니다. 이건 모델을 구축한 후의 결과입니다.
	이렇게 생겼고, 지금까지 실행해 봤습니다. 이제 여섯 번의 실행과 여섯 번의 결과가 나왔습니다. 다음 단계는 검증 열을 만드는 것입니다. JMP 내에서 이 작업을 하려면 "예측 모델링 분석"으로 이동해야 합니다.
	검증 열을 만든 다음, 검증 열 대신 자동 검증 테이블을 만들겠습니다.
	좋아요, 이렇게 해 봤습니다. 이미 다 해 봤으니까, 이 과정은 반복하지 않겠습니다.
	하지만 여기 필이 보여준 것처럼 재샘플링된 데이터와 역상관 가중치가 적용된 데이터가 있습니다. 반복 실행에 대한 높은 가중치와 낮은 가중치가 결합된 것이죠. 이 과정을 거친 후, 모델을 만들어 보겠습니다.
	이 경우, GenReg 모델을 사용했고 변수 선택 기법 중 하나를 선택하려고 합니다. 따라서 이 모델을 실행하면 전진 선택 Lasso와 같은 작업을 수행하게 됩니다.
	또는 그런 선택 기법 중 하나일 수도 있습니다. 트렌트가 그 선택 기법들과 그들이 조사한 기법들에 대해 더 자세히 설명할 겁니다.
	모델을 실행한 후, JMP가 활성화된 효과 몇 개를 선택해 놓은 것을 볼 수 있습니다. 그중 일부는 발견되었지만, 여기서 확인할 수 있습니다.
	우리가 보고 있는 편향은 이 두 가지 주요 효과가 모두 활성화되어야 하지만 0으로 나타났습니다. 그래서 이것을 데이터 테이블에 저장하면
	Phil이 보여준 것처럼 새 열을 만들고 그 가중치를 다시 계산해서 반복할 겁니다. 이 작업을 100번 반복하는 간단한 스크립트는 다음과 같습니다.
	기꺼이 공유해 드리겠습니다. 스크립트나 모델 스크립트를 여기에 복사해서 붙여넣기만 하면 아주 쉽게 구현할 수 있습니다. 여기서 작업한 내용을 그대로 재현할 수 있습니다.
	좋습니다. 이제 DOE와 결과를 검토한 최종 결과를 보여드리겠습니다.
	내가 저장한 100개의 모델
	그리고 여기에 숨겨져 있습니다. 그리고 최종 모델은
	100개의 모델 모두의 평균입니다. 그리고 마지막으로 우리가 하고 싶은 것은 편향 제거 단계입니다. 그래서 우리가 할 일은 이것을 처리하는 것입니다.
	평균 모델을 성장률 예측 변수로 사용합니다.
	그래서 여기서 우리가 가지고 있는 원래 모델을 볼 수 있습니다.
	경사가 훨씬 가파르기 때문에 R 제곱은 괜찮은 편이지만, 우리가 기대했던 만큼 좋지는 않습니다. 6번의 런을 사용하더라도... 6번의 런은 꽤 잘 맞는 것 같지만
	그 편향을 없앨 수 있다면 좀 더 나은 결과를 얻을 수 있을 겁니다. 아주 간단한 설정입니다. 성장률을 구하고, 그 반응은 Y입니다.
	여기 앙상블 모델은 모든 것의 평균입니다.
	개별 모델을 예측 변수로 사용했습니다. 이 그래프를 실행하면 결과가 나오는데, 실제값과 예측값을 비교했을 때 훨씬 더 나은 결과를 얻을 수 있습니다. 그리고 여기서 비교를 실행해 보면, 편향을 제거하는 것이 긍정적인 방향으로 큰 영향을 미친다는 것을 알 수 있습니다.
	그래서 Trent에게 돌려주기 전에 하나 더 보여주고 싶었어요.
	여기 슬라이드는 기본적으로 요약일 뿐입니다.
	우리가... (작업 표시줄이 사라졌습니다)... 여러분이 사용하기를 강력히 권장합니다.
	이 기법을 확인해 보세요. 하지만 모든 상황에서 항상 효과가 있는 마법 같은 기법은 아닙니다. 하지만 스크리닝 디자인이나 이와 유사한 작업에서 이 기법을 활용한다면 매우 유용한 기법이 될 수 있습니다.
	표준 모델링 기법으로는 불가능했을 일들을 해낼 수 있도록 도와드리겠습니다. 이 글을 Trent에게 전달하겠습니다.
	이것이 어떻게 수행되는지에 대한 좀 더 자세한 내용과
	정보가 있어요. 트렌트, 그걸 없애고 싶은 거예요?
트렌트 렘커스	네, 고맙습니다, 피터. 정말 고맙습니다.
	그래서
	나는 내 것을 공유하고 있습니다
	PDF로요. 사실 공유되고 모두가 볼 수 있도록 하고 싶을 뿐입니다.
피터 허쉬	네.
트렌트 렘커스	좋아, 환상적이야. 그래서
	필과 피터가 발표한 사례 연구는 SVEM의 힘과 SVEM을 사용해야 하는 시기와 이유를 보여주는 놀라운 일화라고 생각합니다.
	현재 동료 심사를 진행 중인 저희 연구 논문을 위해 저희는 SVEM이 예측 환경에서 어떤 성능을 보이는지 실증적으로 확인하기 위해 엄청난 양의 시뮬레이션 연구를 수행했습니다.
	다음으로... 보여드릴 슬라이드가 몇 장 있습니다. 좀 지루하고 딱딱하게 느껴질 수도 있지만, 세부적인 내용만이라도 꼭 이야기하는 것이 중요하다고 생각합니다.
	좀 더 재밌는 이야기를 하기 전에, 우리가 어떻게 사용했는지에 대한 예를 하나 들어보겠습니다...
	JMP와 JSL을 어떻게 사용했는지, 그리고 예시로 시뮬레이션을 어떻게 실행했는지, 그리고 일부 출력과 결과가 어떻게 나타나는지 보여드리겠습니다.
	따라서 무엇보다도 우리 시뮬레이션 연구의 개요와 목표는 다음과 같습니다.
	우리는 실제 시뮬레이션 아키텍처를 만들고 싶었습니다. 그래서 시뮬레이션이 실제 산업 DOE를 인간적으로 가능한 한 가깝게 모방하기를 원했습니다.
	둘째, 우리는 순수 예측에 주로 초점을 맞출 때 현대 모델 구축 또는 현대 모델 선택 기술, SVEM이 어떻게 수행되는지 보고 싶었습니다.
	단순하고 간단합니다. 그래서 우리는 모델을 설계에 적용할 때, 참 데이터나 참이 아닌 데이터 집합, 아니, 억양 좀 바꿔서 말씀드리자면, 데이터에 대해 어떻게 예측하는지 보고 싶었습니다.
	그리고 이것으로부터 우리가 이러한 고유한 실행을 가능한 한 많이 시뮬레이션할 수 있다면, 우리는 가능한 한 실제 세계의 추론을 만들고 싶습니다... 우리는 가능한 한 실제 세계의 결과를 추론하고 싶습니다.
	SVEM은 아직 초기 단계이므로 설정을 지정하고 SVEM을 어디서 어떻게 사용할지 설명합니다.
	그렇다면 가장 중요한 것은 시뮬레이션에 어떤 설계를 사용했는가입니다. 확정적 스크리닝 설계를 사용했습니다.
	그리고 우리는 Box-Behnken 설계를 사용했는데, 이 설계의 근본적인 진정한 생성 모델은 완전 이차 모형, 즉 2차 모형으로 더 잘 알려져 있습니다. 우리가 이러한 설계를 선택한 이유는 A) 확정적 선별 설계의 경우,
	주효과가 많을수록 모델의 채도가 높아지고, 결국 과포화 상태가 됩니다. 즉, 주효과가 높아질수록 자유도가 훨씬 낮아집니다. 반면, 저희가 사용한 Box-Behnken 디자인에서는
	그런 시나리오에 직면하지 않습니다. 그래서 우리는... 두 가지 시나리오를 병치하게 되는데, 한 쪽에서는
	모델 선택 기술을 적용할 때 계수를 추정하기 위해 Box-Behnken 설계를 통해 충분한 자유도를 확보했으며 확정적 스크리닝 설계 사례에서는 거의
	대부분의 경우, 디자인이 지나치게 포화되어 자유도가 부족했습니다. 다시 말해,
	우리는 전방 선택, 라소, 단치히 선택기 등과 같은 현대 모델 구축 기술을 사용할 때 모든 효과를 추정할 수 없었습니다.
	이를 통해 시뮬레이션에 사용된 실제 모델 알고리즘을 알아낼 수 있습니다. SVEM 모델의 경우, 다음과 같은 점을 염두에 두십시오.
	SVEM이 무엇인지 잘 이해하지 못한다면 Peter가 언급한 이전 프레젠테이션 중 일부를 다시 살펴보는 것이 매우 중요합니다.
	하지만 우리는 전방 선택, 전방 가지치기, 라소와 같은 기본 모델 구축 기술을 갖춘 SVEM을 사용해야 합니다. 이는 우리가 시뮬레이션 연구에 사용하는 것입니다.
	SVEM이 아닌 모델 케이스에서는 동일한 모델 구축 알고리즘을 사용하지만 DOE에서 매우 인기 있는 Dantzig Selector도 통합했습니다.
	또한 확정적 스크리닝 설계는 확정적 스크리닝에만 적용되며 다른 설계에는 사용되지 않습니다.
	더욱이 우리는 AICc 또는 수정된 AIC라고 불리는 정보 기준을 사용합니다. 이는 DOE에서 매우 일반적이며 실제로 매우 인색한 모델을 선택하는 것으로 악명이 높습니다.
	따라서 보시다시피, 우리는 산업 DOE 사용에 있어서 매우 최신의 기술을 통합하려고 노력하고 있습니다. 이는 제가 초기 슬라이드에서 보여준 핵심... 핵심 요점에 집중하고 있습니다.
	우리는 시뮬레이션 연구를 통해 가능한 한 인간에게 가깝게 현실 세계를 모방하고자 합니다. 이를 통해 이러한 경험적...
	따라서 우리는 이러한 다양한 모델 구축 알고리즘이 예측 성능을 어떻게 발휘하는지 경험적으로 평가할 수 있습니다. 그리고 SVEM이 경쟁 알고리즘보다 더 나은 성능을 발휘한다는 것을 경험적으로 보여줄 수 있기를 바랍니다.
	실제 시뮬레이션 구조에 대해 각 모델 구축 알고리즘에 대해 1,000번의 시뮬레이션을 실행했습니다. 예를 들어, AICc를 사용하여 순방향 모델을 피팅한다면,
	1,000번의 실행을 통해 우리는 진정한 모델, 즉 진실을 만들어낸 다음, 거기에 노이즈를 추가하거나.
	가우스 노이즈(학계와 연구 수행 시 매우 흔함)
	이를 통해 훈련 세트와 진실 세트를 생성하여 모델을 학습시킨 후, 해당 모델이 진실 세트와 비교하여 어떻게 예측하는지 확인할 수 있습니다. 그리고 이 데이터 세트를 무작위로 1,000번 재실행하고 재생성합니다.
	SVEM 하이퍼파라미터에 대해서는 설명하지 않겠지만, nBoot을 200으로 사용했습니다. 간단히 말해서, 기본적으로 200개의 모델을 맞추고 그 모델의 평균을 내어 최종 SVEM 모델을 생성한 것입니다.
	디자인은 여러 기능에 걸쳐 반복되었습니다. 따라서 주요 효과의 수는
	최종 스크리닝 설계의 경우, 4가지 주요 효과와 8가지 주요 효과가 있었습니다. Box-Behnken 설계의 경우,
	세 가지 주효과와 다섯 가지 주효과가 있습니다. 예를 들어, DSD의 경우 K가 8이면 주효과가 8개입니다. 완전한 이차 모형을 사용하면

고급 통계 모델링기본 데이터 분석 및 모델링소비자 및 시장 조사실험 설계대량 맞춤화예측 모델링 및 머신 러닝품질 및 공정 엔지니어링신뢰성 분석결과 공유 및 전달