756636_ko-KR

liliconcom

실험 설계 및 분석 재고? (2021-EU-30MP-776)

Phil Kay, JMP 수석 시스템 엔지니어, SAS
Peter Hersh, SAS JMP 기술 활성화 엔지니어

과학자와 엔지니어는 프로세스와 시스템을 이해하고, 중요한 요인을 찾아내고, 유용한 모델을 통해 최적화 및 제어하기 위해 실험을 설계합니다. 통계적 실험 설계는 실험 노력을 통해 더 많은 결과를 얻고 문제를 더 빠르게 해결할 수 있도록 해줍니다. 하지만 이러한 방법을 실제로 구현하려면 일반적으로 특정 가정(효과 희소성, 효과 유전성, 활성 또는 비활성 효과 등)을 수용해야 하는데, 이러한 가정은 해당 분야의 지식과 경험에 항상 부합하는 것은 아닙니다. 머신 러닝 접근법은 이러한 과제 중 일부를 극복하고 추가 비용 없이 실험을 통해 더욱 풍부한 이해를 제공할 수 있을까요? 이것이 실험 설계 및 분석의 혁명이 될 수 있을까요?

본 강연에서는 Chris Gotwalt와 Phil Ramsey가 개발한 자동 검증 기법을 활용하여 산업 실험 분석을 수행할 때 얻을 수 있는 잠재적 이점을 살펴봅니다. 중요한 효과를 선별하고 예측 및 최적화 모델을 구축하는 데 있어 기존 도구와 자동 검증 기법을 비교하는 사례 연구를 제시합니다.

Q&A에서 모든 질문에 답변할 수는 없었으므로 다음과 같이 말씀드리겠습니다.

가중치가 0~1 사이가 아닌 것 같은데, 어떻게 생성되는 건가요?

"분수 가중치"를 적용합니다. 이것이 이 방법을 가능하게 하는 핵심 요소입니다. JMP Pro의 Gen Reg에서는 Freq 역할에 이 기능을 사용합니다. JMP Pro 15용 이 추가 기능을 사용하면 가중치를 적용한 복제 표를 생성할 수 있습니다. 가중치 적용에 대한 심층적인 통계적 세부 사항을 설명하는 Chris Gotwalt와 Phil Ramsey의 발표를 추천합니다.

행을 복제하면 동일한 출력 결과가 나오는데, 이 복제의 목적은 무엇인가요?

네, 동일한 응답으로 중복됩니다. 하지만 그렇게 하고 분석을 진행하는 것은 좋지 않습니다. 여기서 중요한 혁신은 검증 세트의 한 부분에서는 가중치가 낮고 다른 부분에서는 가중치가 높도록 부분 가중치를 적용한다는 것입니다. 예를 들어, "훈련"에서 가중치가 낮은 실행은 "검증"에서 가중치가 높은 중복 쌍을 갖게 됩니다. 일부 중복 쌍은 훈련과 검증에서 가중치가 더 같을 수 있습니다.

이러한 가중치를 사용하여 각 실행에서 얼마나 많은 부분이 학습에 사용되고 얼마나 많은 부분이 검증에 사용되는지 결정하는 모델을 구축합니다. 그런 다음 가중치를 다시 작성하여 다른 모델을 구축합니다. 이 과정을 수백 번 반복합니다. 그런 다음 모든 모델의 결과를 사용하여 0이 아닌 비율에서 중요한 효과를 걸러내거나, 모든 개별 모델의 평균을 내어 유용한 모델을 구축합니다.

일반 JMP 15 버전에서 애드인을 실행할 수 있나요?

아마도 가능합니다. 추가 기능을 실행할 수는 있지만 분석에서 검증 열을 활용하려면 JMP Pro가 필요합니다. 이는 매우 중요합니다.

범주형 변수에서는 어떻게 작동하나요?

연속형 변수만 있는 예시를 제시했습니다. 어떤 모델이나 어떤 변수 유형에도 적용 가능하다는 점이 장점입니다.

이게 지금은 인정된 방법인가요?

한마디로, 아직은 아닙니다. 저희의 목표는 이 방법을 사람들에게 알리고, 이 방법을 탐구하고 비판적인 피드백을 제공할 의향이 있는 사람들을 자극하는 것입니다. 발표에서 분명히 밝혔듯이, 이 방법을 유일한 실험 분석으로 사용하지 않는 것이 좋습니다. 이 아이디어가 마음에 드신다면, 한번 시도해 보시고 다른 방법들과 어떻게 다른지 비교해 보세요.

그렇긴 하지만, 모델 평균화와 홀드백 검증이라는 개념은 대규모 데이터 상황에서는 이미 널리 알려져 있습니다. 이는 실험 설계를 위한 소규모 데이터 환경에서도 유용할 것으로 보입니다.

복제 단계를 수동으로 수행하시나요?

아니요, 이 작업은 JMP Pro 16의 애드인이나 플랫폼에서 자동 검증 설정의 일부로 수행됩니다. 중복 행은 직접 쉽게 생성할 수 있습니다. 더 어려운 부분은 부분 가중치를 설정하는 것인데, 이 부분이 없으면 분석이 제대로 작동하지 않습니다.

베이지안은 시뮬레이션(MCMC)을 많이 사용하는데, 사전 분포와 사후 분포를 통합하는 데도 적용될 수 있을까요?
아마도 그럴 겁니다. 부트스트랩 모델 평균화를 이용한 부분 가중치 검증의 일반적인 아이디어는 다른 많은 분야에도 적용될 수 있을 것입니다.

자동 생성된 대본...

스피커	성적 증명서
필 케이	좋아요, 실험 설계 및 분석 재고에 대해 이야기해 보겠습니다. 저는 글로벌 기술 활성화 팀의 학습 관리자 필 케이이고, 피트 허쉬와 함께합니다.
피터 허쉬	네, 저도 글로벌 기술 활성화 팀의 일원입니다. DOE와 오늘 우리가 탐구하고 있는 몇 가지 새로운 기술에 대해 이야기하게 되어 기쁩니다.
필 케이	그러니 가장 먼저 말씀드리고 싶은 건, 저희는 DOE의 열렬한 팬이라는 겁니다. 정말 멋진 기관이죠. 오랫동안 과학과 공학 분야에서 큰 가치를 제공해 왔습니다.
	그리고 그렇긴 하지만, DOE를 많은 시간 활용하기 위해서는 우리가 받아들여야 할 몇 가지 가정이 있습니다.
	과학자나 엔지니어로서 항상 큰 편안함을 느끼는 것은 아닙니다. 효과 희소성 같은 것, 즉 당신이 보고 있는 모든 것이 중요한 것으로 밝혀진 것은 아니라는 생각 같은 것 말입니다.
	그리고 실제로 실험하는 것 중 중요한 것으로 밝혀진 것은 몇 가지에 불과합니다. 아니면 유전에 영향을 미친다는 가정도 있습니다.
	즉, 우리는 더 단순한 형태로 활성화된 요인에 대해서만 복잡한 행동이나 고차원의 효과가 나타날 것으로 예상한다는 뜻입니다.
	그리고, 활성 효과와 비활성 효과에 대한 이러한 개념은 매우 일반적이며, 실험 설계의 순차적 과정은 활성 효과와 비활성 효과를 걸러내는 것입니다.
	그리고 그건 가끔 너무 이분법적인 결정처럼 느껴질 때가 있어요. 제 생각에는, 우리가 실험하는 것들 중 일부가 완전히 비활성적인 상태에서 작동한다는 생각은 좀 이상하게 느껴질 때가 많아요.
	사실, 우리는 모든 것이 어떤 영향을 미칠 거라는 걸 알고 있다고 생각해요. 덜 중요할 수도 있지만
	여전히 어느 정도 효과가 있을 겁니다. 그리고 이것들은 우리가 사용하는 가정에 크게 의존합니다.
	실험 횟수를 많이 할 여유가 없을 때 실험 설계의 어려움을 해결할 수 있죠. 네, Pete님, 이 부분에 대해서도 Pete님의 관점에서 말씀해 주실 수 있을지 모르겠네요.
피터 허쉬	네, 전적으로 동의합니다. 온도 같은 것이 비활성 상태라고 생각하는 건... 온도가 실험에 아무런 영향을 미치지 않는다고 생각하기는 어려울 것 같아요.
필 케이	네, 좀 터무니없죠, 그렇죠? 그래서,
	네, 그게 당신의 실험이라면, 그건 어떤 면에서는 항상 활성화되어 있겠지만, 다른 것들만큼 중요하지는 않을 수도 있겠네요.
	그래서 나는 바로 결과로 넘어가려고 합니다.
	우리가 살펴본 것 중 하나입니다. 그래서 우리는 Chris Gotwalt와 Phil Ramsey가 본질적으로 발명한 자동 검증 기술을 살펴보았습니다.
	그리고 그걸 설계된 실험 분석에 사용했는데, 정말 말도 안 되는 결과가 나왔습니다. 우리는 그게 가능할 거라고는 생각도 못 했습니다.
	그래서, 우선 13개의 활성 효과가 있는 시스템을 살펴보고 13회 실행 확정 스크리닝 설계를 분석했는데, 그 결과 13개의 효과가 활성 상태라는 것을 확인할 수 있었습니다. 즉, 포화 상태라고 할 수 있죠. 우리는...
	일반적으로 우리는 효과 희소성, 즉 실제로 중요하거나 활성화된 효과가 소수일 때 활성 효과를 식별하는 데 결정적 스크리닝 설계가 효과적이라고 이야기해 왔습니다. 하지만 이번에는 13개의 활성 효과를 모두 식별하는 데 성공했습니다.
	그뿐만 아니라, 이 13개 실행 확정적 스크리닝 디자인에서 13개의 모든 활성 효과를 포함하는 모델을 실제로 구축할 수 있었습니다.
	그러니까, 다시 한번 말씀드리지만, 이건 정말 놀라운 일이에요. 우리는 우리가 구축하고 있는 데이터 행만큼 많은 활성 효과를 가진 모델을 가질 수 있을 거라고 기대하지 않아요.
	그리고 피트, 당신은 다른 것들도 살펴보았고, 정말 흥미로운 결과도 얻었어요.
피터 허쉬	네, 물론이죠. 그리고 필의 결과는 정말, 정말 인상적이에요. 제 생각에는
	우리가 시도한 다음 단계는 실행보다 더 활동적인 효과를 내는 초포화 디자인을 만드는 것이었고 우리는 이것을 시도했습니다.
	매우 작은 DOE입니다. 즉, 7개의 활성 효과를 가진 6회 실행 DOE인데, 표준 DOE 기법으로 한다면 분석할 방법이 없습니다.
	제대로 말이죠. 그리고 우리는 그것을 8회 및 10회 실행 DOE와 비교하고 그것이 우리에게 얼마나 이득이 되는지 살펴보았습니다. 그래서 우리는 6회 실행 DOE에서도 상당히 유용한 모델을 얻었습니다.
	예상보다 좋았어요.
필 케이	네, 실제로 기대했던 것보다 훨씬 낫죠?
	그래서 우리는 정말 인상적인 결과를 얻었고 작은 것에서 엄청난 수의 활성 효과를 식별할 수 있는 능력을 얻었습니다.
	최종 화면 디자인을 완성하고 모든 활성 효과를 적용한 모델을 실제로 구축했습니다. Pete의 경우, 아주 작은 단위부터 7개의 활성 효과를 적용한 모델을 구축할 수 있었습니다.
	설계된 실험.
	그럼, 어떻게 했을까요? 자동 검증 방법은 어떻게 작동할까요? 머신러닝에서 아이디어를 차용한 것인데, 머신러닝의 정말 유용한 도구 중 하나가 바로 검증입니다. 홀드아웃 검증은 여러분이 빌드하는 동안
	가장 유용한 모델입니다. 즉, 견고한 모델이죠. 데이터의 일부를 공개하고, 이를 사용하여 우리가 구축한 다양한 모델을 테스트합니다.
	기본적으로, 우리가 제시한 데이터에 대한 가장 좋은 예측을 내리는 모델은 우리가 사용하는 모델이고, 실제로 시도되고 테스트된 모델입니다.
	사실 가장 유용한 모델을 구축하는 데는 거의 황금률이나 다름없지만, DOE에서는 그게 더 큰 과제잖아요, 피트? DOE는 그런 데에 별로 안 맞는 것 같아요.
피터 허쉬	네, 네, DOE의 핵심 아이디어는 최대한 효율적으로 설계 공간을 탐색하는 것입니다. 그리고 우리가 실행을 보류하거나
	실행 분석을 하면 우리는 그 디자인 공간의 일부를 놓치게 될 것입니다.
	실제로 우리는 확정적 스크리닝 설계와 같은 많은 DOE 기술을 사용해서는 이런 일을 할 수 없습니다.
필 케이	네, 맞아요. 그렇다면 이 홀드아웃 검증의 이점을 누리면서도 중요한 데이터를 홀드아웃하지 않아도 되는 방법이 있다면 좋겠네요. 자, 이제 자동 검증에 대해 이야기해 볼까요?
	아이디어가 있는데, 피트, 이게 어떻게 작동하는지 좀 설명해 줄래?
피터 허쉬	물론입니다. 이것은 Chris와 Phil Ramsey가 개발한 정말 똑똑한 아이디어였고 그들은 기본적으로 DOE에서 원래 데이터를 가져와 다시 샘플링합니다.
	결과를 반복합니다. 슬라이드 하단의 표에서 회색으로 표시된 부분은 흰색으로 표시된 부분과 동일한 결과입니다. 단지 반복된 것뿐입니다.
	그리고 그들이 이런 일을 하는 방법은 서로 짝을 이루는 가중치 열을 만드는 것입니다. 기본적으로, 한쪽의 가중치가 높으면
	반복되는 실행은 낮은 비율...가중치 등등을 갖습니다. 그리고 이것은... 이것은... 이 검증 및 가중치를 적용하여 데이터를 사용할 수 있게 해 줍니다. 이 작업이 어떻게 이루어지는지 좀 더 자세히 살펴보겠습니다.
필 케이	네, 데모를 진행해 보시면 어떻게 진행되는지 알 수 있을 겁니다. 기본적으로 이 방법론을 설명하기 위해 두 가지 시뮬레이션 사례 연구를 준비했습니다. 첫 번째 사례 연구에 대해 설명하겠습니다.
	이것이 시뮬레이션된 사례라는 점을 강조하고 싶습니다. 어떤 면에서는 비현실적인 사례일 수도 있지만, 이 방법론의 힘을 아주 잘 보여주는 사례라고 생각합니다.
	여섯 가지 요소가 있는데, 좀 더 실제적으로 보이게 하기 위해 생물학적 유기체를 키우고 성장 속도를 최적화하기 위해 시스템에 공급하는 영양소를 최적화하려는 사례 연구에서 몇 가지 실제 요소를 선택했습니다.
	이렇게 여섯 가지 영양소가 있고, 이것이 우리의 요인입니다. 이들을 다양한 양으로 추가할 수 있기 때문에, 저는 이 성장률 반응과 관련된 요인들을 탐색하기 위해 13회에 걸친 확정적 스크리닝 설계를 설계했습니다.
	그리고 반응 데이터는 제가 완전히 시뮬레이션했는데, 13개의 강력한 활성 효과가 있는 것으로 시뮬레이션했습니다. 그래서
	모든 주요 효과, 여섯 가지 주요 효과가 모두 활성화되도록 시뮬레이션했습니다.
	그리고 각각의 요소에 대해서도 이차 효과가 활성화되어 있으므로 이차 효과는 6개입니다.
	그리고 항상 추정해야 하는 절편이 있는데, 총 13개의 활성 효과가 있어서 시스템을 이해하는 데 중요합니다.
	1 신호 대 잡음비는 표준 방법론을 사용하여 모델링하는 데 여전히 어려운 문제입니다. 데모에서 이 문제를 다루겠습니다.
	그러니까, 진짜 질문은, 우리가 그 모든 중요한 효과들을 파악할 수 있을까요? 그리고 만약 가능하다면, 그 모든 중요한 효과들을 포함하는 모델을 구축할 수 있을까요? 제가 말씀드렸듯이, 그것은 정말 놀라운 일이 될 것입니다.
	표준 방법론으로 할 수 있는 것과 비교해보자.
	그럼 사례 연구 #2, 피트?
피터 허쉬	네, 물론입니다. 필의 사례 연구와 아주 아주 비슷해요. 생물체에 서로 다른 영양소를 서로 다른 수준으로 공급하고 성장 속도를 확인하는 아이디어도 똑같죠. 이 경우에는 필이 한 작업을 단순화해서 세 가지 영양소 요소로 나누었습니다. 그리고 이건
	다른 유형의 설계를 구축하고 있습니다. 즉, 전체 반응 표면을 살펴보는 I-최적 과포화 설계입니다.
	과포화 방식으로 6, 8, 10을 살펴보았습니다.
	디자인도 그렇고, 아이디어도 똑같아요.
	그
	효과는 매우 매우
	신호 대 잡음비가 높아서, 활성 상태인 효과를 정확히 구별할 수 있기를 원했습니다. Phil의 경우처럼, 이차방정식의 주효과와 절편을 활성 상태로 유지했고, 이 두 효과를 구별해 내려고 노력했습니다.
	동일한 아이디어입니다. 이러한 활성 효과를 확인하려면 얼마나 많은 실행이 필요하며, 이렇게 매우 작은 디자인으로부터 얼마나 정확한 모델을 만들 수 있을까요?
필 케이	네, 제가 말씀드렸듯이, 그렇게 작은 디자인에서 좋은 모델을 만들 수 있을 거라고 기대할 권리는 전혀 없으니까요.
피터 허쉬	네, 맞아요. 알겠습니다.
필 케이	그럼 이제 사례 연구 #1의 데모를 보여드리겠습니다.
	JMP 프로젝트를 통해 이 내용을 발표할 예정인데, 결과를 발표하기에 아주 좋은 방법이죠. 한번 시도해 보시는 걸 추천합니다.
	그리고 그것이 우리의
	설계, 이게 바로 13회 실행 확정 스크리닝 설계입니다. 여기서 영양소 요소를 다양하게 변화시키고, 시뮬레이션된 성장률 반응을 얻습니다. 제가 말씀드렸듯이, 시뮬레이션은 다음과 같이 진행되었습니다.
	주요 효과, 이 모든 요소의 2차 함수는 강력한 활성을 가지고 있으며, 더불어 이 절편을 추정해야 합니다.
	이제 확정적 스크리닝 설계를 통해 일반적으로 적합성 확정적 스크리닝을 분석 중 하나로 결과를 보는 방법으로 사용할 것을 권장합니다.
	이 효과는 희소성 원리가 참일 때 매우 잘 작동합니다. 따라서 몇 가지 효과만 강하게 활성이고 나머지는 중요하지 않은 한,
	그런 다음 몇 가지 중요한 효과를 찾아 중요하지 않은 효과와 분리합니다.
	하지만 이 경우에는 잘 작동할 거라고 기대하지 않았는데, 제대로 작동하지 않습니다. 여섯 가지 요소가 모두 활성화되어 있다는 것을 식별하지 못합니다. 사실, 여기서는 요소 중 하나만 활성화되어 있다고 식별합니다.
	그러니 크게 놀랄 일은 아닙니다. 이런 종류의 분석에는 너무 어렵고 도전적인 상황이거든요.
	만약 우리가 이러한 모든 활성 효과가 활성이라는 것을 어떻게든 알고 6가지 주효과, 6가지 2차 효과 및 절편을 모두 포함하는 모델을 적용하려고 한다면,
	그러면 포화된 모델입니다. 추정해야 할 매개변수의 수는 데이터 행 수만큼이므로, 모델을 거의 적합시킬 수는 있지만 통계량은 얻을 수 없습니다.
	그리고 어떤 경우든, 제가 이 데이터를 시뮬레이션했다는 사실 외에도 실제 상황에서는 어느 것이 활성화되어 있는지 알 수 없으므로 어떤 모델을 적용해야 할지도 알 수 없습니다.
	이제 자동 검증 방법을 사용하여 실제로 매우 설득력 있게 활성 효과를 식별할 수 있었고, 이를 어떻게 수행했는지 설명하겠습니다.
	이건 제 결과를 시각화한 것일 뿐입니다. 꼭 이렇게 시각화할 필요는 없습니다. 프레젠테이션용으로만 보여드리죠.
	우선, 인터셉트가 활성화되어 있다는 것을 확인할 수 있었습니다. 여섯 가지 주요 효과를 모두 파악했는데,
	그리고 제 2차 효과와 두 요인 상호작용은 효과가 없는 것으로 시뮬레이션했습니다. 보시다시피, 효과가 훨씬 낮습니다.
	다른 것들과 비교해서 말이죠. 그리고 사실 여기에는 우리가 사용하는 널(null) 계수가 있습니다... 그러니까 더미 계수죠. 그래서 널 계수보다 작은 것은 중요하지 않거나 비활성으로 선언할 수 있습니다.
	그리고 실제로 우리가 살펴보는 지표는 '영이 아닌 비율(proportion nonzero)'이라는 것입니다. 이 지표가 무슨 뜻인지는 이 과정을 살펴보면서 설명드리겠습니다. 효과의 강도나 중요성을 파악하기 위해 사용하는 지표입니다.
	제가 어떻게 이 과정을 진행했는지 간략하게 말씀드리겠습니다. 원래 13회 실행 확정적 스크리닝 디자인을 가져와서 자동 검증을 설정했더니 이제 복제된 행이 26개입니다.
	이런 작업을 할 수 있는 추가 기능이 있는데, 저희 동료인 Mike Anderson이 JMP 15에서 사용할 수 있는 추가 기능을 만들었습니다.
	JMP 16에서는 실제로 검증 열 플랫폼의 예측 모델링 도구에 해당 기능을 추가했습니다.
	그러면 우리는 데이터의 복제본 세트를 얻고, 가중치를 얻게 됩니다. Pete가 말했듯이 각 행은 훈련 세트와 검증 세트에 있습니다.
	훈련 세트에서 가중치가 낮으면 검증 세트에서도 가중치가 높아집니다. 따라서 훈련 세트에서 가중치가 높으면 검증 세트에서도 가중치가 낮아집니다.
	그리고 실제로 우리가 하는 일은, 우리가 읽는 것입니다... 이것들은 기본적으로 무작위로 할당되었습니다.
	우리는 그것들을 재할당했고, 수백 번 반복해서 모델을 피팅하고 여러 시뮬레이션 실행을 통해 집계된 결과를 살펴보았습니다. 그렇다면 어떻게 해야 할까요?
	모델을 맞추는 것이 목표이며, JMP Pro에서 GenReg를 사용하고 있습니다.
	그리고 어쨌든 JMP Pro가 필요할 겁니다. 이 검증 역할을 지정할 수 있어야 하니까요. 그래서... 학습 검증 열을 검증에 넣습니다.
	가중치는 빈도에 적용되고, 그 후 반응에 대해 평소처럼 다른 모든 것을 설정합니다. 그리고 모든 효과가 포함된 반응 표면 모델이 있는데, 여기서 "실행"을 클릭합니다.
	그러면 모델에 적합할 것이고, 전진 선택이나 라소(Lasso)를 사용할 수 있습니다. 여기서는 라소를 사용했습니다.
	이 경우에는 그렇게 중요한 것은 아닙니다.
	그리고 실제로 일어난 일은 이 경우에 중요한 것으로 절편만을 식별했기 때문에 모델에 절편만 포함시킨 것입니다.
	하지만 가중치를 변경하거나 데이터 테이블로 돌아가서 이러한 가중치를 다시 시뮬레이션하면 모델에서 다른 결과를 얻을 가능성이 높습니다.
	실험에서 다양한 데이터 행과 실행 횟수에 가중치를 부여하면 적합한 모델이 달라집니다. 따라서 이 작업을 수백 번 반복할 예정인데, 제가 할 일은 JMP Pro의 시뮬레이트 기능을 사용하는 것입니다.
	그래서 우리가 하는 일은 가중치 열을 바꾸고, 가중치 열을 재계산한 버전을 넣는 것입니다. 이 작업을 수백 번 할 수도 있습니다. 저는 이 경우 실제로 250번이나 했습니다. 1~2분 정도 걸릴 테니, 실제로 실행하지는 않겠습니다.
	그렇게 하면 이런 모양의 표가 생깁니다.
	이제 각 효과에 대한 250개 모델 각각에 대한 매개변수 추정치를 얻었습니다.
	제가 이번 실험에서 처음 시도한 모델에서는 이것이 이 구연산 주효과에 대한 매개변수 추정치였습니다. 다음 모델에서 가중치를 재표본화했을 때,
	구연산의 주효과는 모델에 반영되지 않았으므로, 그 경우에는 0이 됩니다.
	그리고 실제로 이 모든 매개변수 추정치에 대해 분포를 실행할 수 있습니다. 그리고 할 수 있는 일 중 하나는 다음과 같습니다.
	이 통계, 즉 요약 통계를 사용자 지정하여 0이 아닌 비율을 살펴보세요. 여기서 절편을 볼 수 있습니다.
	우리가 절편에 대해 가지고 있던 추정치입니다. 구연산의 경우, 많은 경우 절편이 0으로 추정되었기 때문에 모델이
	구연산의 주요 효과는 모델에 없었고, 대부분의 경우 약 3으로 추정되었는데, 제가 시뮬레이션한 바로 그 정도였습니다.
	그래서 우리가 살펴보는 건 0이 아닌 횟수의 비율인데, 그걸 이용해서 결합된 데이터 표를 만들 수 있습니다. 저는 이미 그렇게 했고, 조금...
	여기에 약간의 추가 보강이 있습니다. 방금 주요 효과인지 아닌지에 대한 열을 추가했고, 그렇게 해서
	여기 이 시각화가 있습니다. 따라서 여러분이 보고 있는 것은 각 효과가 0이 아닌 횟수의 비율입니다. 즉, 각 효과가 모든 모델에서 나타나는 횟수의 비율입니다.
	우리는 250번의 시뮬레이션을 수행했고, 이를 통해 분수 가중치를 재시뮬레이션했습니다. 그리고 이를 통해 다음을 식별합니다.
	활성 효과, 그리고 그게... 정말 놀라운 성과를 거두었습니다. 우리의 표준 방법으로는 불가능했던 것을 해낼 수 있었습니다. 13번의 실행에서 13개의 활성 효과를 확인했습니다.
	확정적 스크리닝 설계.
	이제, 다음으로 무엇을 하고 싶으신가요? 아마 이 모든 효과를 적용해서 모델을 실제로 만들어 보고 싶은데, 저는 이미 그렇게 할 수 있었습니다. 그리고 제가 여기에 맞춰 놓은 모델을 비교하고 있습니다.
	실제 시뮬레이션 반응과 비교해보면 얼마나 일치하는지 알 수 있습니다. 그래서 저는 이 모든 주효과, 이차함수, 그리고 절편을 사용하여 모델을 구축할 수 있었습니다.
	그래서 저는 13개 매개변수 모델을 얻었고, 그것을 13개 실행 확정형 화면 설계에 적용할 수 있었습니다. 이것 역시 놀라운 일입니다.
	그리고 제가 어떻게 그 부분에 도달했는지는 자세히 설명하지 않겠습니다. 이제 Pete에게 넘기겠습니다. Pete가 자체 검증 앙상블 모델이라는 개념에 대해 좀 더 자세히 설명할 겁니다.
피터 허쉬	물론이죠. 고마워요, 필. 어디 한번 볼까요? 제 화면을 여기 공유하고 이 프로젝트를 살펴보도록 할게요. 그럼
	여기서 볼 수 있어요
	같은
	Phil처럼 흐름, 우리는 여기 프로젝트를 보고 있고 나는
	6개의 실행으로 시작하여 과포화된 DOE를 얻었고 여기서 볼 수 있듯이 3개의 요소가 있습니다.
	내 실제 기본 모델 성장률이 얼마인지, 그리고 시뮬레이션된 성장률이 얼마인지, 그리고 Phil이 언급한 것처럼
	저는 이 자동 검증 열을 생성하는데, 마이크 앤더슨이 개발한 JMP 15의 추가 기능을 사용하면 됩니다. 또는 JMP 16에서는 소프트웨어에 내장되어 있으며, 분석 예측 모델링 플랫폼의 검증 열 만들기에서 확인할 수 있습니다.
	필이 보여준 것처럼, 그는 어떤 요인이 활성인지, 즉 요인 스크리닝을 통해 어떻게 찾을 수 있는지에 대한 훌륭한 예시를 보여주었습니다. 이것이 DOE의 주요 목표이지만, 한 걸음 더 나아가 이를 바탕으로 모델을 구축하고 싶다면,
	같은 과정을 거치게 되죠. DOE를 만들고, DOE에 자동 검증을 추가하고, Phil이 보여준 것처럼 일반화 회귀와 다음 중 하나를 사용하여 모델을 구축합니다.
	변수 선택 기법입니다. 필 램지와 크리스 갓월트는 이러한 다양한 기법들을 검토했는데, 모두 상당히 효과적인 것으로 보입니다. 따라서 올가미를 사용하든, 2단계 전진 선택을 사용하든 모두 비슷한 결과를 보이는 것으로 보입니다.
	꽤 잘 작동합니다. 따라서 이것을 설정하고 실행하면 Phil이 보여준 것과 같은 모델을 얻게 되고 이러한 모델 중 일부는

고급 통계 모델링기본 데이터 분석 및 모델링소비자 및 시장 조사데이터 블렌딩 및 정리데이터 탐색 및 시각화실험 설계대량 맞춤화예측 모델링 및 머신 러닝품질 및 공정 엔지니어링신뢰성 분석결과 공유 및 전달