349240_ko-KR

liliconcom

실험 설계 및 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

레벨: 중급

 

Phil Kay, JMP 선임 시스템 엔지니어, SAS
Peter Hersh, JMP 기술 지원 엔지니어, SAS

 

과학자와 엔지니어는 프로세스와 시스템을 이해하기 위해 실험을 설계합니다. 중요한 요소를 찾고 유용한 모델을 사용하여 최적화하고 제어합니다. 실험의 통계적 설계를 통해 실험 노력으로 더 많은 일을 할 수 있고 문제를 더 빨리 해결할 수 있습니다. 그러나 이러한 방법을 실제로 구현하려면 일반적으로 도메인에 대한 지식과 경험이 항상 만족스럽지 않은 특정 가정(효과 희소성, 효과 유전, 활성 또는 비활성 효과 포함)을 수용해야 합니다. 기계 학습 접근 방식이 이러한 문제 중 일부를 극복하고 추가 비용 없이 실험을 통해 더 풍부한 이해를 제공할 수 있습니까? 이것이 실험 설계 및 분석의 혁명이 될 수 있을까요?

이 강연에서는 Chris Gotwalt와 Phil Ramsey가 개발한 자동 검증 기술을 사용하여 산업 실험을 분석할 때 얻을 수 있는 잠재적 이점에 대해 알아봅니다. 중요한 효과를 스크리닝하고 예측 및 최적화를 위한 모델을 구축할 때 기존 도구를 자동 검증 기술과 비교하기 위한 사례 연구 사례가 제시됩니다.

 

 

Q&A에서 모든 질문에 답할 수 없었기 때문에 여기까지...

 

가중치가 0-1 사이가 아닌 것을 확인했습니다. 가중치는 어떻게 생성됩니까?

그것들은 "분수 가중"입니다. 이것이 이 방법을 가능하게 하는 핵심 요령입니다. JMP Pro의 Gen Reg에서는 Freq 역할에 이것을 사용합니다. 당신이 사용할 수있는 이 애드인 JMP Pro 15가 가중치가 있는 복제 테이블을 생성하도록 합니다.우리는 추천할 수 있습니다 Chris Gotwalt와 Phil Ramsey의 대담 가중치의 깊은 통계적 세부 사항을 설명합니다.

 

행을 복제하면 동일한 출력 결과로 복제됩니까? 이 복제의 목적은 무엇입니까?

예, 동일한 응답으로 중복됩니다. 그렇게만 하고 분석을 진행하는 것은 좋지 않은 생각입니다. 여기서 핵심 혁신은 유효성 검사 세트의 한 부분에서는 가중치가 낮고 다른 유효성 검사 세트에서는 가중치가 높아지도록 부분적으로 가중치가 부여된다는 것입니다. 예를 들어 "훈련"에서 가중치가 낮은 실행은 "검증"에서 가중치가 높은 중복 쌍을 갖게 됩니다. 일부 중복 쌍은 교육 및 검증에서 더 동일한 가중치를 갖습니다.

 

우리는 이러한 가중치를 사용하여 모델을 적합화하여 각 실행이 훈련에 들어가는 양과 검증에 들어가는 양을 결정합니다. 그런 다음 가중치를 다시 그리고 다른 모델에 적합합니다. 우리는 이 과정을 수백 번 반복합니다. 그런 다음 이러한 모든 모델에서 결과를 사용하여 비율이 0이 아닌 중요한 효과를 선별하거나 모든 개별 모델을 평균하여 유용한 모델을 구축합니다.

일반, 비프로, JMP 15 버전에서 추가 기능을 실행할 수 있습니까?

아마도. 추가 기능을 실행할 수 있지만 분석에서 유효성 검사 열을 활용하려면 JMP Pro가 필요합니다. 이는 매우 중요합니다.

범주형 변수는 어떻게 작동합니까?

연속 변수만 있는 예를 제시했습니다. 좋은 기능은 모든 모델과 모든 변수 유형에서 작동한다는 것입니다.

이제는 인정받는 방법인가요?

한마디로, 아니다. 아직 아님. 우리의 동기는 사람들이 방법을 탐구하고 비판적인 피드백을 제공하는 데 관심이 있는 사람들을 자극하기 위해 사람들에게 이 방법을 알리는 것입니다. 프레젠테이션에서 분명히 밝혔듯이, 이것을 실험의 유일한 분석으로 사용하는 것은 권장하지 않습니다. 아이디어가 마음에 들면 시도해보고 다른 방법과 어떻게 비교되는지 확인하십시오.

 

하지만 모델 평균화 및 홀드백 검증의 아이디어는 더 큰 데이터 상황에서 인식됩니다. 이것은 설계된 실험이라는 더 작은 데이터의 세계에서 유익할 것 같습니다.

복제 단계를 수동으로 수행합니까?

아니요, 이것은 추가 기능 또는 JMP Pro 16의 플랫폼에 의한 자동 검증 설정의 일부로 수행됩니다. 중복 행을 직접 쉽게 만들 수 있습니다. 더 어려운 부분은 분석이 작동하지 않는 부분 가중치를 설정하는 것입니다.

 

Bayesian은 시뮬레이션도 많이 사용합니다(MCMC). 사전 및 사후 분포 통합?
아마도. 부트스트랩 모델 평균을 사용하는 부분 가중 유효성 검사의 일반적인 아이디어는 다른 많은 영역에도 잘 적용될 수 있습니다.

 

 

자동 생성된 성적표...

 

스피커	성적 증명서
필 케이	좋아요, 그래서 우리는 실험의 디자인과 분석을 다시 생각하는 것에 대해 이야기할 것입니다. 저는 필 케이입니다. 저는 글로벌 기술 지원 팀의 학습 관리자이며 Pete Hersh와 합류했습니다.
피터 허쉬	예, 저는 글로벌 기술 지원 팀의 일원이기도 합니다. DOE와 우리가 오늘 탐구하고 있는 몇 가지 새로운 기술에 대해 이야기하게 되어 기쁩니다.
필 케이	그래서 가장 먼저 말할 것은 우리가 DOE의 열렬한 팬이라는 것입니다. 그것은 굉장. 그것은 아주 오랫동안 과학과 공학에서 엄청난 가치를 가지고 있었습니다.
	그리고 DOE를 많은 시간 동안 사용하기 위해 우리가 괜찮아야 하는 몇 가지 가정이 있습니다.
	그리고 그들은 과학자나 엔지니어로서 항상 크게 편안함을 느끼지는 않습니다. 효과 희소성과 같은 것, 보고 있는 모든 것이 중요하지 않다는 생각
	그리고 실제로 여러분이 실제로 실험하고 있는 것 중 단지 몇 가지만이 중요한 것으로 판명됩니다. 또는 영향 유전은 또 다른 가정입니다.
	즉, 단순한 형태로 활성화되는 요인에 대해서만 복잡한 행동이나 고차 효과를 기대한다는 의미입니다.
	그리고 활성 및 비활성 효과에 대한 이러한 아이디어는 일반적으로 실험 설계의 순차적 프로세스는 비활성 효과에서 활성 효과를 걸러내는 것입니다.
	그리고 그것은 때때로 너무 이분법적인 결정처럼 느껴집니다. 우리가 실험하고 있는 것 중 일부가 완전히 비활성 상태이고
	실제로 모든 것이 어느 정도 영향을 미칠 것이라는 것을 알고 있다고 생각합니다. 덜 중요할 수 있지만
	여전히 약간의 효과가 있습니다. 그리고 이것들은 주로 우리가 사용하는 가정입니다.
	엄청난 수의 실행을 감당할 수 없을 때 실험 설계의 몇 가지 문제를 해결할 수 있습니다. 피트, 당신의 관점에서도 그것에 대해 논평하고 싶은지 모르겠습니다.
피터 허쉬	네, 전적으로 동의합니다. 비활성 온도와 같은 것을 생각하는 것은...온도가 실험에 영향을 미치지 않는다는 것을 상상하기 어렵다고 생각합니다.
필 케이	그래, 좀 터무니없지, 그렇지? 그래서,
	예, 그것이 당신의 실험에 있다면 그것은 항상 어떤 식으로든 활성화될 것이지만 아마도 다른 것들만큼 중요하지 않을 것입니다.
	따라서 결과로 바로 건너뛰겠습니다.
	우리가 본 것 중. 그래서 우리는 Chris Gotwalt와 Phil Ramsey가 본질적으로 발명한 이 자동 검증 기술을 살펴보았습니다.
	그리고 그것을 설계된 실험의 분석에 사용하면 정말 미친 결과를 얻을 수 있습니다. 우리는 그들이 가능하다고 생각하지 않았습니다.
	그래서 우선 저는 13개의 활성 효과가 있는 시스템을 살펴보고 13개의 최종 스크리닝 설계를 분석했으며 그로부터 13개의 효과가 활성 상태임을 식별할 수 있었습니다. 우리는하지 않을 것입니다 ...
	일반적으로 우리는 실제로 중요하거나 활성화된 소수의 효과만 있을 때 효과 희소성이 있을 때 활성 효과를 식별하는 데 효과적인 것으로 결정적인 스크리닝 디자인에 대해 이야기했습니다. 하지만 이 경우 13개의 활성 효과를 모두 식별할 수 있었습니다.
	뿐만 아니라 실제로 이 13개의 최종 스크리닝 설계에서 13개의 활성 효과를 모두 포함하는 모델을 구축할 수 있었습니다.
	다시 한 번 그것은 일종의 놀라운 일입니다. 우리는 모델을 만들고 있는 데이터 행만큼 많은 활성 효과가 있는 모델을 가질 수 있을 것으로 기대하지 않습니다.
	그리고 Pete, 당신은 다른 것들을 살펴보고 정말 흥미로운 다른 결과를 얻었습니다.
피터 허쉬	네, 물론입니다. 그리고 Phil의 결과는 매우 매우 인상적입니다. 제 생각에는
	우리가 시도한 다음 단계는 실행보다 더 적극적인 효과가 있는 초포화 디자인을 만드는 것이었습니다.
	매우 작은 DOE. 따라서 7가지 활성 효과가 있는 6회 실행 DOE는 표준 DOE 기술에서 수행했다면 분석할 방법이 없습니다.
	제대로. 그리고 우리는 그것을 8 및 10 실행 DOE와 비교하고 그것이 우리를 얼마나 샀는지 살펴보았습니다. 그래서 우리는 6회 실행 DOE에서도 상당히 유용한 모델을 얻었습니다.
	내가 예상했던 것보다 낫습니다.
필 케이	네, 정말 기대할 권리가 있는 것보다 낫죠, 그렇죠?
	그래서 우리는 정말 인상적인 결과를 얻었고 작은 것에서 수많은 활성 효과를 식별할 수 있는 능력을 얻었습니다.
	결정적인 화면 디자인을 만들고 모든 활성 효과로 해당 모델을 실제로 구축합니다. 그리고 Pete의 경우 정말 작은 것부터 7가지 활성 효과가 있는 모델을 구축할 수 있었습니다.
	설계된 실험.
	그래서 우리는 이것을 어떻게 했습니까? 자동 검증 방법론은 어떻게 작동합니까? 음, 기계 학습에서 아이디어를 얻고 있으며 기계 학습에서 정말 유용한 도구 중 하나는 유효성 검사입니다. 그래서 홀드아웃 유효성 검사는 당신이
	가장 유용한 모델. 그래서 튼튼한 모델입니다. 그래서 우리는 데이터의 일부를 유지하고 그것을 사용하여 우리가 구축한 다양한 모델을 테스트하고
	기본적으로 우리가 가지고 있는 이 데이터를 가장 잘 예측하는 모델은 우리가 사용하는 모델이며 실제로 시도되고 테스트되었습니다.
	이것은 실제로 가장 유용한 모델을 구축하기 위한 거의 표준이지만 DOE에서는 더 큰 문제입니다. 그렇지 않습니까, 피트? 그것은 분명히 그것에 적합하지 않습니다.
피터 허쉬	예, 예, DOE의 모든 아이디어는 가능한 한 효율적으로 디자인 공간을 탐색하는 것입니다. 그리고 우리가 달리기를 시작하거나 버티기 시작하면
	런을 분석하면 설계 공간의 일부를 놓치고
	최종 스크리닝 설계와 같은 많은 DOE 기술로는 그렇게 할 수 없습니다.
필 케이	이 홀드아웃 유효성 검사의 이점을 얻을 수 있고 중요한 데이터를 보류하는 데 어려움을 겪지 않을 수 있는 트릭이 있다면 좋을 것입니다. 그래서 이 자동 검증으로 이어집니다.
	아이디어, 그리고 Pete, 이것이 어떻게 작동하는지에 대해 조금 설명하고 싶습니까?
피터 허쉬	물론 이것은 Chris와 Phil Ramsey가 개발한 정말 영리한 아이디어였습니다. 그들은 기본적으로 DOE에서 원본 데이터를 가져와 다시 샘플링합니다.
	결과를 반복하십시오. 따라서 여기 슬라이드 하단에 있는 표에서 회색 실행은 흰색 실행과 동일한 결과임을 알 수 있습니다. 그들은 단지 반복됩니다.
	그리고 그들이 이것을 피하는 방법은 함께 쌍을 이루는 이 가중치 열을 만드는 것입니다. 그래서 기본적으로 체중이 많이 나가면
	그것의 반복 실행은 낮은 비율을 가지고 있습니다...무게 등등. 그리고 이것은...이것은...이 유효성 검사 및 가중치와 함께 데이터를 사용할 수 있게 합니다. 어떻게 수행되는지에 대해 조금 더 자세히 설명하겠습니다.
필 케이	예, 데모를 진행하면 어떻게 되는지 알 수 있을 것입니다. 그래서 우리는 기본적으로 이 방법론을 설명하기 위해 사용하는 시뮬레이션된 예에 대한 두 가지 사례 연구를 가지고 있습니다. 제가 이야기할 첫 번째 사례 연구는
	시뮬레이션 된 예임을 강조합니다. 어떤 면에서는 비현실적인 예이기도 하지만 이 방법론의 힘을 보여주는 데 정말 훌륭하다고 생각합니다.
	우리는 6가지 요소를 가지고 있고 좀 더 현실적으로 보이도록 여기 사례 연구에서 몇 가지 실제 요소를 선택했습니다. 여기서 그들은 생물학적 유기체를 키우고 시스템에 공급하는 영양소를 최적화하여 최적화하려고 했습니다. 성장률.
	그래서 우리는 6가지 다른 영양소를 가지고 있고 그것들이 우리의 요인입니다. 우리는 이들을 다른 양으로 추가할 수 있으므로 이 성장률 반응으로 이러한 요인을 탐색하기 위해 13회 실행 확정 선별 설계를 설계했습니다.
	그리고 응답 데이터는 내가 완전히 시뮬레이션했고, 13개의 강력한 활성 효과가 있도록 시뮬레이션했습니다. 그래서
	모든 주요 효과, 즉 6개의 주요 효과가 모두 활성화되도록 시뮬레이션했습니다.
	그런 다음 각 요인에 대해 2차 효과도 활성화되므로 6개의 2차 효과가 있습니다.
	또한 항상 추정해야 하는 절편이 있으므로 시스템을 이해하는 데 중요한 활성 효과가 총 13개 있습니다.
	1 신호 대 잡음비이지만 이를 모델링하기 위한 표준 방법론으로는 여전히 어려운 과제이며 데모에서 다루겠습니다.
	그래서 정말로 중요한 질문은 우리가 모든 중요한 효과를 식별할 수 있고, 가능하다면 모든 중요한 효과를 포함하는 모델을 구축할 수 있는가 하는 것입니다. 내가 말했듯이, 그것은 정말 놀라운 일이 될 것이기 때문입니다.
	우리가 표준 방법론으로 할 수 있는 것과 비교.
	그리고 사례 연구 #2, 피트?
피터 허쉬	네, 물론입니다. Phil의 사례 연구와 매우 유사합니다. 유기체에 다양한 수준의 다양한 영양소를 공급하고 성장 속도를 확인하는 것과 동일한 아이디어입니다. 이 경우 저는 Phil이 한 일을 단순화하고 세 가지 영양소 요인으로 분류했습니다. 그리고 이건
	다른 유형의 디자인을 구축하므로 전체 응답 표면을 보고 있는 I-최적의 과포화 디자인
	과포화 방식으로 우리는 6, 8, 10 실행을 보았습니다.
	디자인. 그리고 같은 생각입니다.
	더
	효과는 매우, 매우
	신호 대 노이즈 비율이 높기 때문에 이러한 효과가 활성화된 경우 이러한 효과를 찾아낼 수 있기를 정말로 원했습니다. 그리고 Phil의 것과 마찬가지로, 저는 2차 방정식의 주요 효과와 절편을 활성 상태로 유지했고 우리는 그것들을 선택하려고 노력하고 있습니다.
	그리고 같은 생각입니다. 이러한 활성 효과를 보기 위해 얼마나 많은 실행이 필요하고 이러한 매우 작은 설계에서 모델을 얼마나 정확하게 만들 수 있습니까?
필 케이	예, 제가 말했듯이, 여러분은 그렇게 작은 디자인에서 좋은 모델을 만들 수 있다고 기대할 권리가 정말 없기 때문입니다.
피터 허쉬	예 바로 그 거예요. 좋아요.
필 케이	이제 사례 연구 #1의 데모로 들어가겠습니다.
	저는 이것을 JMP 프로젝트를 통해 발표하고 있으므로 결과를 발표하기에 정말 좋은 방법입니다. 나는 이것을 시도하는 것이 좋습니다.
	그리고 그것은 우리의
	설계, 그래서 이것은 우리의 13회 최종 스크리닝 설계입니다. 여기서 우리는 이러한 영양 요소를 다양화하고 모의 성장 속도 반응을 얻습니다. 내가 말했듯이, 그것은 그렇게 시뮬레이션되었습니다
	주요 효과, 이러한 모든 요소의 2차 방정식은 강력하게 활성화되고 이 절편을 추정해야 합니다.
	이제 최종 스크리닝 설계를 사용하여 수행할 수 있는 분석 중 하나로 결과를 보는 방법으로 적합 최종 스크리닝을 사용하는 것이 일반적으로 권장됩니다.
	이 효과 희소성 원칙이 참일 때 정말 잘 작동합니다. 따라서 일부 효과만 강력하게 활성화되는 한...활성화되고 나머지는 중요하지 않습니다.
	그런 다음 몇 가지 중요한 효과를 찾아 중요하지 않은 효과와 분리합니다.
	하지만 이 경우에는 잘 작동할 것이라고 기대하지 않았고 잘 작동하지 않습니다. 여섯 가지 요소가 모두 활성 상태인지 식별하지는 않습니다. 실제로 여기에서 활성화되는 요소 중 하나만 식별합니다.
	그리 놀랄 일은 아닙니다. 이것은 이러한 유형의 분석을 하기에는 너무 어렵고 도전적인 상황입니다.
	어떻게든 이러한 활성 효과가 모두 활성 상태임을 알고 6개의 주효과, 6개의 2차 방정식 및 절편 모두를 사용하여 모델을 맞추려고 하면
	포화 모델입니다. 데이터 행만큼 추정해야 할 매개변수가 많기 때문에 해당 모델에 거의 적합할 수 있지만 통계는 얻을 수 없습니다.
	그리고 어쨌든 아시다시피, 제가 이 데이터를 시뮬레이트했다는 사실을 제외하면 실제 상황에서는 어떤 데이터가 활성 상태인지 알 수 없기 때문에 어떤 모델을 적용해야 하는지도 알 수 없습니다.
	이제 자동 검증 방법을 사용하여 활성 효과를 실제로 매우 설득력 있게 식별할 수 있었습니다. 이 작업을 수행한 방법에 대해 설명하겠습니다.
	이것은 제 결과를 시각화한 것입니다. 반드시 이런 식으로 시각화할 필요는 없습니다. 프레젠테이션용입니다.
	우선 인터셉트가 활성화된 것을 확인할 수 있었습니다. 여섯 가지 주요 효과를 모두 얻었습니다.
	그리고 2차 효과, 그리고 0의 효과가 있는 것으로 시뮬레이션한 2요인 상호 작용입니다. 잘 내려가는 것을 볼 수 있습니다
	다른 것들에 비해. 그리고 실제로 여기에 우리가 사용하는 널 팩터가 있습니다... 그래서 더미 팩터입니다. 따라서 null 요소보다 작은 것은 중요하지 않거나 비활성이라고 선언할 수 있습니다.
	그리고 우리가 실제로 보고 있는 것은...여기서 보고 있는 메트릭은 0이 아닌 비율이라고 하는 것입니다. 이 작업을 진행하면서 이것이 의미하는 바를 설명하겠습니다. 이것이 효과의 강도와 효과의 중요성을 식별하기 위해 여기에서 사용하는 메트릭의 일종입니다.
	그래서 내가 이것을 어떻게 겪었는지에 대해 조금. 그래서 저는 원래의 13개 실행 최종 스크리닝 설계를 선택한 다음 자동 검증을 위해 설정하여 이제 복제한 26개의 행을 얻었습니다.
	이를 위한 추가 기능이 있습니다. 우리 동료 중 한 명인 Mike Anderson입니다. JMP 15에서 이 작업을 수행하는 데 사용할 수 있는 추가 기능을 만들었습니다.
	JMP 16에서는 실제로 유효성 검사 열 플랫폼의 예측 모델링 도구에 기능을 추가하고 있습니다.
	이것이 하는 일은 데이터의 중복 세트를 얻은 다음 이 가중치를 얻고 Pete가 말했듯이 각 행은 훈련 세트와 검증 세트에 있습니다.
	트레이닝 세트에서 가중치가 낮으면 유효성 검사에서 가중치가 높아집니다. 따라서 훈련 세트에서 가중치가 높으면 검증 세트에서 가중치가 낮아집니다.
	그리고 우리가 실제로 하는 것은, 우리가 읽은... 이것들은 기본적으로 무작위로 할당되었습니다.
	우리는 그것들을 재할당하고 이 수백 번에 걸쳐 반복할 수 있었습니다. 매번 모델을 맞춘 다음 많은 시뮬레이션 실행을 통해 집계된 결과를 살펴봤습니다. 그래서 당신은 무엇을 할 것입니다
	모델에 맞추는 것인데 여기 JMP Pro에서 GenReg를 사용하고 있습니다.
	어쨌든 이 유효성 검사 역할을 지정할 수 있어야 하기 때문에 JMP Pro가 필요합니다. 따라서 기차 유효성 검사 열이 유효성 검사에 들어갑니다.
	그리고 가중치는 주파수에 들어간 다음 일반적으로 응답과 마찬가지로 다른 모든 것을 설정합니다. 그런 다음 모델이 있습니다. 이 모든 효과가 포함된 반응 표면 모델입니다. 그런 다음 실행을 클릭합니다.
	그리고 그것은 모델에 맞을 것이고 우리는 전방 선택이나 올가미를 사용할 수 있습니다. 여기에서는 올가미를 사용했습니다.
	이 경우에는 크게 중요하지 않습니다.
	실제로 일어난 일은 이 경우에 중요한 것으로 절편만 식별했기 때문에 모델에서 실제로 절편만 얻었습니다.
	그러나 가중치를 변경하면 데이터 테이블로 돌아가 이러한 가중치를 다시 시뮬레이션하면 모델에서 다른 결과를 얻을 수 있습니다.
	적합한 모델을 변경하는 다양한 데이터 행, 실험의 다양한 실행에 가중치를 부여합니다. 그래서 우리는 그 작업을 수백 번 반복할 것이며 실제로 JMP Pro에서 시뮬레이션 기능을 사용할 것입니다.
	그리고 우리가 하는 일은 가중치 열을 전환하고 다시 계산된 버전의 가중치 열로 전환하는 것입니다. 그리고 당신은 그것을 수백 번 할 수 있습니다. 이 경우 실제로 250 번했습니다. 1~2분 정도 걸리기 때문에 실제로 실행하지는 않겠습니다.
	이 작업을 완료하면 다음과 같은 테이블을 얻게 됩니다.
	이제 저는 이러한 각 효과에 대한 250개의 모델 각각에 대한 모수 추정치를 얻었습니다. 그래서
	내가 수행한 이번 실행의 첫 번째 모델에서 이것은 이 구연산 주요 효과에 대한 매개변수 추정치였습니다. 가중치를 다시 샘플링한 다음 모델에서
	구연산 주효과는 모델에 들어가지 않았으므로 이 경우에는 0이었습니다.
	그리고 이러한 모수 추정치 모두에 대해 실제로 분포를 실행할 수 있습니다. 그리고 당신이 할 수 있는 것 중 하나는
	이 통계, 즉 요약 통계를 사용자 지정하여 0이 아닌 비율을 확인합니다. 여기서 절편을 볼 수 있습니다.
	절편에 대한 추정치입니다. 구연산으로 볼 수 있는데 많은 시간 동안 0으로 추정되어 모델이 그랬습니다.
	구연산 주요 효과는 모델에 없었으며 많은 시간 동안 약 3으로 추정되었습니다. 이것이 제가 시뮬레이션한 것입니다.
	그래서 우리가 보는 것은 그것이 0이 아닌 시간의 비율이고 우리는 그것들로부터 결합된 데이터 테이블을 만들 수 있습니다. 그리고 나는 이미 그것을했고 약간만했습니다 ...
	여기에 약간의 추가 보강이 있습니다. 주 효과인지 아닌지에 대한 열을 방금 추가한 다음 그렇게 만들었습니다.
	이 시각화는 여기에 있습니다. 그래서 여러분이 보고 있는 것은 각 효과가 0이 아닌 시간의 비율입니다. 따라서 모든 효과에 대해 각 효과가 우리 모델에 있는 시간의 비율입니다.
	우리가 수행한 250번의 시뮬레이션 실행에서 분수 가중치를 다시 시뮬레이션했습니다. 이것이 우리가 식별하는 데 사용하는 것입니다.
	능동적 효과, 그리고 그것은... 그리고 그것은 놀라운 일을 해냈습니다. 우리의 표준 방법으로는 할 수 없는 일을 할 수 있었습니다. 13개의 실행에서 13개의 활성 효과가 확인되었습니다.
	결정적인 스크리닝 디자인.
	이제 다음에는 무엇을 하시겠습니까? 우리는 실제로 그 모델에 모든 효과를 적용하고 싶을 수도 있고 저는 그렇게 할 수 있었습니다. 그리고 여기에 맞춰본 모델을 비교하고 있습니다.
	실제 시뮬레이션 응답과 얼마나 일치하는지 확인할 수 있습니다. 그래서 저는 이 모든 주요 효과, 이 모든 2차 방정식 및 절편을 포함하는 모델을 구축할 수 있었습니다.
	그래서 여기에 13개의 매개변수 모델이 있어 이 13개의 실행 최종 화면 디자인에 맞출 수 있었습니다. 다시 한 번 놀랍습니다.
	그리고 나는 그 부분에 어떻게 도달했는지 정확히 이야기하지 않을 것입니다. 이제 피트에게 넘겨줄게. 그는 자체 검증된 앙상블 모델이라는 아이디어에 대해 조금 더 이야기할 것입니다.
피터 허쉬	전적으로. 고마워요, 필. 보자. 여기에서 제 화면을 공유하고 이 프로젝트를 살펴보겠습니다. 그래서
	여기에서 볼 수 있습니다
	같은
	Phil으로 흐름, 우리는 여기서 프로젝트를 보고 있고 나는
	6회 과포화 DOE로 시작했습니다. 보시다시피 세 가지 요소가 있습니다.
	내 실제 기본 모델 성장률은 얼마이고 성장률은... 시뮬레이션 성장률은 Phil이 언급한 것과 같습니다.
	Mike Anderson이 개발한 JMP 15의 추가 기능으로 수행할 수 있는 이 자동 검증 열을 만듭니다. 또는 JMP 16에서는 소프트웨어에 바로 내장되어 있으며 분석 예측 모델링 플랫폼에서 유효성 검사 열에 액세스할 수 있습니다.
	Phil이 보여준 것처럼 그는 어떤 요인이 활성화되어 있는지, 즉 요인 선별을 어떻게 찾을 수 있는지에 대한 훌륭한 예를 보여주었습니다. 이것이 DOE의 주요 목표인 경우가 많지만 한 단계 더 나아가 모델을 구축하려면
	우리는 이것과 같은 과정을 거칠 것입니다. 따라서 우리는 DOE를 구축하고 해당 DOE에 자동 검증을 추가하고 Phil이 보여준 것처럼 일반화 회귀와 다음 중 하나를 사용하여 모델을 구축합니다.
	변수 선택 기술. 그래서 Phil Ramsey와 Chris Gotwalt는 이러한 다양한 기술을 많이 살펴보았고 모두 상당히 잘 작동하는 것 같습니다. 따라서 올가미를 사용하든 2단계 전진 선택을 사용하든 모두 비슷한 결과를 보이는 것 같습니다.
	상당히 잘 작동합니다. 따라서 이것을 설정하고 실행하면 Phil이 보여준 것과 같은 모델을 얻을 수 있으며 이러한 모델 중 일부는

탈주암사슴예측 모델링Re: 실험 설계 및 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

감사합니다 @Phil_Kay ! 당신의 대답은 내가 필요한 것입니다

여러분 모두를 꼭 만나고 싶기 때문에 직접 만나기를 바라는 다음 디스커버리 서밋을 고대하고 있습니다!

Re: 실험 설계 및 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

안녕 @스테판_이반 ,

 

프레젠테이션이 마음에 드셨다니 다행입니다.

 

좋은 질문입니다. 시간이 되신다면 읽어보시길 권합니다 Lemkus, Ramsey, Gotwalt, Weese의 논문 . 그들은 더미 팩터가 모델 선택에 사용되는 버전을 포함하여 SVEM의 변형을 시도하기 위해 적절하고 엄격한 시뮬레이션 연구를 수행했습니다. 기본적으로 더미 팩터 모델 선택 방식이 최선은 아니었습니다.

 

SVEM의 원래 아이디어에는 더미 팩터가 필요했습니다. 하지만 진화하면서 앙상블 모델링이 추가되면서 더미 팩터는 아마도 유용하지 않은 것 같습니다.

 

그 이유 중 하나는 @Peter_Hersh SVEM을 좋아하는 이유는 효과를 활성 및 비활성(또는 "참"/"거짓")의 바이너리로 분류할 필요가 없기 때문입니다. 과학자/엔지니어로서 우리는 요인 효과가 비활성화되어 있다고 말하는 것이 이치에 맞지 않는다고 생각합니다. SVEM은 모형에 모든 요인 효과를 포함할 수 있음을 의미합니다. 일부는 다른 것보다 더 중요합니다. 그러나 모두 활동적이므로 우리에게 더 의미가 있습니다.

 

도움이 되길 바랍니다.

 

Re: 실험 설계 및 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

안녕하세요 @Phil_Kay 그리고 @Peter_Hersh .

Discovery Summit Europe 2022에 참가하고 SVEM 프레젠테이션에 참석했습니다. 이것은 제 관심을 끌었고 참조된 다른 프레젠테이션을 빠르게 보았습니다. 이것은 실제 SVEM 모델을 생성하는 측면에서, 특히 "편향성 제거" 모델 생성과 관련하여 진정으로 가장 유익한 것입니다

그러나 한 가지 질문이 있습니다. 더미 변수 "Null factor"를 사용하여 활성 효과를 식별한 후 실제 효과만 사용하여 SVEM 절차를 반복하면 안 됩니까(물론 Null 요인은 사용하지 않음 )? 200개의 예측 공식 생성에 사용된 스크립트에 7인자 DoE에 대한 모든 RSM 항이 포함되어 있는 것을 보았기 때문에 이렇게 질문합니다.

문제를 명확하게 설명했으면 좋겠습니다.

감사합니다

 

Re: 실험 설계 및 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

그거 좋네, @ckronig . 도움이 필요하시면 알려주세요.

Re: 실험 설계 및 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

감사해요 @Peter_Hersh 그리고 @Phil_Kay . 스크립트를 작동시킬 수 있었습니다. 내 데이터로 시도해 보겠습니다. 다시한번 감사드립니다!!

Re: 실험 설계 및 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

@ckronig 또한 시뮬레이션된 "true" 응답이 있는 원본 테이블과 자동 유효성 검사를 위한 테이블 설정으로 13-run DSD 예제를 첨부했습니다. 이 중 두 번째에는 가중치를 다시 그리는 과정을 반복한 다음 다시 계산된 모델에서 예측 수식 열을 저장하는 스크립트가 포함되어 있습니다. Pete가 설명했습니다. 나는 당신이 이것들을 이해할 수 있어야 한다고 생각하지만 당신이 아무것도 이해하지 못하는 경우 저희에게 알려주십시오.

 

마지막 단계가 하나 있습니다. 앙상블 모델을 제공하기 위해 모든 모델의 평균을 낼 때 예측과 실제에 상당한 편향이 있음을 발견해야 합니다. 여기에 있는 이유를 설명하기 어려울 수 있지만 각 "참" 효과에 대한 매개변수가 0이 된 모든 모델 인스턴스(모델이 아님)에서 0으로 축소되기 때문입니다. 모든 "활성" 효과가 DSD에서 직교하기 때문에 이 경우에는 이것이 특히 극단적이라고 생각합니다.

 

앙상블 모델을 효과로, 응답을 Y로 하여 모델 적합에서 모델을 피팅하여 이 문제를 간단히 해결할 수 있습니다. 그런 다음 이 "비편향성" 모델 예측 공식을 최종 모델로 저장할 수 있습니다.   

Re: 실험 설계 및 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

@ckronig 그 부분은 빨리 짚고 넘어가야 겠네요.핵심은 모델을 만든 다음 그 예측 공식을 저장하는 것입니다.그런 다음 JMP가 가중치 수식을 다시 계산하도록 합니다(표 메뉴 재실행 수식의 빨간색 삼각형 아래에서 이 작업을 수행할 수 있음). 새 가중치 열을 사용하여 모델을 다시 실행한 다음 해당 예측 공식을 저장하고 반복합니다.나는 이것을 100번 반복하도록 루프를 스크립팅한 다음 해당 모델의 평균을 취했습니다.이 작업을 수행하기 위해 추가 기능이 필요하지 않습니다.나는 전문 스크립터와는 거리가 멀고 설정이 상당히 간단했습니다.게시물에 내 데이터 테이블과 스크립트를 포함하겠습니다.

Re: 실험 설계 및 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

안녕 @Phil_Kay 그리고 @Peter_Hersh

네 아주 좋은 프레젠테이션입니다. 데이터 세트도 보고 싶습니다.

프레젠테이션에서 다루지 않은 평균화를 위한 모든 모델을 생성한 방법에 특히 관심이 있습니다.

시뮬레이션을 사용하여 활성 매개변수를 식별하기 전에 이 자동 검증을 사용한 다음 이 매개변수를 사용하여 모델을 구축했습니다. 그러나 당신이 제시한 것은 더 많은 모델을 생성하고 평균화하는 단계입니다. 그 부분은 SVEM 추가 기능을 사용하여 수행되었습니까?

 

 

Re: 실험 설계 및 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

감사해요.@russ_wolfinger .

반복되는 k-폴드에서 평균화 모델을 시도하는 것은 확실히 흥미로울 것입니다. 당신이 말했듯이 힘은 앙상블에 있습니다.

13회 실행 데이터 세트 예제를 곧 게시하여 이를 탐색할 수 있도록 하겠습니다.

이 방법은 분석을 명확하게 다루고 있지만 이것이 실험 설계에 중요한 의미를 가질 수 있다고 생각합니다. 프레젠테이션에서 이 생각을 제대로 확장할 시간이 없었기 때문에 여기까지입니다...

우리는 분석을 염두에 두고 실험을 설계합니다. 프레젠테이션 시작 부분에서 말했듯이 합리적인 규모의 실험에서 표준 분석 방법을 사용하여 유용한 모델을 구축하기 위해 수용해야 하는 효과 희소성 및 효과 유전과 같은 가정이 있습니다. 이러한 가정이 많은 경우에 성립한다는 경험적 증거가 있습니다. 그러나 그것들이 항상 성립하는 것은 아니며 과학자들과 공학자들은 이러한 생각에 불편함을 느낀다고 생각합니다. 실험실에서 실험을 설계하고 실행할 때 이러한 일에 대해 걱정할 필요가 없었으면 좋았을 것이라는 것을 알고 있습니다.

자동 검증/SVEM이 대안을 제공할 수 있는 것 같습니다. 따라서 표준 가정의 동일한 제약 조건 없이 실험을 설계할 수 있습니다. 그것은 실험 설계와 관련하여 엄청난 변화가 될 것입니다.

나는 이 모든 것이 여전히 추측에 불과하다는 점을 다시 한 번 강조하고 싶습니다. 제한된 탐색에서 유망해 보이지만 엄격한 시뮬레이션 연구 결과가 발표되기를 기다릴 것입니다.

이러한 아이디어를 탐구하는 것이 매우 재미있다는 데 전적으로 동의합니다. 그리고 JMP Pro는 통계학자나 전문 코더가 아니어도 사용할 수 있음을 의미합니다.

Re: 실험 설계 및 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

멋진 발표를 해주신 Phil과 Pete에게 감사드립니다!   

 

SVEM/부분 가중치/자동 검증에 대한 나의 현재 해석은 반복되는 k-겹 교차 검증의 평활화된 버전입니다.이를 뒤집으면 반복되는 k-겹의 형태로 분수 가중치를 0 또는 1로 이산화하는 것을 상상할 수 있습니다.두 종류의 유효성 검사의 힘은 앙상블에 있습니다.다음은 추측입니다. 반복되는 5겹 앙상블 접근 방식은 올가미 또는 얕은 부스트 트리와 같은 것을 기본 모델로 사용하는 작은 13-런 설계에서도 잘 작동합니다.저와 다른 사람들이 몇 가지를 시도해 볼 수 있도록 여기에 JMP 프로젝트를 게시하시겠습니까?

 

논쟁의 여지가 있는 점은 내가 이 방법을 주로 DOE를 직접적으로 다루지 않고 분석만 다루는 것으로 본다는 것입니다. 물론 실험 분석 계획 방법을 아는 것이 설계 선택에 영향을 미칠 수 있습니다(예: 다른 기준보다 베이지안 I-최적 선택).

 

어쨌든 이러한 유망한 결과와 조사는 매우 재미있고 JMP Pro의 훌륭하고 꾸준히 개선되는 기능을 보여줍니다.

Re: 실험 설계 및 분석을 다시 생각하고 계십니까? (2021-EU-30MP-776)

이 기술에 대해 더 알고 싶다면 이것은 훌륭한 후속 대화입니다.SVEM: 실험 설계 및 분석의 패러다임 전환(2021-EU-45MP-779)