스피커
|
성적 증명서
|
| 필 케이 |
자, 우리는 실험의 설계와 분석을 재고하는 것에 대해 이야기 할 것입니다. 저는 Phil Kay입니다. 저는 글로벌 기술 지원 팀의 학습 관리자이며 Pete Hersh와 합류했습니다. |
| 피터 허쉬 |
예, 저는 글로벌 기술 지원 팀의 일원이기도합니다. DOE와 우리가 현재 탐구하고있는 몇 가지 새로운 기술에 대해 이야기하게되어 기쁩니다. |
| 필 케이 |
그래서 가장 먼저 말할 것은 우리가 DOE의 열렬한 팬이라는 것입니다. 그것은 굉장. 그것은 과학과 공학에서 아주 오랫동안 엄청난 가치를 가지고있었습니다. |
| |
그리고 그렇게 말하면서 DOE를 많이 사용하려면 괜찮아 야 할 몇 가지 가정이 있습니다. |
| |
그리고 그들은 과학 자나 엔지니어로서 항상 매우 편안하다고 느끼지는 않습니다. 그래서 효과 희소성과 같은 것들이 당신이보고있는 모든 것이 중요하지 않다는 생각이 |
| |
실제로 실험하고있는 것 중 몇 가지만 중요한 것으로 밝혀졌습니다. 또는 효과 유전은 또 다른 가정입니다. |
| |
즉, 우리는 단순한 형태로 활성화 된 요인에 대해 복잡한 행동이나 고차 효과만을 기대할 수 있습니다. |
| |
그리고 활성 및 비활성 효과에 대한이 아이디어는 일반적으로 실험 설계의 순차적 프로세스는 비활성 효과에서 활성 효과를 선별하는 것입니다. |
| |
그리고 그것은 때때로 너무 많은 이진 결정처럼 느껴집니다. 우리가 실험하고있는 것들 중 일부는 완전히 비활성화 된 상태에서 |
| |
정말로, 우리는 정말로 모든 것이 어떤 영향을 미칠 것이라는 것을 알고 있다고 생각합니다. 덜 중요 할 수도 있지만 |
| |
여전히 효과가있을 것입니다. 그리고 이것들은 우리가하기 위해 사용하는 대부분의 가정입니다. |
| |
엄청난 수의 실행을 할 여유가 없을 때 실험 설계의 어려움을 피할 수 있습니다. 피트, 당신의 관점에서도 그것에 대해 언급하고 싶은지 모르겠습니다. |
| 피터 허쉬 |
네, 전적으로 동의합니다. 온도가 비활성 상태라고 생각하는 것은 ... 온도가 실험에 영향을 미치지 않는다고 상상하기 어렵다고 생각합니다. |
| 필 케이 |
그래, 좀 어리석지 않니? 그래서, |
| |
예, 그것이 당신의 실험에 있다면 그것은 항상 어떤 식 으로든 활성화 될 것이지만 다른 것들만큼 중요하지 않을 수도 있습니다. |
| |
따라서 결과로 바로 건너 뛰겠습니다. |
| |
우리가 본 것의. 그래서 우리는 Chris Gotwalt와 Phil Ramsey가 본질적으로 발명 한이 자동 검증 기술을 살펴 보았습니다. |
| |
디자인 된 실험의 분석에이를 사용하여 정말 놀라운 결과를 얻었습니다. 우리는 그들이 가능하다고 생각하지 않았습니다. |
| |
우선 13 개의 활성 효과가있는 시스템을 살펴보고 13 개의 최종 선별 설계를 분석 한 결과 13 개의 효과가 활성 상태임을 확인할 수있었습니다. 즉,이를 포화 상황이라고합니다. 우리는 ... |
| |
일반적으로, 실제로 중요하거나 활성 인 효과의 수가 적을 때 효과 희소성이있을 때 활성 효과를 식별하는 데 효과적인 것으로 확정 선별 설계에 대해 이야기했습니다. 하지만 이번에는 13 가지 활성 효과를 모두 식별 할 수있었습니다. |
| |
뿐만 아니라 실제로이 13 개의 최종 선별 설계에서 13 개의 활성 효과를 모두 포함하는 모델을 구축 할 수있었습니다. |
| |
다시 말하지만 그것은 놀라운 일입니다. 우리가 구축하는 데이터 행이있는 것만 큼 많은 활성 효과를 가진 모델을 가질 수있을 것으로 기대하지 않습니다. |
| |
그리고 Pete, 당신은 몇 가지 다른 것들을보고 정말 흥미로운 결과를 얻었습니다. |
| 피터 허쉬 |
예, 물론입니다. 그리고 Phil의 결과는 매우 인상적입니다. 나는 생각한다 |
| |
우리가 시도한 다음 단계는 매우 포화 된 디자인을 만드는 것이 었습니다. 이것은 달리기보다 더 적극적인 효과입니다. |
| |
아주 작은 DOE. 따라서 7 개의 활성 효과가있는 6 개의 실행 DOE는 표준 DOE 기술에서 수행하면 분석 할 방법이 없습니다. |
| |
제대로. 그리고 그것을 8 개와 10 개의 실행 된 DOE와 비교해 보았습니다. 그래서 우리는 6 회 실행 된 DOE에서도 상당히 유용한 모델을 얻었습니다. |
| |
내가 예상했던 것보다 낫다. |
| 필 케이 |
네, 정말 기대할 권리가있는 것보다 낫지 않습니까? |
| |
그래서 우리는 정말 인상적인 결과를 얻었고, 적은 수의 활성 효과를 식별 할 수있는 능력을 얻었습니다. |
| |
화면 디자인을 결정하고 실제로 모든 활성 효과로 해당 모델을 구축합니다. 그리고 Pete의 경우에는 정말 작은 것부터 7 가지 활성 효과가있는 모델을 만들 수있었습니다. |
| |
설계된 실험. |
| |
그래서 우리는 이것을 어떻게했을까요? 자동 유효성 검사 방법은 어떻게 작동합니까? 글쎄, 그것은 기계 학습에서 아이디어를 가져오고 기계 학습에서 정말 유용한 도구 중 하나는 유효성 검사입니다. 따라서 홀드 아웃 유효성 검사는 사용자가 |
| |
가장 유용한 모델입니다. 그래서 그것은 강력한 모델입니다. 그래서 우리는 데이터의 일부를 보유하고이를 사용하여 우리가 구축 한 다양한 모델을 테스트하고 |
| |
기본적으로 우리가 보여준이 데이터를 가장 잘 예측하는 모델은 우리가 사용하는 모델이며, 실제로 시도되고 테스트되었습니다. |
| |
실제로 가장 유용한 모델을 구축하기위한 금본위 제이지만 DOE를 사용하면 더 큰 도전이됩니다. 그렇죠? 피트? 그것은 분명히 그것에 적합하지 않습니다. |
| 피터 허쉬 |
예, 예, DOE의 모든 아이디어는 가능한 한 효율적으로 디자인 공간을 탐색하는 것입니다. 그리고 우리가 실행을 유지하거나 |
| |
런 분석을하면 그 디자인 공간의 일부를 놓치고 |
| |
최종 선별 설계와 같은 많은 DOE 기술로는 그렇게 할 수 없습니다. |
| 필 케이 |
맞아요.이 홀드 아웃 검증의 이점을 얻을 수 있고 중요한 데이터를 보관하지 않아도되는 트릭이 있다면 좋을 것입니다. 이 자동 유효성 검사로 이동합니다. |
| |
아이디어, 그리고 Pete, 이것이 어떻게 작동하는지 조금 설명하고 싶습니까? |
| 피터 허쉬 |
물론 이것은 Chris와 Phil Ramsey가 개발 한 진짜 영리한 아이디어였습니다. 그들은 본질적으로 DOE에서 원래 데이터를 가져 와서 다시 샘플링합니다. |
| |
결과를 반복하십시오. 따라서 슬라이드 하단에있는 표가 회색으로 표시된 런은 흰색으로 표시된 런의 결과와 동일합니다. 그들은 단지 반복됩니다. |
| |
그리고 그들이이 문제를 해결하는 방법은 함께 쌍을 이루는 가중치 열을 만드는 것입니다. 따라서 기본적으로 무게가 높으면 |
| |
그것의 반복 실행은 낮은 비율 ... 무게 등등을 가지고 있습니다. 그리고 이것은 ... 이것은 우리가이 검증과 가중치와 함께 데이터를 사용할 수있게합니다. 그리고 우리는 그것이 어떻게 수행되는지에 대해 조금 더 자세히 살펴볼 것입니다. |
| 필 케이 |
예, 데모를 살펴보면 어떤 일이 일어나는지 알 수 있습니다. 그래서 우리는 기본적으로이 방법론을 설명하기 위해 사용하는 시뮬레이션 된 예제의 두 가지 사례 연구를 가지고 있습니다. 그래서이 첫 번째 사례 연구를 살펴 보겠습니다. |
| |
나는 그것이 시뮬레이션 된 예임을 강조합니다. 어떤면에서는 비현실적인 예이지만이 방법론의 힘을 입증하는 데 정말 좋은 일이라고 생각합니다. |
| |
우리는 여섯 가지 요소를 가지고 있으며 좀 더 현실적으로 보이게하기 위해 여기 사례 연구에서 몇 가지 실제 요소를 선택했습니다. 여기서 그들은 생물학적 유기체를 키우고 최적화를 위해 시스템에 공급하는 영양소를 최적화하려고했습니다. 성장률. |
| |
그래서 우리는이 여섯 가지 영양소를 가지고 있으며 이것이 우리의 요소입니다. 다른 양을 추가 할 수 있으므로이 성장률 반응으로 이러한 요인을 탐색하기 위해 13 회 실행 확정 선별 설계를 설계했습니다. |
| |
그리고 응답 데이터는 저에 의해 완전히 시뮬레이션되었으며 13 개의 강력한 활성 효과가 있도록 시뮬레이션되었습니다. 그래서 |
| |
모든 주 효과, 6 개 주 효과 모두가 활성화되도록 시뮬레이션했습니다. |
| |
그런 다음 각 요소에 대해 2 차 효과도 활성화되어 6 개의 2 차 효과가 있습니다. |
| |
또한 우리는 항상 추정해야하는 절편이 있으므로 시스템을 이해하는 데 중요한 활성화 된 총 13 개의 효과가 있습니다. |
| |
1 신호 대 잡음이 있지만,이를 모델링하기위한 표준 방법론에서는 여전히 실제 문제이며 데모에서 이에 대해 설명하겠습니다. |
| |
그래서, 정말로 문제는 우리가 그 모든 중요한 효과를 식별 할 수 있고, 가능하다면 모든 중요한 효과를 가진 모델을 만들 수 있다는 것입니다. 제가 말했듯이 정말 놀랍습니다. |
| |
표준 방법론으로 할 수있는 것 대비. |
| |
그리고 사례 연구 # 2, 피트? |
| 피터 허쉬 |
네, 물론입니다. Phil의 사례 연구와 매우 유사합니다. 같은 생각으로 우리는 다른 수준의 다양한 영양소를 유기체에 공급하고 성장률을 확인합니다. 이 경우 필이 한 일을 단순화하고 세 가지 영양 요소로 분류했습니다. 그리고 이건 |
| |
다른 유형의 디자인을 구축하므로 전체 반응 표면을보고있는 I- 최적 과포화 디자인 |
| |
과포화 방식으로 우리는 6, 8, 10 런을 보았습니다 |
| |
디자인. 그리고 같은 생각입니다. |
| |
더 |
| |
효과는 아주, 아주 |
| |
신호 대 잡음비가 높기 때문에 활성화 된 경우 이러한 효과를 선택할 수 있기를 원했습니다. 그리고 Phil과 마찬가지로, 저는 2 차적 효과와 인터셉트를 활성 상태로 유지했고 우리는 그것들을 골라 내려고 노력하고 있습니다. |
| |
그리고 같은 생각으로, 이러한 활성 효과를보기 위해 몇 번의 실행이 필요하고 이러한 매우 작은 디자인에서 얼마나 정확한 모델을 만들 수 있습니까? |
| 필 케이 |
그래, 내가 말했듯이, 당신은 그렇게 작은 디자인으로 좋은 모델을 만들 수있을 것이라고 기대할 권리가 정말로 없기 때문입니다. |
| 피터 허쉬 |
예 바로 그 거예요. 괜찮아. |
| 필 케이 |
이제 사례 연구 # 1의 데모를 살펴 보겠습니다. |
| |
그리고 저는 이것을 JMP 프로젝트를 통해 제시하고 있습니다. 그래서 그것은 당신의 결과를 제시하는 정말 좋은 방법입니다. 나는 이것을 시도하는 것이 좋습니다. |
| |
그리고 그것은 우리의 |
| |
이것은 우리가 이러한 영양 인자를 다양 화하고 시뮬레이션 된 성장률 반응을 갖는 우리의 13 번 실행 확정 선별 설계입니다. 내가 말했듯이, 그것은 |
| |
주 효과,이 모든 요소의 2 차가 강하게 활성화되어 있으며,이 절편을 추정해야합니다. |
| |
이제 확정 스크리닝 설계를 통해 일반적으로 수행 할 수있는 분석 중 하나로 결과를 보는 방법으로 적합 확정 스크리닝을 사용하는 것이 좋습니다. |
| |
이 효과 희소성 원칙이 참일 때 정말 잘 작동합니다. 효과 중 일부만 강력하게 활성화되어 있고 나머지는 중요하지 않은 한 |
| |
그런 다음 몇 가지 중요한 효과를 찾아서 중요하지 않은 효과와 분리합니다. |
| |
그러나이 경우에는 잘 작동 할 것이라고 예상하지 않았고 잘 작동하지 않습니다. 6 가지 요소가 모두 활성 상태인지는 확인되지 않습니다. 실제로 여기에서 활성화 된 요소 중 하나만 식별합니다. |
| |
그리 놀라운 일이 아닙니다. 이것은 너무 어렵고 이런 유형의 분석을위한 상황에 너무 도전적입니다. |
| |
어떻게 든 이러한 모든 활성 효과가 활성 상태라는 것을 알고 6 개의 주 효과, 6 개의 2 차 및 절편이 모두 포함 된 모델을 맞추려고 시도하면 |
| |
그러면 그것은 포화 된 모델입니다. 데이터 행이있는만큼 추정 할 매개 변수가 많으므로 해당 모델에 거의 적합 할 수 있지만 통계는 얻지 못합니다. |
| |
그리고 어쨌든, 제가이 데이터를 시뮬레이션했다는 사실을 제외하면, 실제 상황에서 우리는 어떤 것이 활성 상태인지 알 수 없기 때문에 어떤 모델에 적합할지조차 알 수 없습니다. |
| |
이제 자동 유효성 검사 방법을 사용하여 실제로 활성 효과를 매우 설득력있게 식별 할 수 있었으며이를 수행하는 방법에 대해 설명하겠습니다. |
| |
그리고 이것은 제 결과를 시각화 한 것입니다. 이런 식으로 시각화 할 필요는 없습니다. 이것은 프리젠 테이션 목적입니다. |
| |
우선 차단이 활성화 된 것을 확인할 수있었습니다. 여섯 가지 주요 효과가 모두 있습니다. |
| |
제 2 차 효과, 그리고 제로 효과를 갖도록 시뮬레이션 한 두 요소 상호 작용. 당신은 그들이 잘 내려가는 것을 볼 수 있습니다 |
| |
다른 것들에 비해. 그리고 실제로 여기에 우리가 사용하는 null 인자가 있습니다. 그래서 더미 인자입니다. 따라서 원할 경우 null 요소보다 작은 것은 중요하지 않거나 비활성으로 선언 할 수 있습니다. |
| |
그리고 우리가 실제로 ... 여기서보고있는 측정 항목은 0이 아닌 비율이라는 것입니다. 이걸 살펴보면서 그 의미를 설명하겠습니다. 이것이 효과의 강도, 효과의 중요성을 식별하기 위해 여기에서 사용하는 메트릭입니다. |
| |
그래서 내가 이것을 어떻게 겪었는지에 대해 조금. 그래서 저는 원래 13 번 실행 된 최종 선별 디자인을 가져 와서 자동 검증을 위해 설정했습니다. 이제 26 개의 행을 복제했습니다. |
| |
이 작업을 수행하기위한 추가 기능이 있습니다. 동료 중 한 명인 Mike Anderson이 있습니다. JMP 15에서이 작업을 수행하는 데 사용할 수있는 추가 기능을 만들었습니다. |
| |
JMP 16에서는 실제로 유효성 검사 열 플랫폼의 예측 모델링 도구에 기능을 추가하고 있습니다. |
| |
그리고 그것이하는 일, 우리는 데이터의 중복 된 세트를 얻고,이 가중치를 얻습니다. 그리고 Pete가 말했듯이 우리는 ... 각 행이 훈련 세트와 검증 세트에 있습니다. |
| |
트레이닝 세트에서 가중치가 낮 으면 유효성 검사에서 가중치가 높습니다. 따라서 훈련 세트에 높은 가중치가있는 경우 검증 세트에 낮은 가중치가 적용됩니다. |
| |
그리고 우리가 실제로하는 것은, 우리가 읽는 것입니다 ... 이것들은 기본적으로 무작위로 할당되었습니다. |
| |
우리는 그것들을 재할 당했고, 우리는 매번 모델을 맞추고, 많은 시뮬레이션 실행에 대한 집계 된 결과를 살펴보면서 수백 번 반복 할 수있었습니다. 그래서 당신은 |
| |
모델에 맞추는 것이고 여기 JMP Pro에서 GenReg를 사용하고 있습니다. |
| |
이 유효성 검사 역할을 지정할 수 있어야하므로 어쨌든 JMP Pro가 필요하므로 기차 유효성 검사 열이 유효성 검사에 포함됩니다. |
| |
가중치는 빈도로 이동 한 다음 일반적으로 응답에서 하듯이 다른 모든 것을 설정합니다. 그리고 여기에 이러한 모든 효과가있는 반응 표면 모델 인 모델이 있습니다. 그런 다음 실행을 클릭합니다. |
| |
그리고 그것은 모델에 맞을 것이고 앞으로 선택 또는 올가미를 사용할 수 있습니다. 여기에서는 올가미를 사용했습니다. |
| |
이 경우에는 그다지 중요하지 않습니다. |
| |
그리고 실제로 일어난 것은이 경우에 절편 만 중요하다고 식별했기 때문에 실제로 모델에서 절편 만 얻었습니다. |
| |
그러나 가중치를 변경하고 데이터 테이블로 돌아가 이러한 가중치를 다시 시뮬레이션하면 모델에서 다른 결과를 얻을 수 있습니다. |
| |
우리는 적합한 모델을 변경하는 다양한 데이터 행, 실험의 다른 실행에 가중치를 부여합니다. 그래서 우리는 이것을 수백 번 반복 할 것입니다. 그리고 제가 할 것은 실제로 JMP Pro에서 시뮬레이션 기능을 사용하는 것입니다. |
| |
그리고 우리가하는 일은 가중치 열을 전환하고 다시 계산 된 가중치 열 버전으로 전환하는 것입니다. 그리고 수백 번 할 수 있습니다. 이 경우에는 실제로 250 번했습니다. 1 ~ 2 분 정도 걸리기 때문에 실제로 실행하도록 두지 않겠습니다. |
| |
이 작업을 마치면 다음과 같은 테이블이 표시됩니다. |
| |
이제 각 효과에 대해 250 개 모델 각각에 대한 모수 추정치를 얻었습니다. 그래서 |
| |
이 실행에서 제가 한 첫 번째 모델에서 이것은 구연산 주 효과에 대한 매개 변수 추정치였습니다. 다음 모델에서는 가중치를 다시 샘플링했을 때 |
| |
구연산 주 효과는 모델에 포함되지 않았으므로이 경우에는 0이었습니다. |
| |
그리고 이러한 모든 모수 추정치에 대해 실제로 분포를 실행할 수 있습니다. 그리고 당신이 할 수있는 것 중 하나는 |
| |
이 통계, 요약 통계를 사용자 정의하여 0이 아닌 비율을 확인하십시오. 여기서 절편을 볼 수 있습니다. |
| |
우리가 가로채는 추정치. 구연산으로 볼 수 있습니다. 대부분의 경우 0으로 추정되어 모델이 |
| |
구연산의 주 효과는 모델에 없었고, 많은 시간에 약 3으로 추정되었는데, 이것이 제가 시뮬레이션 한 것입니다. |
| |
그래서 우리가 보는 것은 그것이 0이 아닌 시간의 비율이고 우리는 그것들로부터 결합 된 데이터 테이블을 만들 수 있습니다. 그리고 저는 이미 그 일을했습니다. 그리고 조금만 ... |
| |
여기에 약간의 추가 기능이 있습니다. 주 효과인지 아닌지에 대한 열을 방금 추가했습니다. |
| |
이 시각화는 여기에 있습니다. 그래서 여러분이보고있는 것은 각 효과가 0이 아닌 시간의 비율입니다. 따라서 각 효과가 우리 모델에있는 시간의 비율은 |
| |
250 회의 시뮬레이션 실행을 수행했으며 여기서 부분 가중치를 재 시뮬레이션했습니다. 그리고 그것이 우리가 식별하는 데 사용하는 것입니다 |
| |
활성 효과, 그게 ... 놀라운 일입니다. 우리의 표준 방법으로는 할 수없는 일을 할 수있었습니다. 13 번의 실행에서 13 개의 활성 효과가 확인되었습니다. |
| |
최종 선별 설계. |
| |
이제 다음으로 무엇을 하시겠습니까? 우리는 실제로 그 모든 효과와 함께 그 모델을 맞추고 싶을 것입니다. 그리고 저는 그것을 할 수있었습니다. 여기에 맞는 모델을 비교하고 있습니다. |
| |
실제 시뮬레이션 된 응답과 비교하면 얼마나 가깝게 일치하는지 확인할 수 있습니다. 그래서 저는이 모든 주 효과,이 모든 이차와 절편을 가진 모델을 만들 수있었습니다. |
| |
그래서 여기에 13 개의 매개 변수 모델이 있는데,이 13 개의 최종 화면 디자인에 맞출 수있었습니다. 다시 한 번 놀랍습니다. |
| |
그리고 나는 그 부분에 대해 정확히 어떻게 이야기하지 않을 것입니다. 이제 피트에게 넘길 게요. 그는 자체 검증 된 앙상블 모델의 아이디어에 대해 조금 더 이야기 할 것입니다. |
| 피터 허쉬 |
물론. 고마워요 필 보자. 여기에서 내 화면을 공유하고이 프로젝트를 살펴 보겠습니다. 그래서 |
| |
여기에서 볼 수 있습니다 |
| |
같은 |
| |
흐름을 Phil으로, 우리는 여기에서 프로젝트를보고 있습니다. |
| |
6 번의 과포화 DOE로 시작했습니다. 여기 세 가지 요인이 있습니다. |
| |
내 실제 기본 모델 성장률은 무엇이며 성장률은 ... 시뮬레이션 된 성장률은 Phil이 언급 한 것처럼 |
| |
Mike Anderson이 개발 한 JMP 15의 추가 기능으로 수행 할 수있는이 자동 유효성 검사 열을 만듭니다. 또는 JMP 16에서는 소프트웨어에 바로 내장되어 있으며 분석 예측 모델링 플랫폼 확인 열에서 액세스 할 수 있습니다. |
| |
그래서 Phil이 보여준 것처럼, 그는 우리가 어떤 요인이 활성인지를 찾을 수있는 방법에 대한 훌륭한 예를 보여주었습니다. 이는 종종 DOE의 주요 목표이지만, 한 단계 더 나아가 그로부터 모델을 구축하려면 |
| |
우리는이 과정을 똑같은 과정으로 진행할 것입니다. 그래서 우리는 DOE를 구축하고, 자동 검증을 해당 DOE에 추가하고, Phil이 보여준 것처럼 모델을 구축합니다. 일반화 회귀와 |
| |
변수 선택 기술. 그래서 Phil Ramsey와 Chris Gotwalt는 이러한 다양한 기술을 살펴 보았고 모두 상당히 잘 작동하는 것 같습니다. 따라서 올가미를 사용하든 2 단계 전진 선택을 사용하든 모두 비슷한 결과를 보이는 것 같습니다. |
| |
꽤 잘 작동합니다. 일단 이것을 설정하고 실행하면 Phil이 보여준 것과 같은 모델을 얻게되고 이러한 모델 중 일부는 |
