나는 신비화하고 싶다 실험 설계 (DoE) 사람들이 시작할 때 혼동을 줄 수 있는 일부 용어 및 개념에 대한 간단한 설명과 함께. 이 전반에 걸쳐 일련의 블로그 게시물 , 우리는 물 샘플의 미량 불순물에 대한 GC-MS 분석에서 LVI(Large Volume Injector)를 설정하는 방법을 이해하는 것이 목적인 사례 연구를 사용해 왔습니다. 우리는 설계된 실험에서 우리가 찾는 가장 중요한 특성 중 일부를 설명하기 위한 예로 8가지 LVI 요인 설정의 26가지 조합을 테스트하는 실험 계획을 도입했습니다.
이 시리즈의 이전 게시물에서 우리는 다중 선형 회귀 도입 , 그리고 우리는 26회 실행 실험이 유용한 상관 속성 주요 효과, 2차 효과 및 2요인 상호작용 . 그러나 우리는 잠재적으로 중요한 모든 효과를 가진 다중 선형 회귀 모델을 구축하는 것이 불가능할 것임을 밝혔습니다. 모델에서 효과당 최소 하나의 실행이 필요하며 모든 주요 효과, 2차 및 2요인 상호 작용 및 절편을 추가하여 추정할 총 44개의 매개변수를 계산했습니다. 우리는 이것을 12명만 앉을 수 있는 회의실에서 회의에 20명을 초대하는 것에 비유했습니다.
이 게시물에서는 모델을 포함하는 데 중요한 모든 가능한 효과를 이해하는 방법을 살펴보겠습니다. 아인슈타인은 "모든 것을 가능한 한 단순하게 만들어야 하지만 더 단순해서는 안 됩니다."[1] 이것이 우리가 여기서 목표로 하는 균형입니다. 우리는 감지 신호를 최대화하도록 LVI를 설정할 수 있도록 알아야 할 동작을 캡처하는 시스템 모델을 원합니다. 중요한 효과를 놓치고 싶지는 않지만 불필요하게 복잡한 모델도 원하지 않습니다. 우리는 지극히 검소한 모델.
26회 실행 실험의 데이터를 사용하여 가장 중요한 효과만 있는 다중 선형 회귀 모델을 구축하는 방법을 살펴보겠습니다. 먼저, 회의 비유로 돌아가서 한계점 이상으로 확장하지 않기를 바랍니다!
최고의 회의를 단계별로 구축
What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)12명만 수용할 수 있는 방에서 20명이 회의에 참석하고 싶다면 어떻게 해야 할까요? (https://unsplash.com/search/photos/meeting에서 가져온 사진) 우리 회의에는 12명만 들어갈 수 있는 공간이 있고 참석하고 싶은 사람은 20명입니다. 이 20명 중 최고의 회의를 제공하기 위해 회의실에 필요한 사람은 누구입니까?
0단계부터 시작하여 단계적으로 참석자를 선택하여 이에 답하겠습니다.
0단계. 우리는 회의실에 아무도 없는 상태에서 시작합니다.
1 단계. 우리는 회의에 참석한 20명의 각 사람을 스스로 시험해 보고 최고의 회의 품질을 제공하는 한 사람인 Katie를 유지합니다. 그녀는 이 회의에 가장 적합한 사람입니다. 지금은 모두 방 밖에 있습니다.
2 단계. 이제 나머지 19명의 가능한 참석자를 살펴보고 각 참석자를 회의실에 배치하여 어떤 쌍의 Katie + 1이 우리에게 최고의 회의를 제공하는지 알아봅니다. Katie + Robert가 최고라는 것을 알았습니다. 나머지 18명은 방 밖에 있습니다.
3단계. 나머지 18명의 참석자를 살펴보고 Katie + Robert + 1의 조합이 가장 좋은 조합을 찾습니다. Judy를 방에 추가합니다.
4단계. 등등…
12단계. ...방이 꽉 찰 때까지.
이것이 우리가 가질 수 있는 최고의 만남입니까? 우리는 Michael이 12번째 참석자로 추가하기에 가장 적합한 사람이라는 것을 알았습니다(나머지 8명은 형편없었습니다. 특히 Phillip). Michael이 자신의 포함을 정당화할 만큼 회의에 충분히 기여할 것입니까? 전화를 두드리는 것으로 회의를 방해하는 데 대부분의 시간을 보내겠습니까? 회의에 12명 모두가 정말로 필요한가요?
이제 회의 품질이 0단계에서 12단계로 어떻게 변경되었는지 살펴보겠습니다. 회의 품질이 가장 높은 곳을 찾고 4단계에서 찾았습니다.
Meeting Quality versus Step.Meeting Quality versus Step.Meeting Quality versus Step.Meeting Quality versus Step.회의 품질 대 단계.
최고의 회의는 Katie, Robert, Judy 및 Louise와 함께하는 것이라고 결론을 내립니다. 우리는 회의에 필요한 이해를 포괄하는 최상의 균형을 찾았습니다. 가능한 다른 참석자 각각은 유용한 기여를 할 수 있지만 회의실에 너무 많은 사람들이 서로 이야기하는 부정적인 점을 능가할 만큼 중요하지 않습니다.
이것이 회의를 설계하는 좋은 방법입니까? 잘 모르겠습니다. 어쩌면 당신은 그것을 시도하고 알려줄 수 있습니다. 그러나 데이터를 사용하여 모델을 구축하는 방법에 대한 좋은 비유입니다. 설계된 실험 .
최고의 모델을 단계별로 구축
PkHt(SUM) 모델의 경우 44가지 가능한 효과가 있습니다. 회의에 참석할 사람을 결정한 것과 같은 방식으로 모델을 결정할 것입니다.
0단계. 26회 실행 실험의 데이터에 절편 전용 모델을 맞추는 것으로 시작합니다.어떤 요인도 응답에 중요한 영향을 미치지 않는 한 이 모델은 너무 단순해서 유용하지 않습니다. 예측 프로파일러에는 모델에 요인 효과가 없기 때문에 X축이 없습니다.
실제 응답 결과 대 모델 예측의 플롯은 모델이 그다지 유용하지 않음을 보여줍니다.
각 실행의 실제 결과와 해당 요인의 해당 설정에 대한 모델 예측 사이에 일치하지 않습니다. 완벽하게 예측하는 모델의 경우 포인트가 45도 선에 정렬됩니다. 현재 모델은 하나의 값만 예측합니다. 이는 모든 실행(4862070)에 대한 평균 PkHt(SUM)를 알려줍니다. 이는 요인의 영향에 대해 아무것도 모르는 경우 PkHt(SUM)가 무엇인지에 대한 최상의 추정치입니다.
1 단계.절편과 다른 43개의 매개변수 중 하나가 있는 최상의 모델을 찾습니다. 우리는 43개의 가능한 모델을 적합시켰고, Speed(Inj)의 절편과 2차 효과가 있는 모델이 가장 좋다는 것을 발견했습니다. 42개의 다른 모든 효과는 이 단계에서 모델에 없습니다.
다음은 속도(Inj)에 대한 PkHt(SUM)의 곡선적 변화를 보여주는 프로파일러 플롯입니다.
실제 대 예측이 개선되었지만 여전히 좋지는 않습니다.
2 단계.우리는 Vol(Inj)와 T(Inj)의 상호작용이 이 단계에서 추가하기에 가장 좋은 효과임을 발견했습니다. Vol(Inj)가 가장 낮은 설정으로 설정된 Profiler 플롯에서 이 효과를 볼 수 있습니다.
… 그리고 가장 높은 설정에서.
PkHt(SUM) 대 T(Inj)의 기울기가 어떻게 변경되었는지 확인하십시오. 다시 말하지만, 실제와 예측 사이의 일치가 개선됩니다.
3~19단계. 이런 식으로 진행하면서 각 단계에서 가장 중요한 효과를 추가합니다.
20단계. 20단계로 빠르게 이동하면 모든 요인의 효과가 20개의 효과와 절편이 있는 복잡한 모델에 포함됩니다.
실제 대 예상이 훨씬 좋아 보입니다.
실험에서 실행한 만큼 많은 매개변수를 맞출 때까지 계속 진행할 수 있지만 이 단계에서 이미 과대적합되었을 수 있습니다. 이제 모델 품질이 0단계에서 20단계로 어떻게 변경되었는지 되돌아봅니다. 실제 대 예측이 어떻게 변경되었는지 확인할 수 있습니다.
단계를 진행하면서 모델이 개선된 것을 볼 수 있지만 복잡성을 감수해야 할 수도 있습니다. 각 단계에서 최상의 모델을 생성하는 효과를 추가했지만 "최고"가 무엇을 의미하는지 말하지 않았습니다. 각 단계에서 최상의 모델을 결정하고 모든 단계에서 최상의 모델을 결정하는 프로세스를 갖기 위해서는 모델이 얼마나 좋은지에 대한 숫자를 입력할 수 있어야 합니다. 사실, 통계학자들은 이것을 하기 위해 많은 방법을 고안했습니다. 이 예에서는 수정된 Akaike의 정보 기준 또는 AICc . 각 단계에서 AICc가 가장 낮은 모델에 주는 효과를 추가했습니다. 여기에 AICc 대 단계 수의 플롯이 있습니다.
AICc가 낮을수록 더 나은 모델을 나타냅니다. AICc는 데이터에 대한 적합도가 향상됨에 따라 감소합니다. 모델에 매개변수를 추가하면 AICc가 증가합니다. 적합도와 복잡성의 균형을 맞추는 스위트 스팟을 찾는 데 사용할 수 있습니다. 이 경우 AICc가 0단계에서 7단계로 감소한 다음 20단계를 향해 비정상적으로 증가하는 것을 볼 수 있습니다. (노란색과 녹색 밴드는 가이드입니다. 이 범위의 AICc가 있는 모델은 최상의 모델과 어느 정도 동일합니다.) 따라서 7단계에서 모델을 선택할 수 있습니다.
앞으로 및 뒤로 단계
우리가 설명한 프로세스는 단계적 회귀 또는 단계별 선택 . 더 구체적으로, 우리는 앞으로 단계별 선택. 당신은 사용할 수 뒤로 적합할 매개변수보다 더 많은 런이 있을 때 선택하여 모델의 모든 효과로 시작하고 각 단계에서 가장 덜 중요한 효과를 제거하여 거꾸로 작업할 수 있습니다. 앞으로와 뒤로 조합을 사용할 수도 있습니다. 다른 선택 사항은 다음을 지정할지 여부입니다. 영향 유전 , 주효과도 모델에 있는 경우에만 2차 효과를 포함할 수 있습니다. 영향 유전을 따르는 모델이 일반적으로 선호됩니다.
이러한 다양한 옵션 및 기타 옵션은 다음과 같은 소프트웨어의 자동화된 단계별 프로세스에서 사용할 수 있습니다. JMP . 의 일반화 회귀 플랫폼 JMP 프로 모델 가능성을 탐색할 수 있는 대화형 및 시각적 인터페이스를 제공합니다. 이는 모델의 최종 선택이 AICc 또는 하나의 통계 측정에만 의존하지 않기 때문에 유용합니다.
“모든 모델이 잘못됐다…
…그러나 일부는 유용합니다.”[2] 이 유명한 인용문은 DoE를 처음 사용하는 경우 걱정되는 진실을 포착합니다. 결국 정답은 없습니다! 모델은 실제 행동에 근접하므로 어떤 의미에서는 항상 "잘못된" 것입니다. 이것이 문제라고 생각해서는 안됩니다. 이러한 방식으로 "잘못된" 모델을 통해 우리는 과학적 및 공학적 목표를 달성하기 위해 중요한 동작을 이해하는 데 집중할 수 있습니다. 앞에서 말했듯이 우리는 인색한 모델을 목표로 하고 있습니다.
이 예를 통해 비교적 많은 수의 가능한 효과를 정렬하여 중요한 몇 가지를 찾아 유용한 모델을 구축하는 방법을 살펴보았습니다. 또한 시스템에 대한 경험 및 지식과 함께 통계적 방법을 사용하여 가장 유용한 모델을 선택하는 방법도 살펴보았습니다. 우리가 설계한 실험은 최소한의 실험 노력으로 이를 달성하는 데 필요한 데이터를 제공했습니다. 각 단계에서 이 방법은 디자인의 상관 관계 속성과 함께 제공되는 명확성 때문에 최상의 효과를 선택할 수 있습니다. 다시 말하지만 가장 유용한 솔루션에 효율적으로 도달하려면 DoE를 사용해야 합니다.
이 시리즈의 마지막 게시물에서는 우리가 배운 모든 것을 요약하고 또한 우리가 놓친 것에 대해 이야기하려고 노력할 것입니다.
노트
[1] 사실, 아인슈타인은 이렇게 말하지 않은 것 같다. . 아이러니하게도 그의 버전은 그렇게 단순하지 않았습니다.
[2] 조지 박스. 보다 이 위키백과 항목 이상.
