함께해 주셔서 감사합니다. 저는 "많은 설계, 적은 시간"에 대해 이야기합니다. 저는 JMP의 고급 분석 및 R&D 책임자인 라이언 레키베츠입니다. 실제로 JMP에서 DOE 및 신뢰성 팀을 이끌고 있습니다. 이 주제가 흥미로울 것 같다고 생각했습니다. 최신 버전의 JMP에서는 설계 탐색기에 몇 가지 추가 기능이 추가되었는데, 아직 보지 못하셨다면 이 강연을 마치면 확인하실 수 있을 겁니다.
하지만 그 전에, 여기 개요를 간략하게나마 살펴보셨을 거라고 생각했습니다. 잠시 우회해서 실험 계획법의 기본 개념에 대해 이야기해 보겠습니다. 그 중 하나는… 이전 발견 관련 발표들을 다시 살펴보니, JMP 13에서 비교 실험 계획법이 도입된 이후로 이 주제에 대해 많은 논의가 없었다는 것을 깨달았습니다. 아마 지금으로부터 거의 10년 전쯤이었던 것 같습니다. 이 인용구를 보지 못했다면, 이 발표가 발견 관련 발표라고 할 수 없을 것 같습니다. "모든 모델은 틀렸지만, 일부는 유용합니다."
물론, 실험을 설계할 때 제가 듣는 비판 중 하나는 이 모델들이 너무 단순해서 제 과정을 제대로 설명하지 못한다는 것입니다. 실험 설계가 왜 그렇게 오랫동안 효과가 있었을까요? 결국에는 우리 시스템을 이해하고 개선하는 데 유용한 모델을 구축할 수 있을 것입니다. 물론 완벽하지는 않겠지만, 적어도 어떤 요인이나 효과가 그 시스템을 움직이는지 더 잘 이해할 수 있을 것입니다.
제가 실험 설계를 볼 때 종종 선호하는 방식은 분산 편향 상충 관계라는 개념입니다. 이 개념은 여러 가지 실험 설계에서 어떤 결과가 나오는지에서 확인할 수 있습니다. 제가 실험 설계를 선택할 때 종종 살펴보는 것도 바로 이 점입니다. 제가 어떤 모델 효과를 가지고 있는지에 대한 아이디어입니다. JMP에 원하는 모델 항과, 제가 포함하지 않았지만 유용한 모델에 포함될 수 있는 항을 비교하는 것입니다. 몇 번 더 실행하고 데이터를 더 수집하면 이러한 효과나 항 중 중요한 것으로 밝혀진 항이 있을 수 있습니다.
간단한 예를 하나 살펴보겠습니다. 세 가지 요인 X1, X2, X3을 사용하여 간단한 실험 계획을 세웠고, 반응값을 수집했습니다. 분산 편향 상충 관계를 생각해 보면, 추정 효율성 같은 것을 생각해 볼 수 있습니다. 이는 해당 효과 추정치(이 경우 X1, X2, X3)의 표준 오차가 해당 표준 오차에 비해 얼마인지를 알려줍니다.
이 Y에 노이즈가 많으면 그에 대해 많은 것을 알 수 없을지도 모릅니다. 하지만 실제로 살펴보면, 방금 데이터를 생성했습니다. 실행해 보겠습니다. 보시다시피 RMSE는 약 1이었습니다. 모수 추정치를 살펴보면, 이 표준 오차는 상대 표준 오차인 0.2와 직접적인 관련이 있습니다.
이 말이 정말 의미하는 바는, 만약 제가 큰 효과 추정치를 가지고 있다면, 즉 큰 주효과 추정치를 가지고 있다면, 이상적으로는 이 설계가 그것을 감지할 수 있어야 한다는 것입니다. 여기서 우리가 보는 것은 바로 추정 효율성, 즉 분수 증가입니다. 제가 그보다 더 나은 결과를 낼 수 없었기 때문입니다. 제가 사용하는 설계가 이렇다면, 더 나은 결과를 낼 수 없을 겁니다.
하지만 이제 진짜 질문은 "내가 틀렸다면 어떡하지?"입니다. 이 디자인은 제가 디자인한 것입니다. 실험계획법(DOE) 대화 상자를 보면, 저는 주효과가 있다고 가정했습니다. X1, X2, X3이 있었고, 제가 가진 모든 것이 주효과라고만 말했습니다. 그런데 만약 X1과 X2 사이에 실제로 상호작용이 있다면 어떨까요? 이미 너무 늦었을지도 모릅니다. 이미 데이터를 수집했으니, 어떻게 될까요? 여기, 같은 디자인에서, 평가 디자인을 보면, 그 특정 상호작용을 추가하면 어떨까요? 바로 X1과 X2입니다.
여기 보시다시피, 제가 다른 디자인을 사용한 것 같은데, 여기서 얻는 건 X2와 X3에서 일어나는 일과 이 상호작용이 증가한다는 겁니다. 이 모든 것은 X1과 X2 상호작용을 추가했기 때문에 X2와 X3의 변형이 약간 증가했다는 것을 말해줍니다. 제가 그런 식으로 디자인하지 않았기 때문이죠. 이런 현상은 종종 별칭 행렬에서도 나타나는데, 별칭 행렬을 보셨다면 아시겠지만, 그 별칭 행렬에서 마이너스 1/3이 나오는 부분입니다.
그게 실제로 중요한 건 뭘까요? 이 평가 설계를 생각해 보면, 사실 여기도 같은 설계입니다. 제가 한 건 X1, X2 상호작용을 명시적으로 추가한 겁니다. 이 모든 건 X1 곱하기 X2를 취하겠다는 뜻입니다. 여기서 생각해 봅시다. 이제 제가 추정한 값이 여기에 있습니다.
이제 상관관계에 대한 색상 맵을 살펴보면, 우리가 종종 그렇게 하는 것을 알 수 있습니다. 여기서 더 큰 조각들을 얻게 됩니다. 하지만 이제 그게 무슨 상관이 있겠습니까? X1과 X2가 있다고 가정해 봅시다. 주효과를 여전히 모델링할 수 있습니다. 이렇게 모델링한다고 해서 무슨 상관이 있겠습니까?
매개변수 추정값을 살펴보겠습니다. 음, 아시겠지만, 모든 것이 반드시 유의미한 것은 아니었습니다. 하지만 그게 정말 중요한 이유는 무엇일까요? 모든 것이 괜찮았는데, 그렇다면 이런 식은 어디에 영향을 미칠까요? 예를 들어, 이 작업을 반복한다고 가정해 보겠습니다. 여기 보시다시피, Y 시뮬레이션이 있습니다. 그 뒤에 숨겨진 공식을 살펴보겠습니다. 여기, 이것이 제 실제 모델이라고 가정해 보겠습니다. X1, X2, X3의 주효과가 모두 어떤 작용을 하고, X1과 X2에 대한 상호작용도 있습니다.
하지만 제가 모델링할 때 모델에서 그 부분을 놓쳤다면 어떻게 될까요? JMP에서 할 수 있는 한 가지는 시뮬레이션을 반복해서 실행하는 것입니다. 그렇게 하면 여기서 무슨 일이 일어나는지 살펴보겠습니다. 저는 그 분포에서 계속해서 데이터를 추출할 것입니다. 제가 하는 일은 약간의 무작위 노이즈를 추가하는 것뿐입니다. 여기 X1을 보면 평균은 2에 정확히 위치해 있는데, 제가 원했던 값입니다. X2는 3인데, 예상했던 값입니다. 하지만 여기 X3은 1에 위치해 있습니다.
왜 그럴까요? 그건 별칭 행렬과 관련이 있습니다. 제가 X1과 X2를 놓쳤기 때문에 X3은 해당 매개변수 추정치의 1/3만큼 편향될 것입니다. 모델에 해당 항이 없으면 그렇게 하면 망칠 것입니다. 실험을 설계할 때 항상 생각해야 할 것은 우리가 올바르다고 생각하는 모델을 제공하기 위해 최선을 다해야 한다는 것입니다. 하지만 진단을 살펴볼 때 상관관계에 대한 색상 맵을 자주 언급하는 이유는 모델에 있는 항과 별칭 항 세트에 있었던 항을 비교하기 때문입니다. 하지만 이러한 항이 중요한 것으로 판명되면 어떻게 될지 알아보기 위해서입니다.
바로 여기서 맞춤형 설계가 중요한 역할을 합니다. JMP에서 설계 실험을 많이 해보지 않았다면, 맞춤형 설계가 첫 번째 옵션입니다. 특정 실험 설정에 맞는 최적의 설계를 생성합니다. 여기서는 맞춤형 설계에 대해 알아보겠습니다. 유용한 모델이 있다고 가정하겠습니다. 다시 말하지만, 모든 모델이 틀린 것은 아닙니다. 시스템에 대한 충분한 이해를 바탕으로 "좋아요, 이 주효과나 상호작용을 살펴보면 이 유용한 모델에 따라 설계를 만들 수 있을까요?"라고 말할 수 있다고 가정하겠습니다.
커스텀 디자인의 한 가지 특징은, 호버를 보셨더라도 최적 디자인이라는 아이디어에 대해 이야기하고 있다는 것입니다. 최적 디자인의 효율성이라는 아이디어는 우리가 실제로 그 실험을 통해 얻고자 하는 것과 매우 관련이 있습니다. 특히, 커스텀 디자인을 출시한다면, 다양한 최적성 기준이 있는데, 보시다시피 D, I, A, 그리고 추천이라는 글자들이 있습니다. 결국 이게 무슨 의미일까요?
음, 첫 번째 기본 집합은 모델 항을 추정하고 싶을 때만 사용됩니다. 유용한 모델이 있다고 가정하면, 그 항들을 정말 잘 추정할 수 있는지 확인하는 데 관심이 있을 겁니다.
주효과든 상호작용이든, 이 문제에 대한 수학적 세부 사항은 언급하고 싶지 않습니다. D-최적성 같은 것 말입니다. 이 문제는 해당 매개변수 추정치에 대한 전체 신뢰 타원체를 최소화하는 것입니다. 이 모든 것을 한 번에 고려한다는 의미입니다. A는 평균에 가깝지만, 매개변수 추정치의 평균 분산만 최소화하는 것입니다.
"정확한 용어를 찾고 있어요."라고만 말할 때는 괜찮지만, 이 모델이 유용한가요? 이 유용한 모델에서 가장 중요한 요소가 무엇인지 알아낼 수 있을까요?
자, 그럼 어디서 나온 말일까요? 음, 여기 커스텀 디자인에서 보면, 제가 JMP에 가정한 모델을 기반으로 할 겁니다. 기본적으로, 여기서는 주효과만 있을 수 있습니다. 별칭 항목은 중요할 수 있지만 모델에 포함하지 않은 항목입니다. 반면, JMP에 "이 두 요인 상호작용을 원한다"고 설정하면, JMP는 제가 설정한 모델을 기반으로 다양한 효율성을 도출합니다. 바로 이것이 커스텀 디자인의 아이디어입니다.
하지만 이제, 제가 이미 유용한 모델을 가지고 있다고 생각한다고 가정해 봅시다. 어쩌면 예측에 더 관심이 있고, 반응을 더 잘 예측하는 데 관심이 있을 수도 있습니다. 바로 여기서 또 다른 I-최적성이 발생합니다. 평균을 최소화하려고 하는 것입니다. 전체 설계 영역을 고려한다면, 전반적으로 잘하고 있는지 확인하고 싶을 뿐입니다. 저는 I-최적성을 사용할 것입니다.
이러한 다양한 효율성에서 나타나는 G-최적화는 "최악의 경우를 최소화하고, 절대 너무 나쁜 결과를 초래하지 않도록 하라"는 의미입니다. 별칭 최적성은 타협에 가깝습니다. "별칭 항에서 발생하는 편향으로부터 나를 보호해 달라. 모델에는 없었지만 중요할 수 있는 항들로부터 나를 보호해 주면서 전반적으로 합리적인 설계를 제공하도록 노력해 달라"는 의미입니다.
또한 If Possible 항이라는 것도 있습니다. DOE로 돌아가서 생각해 보겠습니다. If Possible 항이란 무엇일까요? 여기서 잠깐 살펴보죠. 이제 JMP에 "이 상호작용들은 중요할 수도 있고, 아닐 수도 있습니다. 이제 이것들을 If Possible로 설정할 수 있습니다."라고 말할 수 있습니다. JMP에 전달하는 메시지는 "필수 항들을 제공해 주세요. 이 항들을 반드시 추정해야 합니다. If Possible 항들은 추정할 기회가 없다면 추정하되, 필수 항들만큼 중요하지는 않을 것입니다."라는 메시지뿐입니다.
이 모든 것들이 어떻게 작용할까요? JMP에 "이게 내가 원하는 거야. 모델도 있고, 별칭 항도 있고, 여러 가지 최적성 기준도 있어."라고 말할 수 있습니다. 그런데 실제로 가장 큰 문제 중 하나는 설계 평가 부분입니다. 설계를 만들고 JMP에 "이걸 하고 싶어."라고 말했습니다. 그런데 이러한 진단 중 일부는 표본 크기에 비례하고, 일부는 그렇지 않습니다.
검정력 분석 같은 것을 생각해 보면, 검정력은 표본 크기와는 크게 상관이 없습니다. 물론 표본 크기가 클수록 효과 추정치에 대한 검정력이 높아지지만, 표본 크기와는 비례하지 않습니다.
마찬가지로 추정치의 표준 오차는 단지 계산일 뿐이지만 신뢰 구간의 분수적 증가는 표본 크기에 상대적입니다.
마찬가지로, 상관관계에 대한 색상 지도는 단순한 계산일 뿐이지만, 최종적으로 얻어지는 다양한 효율 지표는 해당 표본 크기에 대한 상대적인 값입니다. 제가 만든 12회 실행 설계는 다음과 같습니다. 주효과만 언급했습니다. 앞서 말했듯이, 전력과 같은 일부 효과는 간단한 계산입니다. 설계 진단과 같은 경우, "음, 이 설계는 100% D 효율입니다."라고 표시됩니다. 그 이유는 12회 실행 설계이고, 12회 실행 설계에서 얻을 수 있는 최고의 효율을 달성하기 때문입니다.
하지만 동시에 16회 실행 설계에도 같은 작업을 할 수 있습니다. 그런데 이제 전력 분석을 살펴보면, 놀랍지 않게도 표본 크기가 더 큽니다. 자, 이제 설계 진단을 살펴보겠습니다. 마찬가지로, D, G, A 효율은 모두 100%로 나오는데, 이러한 효율은 표본 크기에 대한 상대적인 값입니다.
16런 설계에서는 이보다 더 나은 결과를 얻을 수 없다는 뜻입니다. 마찬가지로 12런 설계의 경우에도 12런 설계에서는 이보다 더 나은 결과를 얻을 수 없다는 뜻입니다. 그렇다면 16런 설계 대신 12런 설계를 사용해야 할까요? 음, 상황에 따라 다릅니다. 16런을 감당할 수 있다면, 16런을 원하는지 확인하기 위해 다른 사항들을 살펴보는 게 좋을 것 같습니다.
실제로 문제가 될 수 있는 부분은 바로 이 부분입니다. 어떤 것을 비교하고 싶지 않은지 고민하기 시작하면, 바로 비교 설계에 들어가게 됩니다. 본론으로 들어가기 전에, 확정적 스크리닝 설계에 대해 이야기하고 싶습니다. JMP Discovery 컨퍼런스에 참석해 보셨다면 확정적 스크리닝 설계라는 개념을 자주 접하셨을 겁니다. 실제로 저희 확정적 스크리닝 설계 메뉴 상단에 이 설계가 있습니다.
다시 한번 말씀드리지만, 여기서 수학적 세부 사항에 너무 깊이 들어가고 싶지는 않습니다. 확정적 선별 설계는 회의 행렬을 폴드오버하는 아이디어 때문에 특별합니다. 저는 확정적 선별 설계를 이러한 절충안으로 보는 것을 좋아합니다. 여러 가지 최적성 기준을 기억하신다면, 실제로는 별칭 최적 설계로 발견되었습니다. 하지만 대각선에 0을 유지하고 중심점을 추가하는 매우 효율적인 설계였습니다. 확정적 선별 설계가 인기를 얻은 이유 중 하나는 분산 편향 상충 관계를 생각해 보면 이러한 설계가 직교한다는 것입니다.
주효과, 다시 추정으로 돌아가서, 주효과는 정말 잘 추정됩니다. 하지만 만약 상호작용이나 이차효과가 있다면, 이러한 주효과는 그들로부터 보호될 것입니다. 우리는 편향 보호 기능을 가지고 있는데, 유용한 모델에 이차효과나 상호작용이 있을 경우, 이런 방식으로 설계를 구성함으로써 내장된 보호 기능을 얻게 됩니다. 바로 주효과 편향 보호 기능입니다.
자, 제가 사용했던 다른 두 가지 디자인을 생각해 보세요. 왜 이걸 써야 할까요? 정말 좋은 점 중 하나는 0을 넣으면 비선형적인 효과가 발생하거나 디자인 공간의 중간에서 어떤 일이 일어나는지 확인할 수 있다는 것입니다. 기존 방식대로라면 플러스(+)와 마이너스(-) 1만 사용했을 때 그 부분을 놓치게 됩니다. 케이크를 굽는다고 생각해 보세요. 350도(섭씨 약 160도)를 사용해야 할 것 같은데, 325도나 375도(섭씨 약 160도)를 사용하면 좀 더 정확하지 않을 수도 있습니다.
제가 JMP에 범위가 325에서 375 사이가 되기를 바란다고 말했다면, 저는 350에서 아무것도 본 적이 없습니다. 하지만 제가 그렇게 하고 있는지 확인하고 싶을 수도 있습니다.
여기 덧붙여 말씀드리고 싶은 또 다른 사항은, 아마 눈치채지 못했을 수도 있지만, 실험 계획법 수업을 들으셨다면 저희 스크리닝 설계 플랫폼에 등장하는 고전적인 부분 요인 설계에 대해 자주 언급하시죠. 하지만 그 안에는 거의 직교 설계와 직교 혼합 수준 설계라는 것도 숨겨져 있는데, 이는 사실상 확정적 스크리닝의 특수한 사례라고 할 수 있습니다. 이 설계들은 고전적인 설계 아래에 숨겨져 있죠. 최신 버전의 JMP에서는 이 설계들을 훨씬 더 쉽게 찾을 수 있게 되었습니다.
그 확정적 스크리닝 디자인의 또 다른 문제는, 커스텀 디자인에서는 실제로 그 기능을 구현할 수 없다는 것입니다. 저는 '최적'이라는 별칭을 가진 이 절충안이라고 말했지만, 실제로는 0을 정확히 강제로 적용하는 것으로 나타났습니다. 확정적 스크리닝 디자인과 커스텀 디자인을 함께 시도해 본 적이 있다면, 가능은 하지만 많은 노력이 필요합니다. 반면 저는 이 플랫폼에 접속하기만 하면 자동으로 처리됩니다. 아무런 문제 없이 자동으로 구축되어 있습니다.
하지만 동료들과 이야기를 나누면서 세 가지 디자인 중 하나를 놓고 고민하고 있다고 가정해 보겠습니다. 누군가 이미 검토를 마쳤습니다. 저는 5가지 요인에 대한 맞춤형 디자인에서 방금 나온 12단계 디자인을 가지고 있습니다. 5가지 요인을 포함하는 확정적 선별 디자인과 16단계 디자인도 있습니다. 이제 16단계 디자인은 더 비쌀 것입니다. 하지만 어떻게 해야 할까요? 바로 이 부분에서 디자인 비교가 중요합니다.
이제 이 플랫폼 내에서 여러 디자인을 모두 비교할 수 있게 되었습니다. 개별 평가 디자인을 실행하고 어떤 디자인이 비교하기에 적합하고 어떤 디자인이 적합하지 않은지 알아내려고 애쓸 필요가 없습니다. 방금 말씀드렸듯이, 열 이름을 일치시키거나 JMP에서 자동으로 일치시킬 수 있으며, 여러 모델을 고려할 수 있습니다.
설계 비교를 찾을 수 있습니다. DOE, 설계 진단 아래에 설계 비교가 있습니다. 현재 활성 데이터 테이블에는 16회 실행 1이 있습니다. 이 데이터를 12회 실행 및 13회 실행과 비교해 보겠습니다. 여기 아래쪽에서 JMP에 열 일치 방식을 지정할 수 있지만, 자동 일치를 한번 사용해 보겠습니다.
JMP는 어떻게 그런 일을 할 수 있는지 알아낼 것입니다. 여기서 JMP가 실제로 올바른 설계를 찾았음을 확인할 수 있습니다. 요인 이름이 다르더라도 JMP는 자동으로 매칭을 시도합니다. 설계 비교 같은 기능의 장점은 무엇일까요? 이제 검정력 분석 같은 것을 살펴볼 수 있습니다. 동료들과 함께 검토하여 세 가지 설계 중 어떤 설계를 사용할지 결정할 수 있습니다. 물론 16번 실행하면 비용이 더 많이 들겠지만, 그만큼 검정력도 더 높아집니다.
저는 여러 가지를 살펴볼 수 있습니다. 이 설계 공간 플롯의 비율은 예측 분산과 관련이 있습니다. 전체 범위에서 얼마나 잘 작동할까요? 좋은 점은 설계 비교 단계에 있기 때문에 상대 효율성이라는 개념을 활용할 수 있다는 것입니다. 특정 실행 규모와 비교하는 것에 대해 걱정할 필요 없이, 직접 비교할 수 있습니다.
이제 "음, 이렇게 보면 16이나 12만 사용하고 싶을 수도 있겠네요. DSD는 왜 써야 하죠?"라고 말할 수 있겠죠. 다시 그 질문으로 돌아가서, 서로 다른 상관관계, 즉 모델과 별칭 용어의 차이에 대해 이야기해 보겠습니다. 만약 두 요인 상호작용 같은 것이 있다면, 설계 비교의 장점이 바로 이겁니다. 가정 게임을 할 수 있죠. 실제로 이 경우에는 설계 중 하나가 설정된 방식 때문에 특정 상호작용에 맞지 않을 수도 있다는 것을 알 수 있습니다.
이제 "음, 문제가 있네요. 다른 걸 추가해 볼게요."라고 말할 수도 있겠네요. 보시다시피, 이 특정 디자인은 제게 별로 도움이 되지 않는 것 같습니다. 이제 생각해 보세요. 상호작용을 추가하려고 하면, 16번 실행된 디자인이 문제가 있었던 것 같습니다. 모든 것을 추가해 봅시다. 여기서 JMP는 "음, 이 디자인은 실제로 상호작용을 맞추는 데 어려움을 겪고 있습니다. 그런데, 디자인 구성에 그 부분을 고려하지 않아서 이미 구성했는데, 이제 추가하려고 해도 제대로 할 수가 없습니다."라고 말하고 있는 겁니다.
이 아이디어로 돌아가 보면, 만약 제가 별칭 용어에 대해 걱정된다면, 그리고 여기 두 가지 요인의 상호작용에 대한 별칭 용어가 있습니다. 만약 제가 상호작용에 대해 걱정된다면, 아마도 확정적 선별 설계 같은 것을 사용하는 것이 나을 것입니다. 비교 설계가 그 문제를 파악하는 데 도움이 될 것입니다.
네, 디자인 비교 기능은 정말 훌륭한 도구라고 생각합니다. JMP에 내장된 기능이라서 JMP에서도 자주 사용하고 있습니다. 하지만 디자인 비교 기능의 한 가지 단점은, 아시다시피, 저는 각각의 데이터 테이블을 직접 만들어야 했고, 어떤 디자인을 비교할지 정확히 알고 있어야 했습니다.
하지만 그 전에, 본격적인 디자인 비교를 하기 전에 좀 더 다양한 디자인을 생각해 보고 싶었습니다. 바로 그때 디자인 탐색기가 등장합니다. 디자인 탐색기를 처음 보시는 분들을 위해, 여기서 다시 커스텀 디자인을 실행하고 같은 작업을 해 보겠습니다. 다섯 가지 요소를 추가해 보겠습니다. '계속'을 클릭합니다.
이 주효과 모델을 시도해 보려고 합니다. 바로 아래에 디자인이 있다는 것을 알 수 있을 겁니다. 디자인 탐색기가 활성화되면 이 디자인 탐색기가 나타납니다. "현재 요소와 모델을 사용하여 다양한 디자인 옵션을 탐색하여 디자인 선택에 도움을 받으세요." 디자인 탐색기를 클릭하고 어떤 결과가 나오는지 확인해 보겠습니다. 여기 주효과 모델이 있고, 여기 모델이 있다고 나와 있습니다.
단일 설계 또는 특정 옵션 조합에 대한 옵션을 선택하는 것을 볼 수 있습니다. 이제 누군가와 이야기를 나누고, "음, D 최적 설계와 A 최적 설계를 시도해 보고 실행 횟수를 12회에서 20회로 늘려 볼까요?"라고 말할 수도 있습니다. 설계 탐색기를 사용하면 실제로는 12회, 16회, 20회의 D 최적 설계와 12회, 16회, 20회의 A 최적 설계가 생성됩니다.
이전 버전의 디자인 탐색기에서는 사용자 지정 디자인 내에서 생성할 수 있는 작업만 할 수 있었습니다. 하지만 최신 버전의 JMP에서는 이제 확정적 스크리닝 디자인을 가져올 수 있게 되었습니다. 이제 확정적 스크리닝 디자인을 적용했을 때 어떤 결과가 나오는지 비교해 보고 싶다면,
이제 여러 가지 효율성을 비교하고 어떤 결과가 나오는지 살펴보겠습니다. 여기서 알 수 있듯이, 주효과는 이차효과와 2요인 상호작용에 직교합니다. 이는 주효과를 선택하면 좀 더 나은 결과를 얻을 수 있다는 힌트를 줍니다. 이제 이 다양한 설계가 제가 가진 다른 선택지들과 비교했을 때 어떤 결과를 보이는지 비교해 볼 수 있습니다.
마찬가지로, 이 디자인은 이전에는 본 적이 없을 수도 있는데, 직교 배열에 가까운데, 실제로는 균형을 맞추려고 합니다. 이 주효과 스크리닝 디자인은 각 열 쌍의 균형을 맞추려고 하는 것입니다. 마찬가지로, 이 직교 믹스 레벨 디자인도 마찬가지입니다. 과거에는 스크리닝 플랫폼 아래에 숨겨져 있던 또 다른 유형의 디자인입니다.
이제 이 모든 다양한 디자인을 빠르게 생성하고 어떤 디자인을 사용할지 고민할 수 있습니다. 하지만 동시에, 이제 막막해지기 시작할지도 모릅니다. "좋아, 어디서부터 시작해야 할지 모르겠어. 이걸 동료에게 보내면 어떨까?"라고 생각하게 될지도 모릅니다. 보시다시피, 이렇게 향상된 데이터 테이블이 있습니다. 효율성 대 실행, 효율성 산점도도 있습니다. 게다가 이 기능의 또 다른 장점은 동료에게 보낼 수 있다는 것입니다. 동료가 실행하고 디자인을 만들 수 있도록 스크립트가 준비되어 있습니다.
마찬가지로, 제가 직접 이 작업을 한다면 "좋아요, 이 17회 실행 DSD가 괜찮을 것 같네요. 제가 평가해서 어떤지 확인해 볼게요."라고 말할 수 있습니다. 여기서 바로 디자인 평가를 실행할 수도 있습니다. 준비가 되면 해당 선택 항목을 만들어 보겠습니다. 이렇게 17회 실행 최종 스크리닝 디자인이 완성되었습니다.
디자인 탐험가입니다. Discovery에 계시다면 기꺼이 이야기 나눠볼게요. 그렇지 않으시다면 아래에 댓글을 남겨주세요. 이 온라인 게시판에 댓글을 남겨주세요.
마지막으로 몇 가지 생각을 더 해보겠습니다. 디자인 탐험가라고 해도 디자인이 너무 많은 것처럼 느껴질 수 있습니다. "우연히 발견한 것은 칭찬받는 경우가 많지만, 디자인적으로 발견한 것은 더 믿을 만하다."라는 명언이 마음에 듭니다.
좋아요, 이쯤에서 모든 모델은 틀렸다는 걸 말씀드리겠습니다. 제가 좋아하는 또 다른 명언은 "실험을 계획하기에 가장 좋은 시점은 실험을 완료한 후다."입니다. 제가 진행한 모든 실험에서 항상 "이렇게 했으면 좋았을 텐데."라는 생각이 들거나, 실험이 끝나고 나서 "미리 생각해 봤더라면 당연한 거였는데."라는 생각이 들곤 합니다. 하지만 중요한 건, 설계 실험을 하려고 생각한다는 것 자체가 이미 앞서 있다는 것입니다.
실패한 실험, 아니 제가 실패한 실험이라고 부르는 실험조차도, 다음 실험에서는 무엇을 할지에 대한 무언가를 항상 배우게 됩니다. 실험 설계는 순차적인 과정으로 보아야 합니다. 실제로 실험 설계는 다음 실험에서 무엇을 할지 알아내는 데 도움이 됩니다.
하지만 제가 꼭 말씀드리고 싶은 것은 모델링 방식이 중요하다는 것입니다. 일반적으로 실험 설계라는 아이디어에 대해 고민하는 한, JMP에서는 사용자가 실험을 실행할 때 최적의 위치에 있도록 하는 최선의 방법을 고민하는 데 시간을 쏟습니다. 확정적 스크리닝 설계와 같은 방법으로 사용자를 보호하고, 편향으로부터 사용자를 보호하는 등의 노력을 기울이기 때문입니다.
하지만 결국 모델링을 어떻게 진행하느냐가 중요합니다. 확정적 스크리닝 설계나 이러한 모든 상호작용의 '가능하다면' 용어 등을 생각해 보면, 저는 실험을 설계할 때 종종 다양한 모델링 기법을 시도합니다. 원래 모델에 고려하지 않았던 용어들을 놓치지 않았는지 확인하거나, 제가 유용하다고 생각하는 모델이 제가 찾을 수 있었던 가장 유용한 모델인지 확인하기 위해서죠.
검정력 분석 같은 것을 볼 때도 이 말이 매우 사실이라고 말씀드리겠습니다. 제가 생각해 보면, 상호작용을 가진 네 가지 요인이 있고, 주효과와 두 요인 상호작용에 대한 검정력 분석을 할 때, 이 모든 항이 최종 모델에 포함될 거라고 기대하는 경우는 매우 드뭅니다.
전력 분석 같은 것에 대해 생각할 때, 저는 종종 가정적 게임을 하기 위해 시뮬레이션을 실행합니다. 이 중 두 가지가 유의미하다면 어떨까요? 아니면 세 가지가 유의미하다면 어떨까요? 제 최종 모델에 이 모든 것이 포함되는 경우는 매우 드뭅니다. 이러한 실험을 설계할 때 염두에 두어야 할 또 다른 사항은 모델 선택과 가정적 게임을 얼마나 깊이 있게 진행할 것인가입니다.
시간 내주셔서 정말 감사합니다. 이 강연이 유익했기를 바랍니다. 다시 한번, 의견이나 질문이 있으시면 아래에 남겨주세요. 감사합니다.
