OFAT란 무엇인가? 무엇이 문제인가?
한 번에 한 가지 요인(OFAT) 실험은 일반적으로 모든 요인을 하나만 제외하고 일정하게 유지하고 나머지 요인을 변화시키고 이것이 응답을 어떻게 변화시키는지 관찰하는 것을 포함합니다. 면밀히 조사하지 않으면 OFAT는 문제를 해결하는 직관적이고 "과학적인" 방법인 것처럼 보입니다. 개인적으로 실험에 대한 실험 계획(DOE) 접근 방식에 대해 배우기 전까지는 OFAT를 기본 접근 방식으로 의심한 적이 없으며, 문제를 해결하려고 할 때마다 한 번에 두 개 이상의 요인을 변화 시킬 수 없다고 생각할 정도였습니다. 한 번은 OFAT 방법을 사용하여 프로세스를 최적화하려고 프로세스 엔지니어와 약 3일을 보낸 적이 기억납니다. 저는 제가 체계적이고 과학적이며 최소한의 리소스만 필요하면서 올바른 방식으로 문제를 해결하고 있다고 생각했습니다. 제가 틀렸습니다. 조사해 보니 OFAT는 a) 최상의 프로세스 설정 ( 스위트 스팟)을 찾는 데 좋지도 않고 b) 리소스를 효율적으로 사용하지도 않습니다.
잠깐, OFAT가 적절한 지점을 찾지 못하는 건가요?
아니요, OFAT가 항상 최상의 프로세스 설정을 찾는 것은 아닙니다. 이를 확인하려면 OFAT vs. DOE 추가 기능을 다운로드하여 설치하세요. 이 추가 기능은 두 프로세스 요인('x' 및 'y'라고 함)에 대한 곡선 응답을 생성하고 그래프 오른쪽에 있는 몇 가지 버튼과 함께 이 응답의 그래프를 표시합니다. 'Scatterplot 3D' 버튼은 응답 모양을 시각화하는 대화형 방식을 생성합니다. 'Toggle Visibility' 버튼은 전체 응답 표면의 보기를 켜거나 끕니다.
이 예에서 가능한 가장 높은 프로세스 출력을 찾으려고 한다고 상상해보세요. 이는 x=2, y=8 사각형에 있습니다. 'OFAT Once' 버튼은 표준 OFAT 접근 방식 중 하나를 모방합니다.
- 무작위로 장소를 선택하세요.
- 다른 모든 요소를 일정하게 유지하고(이 경우 'y'), 허용되는 공간에서 남은 요소 하나('x')를 변화시키면서 최대값을 찾습니다.
- 발견된 최대값에서 변경할 다른 요소를 선택하고(이 실험에서는 'y'만이 남음), 다른 모든 요소는 일정하게 유지하고 최대값을 구합니다.
- 모든 요소가 검정될 때까지 3단계를 반복합니다(이 경우에는 총 요소가 2개뿐이었으므로 필요하지 않습니다).
- 과학을 이용해 달콤한 지점을 찾았으니 축하하세요! 하지만 잠깐, 정말인가요?
직접 시도해 보세요. '표시 전환' 버튼을 클릭하여 그래프를 지웁니다(사물이 이미 어떻게 생겼는지 모르는 척하기 위해). 'OFAT Once' 버튼을 사용하여 실험 프로세스가 어떻게 전개되는지 지켜보세요. 운이 좋다면(약 20%의 경우) 프로세스 최대/최적 지점을 찾을 수 있습니다. 나머지 시간에는 최대값을 찾지 못할 것입니다. 때로는 최대 프로세스 출력이 약 1.5단위라고 생각하며 오른쪽 아래 사분면에 도달할 수도 있습니다. 아래는 운이 좋은 OFAT 실험(왼쪽)과 운이 나쁜 OFAT 실험(오른쪽)의 예입니다.
'OFAT 10x' 버튼을 사용하여 OFAT 실험을 10번 빠르게 실행해 보면 최적의 결과가 나오는 경우가 약 30%에 불과하다는 것을 알 수 있습니다(무작위 표본 추출로 인해 숫자가 다를 수 있음).
'OFAT 1000x' 버튼은 1,000개의 실험을 빠르게 실행하고 OFAT가 적절한 지점을 찾는 빈도를 출력합니다. 적절한 지점을 찾는 경우가 약 25%에 불과하다는 것은 OFAT 실험이 신뢰할 수 없다는 것을 보여줍니다.
하지만 OFAT는 분명 효율적입니다. 그 화려한 DOE 접근 방식은 더 많은 실험적 실행이 필요할 것입니다, 맞죠?
틀렸습니다. DOE는 실행 횟수가 적다는 것을 의미합니다. 대화형 스크립트의 각 OFAT 실험은 19회 실행('x' 요인에 10회, 'y' 요인에 9회)이 필요합니다. 창 오른쪽에 있는 DOE 버튼을 클릭하면 모든 주효과, 모든 2방향 상호작용, 모든 제곱항, 모든 세제곱항을 포함하는 JMP의 Custom Designer에서 만든 DOE 결과가 포함된 데이터 테이블이 열립니다. JMP는 이를 14회 실행 DOE로 만들었고, 적절한 지점을 찾을 뿐만 아니라 아래 프로파일러에 표시된 것처럼 두 요인의 전체 범위를 예측하는 모델도 생성합니다(이 프로파일러와 상호 작용하려면 DOE 데이터 테이블에서 '모델' 스크립트를 실행하세요).
결과는 복잡성이 증가함에 따라 더 좋아질 뿐입니다. 동일한 OFAT 방법을 사용하는 5개의 연속 요인이 있는 프로세스는 46회 실행(첫 번째 요인에 10회, 나머지 요인 각각에 9회)이 필요 하고 최적의 지점을 찾지 못할 수도 있습니다 . JMP의 Custom Designer는 동일한 5개 요인에 대해 12회 실행(주효과만) 또는 27회 실행(주효과, 모든 2방향 상호 작용, 모든 제곱항)만 필요한 디자인을 생성합니다. 이러한 디자인에는 반복 실행도 포함되므로 반응 변동의 추정치를 계산할 수 있습니다. 분명히 DOE의 실험 접근 방식은 OFAT 실험보다 낫습니다. DOE는 실험을 덜 사용하고 최적의 지점을 더 규칙적으로 찾습니다.
DOE를 지지하는 설득력 있는 주장이네요. 다른 게 있나요?
네. 더 적은 리소스를 요구하면서 더 자주 솔루션을 찾는 것 외에도 DOE 접근 방식은 연구 중인 요인에 대한 다른 질문에 답하는 데 사용할 수 있는 모델도 생성합니다. OFAT를 사용하면 상황이 바뀌면 운에 따라 추가 실험 없이 새로운 상황을 해결할 수 있는지 여부가 결정됩니다. 예를 들어, 위의 샘플 프로세스 고객이 약 1.5단위의 프로세스 출력만 필요하고 성분 'y'가 엄청나게 비싸진다면 어떨까요? OFAT 접근 방식은 이에 대한 답이 없을 수 있습니다. DOE 접근 방식은 x=0, y=1의 새로운 스위트 스팟을 생성할 수 있는 모델을 가지고 있습니다.
당신의 경험은 어떻습니까? 당신의 작업에서 이 두 가지 유형의 실험적 접근 방식의 예를 본 적이 있습니까? 내가 놓친 것을 추가하고 싶습니까? 아래에 댓글을 남겨주세요.
