공정 최적화 전략의 효과를 보여주는 수많은 연구가 진행되어 왔습니다. 일반적으로 비교 대상은 '한 번에 한 가지 요인만 변경하는' OFAT(One Factor At Transformation) 실험과 '실험 설계' 접근법입니다. 익숙하지 않고 차원이 큰 공정 공간(예: 10개 이상의 요인)에 직면했을 때, 연구자들은 해석이 용이한 OFAT 방법을 자주 사용합니다. 하지만 동일한 목표를 달성하기 위해 여러 실험을 수행하여 어떤 전략이 가장 우수한지 평가하는 것은 비용과 물류 측면에서 현실적으로 어렵습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 12개의 익숙하지 않은 연속형 및 범주형 요인을 가진 PCR(Primerase Chain Reaction) 시뮬레이터를 활용하여 이러한 질문들을 탐구했습니다.
저희 팀은 전자 재료 산업 분야에서 수십 년간 공정 최적화 경험을 쌓아온 전문가들로 구성되어 있습니다(애플 등에서 근무한 경력 보유). 저희는 연구 분야와는 전혀 무관한 분야에서 다수의 요인과 그 복잡한 상호작용이 다양한 결과에 미치는 영향을 시뮬레이션할 수 있는 시뮬레이터를 의도적으로 선정했습니다. 실험 자동화를 위해 파이썬 웹 자동화 스크립트를 사용했습니다. 이 시뮬레이터와 스크립트를 활용하여 실제 현장에서 경험했던 제약 조건과 실험 예산을 그대로 적용하면서 다양한 실험을 수행할 수 있었습니다. 실험 예산 규칙을 준수하면서 네 가지 전략의 효율성과 정확도를 비교했습니다. 비교 대상 전략은 업계에서 일반적으로 사용되는 OFAT 유형 전략 두 가지와 DOE 및 고급 DOE 유형 전략 두 가지입니다. 모든 실험 분석 및 모델링에는 JMP를 사용했으며, 각 전략을 객관적으로 비교하고자 했습니다.
안녕하세요. 최적화 전략 비교 및 복잡한 다차원 프로세스에 대한 이번 웨비나에 오신 것을 환영합니다. 저는 아싯 라이르카르이고, 공동 연구자인 제프리 켈리입니다. 이번 웨비나는 2024년 10월에 열리는 JMP Discovery USA 컨퍼런스를 위해 준비되었습니다. 발표 개요는 다음과 같습니다. 먼저 저희를 소개하고, 연구 동기와 접근 방식에 대해 설명드리겠습니다. 또한, 저희가 선택한 네 가지 프로세스 최적화 접근 방식에 대한 방법론과 배경을 간략하게 소개하겠습니다. 마지막으로, 연구 결과와 토론 내용을 발표하고 향후 연구 방향에 대한 제안을 드리겠습니다. 앞으로의 연구는 여러분의 의견을 경청하고 함께 논의할 수 있는 열린 토론의 장이 될 것입니다.
안녕하세요, 저는 아싯 라이르카르입니다. JMP 및 공정 최적화 교육 및 컨설팅을 제공하는 JMP 파트너사인 사마사 컨설팅(Samaasa Consulting)의 대표입니다. 저는 거의 20년 동안 샌프란시스코 베이 지역에 있는 애플에서 근무했습니다. 애플, 어플라이드 머티리얼즈, 태양광 스타트업인 미아솔레(Miasolé), 그리고 나중에 LAM 리서치에 인수된 노벨러스(Novellus)에서 리더십 역할을 수행했습니다. 배터리, 태양광, 반도체 분야에서 공정 및 제품 개발을 담당했으며, 주로 박막 및 전자 재료 분야에 집중했습니다. 저는 20년 이상 JMP/DOE(에너지 효율법) 전문가로 활동해 왔습니다. DOE에 대한 저의 애정은 애리조나 주립대학교에서 박사 과정을 밟던 시절, DOE 관련 고전 기술 서적을 저술하신 몽고메리 박사님께 수업을 들으면서 시작되었습니다. 언제든지 연락 주시기 바랍니다. 저희 두 사람의 링크드인 프로필과 제 이메일 주소 asit@samaasa.com을 아래에 첨부했습니다. 이 주제에 대한 비판, 의견, 제안, 개선 사항 또는 토론 등 어떤 주제든 자유롭게 말씀해 주시면 감사하겠습니다.
그럼 제프가 자기소개를 하도록 하겠습니다.
제 이름은 제프 켈리입니다. 저는 공정 엔지니어링과 배터리, 반도체 분야, 특히 박막 공정에 집중해 왔습니다. 스위치백 시스템즈, 애플, IPS라는 소규모 배터리 회사, 그리고 아이다호주 보이시에 있는 마이크론 테크놀로지스에서 근무했습니다. 마이크론에서 반도체 분야 경력을 시작했는데, 그곳에서 실험 설계(DOE) 및 기타 분석에 JMP를 사용하기 시작했습니다. JMP를 사용한 지는 약 20년 정도 되었습니다. 아마 처음 라이선스를 받았던 버전이 JMP 4였던 것 같습니다. 이제 아싯 이야기를 시작하겠습니다.
감사합니다. 저희는 애플에서 함께 일하고 있으며, 벌써 10년째 알고 지내고 있습니다. 그동안 이번 프로젝트를 비롯해 여러 주제에 대해 함께 협업하고 의견을 나누어 왔습니다. 이렇게 다시 한번 함께 작업하게 되어 기쁩니다.
이번 발표의 동기는 매우 간단합니다. 이는 수없이 논의되어 온 흔한 주제이지만, 여전히 크고 작은 기업의 고객과 팀들이 특히 복잡한 프로세스 공간이나 많은 요인을 다룰 때, 한 번에 하나의 요인만 고려하는 실험을 고집하는 경우가 많습니다. 이러한 실험 방식이 설명하고 실행하기 훨씬 쉽다고 생각하기 때문입니다. 또 다른 동기는 OFAT와 DOE 비교가 항상 소규모 요인 집합을 대상으로 이루어지거나 발표된다는 점입니다. 대규모 요인 집합에 대한 비교 및 발표는 매우 어렵습니다. 또한 OFAT와 DOE의 다양한 변형 실험도 많이 이루어지지 않습니다. 마지막으로, 가장 큰 동기는 제가 커리어 내내 항상 해보고 싶었던 비교이기 때문입니다. 하지만 아시다시피, 제가 어떤 회사에서든 경영진에게 "순전히 학술적인 연구를 위해 동일한 문제를 해결하는 네 가지 다른 접근 방식을 사용하려면 예산을 네 배로 늘려주세요"라고 요청했다면, 아무도 그런 예산을 주지 않았을 것입니다.
저희는 OFAT와 최신 DOE를 객관적으로 비교하고 싶었습니다. 특히 오른쪽 그림처럼 복잡한 굴곡이 많은 비단조적인 프로세스를 다룰 때 더욱 그렇습니다. 이런 경우, 전문가가 프로세스가 이와 같을 수 있다고 말하면 엔지니어와 과학자들은 DOE를 꺼리고 한 번에 한 가지 요인만 실험하는 방식을 택하며 매우 신중하게 접근합니다. 이것이 바로 저희가 OFAT를 시도하게 된 동기입니다. 이제 제프에게 저희의 접근 방식과 OFAT 접근법에 대해 설명해 달라고 부탁드리고, 저는 DOE에 대해 설명드리겠습니다. 감사합니다.
실제 실험에서 이를 구현하는 것은 비용 측면에서 너무 비효율적이었기 때문에 시뮬레이터가 필요했고, 결국 온라인에서 PCR 시뮬레이터를 찾았습니다. 웹 기반 시뮬레이터를 사용하여 실험계획법(DOE)에 적용했던 네 가지 전략을 비교할 수 있었습니다. 이 시뮬레이터는 11개의 연속 변수와 1개의 범주형 변수를 입력받습니다. 아, 죄송합니다. 11개의 연속 변수와 1개의 범주형 변수를 입력받아 두 개의 연속 반응값을 생성합니다. 저희에게는 이 시뮬레이터가 완전히 블랙박스였습니다. 저희는 PCR 전문가가 아니었고, 기술이나 그 이면에 있는 화학적 원리조차 잘 알지 못했습니다. 이 시뮬레이터 덕분에 실험계획법(DOE)에 있어 엄격한 기준을 적용하고, 원하는 결과를 얻기 위해 변수를 조작하지 않고 입력하는 과정을 반복할 수 있었습니다. 또한 입력값과 출력값을 코딩했습니다. JMP를 이용한 분석은 결과만 보여주는 블랙박스 방식이었지만, 결과적으로는 다양한 실험계획법 전략을 비교하는 데 필요한 분석 결과를 얻을 수 있었습니다. 실제 현장에서 이러한 일을 할 때, 테스트를 진행하고자 하는 모든 분야에 대한 전문 지식을 갖추고 있다는 것은 매우 중요합니다.
이는 많은 지침과 실험 설계를 제공하며 더 나은 결정을 내리는 데 도움이 될 것입니다. 하지만 이 경우에는 좋은 비교 자료를 제공했다고 생각합니다. 다음 슬라이드로 넘어가겠습니다.
우리는 이것이 실제 세계에서 어떻게 재현되는지, 그리고 우리 시뮬레이터가 실제 세계를 어떻게 반영하는지 또는 상반하는지를 살펴보고 싶었습니다. 시뮬레이터를 선택한 주요 이유 중 하나는 실제 세계에서 흔히 볼 수 있는 제한된 실험 횟수 때문입니다. 우리 시뮬레이터처럼 12개의 요인을 사용하는 완전 요인 설계를 수행하려면 4,000회 이상의 실험이 필요합니다. 당연히 시뮬레이터에서도 자동화를 사용하더라도 이는 어렵고 실행 시간이 매우 오래 걸립니다. 그래서 우리는 각 실험 설계 유형별로 30회로 실험 횟수를 제한했습니다. 이는 실제 세계에서 예상되는 실험 횟수 제한을 반영한 것입니다. 또 다른 실제 시나리오는 엔지니어들이 공정 공간에서 범주형 요인을 피하거나 미리 선택하는 경우입니다. 예를 들어, 특정 화학 물질에 대한 최적화를 수행하기 전에 해당 화학 물질 제조업체를 결정하는 경우가 있습니다. 어떤 사람들은 이러한 범주형 요인을 피하는데, 이는 실험 설계를 여러 면에서 복잡하게 만들기 때문입니다. 이러한 경우, 우리는 OFAT 설계에서 한 번에 하나의 요인씩 선택하여 먼저 실험을 진행했습니다.
OFAT 설계의 또 다른 특징은 입력값을 선택하는 순서가 임의적이라는 점입니다. 그래서 우리는 범주형 요인을 선택했습니다. 실제 상황에서도 요인 제약 조건이 존재합니다. 이러한 제약 조건은 공정이나 장비, 기질, 용기 크기 등에 내재되어 있습니다. 시뮬레이터에서는 이러한 제약 조건이 시뮬레이터 자체에서 제공됩니다. 이는 PCR에 포함된 화학 물질의 양과 관련이 있으며, 여러 실험을 통해 요인 제약 조건에 대한 방정식을 찾을 수 있었습니다. 이로 인해 사용할 수 있는 매개변수 또는 입력 매개변수의 범위가 제한되었습니다.
실제 현장에서 흔히 겪는 문제 중 하나는 실험 시간과 측정 시간 사이의 균형입니다. 실험 하나를 진행하는 데 한 시간에서 하루가 걸릴 수 있지만, 측정 결과를 받는 데는 보내는 연구소의 우선순위에 따라 일주일이 걸릴 수도 있습니다. 하지만 시뮬레이터를 사용하면 상황이 달라집니다. 시뮬레이터는 결과를 즉시 제공하고, 그 데이터를 JMP에서 거의 즉시 분석할 수 있습니다. 작업 속도가 훨씬 빨라지는 것이죠. 물론 반대의 경우도 있을 수 있으므로 이러한 요소들을 고려했습니다.
실험 실패. 실제 상황에서는 실험 실패가 발생할 수 있습니다. 실험이 누락될 수도 있죠. 정전, 장비 고장, 기술자의 휴가 등으로 인해 발생할 수 있습니다. 현실에서는 어떤 일이든 일어날 수 있습니다. 이 경우, 누락된 실험이나 기타 문제들을 자동화를 통해 보완할 수 있었습니다. 다음 항목에서 레시피 관리에 대해 설명하겠지만, 실제 상황에서는 레시피 관리 시스템을 사용할 수 있을 수도 있고 그렇지 않을 수도 있습니다. 이상적으로는 값을 입력하면 해당 값이 장비에 직접 다운로드되어 프로그래밍한 대로 실험이 실행되는 시스템이 있을 것입니다. 저희는 Selenium이라는 플랫폼과 Python 스크립트를 사용하여 이러한 시스템을 에뮬레이션하고 모든 입력을 자동화했습니다. 이는 저희 목적에 맞게 레시피 관리 기능을 모방한 것입니다. 또한 실제 상황에서는 장비 성능에 영향을 미치는 극단적인 설정값이 존재할 수 있습니다. 예를 들어 스포터 시스템의 전원 공급 장치를 최고 또는 최저 설정으로 작동시키면 결과에 영향을 미칠 수 있습니다.
그렇게 하면 좋은 성능을 기대하기 어렵습니다. 그런 시스템을 비롯한 여러 시스템에서 테스트를 진행할 때는 공정 장비의 상한 및 하한값을 피해서 진행합니다. 저희 시뮬레이터 시스템에서도 마찬가지로 그렇게 했고, 비슷한 이유로 부록 슬라이드에 관련 제한값을 제시했습니다.
그리고 현실 세계의 소음 문제도 있습니다. 사람, 기계, 방법 등 무엇이든 프로세스 시스템에 소음을 유발할 수 있습니다. 시뮬레이터 자체에도 소음이 내장되어 있습니다. 프로그래밍 과정에서 동일한 입력 요소를 사용하더라도 공기 또는 소음 출력이 미미하게 달라진다는 것을 발견했습니다. 저희도 이를 직접 경험했습니다. 다음 슬라이드에서 설명드리겠습니다.
저희는 네 가지 유형의 실험 설계를 사용했습니다. 첫 번째는 '한 번에 한 요인씩'으로, 각 요인을 순차적으로 변경하면서 다양한 설정을 적용했습니다. 두 번째는 OFAT2로, 두 가지 유형의 요인 조합을 그룹화한 후 새로운 기준선을 설정하여 최적화했습니다. 마지막은 DSD(확정적 선별 설계)와 공간 채움 설계입니다.
OFAT1에 대해 좀 더 자세히 살펴보겠습니다. 말씀드렸다시피, 한 번에 하나의 매개변수만 조정하고 각 매개변수를 해당 설정에 최적화된 값으로 설정한 후 동일한 전략을 반복합니다. 오른쪽에 표가 있는데, 이는 저희가 구성한 가상 실험입니다. 실제 결과가 아니라 순전히 가상적인 결과입니다. 첫 번째 실험에서는 X4를 살펴봅니다. X4에서 L1과 L2를 비교해 보면 L1 값이 더 높습니다. 우리는 Y를 최적화하고 있습니다. 이 L1 값을 X1의 플러스와 마이너스 값에 적용하여 최적 설정값인 110을 얻습니다. 따라서 X1에는 플러스 값을, X4에는 L1 값을 적용합니다. 이제 X2를 살펴보고 플러스와 마이너스 값을 비교해 보겠습니다. 자, 이건 흥미로운데, X2에 대한 최적 설정값이 0이었기 때문입니다. 이전 비교에서 이미 그 값을 사용했으니, 최적 설정값은 110입니다.
X2를 0으로 설정하고 X3의 양수와 음수를 비교하여 X3의 음수 값이 최적값인 115임을 확인합니다. 이 모든 값을 최적값으로 설정하여 새로운 기준선 검증을 실행하면 120이라는 결과가 나오는데, 이는 이번 실행 세트에서 얻은 최적값입니다.
이제 OFAT 2로 넘어가겠습니다. 비슷한 방식으로 한 번에 하나의 요인씩 분석하지만, 이번에는 요인들을 그룹으로 묶습니다. 중심 기준선을 기준으로 요인들을 하나씩 조정하고, 하위 그룹의 요인들을 최적값으로 설정하여 새로운 기준선을 만듭니다. 그리고 다음 하위 그룹의 다른 그룹에도 동일한 전략을 적용합니다. 오른쪽 차트를 보시면, 앞서 말씀드린 것처럼 또 다른 가상 실험입니다. 첫 번째 그룹에서 X1과 X4를 살펴보겠습니다. 먼저 X4부터 시작합니다. X4의 범주형 요인으로 L1과 L2를 설정합니다. 최고값을 105로 설정한 다음, X1의 플러스와 마이너스 비교를 위한 기준선으로 재설정하고, 최적값인 마이너스 값을 찾습니다. 이 마이너스 값과 X1 및 X4의 L2 값을 사용하여 새로운 기준선을 설정합니다. 이를 테스트하면 108이라는 결과가 나옵니다. 이것이 새로운 기준선입니다. 그런 다음 다음 하위 그룹으로 넘어가 X2의 플러스와 마이너스를 비교합니다.
최적값으로 115라는 높은 값을 얻습니다. 기준선으로 재설정하고, 플러스와 마이너스를 비교하기 위해 X3를 실행하면 최고값 114를 얻습니다. 현재로서는 X2와 X3가 각 요소에 대한 최적값으로 양수이므로, 이를 새로운 기준선으로 가져와 모든 요소에 대한 최적 및 선호 설정값인 마이너스-플러스-플러스-L2를 출력값 최고값 125로 설정합니다. 그런 다음, 말씀드린 대로 화면 디자인과 SFD를 마무리하는 단계로 넘어갑니다.
제프, 감사합니다. 말씀드린 접근 방식은 저희 두 사람 모두 연구 경력 동안 접해왔고 다른 연구 그룹들이 사용하는 것을 보아온, 한 번에 하나의 요인만 고려하는 방식입니다. 저희는 최신 실험계획법(DOE)도 활용했습니다. 두 가지 접근 방식을 사용했는데, 하나는 확정적 선별 설계입니다. 확정적 선별 설계는 포화 설계의 발전된 형태로, JMP의 모회사인 SAS의 브래들리 존스가 2011년에 도입했습니다. 플래킷-버먼과 같은 고전적인 포화 설계에 비해 실험 예산이 적으면서도 매우 효과적입니다. 특히 요인의 수가 많거나 연속형과 범주형이 혼합된 경우에 매우 유용합니다. 가장 큰 장점은 교란 변수 없이 주효과를 추출할 수 있다는 점이며, 적은 실험 예산으로도 일부 이원 상호작용과 2차 곡률을 추출할 수 있는 잠재력이 있다는 것입니다. 해당 분야의 전문가가 어떤 요인이 이차 상호작용이나 이원 상호작용을 일으킬지 예측하고 우선순위를 정할 수 있을 때 특히 효과적입니다. 또한, 이러한 방법은 순차적인 실험에도 사용할 수 있습니다. 즉, 중요하지 않은 요인을 먼저 파악한 다음, 추가 실험을 통해 프로세스를 점진적으로 최적화할 수 있습니다.
저희는 공간 채움 설계(Space Filling Design, SFD)도 실험해 보았는데, 이것 역시 비교적 새로운 설계 방식입니다. 다만, 발표 시간이 30분으로 제한되어 있어 DSD와 SFD의 설정 방법이나 작동 원리, 심층 분석에 대해서는 자세히 설명드릴 수 없다는 점을 미리 말씀드립니다. 저희 웹사이트에 데모 영상을 올려두었으니 참고해 주세요. 데모 영상에서는 설계 설정 방법, 가상 PCR 시뮬레이터를 이용한 실험 실행 방법, 데이터 분석 결과 등을 확인하실 수 있습니다. 또한, community.jmp.com 웹사이트에도 DSD와 SFD에 대한 다양한 자료와 영상이 있으니 참고하시기 바랍니다. 궁금한 점이나 작동 방식에 대한 의견, 비판, 피드백이 있으시면 언제든지 연락 주세요. 기꺼이 함께 이야기 나누겠습니다. DSD와 SFD 데모 영상은 저희 웹사이트(링크)에서 확인하실 수 있습니다. 공간 채움 설계로 넘어가면, 이는 컴퓨터 알고리즘이 기본적으로 12개 인자 하이퍼파라미터 공간에 점을 생성하고, 각 점이 다른 점들과 최대한 멀리 떨어져 전체 공간을 채우도록 유사 난수 방식으로 점들을 분산시키는 특별한 설계 범주입니다.
공간 채움 설계는 설명하고 이해하기가 다소 복잡해서 대부분의 사람들이 기피하지만, 최신 분석 방법과 모델링 기법, 신경망, 머신러닝과 결합하면 정말 강력한 도구가 됩니다. 공간 채움 설계의 유일한 단점은 레시피 관리 소프트웨어 없이는 실행이 매우 복잡하다는 것입니다. 예를 들어, 실험 설계팀과 실험 실행팀이 다른 경우, 설계점이 흩어져 있는 매트릭스 때문에 혼란스러워 잘못된 값을 입력하거나 이전 실험에서 사용된 요인 조합 설정값을 삭제하는 것을 잊어버릴 수 있습니다. 이렇게 되면 의도하지 않은 실험 결과가 나올 수 있습니다. 따라서 공간 채움 설계를 사용할 때는 레시피 관리 소프트웨어를 적극 권장합니다. 지금까지 두 가지 유형의 실험 설계(DOE)와 두 가지 유형의 결과 분석(OFAT)을 비교했습니다. 이제 제프에게 원자료 발표를 부탁드리겠습니다. 원자료는 다음과 같습니다.
이제부터 결과가 흥미로워지기 시작할 것 같습니다. 오른쪽 그래프를 보시면, 왼쪽에는 두 가지 OFAT(빨간색과 파란색)를, 오른쪽에는 두 가지 DOE(보라색과 녹색) 방법, 즉 더 최신의 DOE 방법을 비교하고 있습니다. 그래프 아래쪽의 X축은 실행 번호이고, Y축은 최적화 대상인 Y1과 Y2 반응값입니다. 그래프를 빠르게 살펴보면, 실행 번호가 증가함에 따라 두 OFAT 모두 최적화된 값을 다음 실행으로 전달하면서 값이 증가하는 경향을 보입니다. 즉, 원하는 최적값이 증가하는 것을 확인할 수 있습니다. 이를 DOE 방법과 비교해 보면, 흥미로운 점은 DOE 방법은 상당히 혼란스러워 보이고, 더 높은 값을 얻었음에도 불구하고 진전이 없는 것처럼 보인다는 것입니다. 마치 학습이 제대로 이루어지지 않는 것처럼 보입니다.
만약 경영진이 실험 중간에 결과를 보고 의사결정을 내리고 싶어 한다면, 실험설계법(DOE)에서 보이는 결과에는 만족하지 못할 겁니다. 최적해에 도달하지는 않더라도 공정평가(OFAT)에서는 진전이 보인다고 생각할 수 있기 때문입니다. DOE의 가장 큰 장점은 프로세스에서 실제로 무슨 일이 일어나고 있는지에 대한 실질적인 통찰력을 제공한다는 것입니다. 이를 바탕으로 모델을 구축할 수 있습니다. OFAT에서는 최적해에 도달한 후 그 지점에 설정을 고정하지만, DOE에서는 수학 방정식으로 표현되는 모델을 얻을 수 있습니다. 원하는 값을 입력하여 최적해를 설계하고 현재 위치를 파악할 수 있습니다. DOE는 복잡한 프로세스 공간을 더 넓게 조망하고 실제로 무슨 일이 일어나고 있는지 더 깊이 이해할 수 있도록 해줍니다.
그럼 이제 DSD 결과 분석으로 넘어가겠습니다. DSD와 SFD에 대한 전체 데모를 보여드릴 시간은 없지만, 데모 영상은 저희 웹사이트에 링크되어 있으니 편하게 시청하세요. 제프가 말했듯이 DSD와 SFD의 장점은 DOE를 통해 전체 공정 공간에 대한 모델 방정식을 얻을 수 있다는 점입니다. 이를 통해 공정 공간이 실제로 어떻게 작용하는지 더 잘 이해할 수 있습니다. JMP를 사용한 DSD 설계는 자동 분석 스크립트를 제공하는데, 데이터를 입력하면 데모에서 보여드린 것처럼 분석 스크립트를 클릭하기만 하면 됩니다. 첫 번째 단계에서 DSD는 중요하지 않은 주효과를 제거합니다. 이 예시에서는 Y1의 경우 X1, X3, X4가 제거되고, 다른 몇몇 변수들도 제거되는 것을 볼 수 있습니다. Y2의 경우에는 X3, X4가 제거됩니다.
DSD를 사용하면 프로파일러가 생성되는데, 이는 Y1의 주요 효과와 일부 요인(특히 X2)의 주요 효과 및 이차 효과를 추정하는 예측 방정식과 같습니다. DSD는 유의미하지 않은 효과를 제외하고 유의미한 효과와 그 주요 효과, 이원 상호작용, 그리고 2차 곡률을 포함하는 축소 모델 방정식을 제공합니다. 이 방정식은 내장된 최적화 함수와 함께 사용하여 Y1과 Y2의 예측값을 원하는 수준으로 최적화할 수 있습니다. 이 경우 Y1에 더 큰 중요도를 부여하여 Y1과 Y2를 최적화하고자 합니다. 따라서 DSD 모델러는 모델 방정식이 Y1과 Y2에서 최상의 결과를 제공할 것이라고 판단하는 요인 설정값을 제공합니다. 이 값을 1차 시뮬레이션에 입력하여 검증 실험을 수행합니다. 향후 연구에서는 순차적인 실험을 통해 이 수준 이상의 최적화를 진행할 예정입니다.
SFD도 마찬가지입니다. 말씀드렸다시피 SFD는 12개의 매개변수 하이퍼파라미터 공간 전체에 걸쳐 점들이 흩어져 있는 복잡한 설계입니다. JMP에는 모델 분석을 위한 내장 스크립트가 있습니다. 데모는 저희 웹사이트에서 확인하실 수 있습니다. DOE 설정 방법, 데이터 수집 방법, 분석 방법 등을 살펴보실 수 있습니다. 다만, DSD와 SFD의 내부 작동 방식에 대한 자세한 내용은 포함되어 있지 않습니다. 이에 대한 논의가 필요하시면 언제든지 문의해 주세요. JMP에는 내장 스크립트가 제공되므로, 이를 실행하면 SFD 가우시안 프로세스 모델이 12개 매개변수에서 매우 복잡하고 비단조적인 프로세스 프로파일러 표면을 보여줍니다. 일부 요인은 Y1 및 Y2 반응에 유의미한 영향을 미치지 않는 것처럼 보이지만, SFD는 비단조적인 예측 프로파일러를 제공하여 단순 DSD로는 설명할 수 없는 봉우리와 골짜기를 설명할 수 있습니다. SFD 모델은 설명력보다는 예측력이 더 강한 경향이 있는데, 이는 주효과나 이차효과에 큰 비중을 두지 않는다는 의미입니다.
이 모델은 총 12개의 매개변수를 사용하는 예측 방정식을 제공하며, JMP의 내장된 최적화 함수를 사용하여 최적화 값을 최대화할 수 있습니다. 이를 통해 모델 방정식이 Y1과 Y2에서 최상의 결과를 가져올 것으로 예상하는 X1부터 X12까지의 변수 조합을 얻을 수 있습니다. 이렇게 도출된 방정식을 시뮬레이터 또는 실험 설계 장비에 입력하고 검증 실행을 수행하여 실험 설계(DOE) 결과 및 각 실험 간의 결과, 또는 실험 설계 평가(OFAT) 결과 및 각 실험 간의 결과와 비교합니다.
저희는 그렇게 했습니다. 네 가지 접근 방식을 사용했고, 최종 예측 OFAT 결과, 즉 Y1과 Y2의 최적 적합도 예측 결과에 대해 세 번의 검증을 수행했습니다. 앞서 말씀드렸듯이, Y1이 Y2보다 약간 더 중요하다고 가정한 것은 단지 참고 자료일 뿐입니다. 왼쪽의 두 OFAT는 Y1을 100~250 범위, Y2를 97~98 범위로만 최대화할 수 있는 반면, DOE는 Y1을 350 이상, Y2를 99에 가깝게 만드는 더 나은 공정 최적화를 도출할 수 있습니다. 노이즈에 내재된 변동성도 확인할 수 있습니다. 다시 말하지만, 이는 DOE 전문가들이 이미 알고 있는 사실이며, DOE의 옹호자들도 여러 차례 강조해 온 것처럼, 수많은 요인과 매우 복잡한 공정 공간에서도 DOE가 OFAT보다 공정 최적화 문제를 다루는 데 훨씬 더 효율적이라는 것입니다.
하지만 DOE가 제공하는 세 가지 주요 장점은 다음과 같습니다. 첫째, DOE는 공정 공간에 대한 예측 방정식 또는 모델을 제공합니다. 둘째, 전문가의 지식과 결합하면 DOE는 더욱 강력해집니다. 전문가의 조언을 바탕으로 실험 설계를 진행하고, 그 결과를 활용하여 DOE 분석 결과를 전문가의 지식과 결합함으로써 과학적 원리, 공정 시스템의 작동 방식을 심층적으로 이해하고, 더 나은 실험을 설계하고 최적화할 수 있습니다. 셋째, OFAT에 비해 DOE는 향후 실험에 훨씬 유리합니다. OFAT에서는 한 번에 하나의 요소만 조정하면서 점진적으로 개선해 나가야 하는데, 이는 최적의 결과를 얻지 못할 뿐만 아니라 공정 공간의 전체적인 모습을 파악하는 데에도 한계가 있습니다. 결론적으로, DOE가 OFAT보다 우수하다는 것을 알 수 있습니다. 이는 특히 JMP 커뮤니티, 그중에서도 DOE 전문가와 JMP 애호가들에게는 새로운 결론이 아닙니다.
하지만 우리는 복잡한 12가지 요인 시스템에 대해 이 작업을 수행했으며, 네 가지 서로 다른 접근 방식을 통해 종합적으로 수행했습니다.
이러한 결과에 매우 만족하며, 향후 연구를 위한 추가적인 논의를 기대합니다. 다시 한번 말씀드리지만, 이는 저희를 위한 몇 가지 제안 사항일 뿐이며, 여러분의 의견도 듣고 싶습니다. 비판, 피드백, 의견, 제안, 토론 등 어떤 의견이든 환영합니다. 만약 이 연구를 계속 진행하고 여력이 된다면, 실험 예산을 늘려 30회씩 여러 차례 실험을 진행하고 싶습니다. 이는 저희 회사가 지금까지 진행해 온 일반적인 실험 방식입니다. 또한, 프로세스 모델의 지침을 바탕으로 요인 설정을 확장하고, 설계를 개선하며, 상호작용을 분리하고 최적화를 더욱 강화하기 위해 실험 횟수를 늘릴 것입니다. 더 다양한 분석 방법을 사용할 수도 있습니다. 신경망, 자체 검증 앙상블 모델링, 베이지안 최적화 등을 활용할 수 있을 것입니다. 특히 베이지안 최적화는 저희에게 아직 익숙하지 않은 분야이므로, 저희 역시 배우는 자세를 갖고 있습니다. 이번 사례를 통해 배우고 싶습니다. 시뮬레이터를 더욱 발전시키고 싶습니다. 시뮬레이터는 실험 예산 확보가 항상 쉬운 것은 아니기 때문에 학습에 큰 도움이 됩니다.
마지막으로, 수업이나 학생들이 직접 실험설계(DOE)를 설계하고, 시뮬레이터 자동화를 통해 실행하고, 데이터를 빠르게 얻고, 최적화 전략을 즉시 분석 및 비교할 수 있도록 파이썬 스크립트를 JMP에 직접 통합하고 싶습니다. 이는 향후 논의를 위한 항목입니다. 여러분의 의견을 기다립니다. LinkedIn을 통해 연락하시거나 asit@samaasa.com으로 이메일을 보내주세요.
이로써 이번 작업에 도움을 주신 모든 분들께 진심으로 감사드립니다. 특히 가상 PCR 시뮬레이터를 개발해 주신 Phelan & Associates에 깊은 감사를 드립니다. 해당 업체는 저희 참고 문헌 목록에 포함되어 있습니다. 저희가 연락을 드리려고 했으나 아쉽게도 연락이 닿지 않았습니다. 앞으로 이와 관련하여 협력할 수 있는 기회가 있다면 언제든 연락 주시기 바랍니다. 녹화를 가능하게 해 주신 Jackie와 Kirsten에게도 감사드립니다. JMP 컨퍼런스를 개최해 주신 JMP 커뮤니티 여러분께도 진심으로 감사드립니다. 정말 큰 도움이 되었습니다. 다시 한번 감사드립니다.
