숙련된 사용자의 손길이 닿은 훌륭한 소프트웨어는 세상을 변화시킬 힘을 지닙니다. 선도적인 반도체 제조 기업에서 개발된 식스 시그마(Six Sigma)는 실질적인 가치를 창출하며, 그 효과는 부인할 수 없습니다. 실험 설계(DOE), 다변량 분석, 품질 관리, 공정 최적화, 소비자 조사 등 JMP의 다양한 기능을 활용한 실제 사례들을 통해 기존의 사고방식을 뛰어넘는 통찰력을 제공하며, 여러 산업 분야에서 활용할 수 있는 유용한 정보를 제시합니다. 단순히 DOE의 우수성을 보여주는 데 그치지 않고, '데이터 기반 의사결정' 솔루션의 정수로서 JMP의 역할을 명확히 보여줍니다. 워크플로 개념을 통해 다양한 사례들을 매끄럽게 연결하는 구성은 성공적인 식스 시그마 프로젝트를 위한 핵심적인 촉매제 역할을 합니다.
안녕하세요 여러분. 저는 Applied Materials의 공정 지원 엔지니어인 양지아이입니다. 오늘 여러분과 나누고 싶은 주제는 "시행착오를 넘어: Applied Materials가 DOE 워크플로우를 통해 가치를 창출하는 다양한 사례 연구"입니다.
먼저 회사 소개부터 드리겠습니다. 여기 보이는 이 회사는 어플라이드 머티리얼즈(Applied Materials)입니다. 세계 1위의 반도체 및 디스플레이 장비 회사로, 리소그래피 장비를 제외한 거의 모든 종류의 반도체 공정 장비를 제공합니다. 반도체 업계의 월마트, 즉 슈퍼마켓이라고 생각하시면 됩니다. 저희의 목표는 더 나은 미래를 만드는 것입니다.
수많은 고객을 보유하고 있기 때문에 매일 수많은 요청을 받습니다. 예를 들어, 고객이 제품을 업데이트하고 싶어할 때 도움을 요청하는 경우가 많습니다. 고객에게 전문성을 보여주고 요청에 효과적이고 신속하게 대응하기 위해, 변수와 최종 결과 간의 잠재적 관계를 파악하기 위한 실험설계(DOE) 프로젝트를 수행해야 합니다. 하지만 문제는 고객에게 제공하는 최종 솔루션이 최적의 솔루션이라는 것을 어떻게 확신할 수 있느냐는 것입니다. 오늘 제가 공유하고자 하는 주제는 바로 이것입니다. Applied Materials 내부에서 DOE 워크플로의 모든 단계를 어떻게 관리하여 최종 예측 모델의 정확성을 보장하는지 보여드리겠습니다.
이 보고서는 DOE 전문가 세 분의 큰 도움을 받아 작성되었습니다. 그분들은 저와 같은 회사인 Applied Materials의 Jiaping Shen과 Charles Chen, 그리고 JMP의 Pin Hu입니다. 또한, 이 프로젝트에 참여하여 고객 측의 실무 경험을 공유해 주신 모든 공정 엔지니어분들께 감사드립니다. 그분들의 경험은 저희 엔지니어들이 더욱 효율적이고 적합하게 활용할 수 있는 워크플로우를 구축하는 데 매우 큰 도움이 되었습니다.
JMP 플랫폼에는 다양한 분석 도구가 있지만, 이 글에서는 DOE(실험 설계)에 초점을 맞추겠습니다. 이제 본론으로 들어가 보겠습니다. Applied Materials에서는 DOE 워크플로우를 8단계로 분류합니다. 데이터 수집 단계를 기준으로 워크플로우는 다시 세 부분으로 나눌 수 있습니다. 데이터 수집 단계의 왼쪽에는 실험 설계가, 오른쪽에는 예측 모델 구축이 있습니다.
엔지니어들이 프로젝트를 더욱 성공적으로 수행하고 모델의 효율성을 높일 수 있도록, 각 단계에는 다양한 힌트와 질문이 포함되어 있습니다. 이러한 질문들은 엔지니어들에게 각 단계에서 따라야 할 기준을 알려주는 지침 또는 경고 역할을 하며, 기준을 지키지 않을 경우 프로젝트 최종 단계에서 어떤 위험에 직면하게 될지 경고합니다.
물론 모든 프로젝트는 고유하며, 이 여덟 단계는 다양한 시나리오를 포괄할 뿐, 모든 모델에 적용할 수 있는 만능 해결책은 없습니다. 하지만 모든 엔지니어가 이 여덟 단계를 따르고 각 단계의 기준을 충족한다면, 경력이 부족한 엔지니어라도 스스로 DOE 프로젝트를 수행하고 최종적으로 좋은 모델을 얻을 수 있을 것이라고 확신합니다.
다음으로 각 단계를 하나씩 설명하겠습니다. 첫 번째 단계는 실험 설계(DOE)의 범위와 목표를 정의하는 것입니다. 즉, Y와 X 사이의 잠재적 관계를 파악해야 합니다. 강력한 상관관계를 간과하지 않으려면 모든 잠재적 변수를 찾아내야 합니다.
이를 위해 식스 시그마 방법론을 사용하는 것을 권장합니다. 예를 들어, 식스 시그마 사이클이나 식스 시그마 설계 파라미터 다이어그램 등을 활용할 수 있습니다.
이러한 시그마 방법은 최종 결과에 잠재적으로 영향을 미칠 수 있는 모든 변수를 찾는 데 도움이 됩니다. 예를 들어, 공급업체로부터 들어오는 웨이퍼의 배치별 품질 차이가 최종 결과에 결정적인 영향을 미칠 수 있습니다. 우리는 보통 공급업체를 신뢰하기 때문에 이러한 요소를 간과하지만, 때로는 공급업체도 실수를 저지를 수 있습니다. 노이즈 요인과 같은 다른 요소들도 최종 결과에 주요 영향을 미칠 수 있습니다.
식스 시그마 방법론을 통해 우리는 모든 Y 변수와 잠재적 변수를 매우 높은 수준에서 파악할 수 있습니다. 하지만 다음 질문은 이를 실행 가능한 세부 수준에서 어떻게 구현할 수 있느냐는 것입니다. 이를 위해 다변량 분석을 사용하여 변수들의 다차원적 특성을 탐색하고, 여러 변수들 간의 관계를 더 자세히 살펴볼 수 있습니다.
다음 단계는 변수의 크기를 줄이는 것입니다. 이를 위해 클러스터링 변수 분석을 사용하여 가장 대표성이 높고 독립적인 변수를 선별할 수 있습니다. 이 단계에서 식스 시그마와 JMP 플랫폼을 결합하여 최종적으로 Y와 영향력 있는 X를 추출할 수 있습니다.
이러한 관계를 더욱 정량화하려면 실험 설계(DOE) 모델을 구축해야 합니다. 모델의 적합성을 높이려면 DOE 구조에 주의를 기울여야 합니다. 하지만 흔히 오해하는 부분이 있는데, 우리가 지금까지 이야기해 온 DOE가 진정한 DOE일까요? 만약 한 번에 하나의 요인만 변경한다면, 그것은 실제 DOE가 아니라 설계 실험(EOD)입니다. EOD 설계는 주요 효과를 탐색하는 데 더 적합하기 때문입니다.
상호작용 및 기타 고차원적 효과를 감지하려면 실제 실험설계(DOE)를 수행해야 하며, 이는 직교실험 설계라고도 할 수 있습니다. 이 설계에서는 두 개 이상의 요인을 동시에 변경할 수 있습니다.
한편, 공간 범위는 효과를 탐구하는 데 매우 중요하기 때문에 신중하게 고려해야 합니다. 예를 들어, 범위가 넓으면 주요 효과를 탐구하는 데 유리하지만 검정력이 약해집니다. 반대로 범위를 좁히면 상호작용 효과를 탐구하는 데 더 유용합니다.
때로는 실질적이거나 객관적인 이유로 설계 제약 조건을 처리해야 할 때가 있습니다. 예를 들어, 장비가 고온과 초고압을 동시에 장시간 견딜 수 없는 경우가 있습니다. 이러한 설계 제약 조건을 무시하면 결측값이 발생하여 직교 설계 구조가 무너지고, 결국 실험 설계 모델이 실패로 이어질 수 있습니다. 설계 제약 조건을 처리하기 위해, 제약 조건 내에서 가장 가까운 이웃점을 찾아 거의 직교 구조를 유지하거나, 아예 실험 전체를 재설계하는 방법이 있습니다.
AMAT에서 발표한 과거 DS China 보고서 중 크리스티 판이 2019년에 공개한 자료를 살펴보겠습니다. 이 이미지에서 장비 성능 제약으로 인해 오른쪽 상단의 세 가지 조건이 누락된 것을 확인할 수 있습니다. 이 세 가지 조건을 무시하면 DOE 수치는 17에서 14로 줄어듭니다.
그러면 최악의 경우 DOE 직교 구조가 망가지게 됩니다. 이러한 제약을 해결하기 위해 공간 범위를 축소해야 합니다. 하지만 문제는 어떤 매개변수를 선택해야 공간을 줄일 수 있느냐는 것입니다. 크리스티 핀은 프로세스 이해를 통해 두 가지 가능한 절충안을 찾아냈습니다. 하나는 매개변수 B의 공간 범위를 변경하는 것이고, 다른 하나는 매개변수 C의 설계 공간을 변경하는 것입니다. 하지만 그녀는 최종적으로 어떤 것을 선택해야 할까요?
크리스티 핀은 검정력, 교란변수, 예측 균일성, 설계 공간, 예측 분산 등을 반복적으로 진단하고 평가한 끝에 최종적으로 두 번째 설계를 선택했습니다. 이 이미지를 통해 크리스티 핀이 이러한 설계 제약 조건을 해결하기 위해 얼마나 많은 노력을 기울였는지 알 수 있습니다.
이는 Applied Materials 내부에 있는 장인 정신을 존중하는 모습을 보여줍니다. 처음부터 이러한 설계 제약 조건을 처리할 수 있는 더 쉬운 방법은 없을까 궁금하실 수도 있습니다. 다행히도 JMP 플랫폼은 더 나은 선택지를 제공하는데, 바로 사용자 정의 설계입니다. 이 설계는 다양한 유형의 요소, 제약 조건, 허용되지 않는 조합을 수용할 수 있으며, 하드 변경 및 매우 어려운 변경 요소도 지원합니다.
우리는 어떤 효과가 필수적이고 어떤 효과가 바람직한지 지정할 수 있습니다. 그러면 맞춤 설계는 이러한 제약 조건을 수용할 수 있는 일련의 실험계획(DOE)을 제공해 줄 것입니다. 이는 요인 제약 조건을 포함하는 실험계획을 처리하는 훨씬 더 쉬운 방법입니다.
실험계획을 세운 후 고객이나 상사에게 실험 내용을 설명하면, 90%의 확률로 질문 공세를 받고 결국 거절당합니다. 실험 비용 때문이죠. "정말 그렇게 많은 실험을 해야 하나요?"라고 묻습니다. 예를 들어, 9개의 변수 간의 관계를 알아내려면 최소 21번의 실험이 필요합니다. 웨이퍼 한 장 가격이 수천 달러에 달한다는 점을 고려하면 실험 비용이 상당히 높지 않을까요? 이런 문제를 어떻게 해결해야 할까요?
다행히 JMP 플랫폼은 더 나은 선택지를 제공하는데, 바로 그룹 직교 초포화 설계(Group Orthogonal Super-saturated design)입니다. 이는 수많은 변수 중에서 가장 중요한 변수를 선별하는 데 도움이 되는 특별한 방법입니다.
예를 들어, 단 6번의 실험만으로 7가지 변수를 모두 판별할 수 있습니다. 정말 놀랍지 않나요? 이제 GO SSD 방식을 적용한 실제 사례를 살펴보겠습니다. 이 사례에서는 GO SSD를 통해 원스텝 공정이 두 단계로 나뉘어, 하나의 웨이퍼에서 두 가지 조건을 동시에 테스트할 수 있게 되었습니다. 7가지 변수를 단 6번의 실험만으로 판별할 수 있으므로 비용 절감 효과가 큽니다. 무엇보다 중요한 것은 R-제곱 값이 27%에서 92%로 크게 향상되었으며, 이 GO SSD 방식은 고객 측에서 성공적으로 검증되었다는 점입니다. 이러한 성공 사례를 통해 GO SSD 설계가 초기 단계에서 중요한 변수를 선별하는 데 도움이 되는 비용 효율적인 방법임을 알 수 있습니다.
또한 GO SSD 방법은 주요 효과만 고려한다는 점을 언급할 필요가 있습니다. 실험계획법(DOE)의 직교 구조를 더욱 유지하려면 추가적인 실험계획법(DOE) 검증이 필요합니다.
다음으로, 실험계획(DOE)을 수립하고 고객이 모든 실험에 동의하면 데이터 수집 단계에 접어듭니다. 실험을 진행하고 데이터를 수집하기만 하면 되니 이 단계가 쉬워 보일 수도 있지만, 사실은 그렇지 않습니다. 이 단계가 가장 까다로운 부분입니다. 예상치 못한 잡음이 발생하면 최종 모델의 적합성이 떨어질 수 있습니다. 따라서 측정 능력이 핵심입니다.
자, 이제 Gauge R&R 기능의 부실함에서 얻은 뼈아픈 교훈 하나를 보여드리겠습니다. 이 경우, 저희는 고객사의 모델 구축을 지원했는데, 최종 모델이 너무 이상해서 문제를 해결하는 데 엄청난 시간과 노력을 쏟아야 했습니다. 결국, 저희는 고객사들에게 측정 기능을 재평가해 볼 것을 강력히 권고합니다. 놀랍게도, 이 이미지에서 보시다시피 9개의 샘플을 두 번씩 테스트했는데도 웨이퍼가 장시간 측정 대기로 인해 산화되어 재현성이 완전히 떨어졌습니다.
근본 원인을 파악한 후에는 산화 방지를 위해 킬 타임을 제어하거나 웨이퍼를 질소 케이지에 넣는 등의 조치를 고객에게 제안합니다. 이러한 개선을 거치면 최종 모델이 제대로 작동합니다. 이 경험을 바탕으로 저희는 엔지니어들에게 데이터 수집 단계에 앞서 측정 능력을 재평가하도록 강력히 권고합니다. 때때로 방법론 담당자는 자신들의 방법론이 충분히 좋다고 주장하지만, 대부분의 경우 방법론 담당자는 방법론 실행 과정 내에서의 반복성만 검증하고 재현성을 간과하기 때문에 신뢰할 수 없습니다. 즉, 작업자의 숙련도 차이나 킬 타임 등 다른 요인으로 인한 차이를 고려하지 않는다는 뜻입니다.
한편, PT 비율은 측정 능력을 판단하는 지표 중 하나이며, 허용 오차의 함수입니다. 공정을 강화하면 측정 능력도 동시에 향상되어야 합니다. 그렇지 않으면 방법론적 문제로 최종 결과가 왜곡될 수 있습니다.
게다가, Gauge R&R은 무작위 오차만 평가합니다. 시스템 오차나 시간 경과에 따른 안정성 등 다른 요인들은 어떻게 평가할까요?
보다 체계적인 평가를 위해 JMP 측정 시스템 분석 플랫폼을 활용하여 평가 계획을 수립할 수 있습니다. 데이터 수집 단계를 거친 후 최종적으로 모델을 구축할 수 있습니다.
최적의 모델을 찾고 모델의 적합성을 검증하기 위해 JMP 플랫폼의 풍부한 통계 자료나 강력한 시각화 도구를 활용할 수 있습니다. 예를 들어, 여기서 제공되는 통계 값은 모델 적합도가 충분한지, 아니면 수정해야 할 부분이 있는지 알려줍니다. 예를 들어, 적합성 문제, 과적합 문제 등을 파악할 수 있습니다. 또한, 상호작용 프로파일은 변수 간의 상호작용 효과를 보여줍니다. 이를 통해 이전에 미처 발견하지 못했던 사실을 알 수도 있습니다. 예를 들어, 이 경우 DOE 프로젝트를 수행하지 않았다면 가스 비율과 밀도의 관계가 출력에 의해 크게 영향을 받는다는 사실을 알지 못했을 것입니다. 이러한 값들을 종합하고 엔지니어링 감각을 발휘하여 최적의 모델을 선택할 수 있습니다. JMP 18에는 상호작용 효과를 더욱 자세히 분석할 수 있는 새로운 기능들이 추가되었다는 점을 말씀드리고 싶습니다.
마지막으로, 프로젝트 성공에는 적절한 시기, 적절한 장소, 그리고 적절한 인력이 필수적이라는 점을 강조하고 싶습니다. 대부분의 경우, 인적 요소가 프로젝트 실패의 주요 원인이 될 수 있습니다.
우리는 프로젝트 초기 단계에서 위협 요소를 파악해야 합니다. 예를 들어, 상사와 동료들이 DOE 프로젝트를 처음부터 끝까지 성공적으로 수행하는 데 필요한 자원을 제공해 줄 것인지 확인해야 합니다.
또한 고객이 갑자기 프로젝트를 중단하지 않도록 해야 합니다. 팀원 간의 합의를 평가하기 위해 혁신적인 방법으로 선택 설계(choice design)를 활용했습니다. 선택 설계는 주로 소비자 조사에 사용되며, 게이지 R&R 재현성 검사와 유사한 방식으로 합의의 타당성을 검증할 수 있습니다.
예를 들어, 이 경우 '거품을 내고 발을 구르는' 표현에 대해 팀원들 간의 합의도를 평가하기 위해 선택 설계 방식을 적용했는데, 일부 항목에서는 합의도가 46%에 불과했습니다. 하지만 팀원들 간의 추가 설명이나 팀 빌딩 활동 등을 통해 합의도를 46%에서 90%까지 끌어올릴 수 있었습니다. 팀의 우선순위를 재조정함으로써 모든 요구 사항을 한곳에 집중시킬 수 있었고, 결과적으로 에너지가 한 방향으로 집중될 수 있었습니다.
이는 우리가 DOE 프로젝트에 선택 설계 기법을 혁신적으로 적용한 사례입니다. 물론 JMP 플랫폼에는 우리가 탐색하고 DOE 프로젝트에 유연하고 혁신적으로 적용할 수 있는 유용한 도구들이 많이 있습니다. 이러한 방법들을 활용하면 프로젝트를 더욱 성공적으로 수행할 수 있을 것입니다.
JMP 공동 창립자인 존 샐이 말했듯이, "훌륭한 소프트웨어는 적임자의 손에 들어가면 세상을 바꿀 수 있습니다." 모든 엔지니어가 이 8단계를 따르고 각 단계의 모든 기준을 충족한다면, 경력에 상관없이 누구나 이론 프로젝트를 스스로 수행하고 최종적으로 더 정확한 모델을 만들 수 있을 것이라고 확신합니다. 방금 말씀드린 내용을 듣고 이 8단계가 정말 강력한지 궁금하지 않으신가요? 그 비밀을 직접 확인하고 싶으시다면, 잠시 시간을 내어 직접 경험해 보세요. 그러면 이 워크플로의 마법을 직접 목격하게 될 것입니다. 오늘 제가 공유하고 싶었던 내용은 여기까지입니다. 들어주셔서 감사합니다.
