반도체 제조 공정 전반에서 소자 성능을 예측하는 데 어려움이 있습니다. 이러한 예측 불가능성으로 인해 수율이 감소하고 비용이 증가합니다. 본 프로젝트는 인라인 측정 데이터(3개의 응답 변수(Y)와 300개 이상의 예측 변수(X), 약 400개의 데이터 포인트로 구성된 데이터 세트)를 활용하여 소자 성능을 예측하는 모델을 구축하는 방법을 제시합니다.
본 연구에서는 JMP 다변량 플랫폼을 활용하여 프로젝트의 복잡성을 평가했습니다. 평가 결과는 다음과 같습니다. (1) 상대적으로 약한 YY 경쟁, (2) 강한 YX 인과관계, (3) 심각한 XX 다중공선성. 표준 최소제곱법과 단계적 회귀 분석 알고리즘 모두 300개 이상의 예측 변수를 모두 고려할 경우 심각한 과적합 위험을 나타냈습니다. RSM 모델링을 진행하기 위해 핵심적인 몇 개의 X 변수를 선택하기 위해 세 가지 최신 데이터 마이닝 차원 축소 기법을 활용했습니다. (1) 분할, (2) 신경망, (3) 예측 변수 선별. 일반 JMP 소프트웨어의 한계 내에서, 랜덤 포레스트 알고리즘을 사용한 예측 변수 선별은 재귀적 분할 문제를 효과적으로 해결하고 보다 균일한 기여 패턴을 제공했습니다. 예측 변수 선별의 예측 변수 순위를 기반으로, 적합 모델, 신경망 모델, 분할 모델, 앙상블 모델을 결합한 하이브리드 모델을 실행하여 기기 성능을 예측했습니다. 또한 효율적인 모델 개발을 위해 재귀적 조합 반복을 구현하고 종료 기준을 설정했습니다.
이번 JMP 프로젝트를 통해 예측 능력을 향상시키고 장치 설계에 유용한 통찰력을 얻을 수 있었습니다. 신뢰할 수 있는 예측 모델을 활용하면 신제품 개발 주기를 크게 단축할 수 있습니다.
안녕하세요, 여러분. 저는 첸치 쉬입니다. 저는 어플라이드 머티리얼즈에서 공정 엔지니어로 근무하고 있습니다. 오늘은 하이브리드 예측 변수 스크리닝과 최소 제곱 RSM 접근법에 대해 발표하려고 합니다. 이 발표는 찰스와 제가 공동으로 진행한 것입니다.
반도체 제조 공정은 전체 제조 과정에서 소자 성능을 예측하는 데 어려움을 겪고 있습니다. 이러한 예측 불가능성으로 인해 수율이 감소하고 비용이 증가합니다. 본 연구에서는 이러한 문제를 해결하기 위해, 제조 공정에서 얻은 인라인 측정 데이터(X)를 기반으로 소자 성능(Y)을 예측하는 통계 모델을 개발하고자 합니다. 제조 공정에는 증착, 리소그래피, 에지 공정 및 여러 인라인 측정 데이터가 포함됩니다.
만약 우리가 Y를 예측하는 모델을 구축할 수 있다면, 이전 모델에 피드백을 제공하여 공정 변화를 모니터링하고, 품질 관리를 개선하고, 생산량을 늘리고, 나아가 전체 공정 흐름을 최적화할 수 있습니다. 우리 데이터 세트에는 세 가지 반응 변수와 약 300개의 예측 변수가 있습니다. 이 모든 예측 변수 중에는 각 반응 변수마다 약 200개의 예측 변수가 있습니다. 또한, 각 Y에 대한 독립적인 예측 변수와 모든 Y에 공통으로 영향을 미치는 예측 변수가 존재합니다. 보시다시피, 이는 매우 복잡한 모델입니다.
본 보고서에서는 몇 가지 핵심 질문을 살펴보고자 합니다. 예를 들어, Y1과 Y2가 높은 상관관계를 보이는 이유를 이해하고자 합니다. 또한, Y와 X 사이의 관계를 파악하여 장치 성능을 최적화하는 방법을 모색하고자 합니다. 이러한 질문들은 프로젝트를 종합적으로 이해하는 데 매우 중요합니다. 복잡한 모델이므로, 먼저 다변수 접근 방식을 사용하여 YY, YX, XX 간의 관계를 분석합니다.
Y와 Y 사이의 관계를 살펴보면, 이 다변수 그래프를 통해 알 수 있듯이 기본적으로 양의 상관관계를 보입니다. 이러한 Y 변수들은 서로 경쟁하지 않는데, 이는 우리 설계의 목표가 세 가지 Y 변수를 모두 동시에 증가시키는 것이기 때문에 당연한 결과입니다. 또한, 각 Y 변수에는 독립적인 예측 변수가 존재하여 각각의 Y 변수를 제어할 수 있습니다. 따라서 변수들 간의 간섭 가능성이 낮습니다. 이러한 설계는 기기 성능 향상에 도움이 되므로 바람직합니다.
다음으로 YX의 인과 관계를 살펴보겠습니다. 가장 왼쪽 열을 보시면 YX 사이에 매우 강한 상관관계가 있으며, Y와 X 사이에 선형적인 관계가 있음을 알 수 있습니다. 이상적으로는 이러한 관계 덕분에 모든 X 변수를 기반으로 Y를 예측하는 모델을 구축할 수 있어야 합니다.
이제 XX 변수 간의 의존성을 조사해 보겠습니다. 모든 X 값을 비교해 보면, 일부 XX 변수 간에는 매우 강한 선형 관계가 나타나는 것을 알 수 있습니다. 그러나 일부 변수는 그렇지 않습니다. 다른 변수들의 경우, 선형 관계만큼 유의미한 상관관계를 보이지 않습니다. 이는 XX 변수에 심각한 다중공선성이 존재함을 시사합니다. 각 예측 변수의 영향을 정확히 파악하기는 매우 어려울 것입니다. 따라서 X 변수들 간에 다중공선성이 발생하는 원인을 규명하기 위한 추가 연구가 필요합니다. 또한, 모델을 구축할 때 유의성이 낮은 항들을 제거하고 모델 검증을 수행해야 합니다.
제 접근 방식의 초기 단계에서는 모든 예측 변수를 모델에 포함시키는 제곱 모델을 사용하여 YY가 어떻게 반응하는지 관찰했습니다. 그러나 몇 가지 문제에 직면했습니다. 첫째, Y1을 예로 들면, 모든 예측 변수를 포함하여 모델을 적합시켰을 때 R-제곱 값이 조정된 R-제곱 값보다 10% 이상 커서 과적합 문제가 발생했습니다.
두 번째 문제는 다중공선성입니다. 앞서 언급했듯이 XX 변수와 일부 X 변수 간의 관계에서 매우 심각한 선형 관계가 나타납니다. 모수 추정치 표의 VIF 항목을 보면 일부 예측 변수의 VIF 값이 매우 큰 것을 알 수 있는데, 이는 바람직하지 않습니다.
다음으로, 우리 모델에서 매우 강한 상호작용이 관찰된다는 점을 말씀드리겠습니다. 요약 보고서를 보면 모든 주효과와 총효과를 합산할 수 있는데, 주효과와 총효과의 차이가 상호작용 효과입니다. 이 모델에서 상호작용 효과는 36%를 넘습니다. 이는 모델에 강한 상호작용이 존재함을 보여줍니다. 이러한 상호작용 때문에 모든 예측 변수를 포함하고 모든 상호작용 항을 고려한 R-제곱 모델을 만들어 보려고 했습니다. 하지만 JMP에서 자유도가 부족하다는 오류 메시지가 나타났습니다.
여기서는 예측 변수의 개수와 모델 구축에 필요한 자유도의 감소량을 나열합니다. 예를 들어, Y 변수의 경우 약 200개의 예측 변수가 있습니다. 절편, 주효과, 이차항, 상호작용항을 모두 고려하여 RSM 모델을 구축하려면 약 20,000개의 자유도가 필요하며, 이는 제 데이터셋에서는 실현 불가능합니다.
전체 데이터 양과 예측 변수를 고려할 때, 분석에 사용할 예측 변수는 약 20개 정도가 적절해 보입니다. 예측 변수를 20개 정도로 줄이면 모델 구축에 필요한 데이터 포인트도 약 250개로 줄어들기 때문입니다. 이러한 여러 가지 어려움 때문에 데이터 마이닝을 통해 더 나은 모델을 위한 핵심 예측 변수를 식별해야 합니다. JMP 분석에서는 R-제곱 조정값을 기준으로 더 나은 모델을 찾는 데 중점을 두었지만, RMSC 값도 고려해야 합니다. 과적합을 방지하고 모델의 안정성을 확보하는 것이 목표입니다. 또한 모델 단순화를 위해 핵심 예측 변수를 식별해야 합니다. 이를 위해 세 가지 다른 분석 방법을 시도해 보았습니다.
첫 번째 방법은 신경망을 이용하는 것입니다. 이는 비선형 및 상호작용 효과를 고려할 수 있는 머신러닝 방법입니다. 신경망은 모델과 핵심 예측 변수를 제공합니다. 두 번째 방법은 분할 방법을 사용하는 것입니다. 이 방법은 의사결정 트리를 활용하여 예측 변수를 분류하고 반응 변수를 예측하는 최적의 방법을 찾습니다. 이 방법 또한 모델과 핵심 예측 변수를 제공합니다. 세 번째 방법은 예측 변수 선별입니다. 랜덤 포레스트를 사용하여 강력하고 민감한 예측 변수를 식별했습니다. 하지만 이 방법으로는 핵심 예측 변수만 찾을 수 있고 모델은 제공되지 않습니다.
또 하나 말씀드리고 싶은 것은 JMP Pro를 사용하지 않고도 복잡한 모델을 해결할 수 있다는 점입니다. JMP Pro는 AI를 활용하여 고급 모델링, 모델 비교, 선택, 교차 검증 등 더욱 정교한 분석 기능을 제공합니다. 하지만 JMP를 사용하는 경우에는 이러한 기능을 활용할 수 없습니다. 이러한 한계를 극복하기 위해 다양한 접근 방식을 사용할 수 있습니다. 예를 들어, 예측 변수 선별과 여러 모델링 방법을 결합한 하이브리드 모델을 사용할 수 있습니다. 또한, 각 모델을 직접 비교하거나 앙상블 모델을 활용하여 기존 모델보다 더 나은 모델을 구축할 수도 있습니다. 교차 검증을 위해서는 JMP의 JSL 스크립팅 기능을 활용할 수 있지만, 이 부분은 본 보고서에서 다루지 않겠습니다.
자, 그럼 예측 모델에 대한 첫 번째 분석을 살펴보겠습니다. 먼저 신경망 분석부터 시작합니다. 이 분석에서도 Y1을 예시로 사용했습니다. 여기서는 K=5, 은닉 노드 수=20의 K겹 교차 검증을 사용했는데, 이는 신경망 모델의 안정성을 높이고 과적합을 줄이기 위한 것입니다. 신경망 방법은 매우 복잡한 수학적 모델을 사용하기 때문에, 다섯 번 실행해 보았고 결과는 각기 매우 달랐습니다.
여기 세 가지 하이라이트를 보세요. 훈련 세트와 검증 세트 간의 차이가 매우 큰 것을 알 수 있습니다. 이는 모델이 안정적이지 않고 과적합 문제가 있을 수 있음을 시사합니다. 때로는, 예를 들어 이 Y 변수처럼, R-제곱 값이 높으면서도 과적합은 낮은 경우도 있습니다. 신경망 모델을 여러 번 실행해 보면 대부분의 신경망 모델이 과적합 문제를 겪게 된다는 것을 알 수 있으며, 이제 이 신경망 모델을 우리 데이터셋에 적용하는 것이 매우 안정적이라고 판단할 수 있습니다.
또한, 예측 프로파일러를 사용하여 다양한 예측 변수의 중요도를 순위화할 수 있는데, 상호작용 효과가 모델의 약 85%를 차지하는 것으로 나타나 예측 변수와 반응 변수 간에 매우 비선형적인 관계가 있음을 보여줍니다. 또한, 상위 4개 예측 변수의 총 효과가 유사한데, 이는 모델 최적화에 상당한 어려움을 초래할 수 있습니다. 총 효과가 주 효과보다 큰 것은 모델에 매우 복잡한 수학적 변환이 적용되어 있어 상호작용이 매우 강하다는 것을 의미합니다. 결론적으로, 신경망 모델은 불안정성과 과적합 문제로 인해 핵심 예측 변수를 식별하는 데 적합하지 않습니다.
다음으로 파티션 기법을 사용해 분석해 보겠습니다. 파티션은 트리 구조의 이진 분류 방식을 사용하여 예측 변수를 범주화하고 최적의 예측 모델을 찾습니다. 제 분석에서는 검증 비율을 0.2로 설정했습니다. 신경망 모델 결과와 비교했을 때 R-제곱 값은 비슷하지만, 예측 변수들의 순위를 살펴보면 상위 6개 변수가 전체 분산의 약 80%를 설명하며, 특히 첫 번째 예측 변수가 가장 큰 영향을 미치는 것을 알 수 있습니다. 이는 파티션 기법을 사용할 때 대부분의 자원이 첫 번째 예측 변수에 할당되기 때문에 나머지 예측 변수들의 기여도가 감소하기 때문입니다.
신경망 모델의 불안정성을 고려하여 여러 번 실행해 보았습니다. 그럼에도 불구하고 각 훈련 세트와 검증 세트 간의 R-제곱 값이 여전히 크게 차이가 났습니다. 따라서 이 모델은 불안정성과 과적합 문제로 인해 핵심 예측 변수를 식별하는 데 여전히 적합하지 않습니다.
이전 결과를 바탕으로 최소제곱법, 신경망, 분할 모델을 간략하게 비교해 보겠습니다. 각 모델, 예를 들어 표준 최소제곱법은 R-제곱 값이 높지만 과적합과 심각한 다중공선성 문제를 안고 있습니다. 이 방법은 주효과만을 고려합니다. 신경망과 분할 모델 역시 과적합 문제가 나타나고 안정적이지 않으며, 두 방법 모두 핵심 예측변수를 찾지 못합니다. 핵심 예측변수를 찾기 위해서는 다른 모델을 고려해야 합니다.
네, 이전 연구에서 분할에 새로운 역할을 추가하는 것이 우리 모델에 적합하지 않다는 것을 알았습니다. 그래서 다음 단계로 예측 변수 선별을 진행했습니다. 부트스트랩 랜덤 포레스트 분할 방법을 사용했는데요. 이 방법은 다중 의사결정 트리를 활용하여 다양한 개수의 예측 변수를 무작위로 선택함으로써 모델의 안정성을 향상시킵니다.
이 모델을 설정할 때, 보다 안정적인 모델을 얻기 위해 5,000개의 트리를 사용했습니다. 분석을 실행하는 데 약 15분이 소요되었는데, 이는 제 분석에는 허용 가능한 시간입니다. 예측 변수들의 순위를 얻은 후에는 최적의 예측 변수 개수를 알아야 합니다. 따라서 예측 변수들의 누적 기여도를 시각화하기 위해 누적 부분 플롯을 생성했습니다.
예를 들어, 예측 변수를 23개 선택하면 전체 기여도의 약 60%를 설명할 수 있고, 75개를 선택하면 약 80%를 설명할 수 있습니다. 이는 파레토 법칙(20~80%)과 일치합니다. 본 프로젝트의 주요 목표는 모델의 복잡성을 크게 줄이는 것이므로, 분석에는 23개의 예측 변수를 사용하기로 했습니다. JMP의 예측 변수 선별 기능은 모델을 제공하지 않고 중요한 변수만 식별하는 데 도움을 줍니다. 이러한 한계를 극복하기 위해 예측 변수 선별과 모델 적합 기능을 결합한 하이브리드 모델을 사용하여 JMP Pro의 랜덤 포레스트 알고리즘을 시뮬레이션했습니다. 이 하이브리드 모델의 결과는 과적합 문제가 없음을 보여줍니다.
또한, VIF 값을 살펴보면 10보다 큰 VIF 값을 가진 변수들도 있지만, 여기서 사용한 대부분의 예측 변수들은 10보다 작은 값을 가지고 있음을 알 수 있습니다. 일부 변수들이 여전히 높은 VIF 값을 보이는 이유를 더 잘 이해하기 위해, 이러한 높은 VIF 값을 가진 변수들에 대해 군집 변수 분석을 수행했습니다. 분석 결과, 모든 예측 변수들은 두 그룹으로 나뉘었습니다.
첫 번째 그룹은 주황색으로, 두 번째 그룹은 파란색으로 강조 표시되어 있습니다. [00:21:10] 데이터를 다시 살펴보면 첫 번째 클러스터의 모든 예측 변수는 유사한 CD 값을 가지고 있습니다. 여기 있는 세 개의 예측 변수는 모두 다른 CD 값을 가지고 있습니다. 이는 모델을 만들 때 이 모든 예측 변수를 모델에 포함할 필요가 없다는 것을 의미합니다. 첫 번째 그룹 내에서는 상관관계가 매우 높으므로 모델에 포함할 예측 변수는 하나만 선택하면 되고, 두 번째 그룹에서도 마찬가지로 모델에 포함할 예측 변수는 하나만 선택하면 됩니다.
클러스터 변수에 대한 이전 분석을 바탕으로 초기 23개의 예측 변수를 약 18개로 줄일 수 있었습니다. 그 결과 모든 VIF 항이 10 미만이 되었습니다. 또한, 전체 예측 변수의 수를 약 200개에서 18개로 크게 줄였기 때문에 이제 이원 상호작용을 고려할 수 있게 되었습니다. 이 결과는 이원 상호작용을 고려한 두 번째 하이브리드 모델에서 R-제곱 값이 주효과 모델만 고려했을 때보다 약 20% 향상되었음을 보여줍니다. 또한, 이 하이브리드 모델은 기존의 신경망 모델과 분할 모델보다 우수한 성능을 보였습니다. 예측 변수를 최적화하고 이원 상호작용을 고려함으로써 더욱 정교하고 개선된 모델을 얻을 수 있었습니다.
다음으로, 앞서 학습한 방법론을 바탕으로 Y2와 Y3에도 적용해 보겠습니다. 전반적으로, 예측 변수 선별과 적합 모델을 결합한 하이브리드 모델을 사용하면 세 가지 반응 변수 모두에서 원래 데이터 세트 대비 예측 변수 수를 약 90%까지 줄일 수 있음을 알 수 있습니다. 또한, R-제곱 값도 모두 70~80% 수준으로 양호한 결과를 보였습니다. 예측 변수 수를 줄인 후에도 과적합이나 VIF 문제도 발생하지 않았습니다.
다음 단계는 예측 변수 선별을 신경망 모델과 결합한 모델, 그리고 예측 변수 선별과 분할 모델을 결합한 모델을 포함하여 다양한 모델을 비교하는 것입니다. 이전 슬라이드에서 모든 예측 변수를 고려한 신경망 모델의 경우 심각한 과적합 문제가 발생하는 것을 확인할 수 있습니다. 하지만 예측 변수 선별과 신경망 모델을 결합한 하이브리드 모델을 비교해 보면, 여전히 과적합 문제가 존재하지만 모든 예측 변수를 사용한 신경망 모델과 비교했을 때는 과적합 문제가 훨씬 덜 심각합니다. 반면, 나머지 예측 변수를 사용한 분할 모델과 예측 변수 선별 및 분할 모델을 결합한 하이브리드 모델을 비교해 보면, 이 방법을 사용해도 큰 개선 효과는 나타나지 않습니다.
다음 단계는 이러한 다양한 모델들을 비교하는 것입니다. 현재 우리가 보유한 모든 모델을 나열해 보겠습니다. 최소제곱법 모델과 여러 가지 하이브리드 모델이 있습니다. 하이브리드 모델에는 예측 변수 선별과 신경망을 결합한 모델, 예측 변수 선별과 분할을 결합한 모델, 그리고 예측 변수 선별과 최소제곱법 및 이들의 상호작용을 결합한 모델이 있습니다. 이 하이브리드 모델의 경우, R-제곱 값이 18개 정도의 예측 변수만으로도 충분히 높은 값을 얻을 수 있으며, 만족스러운 성능을 보입니다. 또한, 모든 하이브리드 모델 중에서 이 하이브리드 모델 역시 최소제곱법 R-제곱 값과 조정된 최소제곱법 R-제곱 값이 높게 나타납니다. 하지만 그렇다고 해서 이 모델을 사용하는 것이 다른 모델보다 항상 더 나은 성능을 보장하는 것은 아닙니다.
여기 두 가지 예시를 보여드리겠습니다. 첫 번째 예시에서는 하이브리드 신경망 모델, 하이브리드 분할 모델, 하이브리드 최소제곱 모델을 실제 데이터(바로 여기 있는 응답 데이터)와 비교합니다. 이 예시에서, 제가 이 데이터 포인트를 선택했을 때, 세 모델의 예측값을 비교해 보면 하이브리드 신경망 모델이 실제 결과에 가장 가까운 값을 보여주는 것을 알 수 있습니다. 두 번째 예시를 보겠습니다. 이 데이터 포인트를 선택하고 세 가지 비율로 각 모델의 예측값을 비교해 보면, 하이브리드 최소제곱 모델이 가장 나은 예측값을 제공하는 것을 확인할 수 있습니다.
이러한 모델들을 모두 결합하여 예측 성능을 더욱 향상시킬 수 있는지 궁금합니다. 이 링크에서 JMP Pro의 기능을 하나 발견했는데, 바로 앙상블 모델링, 즉 '모델 오브 모델'이라는 개념입니다. 여러 개의 고성능 모델을 선택하여 앙상블 모델을 구축하는 것이죠. 앙상블 모델의 잠재력에 매료되어 현재 데이터셋에 적용해 보고 싶습니다. 같은 방식으로 JMP를 사용하여 결합 모델을 만들 수 있는지 알고 싶습니다.
현재 저희는 앞서 보여드린 것처럼 세 가지 하이브리드 모델을 보유하고 있습니다. 앙상블 모델 방법론을 적용하기 위해, 이 세 가지 모델을 결합하는 데 각기 다른 접근 방식을 사용합니다. 모델 5는 평균 알고리즘을 사용하여 현재 보유하고 있는 세 가지 모델의 평균값을 계산합니다. 모델 6은 가중 알고리즘을 사용합니다. 각 모델에 서로 다른 가중치를 부여하여 더 나은 모델을 얻을 수 있는지 확인합니다. 모델 3은 신경망 알고리즘을 사용하여 세 모델을 결합합니다. 모델 8은 분할 알고리즘을 사용하여 이 세 가지 모델을 모두 결합합니다.
이 표는 응답의 평균, RMSE, R-제곱, 조정된 R-제곱, 그리고 잠재적 위험을 요약한 것입니다. 이 표를 그래프로 시각화하면, 이 데이터의 경우 응답의 평균값이 표시되고 범위는 RMSE가 됩니다. 조정된 R-제곱 값을 기준으로 모델들을 색상으로 구분하여 가장 높은 값부터 가장 낮은 값 순으로 순위를 매겼습니다. 모델 7을 사용하면, 이 세 가지 모델을 신경망 알고리즘으로 결합했을 때 가장 높은 조정된 R-제곱 값과 가장 작은 RMSE 값을 얻을 수 있음을 알 수 있습니다.
결론적으로, 예측 변수 선별과 최소 제곱 모델링을 결합한 하이브리드 접근법에 대한 본 연구는 예측 변수 수를 약 90%까지 줄인 모델을 구축할 수 있음을 보여줍니다. 이 모델을 기반으로 긍정적인 YY 조합을 파악하고, YX를 공동 최적화하며, XX 의존성을 줄일 수 있습니다. 또한, 여러 하이브리드 모델과 앙상블 모델을 개발하는 과정에서 기기 성능을 예측하는 다양한 모델을 구축할 수 있었습니다.
앞으로의 작업을 위해 몇 가지 기회를 고려해 볼 수 있습니다. 예측 변수 스크리닝을 활용하여 다양한 모델 간의 순위 차이를 비교할 수 있습니다. 또한, 재귀적 조합 반복을 시도하고 종료 기준을 설정할 수 있습니다. 더불어, 모든 주요 모델 KPI를 요약하고 비교할 수 있는 대시보드 또는 그룹 스크립트를 통합하는 것도 고려하고 있습니다.
또한, 이 프로젝트를 위해 멘토링과 많은 기술적 지원을 아낌없이 해주신 찰스 교수님께 감사드립니다. 아울러, 모든 데이터 수집에 큰 도움을 주신 Applied Materials CTO PPB 팀에도 감사드립니다. 오늘 제 발표는 여기까지입니다. 감사합니다.
