실험 설계(DOE)는 실험 실행을 안내하고, 관련 변수를 파악하기 위해 실험을 분석하며, 조사 대상 프로세스 또는 현상을 최적화하는 통계적 방법입니다. 제품 개발에 DOE를 활용하면 제조가 더 쉽고 저렴해지며, 성능과 신뢰성이 향상되고, 제품 설계 및 개발 기간이 단축되는 제품을 만들 수 있습니다.
오늘날 대규모의 복잡한 데이터 세트가 증가함에 따라 머신러닝(ML)은 데이터 분석 도구로 널리 활용되고 있습니다. 그러나 모든 응용 분야에서 빅데이터를 활용할 수 있는 것은 아닙니다. 예를 들어, 제약 및 화학 산업에서는 비용 제약과 유용한 데이터를 생성하는 데 필요한 시간 때문에 실험 데이터 세트의 규모가 일반적으로 작습니다. 그럼에도 불구하고, 실험 설계에 머신러닝을 접목하는 것은 더 저렴하고 빠르게 수집할 수 있는 소규모 데이터 세트에서 제형을 최적화하는 효과적인 방법임이 입증되었습니다.
본 발표는 세 부분으로 구성됩니다. 첫째, 머신러닝 기반 실험 설계와 관련된 문헌을 간략하게 요약합니다. 둘째, 접착제 사례를 통해 실험 설계와 머신러닝을 결합하여 최적화된 촉매 패키지를 갖는 설계 공간을 식별하는 데 필요한 실험 횟수를 줄이는 효율성을 보여줍니다. 셋째, 산업용 실란트 응용 분야와 관련된 세 번째 부분에서는 반응 표면 데이터를 사용하여 설계 공간 내외에서 실행된 검증 데이터를 바탕으로 RSM 모델의 예측 오차를 다양한 머신러닝 알고리즘(RF, SVR, Lasso, SVEM, XGBoost)으로 생성된 모델과 비교합니다.
안녕하세요. 저는 헨켈의 스톤 쳉입니다. 오늘 제 발표는 제형 최적화를 위한 머신러닝 기반 실험 설계에 관한 것입니다. 발표에 앞서 머신러닝과 실험 설계(DOE) 적용에 대해 간략히 설명드리겠습니다. 두 가지 사례 연구를 통해 이를 보여드리겠습니다. 첫 번째 사례는 능동 학습을 활용하여 설계 공간을 찾는 것이고, 두 번째 사례는 머신러닝을 사용하여 DOE 예측 성능을 향상시키는 것입니다.
제가 소속된 회사인 헨켈에 대해 소개해 드리겠습니다. 헨켈은 220억 유로 규모의 화학 기업입니다. 크게 두 개의 사업 부문으로 나뉘는데, 하나는 세탁, 가정, 미용 제품을 담당하는 소비자 브랜드 부문이고, 다른 하나는 제가 소속된 접착제 기술 부문입니다. 헨켈은 전 세계 접착제 시장을 선도하며 800여 개 산업 분야에 2만 개 이상의 제품을 공급하고 있습니다.
머신러닝은 지난 4년간 발표된 수많은 연구 논문에서 볼 수 있듯이 매우 빠르게 성장하는 분야이며, 방법론, 제약, 화학, 3D 프린팅을 비롯한 광범위한 산업 분야는 물론 품질 관리, 혁신 및 제조 분야에서도 활용되고 있습니다.
일반적인 머신러닝은 대규모 데이터셋을 사용하는데, 이는 최소한의 실험 횟수로 최대한의 학습을 목표로 하는 실험설계(DOE) 방식과는 대조적입니다. 오늘날 DOE는 머신러닝과 함께 두 가지 방식으로 활용되고 있으며, 이는 2021년 발표된 한 리뷰 논문에서도 설명되어 있습니다. 하나는 머신러닝을 사용하여 DOE 데이터를 분석하는 방식이고, 다른 하나는 머신러닝 모델링 결과를 활용하여 다음 실험 설정을 제안하는 능동적 학습 방식입니다. 제 발표에서는 이 두 가지 경우 모두에 대한 예시를 제시합니다.
사례 1에서는 접착제의 설계 공간 및 제형 최적화를 연구하기 위해 목표 지향적 머신러닝 실험계획법(DOE)을 적용했습니다. '목표 지향적'이라는 용어는 다소 생소하지만, 이 경우에는 지도 학습으로 이해하겠습니다. 사례 1에서는 제형에 두 가지 안정제 첨가제를 추가하여 접착제의 저장 안정성을 향상시켜야 합니다. 안정성은 유동성과 접착력 유지라는 두 가지 지표를 통해 모니터링합니다.
헨켈에게 화학은 새로운 분야이며, 특히 이 화학 물질에 대해서는 더욱 그렇습니다. 헨켈은 첨가제 1의 초기 농도 범위를 0.1에서 0.5 사이로 설정하고, 첨가제 2는 0.5에서 3 사이로 설정하기로 결정했습니다. 화학 부서는 한 번에 하나의 요인만 적용하고, 요인 설계, 반응 표면 분석(RSM), 공간 채움법 등 다양한 실험 설계(DOE) 방법을 사용하여 두 가지 목표 사양을 모두 충족할 수 있는 설계 공간을 찾으려고 노력했습니다.
22번의 실험 중, 화학적 분석을 통해 유동성과 접착력 요구 조건을 모두 만족하는 실험 조건을 2개 찾았습니다. 문제는 이러한 설계 공간을 더 효율적으로 찾아낼 수 있는 방법이 있는지 여부입니다.
본 연구에서는 두 단계로 구성된 제형 설계의 효율성을 향상시키는 접근 방식을 제시합니다. 1단계에서는 능동 학습을 활용하여 설계 공간을 식별하고, 2단계에서는 접착제 최적화를 위한 예측 모델링을 수행합니다. 1단계 설계 과정에서 초기 실험으로 5회의 시뮬레이션 결과를 도출하고, SVR(Support Vector Regression)을 통해 두 반응 변수를 모델링합니다.
모델로부터 제어선도를 생성하고 이를 겹쳐서 두 사양을 모두 충족하는 원하는 흰색 영역을 표시했습니다. 그런 다음 겹쳐진 윤곽선도에서 제시된 이 영역을 기반으로 공간 채움 설계를 확장했습니다. 이것이 한 주기입니다.
그런 다음 이러한 단계 주기를 두 번 더 반복하여 최종적으로 총 15번의 실행을 수행합니다. 2단계에서는 모델링에 사용할 설계 공간과 검증에 사용할 실행을 직접 선택합니다. 5, 6, 7단계는 화학적 입력이 필요한 단계입니다. 이를 목표 지향적 단계라고 합니다.
JMP 공간 채움 설계(Space Filling Design)는 실행 위치를 선택하는 데 7가지 옵션을 제공합니다. 여기서는 2요인 시스템의 예를 보여줍니다. 공개 문헌에서 흔히 사용되는 라틴 하이퍼큐브를 사용했습니다. 1단계 또는 1주기의 작동 과정을 여기에 나타냈습니다. 1번은 실행 데이터와 SVM 예측 열을 보여줍니다. 2번은 두 반응에 대한 SVM 모델 적합도를 보여줍니다. 3번은 모델의 등고선 플롯입니다.
4번은 두 등고선 그래프가 겹치는 부분으로, 흰색 영역이 두 반응 모두의 설계 목표를 만족합니다. 돋보기로 보면 흰색 영역의 끝부분이 새로운 상위 설계 경계이며, 이 경계를 사용하여 5단계에서 특정 설계를 보완하고 추가 실험을 5회 요청합니다.
능동 학습 2단계, 2주기에서는 모델링을 위해 10번의 실행을 사용했습니다. 1단계와 동일한 과정을 거쳐, 3단계를 위해 특별히 설계된 새로운 설계 경계를 제안합니다. 이 슬라이드는 마지막 3단계이며, 3단계에서는 추가 모델링을 위해 총 15개의 데이터 포인트를 사용합니다.
오른쪽의 설계 공간 요약과 왼쪽의 반응 맵을 나타낸 그림에서 숫자 13은 접착력과 유동성 요구 조건을 모두 만족하는 목표 설계 영역을 보여줍니다. 각 단계의 데이터는 1단계는 파란색, 2단계는 빨간색, 3단계는 초록색으로 색상이 구분되어 있습니다. 실선 원은 두 가지 설계 목표를 모두 만족한 결과를 나타내고, 빈 원은 하나 또는 두 가지 반응 조건을 모두 만족하지 못한 결과를 나타냅니다.
총 15회의 실행 중 3단계에서 5회 실행이 설계 목표를 만족시켰으며, 이는 약 33%의 효율성에 해당합니다. 이는 이전에 논의된 비능동 학습 DOE 접근 방식에서 22회 실행 중 2회만 만족시킨 것(효율 9%)보다 훨씬 우수한 결과입니다. 머신 러닝은 1단계와 2단계를 합친 10회 실행만으로 목표를 달성한 반면, DOE는 22회 실행 만에 3회 또는 2회만 만족시킨 것을 고려하면, 능동 학습은 효율성 측면에서 최소 두 배 이상 향상되었음을 알 수 있습니다.
예측 모델링에서 목표 사양을 만족하는 실행 횟수가 많을수록 성능이 더 좋을 가능성이 높습니다. 저는 능동 학습 접근 방식이 향후 몇 년 안에 더 나은 결과를 가져올 것으로 예상한다고 말씀드렸습니다. 왜냐하면 저는 특정 분야에 5개의 데이터가 있고, 일반적인 실험 설계(DOE)에서는 2개밖에 없기 때문입니다. 이 능동 학습 예시에서는 실행 횟수가 15회에 불과하므로, 데이터를 왜곡할 수 있는 이상치를 피하고 싶습니다.
우리는 설계 목표를 모두 충족하지 못하는 실행 결과(1.2 및 1.3 버전)를 제외하기로 결정했습니다. 이 변경으로 모델링 공간에는 13개의 실행 결과만 남게 되었으며, 이는 여기 빨간색 삼각형으로 표시되어 있습니다. 모델 검증에서는 설계 목표를 모두 충족하는 영역에서 모델의 예측 성능이 얼마나 좋은지 확인하고자 합니다.
우리는 외곽선에서의 예측에는 관심이 없습니다. 원하는 디자인 공간 내의 검출 지점을 선택합니다. 이 지점들은 여기 주황색 점으로 표시되어 있으며, 경계 근처의 한 지점(여기 3.2번째 실행)도 포함됩니다. 이렇게 해서 10개의 실행 결과를 훈련 세트로, 3개의 실행 결과를 검증 세트로 사용합니다.
여기서 모델 공간 선택과 검증 실행에 대한 화학적 결정은 목표 지향적입니다. 특정 설계에 대한 논거와 함께 이 두 단계를 목표 유도 단계라고 부릅니다. R10의 응답 열을 여기에 복제했습니다. 검증 실행 후 데이터는 제거되었습니다. 이 열은 머신러닝 모델과 비교하여 매개변수 조정을 위한 검증 옵션을 제공하는 데 사용됩니다. 다음은 이 예측 모델을 사용하는 머신러닝 모델 목록입니다.
두 가지 모델(가우시안 프로세스 회귀와 Predictum Inc.에서 제공하는 SVEM 신경망)을 제외한 모든 모델에 검증 열을 적용할 수 있습니다. 각 알고리즘의 모델을 실행하고 예측 결과를 이 열에 저장했습니다.
모델 비교는 두 가지 방법으로 진행했습니다. 하나는 JMP 모델 비교 플랫폼을 사용하는 것이고, 다른 하나는 직접 평균 제곱근 오차(RASE)를 계산하는 것입니다. 이를 위해 예측 공식 열을 병합한 다음, RASE 열을 직접 생성했습니다. 그 결과, JMP 모델 비교 결과는 왼쪽에, 제가 직접 계산한 결과는 오른쪽에 나타났습니다. 두 표의 빨간색 상자와 초록색 상자 안의 데이터를 비교해 보니, 제가 계산한 RASE 값이 정확함을 확인할 수 있었습니다.
모델 검증을 거친 후 오른쪽 표를 보면, 평균 제곱근 오차(RASE)가 가장 낮은 상위 3개 머신러닝 알고리즘이 부스팅 신경망, 부스팅 SVM, 그리고 RSM 모델 순으로 나타납니다. 하지만 하이퍼파라미터 튜닝에 도움이 되는 검증 없이 보면, 부스팅 신경망과 부스팅 SVM은 검증하지 않은 모델보다 더 높은 RASE 값을 보입니다. 예를 들어, 검증하지 않은 경우 RASE는 1.7이고, 검증하지 않은 경우 0.27 또는 0.936입니다.
하지만 여기 파란색 원으로 표시된 SVEM_Lasso 모델의 Gen_R 값은 검증 여부에 따라 큰 차이를 보이지 않습니다(1.397 대 1.427). 또한 검증을 하지 않은 경우, GPR(가우시안 프로세싱 회귀)과 SVEM을 예측하는 신경망 모델 모두 다른 모델보다 접착력 예측 성능이 더 좋지 않습니다. 이는 SVEM이 소규모 데이터 세트에 적합하다고 제안되었음에도 불구하고 나타나는 현상입니다.
요약하자면, 접착력 향상을 위한 목표 지향적 집중을 활용한 능동 학습 사례를 제시합니다. SVM 머신러닝을 활용한 공간 채움 설계 기법을 사용하여 3회 반복을 통해 설계 공간을 식별했습니다. 능동 학습은 비능동 학습 방식보다 설계 공간 식별에서 두 배의 효율성을 보였습니다.
본 연구에서는 다양한 머신러닝 모델을 비교하고, 일부 모델이 최소제곱법 모델보다 더 나은 예측 성능을 보임을 입증합니다. 목표 지향적 단계는 여기에 나열된 세 가지 영역을 포함합니다. 화학자는 소규모 데이터셋에 대한 능동적 학습 및 예측 성능 향상을 목표로 이러한 단계를 지도했습니다. 본 사례에서는 JMP의 고급 예측 기능을 활용했습니다. 이것이 사례 1입니다.
두 번째 사례로 넘어가겠습니다. 실란트 도포에 대한 RSM DOE 데이터를 분석하고 예측 능력을 향상시키기 위해 머신러닝을 적용했습니다. 배경 설명을 드리자면, 이 사례는 5가지 주요 성분과 3가지 반응을 가진 실란트와 관련이 있습니다. 실란트는 28회 실행으로 구성된 면심 중심 합성 설계(face-centered central composite design)를 사용하여 최적화되었습니다. 반응 중 하나인 Y3는 R² 값이 0.86으로 양호하고 평균 제곱근 오차(RMSE)가 7.9입니다.
최적화된 Y3 반응은 실제로 목표 경계에 매우 근접합니다. 화학자들은 두 가지를 합니다. 첫째, 28회 실험에 4회를 추가하여 실험계획법 요인 영역에서 우위를 점합니다. 둘째, 더 넓은 설계 공간을 확보하기 위해 6개의 스타 포인트를 추가합니다.
그 후 고객이 프로젝트 목표를 변경했습니다. 화학자는 어쩔 수 없이 원료 투입량을 변경하고 새로운 설계 목표를 충족하기 위해 10번의 실험을 추가로 진행했습니다. 하지만 이 10번의 실험 결과는 원래 20번의 실험 결과와 크게 차이가 나기 때문에 설계 공간 밖에 있는 것으로 간주됩니다. 여기에 있는 것이 바로 그 10번의 실험 결과입니다. 중심 합성 곡선 내에 있는 4개의 결과와 목표 별점 6개가 바로 여기에 있습니다.
본 연구의 목표는 머신러닝을 RSM 데이터셋에 적용하여 다양한 머신러닝 모델이 이 데이터셋에 대한 예측 테스트에서 얼마나 우수한 성능을 보이는지 알아보는 것입니다. 테스트 데이터셋은 설계 공간 내, 근처 또는 외부에 있는 세 가지 데이터셋으로 구성됩니다.
다음은 R² 값과 평균 제곱근 오차를 표시한 RSM 모델입니다. 모델 항 축소 후, 세 가지 주요 효과(X2, X3, X4)와 두 가지 요인 상호작용(X2, X5), 그리고 한 가지 이차 효과(X1)가 나타났으며, 이 모든 효과가 유의미한 것으로 확인되었습니다.
저희 머신러닝 프로세스는 두 단계로 구성됩니다. 첫 번째 단계에서는 7개의 K-겹 교차 검증을 사용하여 모델 성능을 빠르게 평가합니다. 그런 다음 선택된 머신러닝 방법에 대해 하이퍼파라미터 튜닝을 수행하여 예측 성능을 개선합니다. 검증에는 JMP 모델 비교 플랫폼에서 두 가지 방법을 사용합니다. 하나는 75/25 분할을 사용한 고정 검증이고, 다른 하나는 7개의 K-겹 교차 검증입니다.
2단계에서는 이전에 보지 못한 데이터 세트를 테스트합니다. 테스트 데이터 세트는 JMP 테이블에 추가됩니다. 이 데이터 세트는 원래 28회 실행 설계 공간 내, 근처 및 외부에 있는 데이터로 구성되며, 각 데이터의 예측 공식 열을 저장한 후 합산합니다. 그런 다음 최종 모델 비교를 위해 평균 제곱근 오차(RMSE) 열을 생성합니다.
JMP 모델 스크리닝 결과가 여기에 표시됩니다. 이 스크리닝은 양방향 상호작용과 이차항 옵션을 추가하고 7개의 K-겹 교차 검증을 선택하여 수행되었습니다. 각 모델의 미세 조정은 모델을 선택하고 "선택 항목 실행"을 클릭하여 진행했습니다. 손실 함수 옵션이 있는 경우 하이퍼파라미터 튜닝과 부스팅이 수행됩니다. 각 모델의 예측 공식은 표의 열에 설정됩니다. 신경망의 경우 파라미터 튜닝 추가 기능이 사용됩니다. 이 추가 기능에서 세 가지 프로토콜을 선택했습니다. 프로토콜 2는 2층 구조용이고, 프로토콜 12와 16은 1층 구조용입니다.
다음은 제 JMP 테이블입니다. 섹션 1은 RSM 원본 28회 실행 데이터와 반응 변수 Y3입니다. 섹션 2는 모델 비교를 위해 사용할 두 개의 검증 열입니다. 섹션 3은 각 모델에 대해 저장된 예측 공식 열입니다. 섹션 4는 세 개의 테스트 데이터 세트입니다. 섹션 5는 각 머신러닝 모델에서 나온 예측 결과입니다.
모델 비교에서, 훈련 세트, 검증 세트의 개수 및 평균화 과정에 차이가 있기 때문에 검증 방법의 효과가 궁금합니다. 75/25 분할에서 고정 검증은 훈련에 21회, 검증에 7회를 실행합니다. 교차 검증에서는 7개의 K-폴드 데이터를 평균화하며, 각 폴드는 훈련에 24회, 검증에 4회를 사용합니다. 고정 검증의 경우 JMP는 결과를 바로 사용할 수 있는 표 형식으로 출력합니다. 하지만 K-폴드 비용 검증의 경우 데이터 전처리가 필요합니다.
JMP는 폴더 번호별로 구분된 7개의 테이블을 출력합니다. 여기서는 'Make Combined Data Table'이라는 스크립트를 사용하여 이 7개의 테이블을 하나의 테이블로 병합합니다. 그런 다음 각 테이블의 평균 통계를 표 형식으로 생성하여 비교할 수 있습니다.
왼쪽은 고정 검증을 사용한 모델 비교 요약입니다. 오른쪽은 K겹 교차 검증 결과를 통합한 표입니다. 비교를 쉽게 하기 위해 그래프 작성기를 사용하여 결과를 표시했습니다. 이 막대 그래프에서 Y축은 평균 제곱근 오차(RMSE)이고, X축은 모델입니다. 모델 이름 끝에 하이픈(-)이 붙은 모델은 파라미터 튜닝이 적용된 모델이고, 'B'가 붙은 모델은 부스팅이 적용된 모델입니다.
파란색으로 표시된 고정 검증의 평균 제곱근 오차(RSE)는 일반적으로 빨간색으로 표시된 K-겹 교차 검증의 RSE보다 높습니다. 이는 그림에서 확인할 수 있습니다. 왼쪽에는 RSM 모델이 나와 있습니다. RSM보다 예측 오차가 적은 여러 머신러닝 모델이 있는데, 녹색 화살표로 표시되어 있으며 XGBoost, 두 가지 SVM 모델, 두 가지 신경망 모델, 그리고 부스팅 신경망 모델입니다. 이들은 평균 제곱근 오차 값이 작은 순서대로 나열되어 있습니다.
이 결론은 DOE 28 실행 결과를 기반으로 하며, 각 실행은 훈련 또는 검증에 사용됩니다. 검증 실행은 모델의 하이퍼파라미터를 조정하여 더 나은 예측을 달성하는 데 사용됩니다. 모델의 실제 예측 능력은 훈련이나 검증에 사용되지 않은 미공개 실행을 사용하여 테스트할 것이며, 이는 다음에서 설명하겠습니다.
머신러닝의 두 번째 단계는 미지의 데이터를 사용하여 모델을 테스트하는 것입니다. 세 가지 데이터 세트를 JMP 테이블에 복사하면 예측 공식 열에 작동 값이 자동으로 표시됩니다. 모든 공식 열은 새 테이블에 붙여넣어집니다. 평균 제곱근 오차(RACE) 계산기 열도 생성됩니다. 스택 테이블, 태블릿 및 그래프 빌더를 사용하여 다음 두 슬라이드에서 모델 테스트 기능을 보여줍니다.
내부 데이터셋과 스타 데이터셋(근접 데이터셋)에 대한 모델 성능을 살펴보겠습니다. 각각 4회와 6회 실행되었습니다. 오른쪽 표 또는 왼쪽 그래프에서 강조 표시된 부분을 보면, 내부 데이터셋에서 9회 실행된 결과가 5.6~7.7 범위의 평균 제곱근 오차(RASE)를 보여주며 유사한 예측 성능을 나타내는 것을 알 수 있습니다.
다음으로, 여기 있는 스타 테스트 데이터셋은 설계 공간과 가깝습니다. 7개의 모델이 18.2~21.7 범위의 평균 제곱근 오차(RMSE)를 보였으며, 평균은 20.3입니다. XGBoost와 녹색 화살표로 표시된 튜닝된 SVM은 DOE 데이터셋에서 가장 좋은 성능을 보였습니다. 이 데이터셋은 DOE 데이터셋의 일부이며, RSM과 비교했을 때 물론 가장 좋은 성능을 나타내지만 예측 오차는 더 높습니다.
여기 있는 저 모델이나 저 모델을 보면, 내부 데이터 세트와 스타 데이터 세트 모두에서 상단의 RSM보다 예측 오차가 더 큰 것을 알 수 있습니다. 이는 과적합을 나타냅니다. 하지만 파란색 화살표로 표시된 것처럼, 튜닝된 부스팅 신경망의 단일 레이어 모델이 DOE 데이터 세트, 내부 테스트 데이터 세트, 그리고 스타 데이터 세트 모두에서 가장 우수한 성능을 보였습니다. 표나 그래프에서 확인할 수 있듯이, 이것이 가장 좋은 결과입니다.
왼쪽 그래프에서는 설계 공간 외부의 테스트 데이터 세트를 살펴보고 있습니다. 왼쪽 그래프의 y축에는 관측값, y축에는 예측값을 나타냈습니다. 세 가지 테스트 데이터 세트 모두에 대한 테스트 실행 ID가 여기에 표시되어 있습니다. 빨간색은 관측값이고 파란색은 예측값입니다. 설계 공간 외부 테스트 데이터 세트는 녹색 점선 오른쪽에 있는 점으로 표시됩니다.
강조 표시된 네 가지 모델은 정말 뛰어난 성능을 보였습니다. RSM과 가지치기 또는 SVEM을 적용한 두 가지 G_R 순방향 모델, 그리고 네 번째 모델인 2계층 튜닝 신경망입니다. 이 네 가지 모델은 매우 우수한 성능을 보여주었습니다. 몇몇 모델은 예측 성능이 저조하거나 매우 좋지 않았는데, 바로 여기 있는 SVM 모델이 그 예입니다.
그다음, 튜닝된 신경망, 이 모델, 그리고 XGBoost나 부트스트랩 포레스트와 같은 결정 기반 방법을 사용했습니다. 네 가지 테스트 시나리오, 즉 DOE 데이터 세트와 세 가지 테스트 데이터 세트를 모두 고려했을 때, RSM 모델과 G_R Pruned Forward 모델, 이 두 모델이 네 가지 시나리오 모두에서 가장 균형 잡힌 예측 성능을 보여주었습니다.
이 결과를 해석할 때는 신중해야 합니다. 일반화해서는 안 되며, Y3 반응에 특정한 특징입니다. 그럼에도 불구하고, 이는 화학자에게 Y3 반응에 대해 알 수 있는 유용한 정보입니다. 즉, RSM 모델은 특별한 상황, 예를 들어 프로젝트 시간이 매우 촉박하고 추가 실험을 진행할 자원이 없는 경우, 설계 공간 밖의 데이터를 예측하는 데 활용될 수 있습니다. 물론, 이 두 번째 단계에서는 검증 실험이 반드시 필요합니다.
요약하자면, DOE 데이터 세트와 설계 공간 내부 및 근처에서 실행된 두 개의 테스트 데이터 세트에 대해 여러 머신 러닝 모델이 RSM보다 우수한 성능을 보였습니다. 그중 가장 뛰어난 모델은 튜닝되지 않은 1계층 부스팅 신경망이었습니다. 설계 공간 외부의 테스트 데이터 세트에서는 RSM, 두 가지 Gen_Reg 순방향 방법, 그리고 튜닝된 2계층 신경망 등 네 가지 모델이 매우 우수한 성능을 나타냈습니다.
네 가지 시나리오를 모두 고려했을 때, RSM과 Gen_Reg 가지치기 순방향 모델이 전반적으로 가장 우수한 결과를 보였습니다. 이 두 사례 연구에서 알 수 있듯이, 머신러닝은 효과적인 모델 수립을 위해 기존 실험계획법에 추가적인 기능을 제공한다는 것이 분명합니다.
이 자리를 빌어 이번 사례 연구와 헨켈 AMI 관리 시스템 개발에 함께 협력해 주신 다이 박사님과 두 선생님, 그리고 헨켈의 JMP 지원팀인 닉, 존, 마크에게 감사의 말씀을 전하고 싶습니다. 두 분의 훌륭한 교육과 지원에 진심으로 감사드립니다. 이 영상을 시청해 주셔서 감사합니다.
