머신러닝(ML) 방법은 화학, 기계, 제약 등의 산업 분야에서 실험 설계(DOE) 데이터 분석에 널리 적용되어 왔지만, 식품 산업, 특히 레시피 최적화 분야에서는 상대적으로 주목을 받지 못하고 있습니다.
본 연구에서는 제품 품질 최적화를 목표로 머신러닝(ML)과 순차 학습을 활용한 레시피 배합을 탐구했습니다. 실험설계법(DOE)과 ML을 결합하여 11개의 후보 성분 중에서 최적의 한 가지, 두 가지 또는 세 가지 성분 조합을 선택하고, 각 성분의 함량을 조합 개수에 따라 조정했습니다. 단일 성분 조합은 0~1개, 두 가지 성분 조합은 0~0.5개, 세 가지 성분 조합은 0~0.33개의 함량으로 설정했습니다. 12가지 성분 모두의 주요 효과를 분석한 후, 핵심 성분 5가지로 범위를 좁혔습니다. 두 가지 성분 조합에 대해서는 완전 요인 설계를 적용하고, 세 가지 성분 조합 각각에 대해서는 최대 함량에서의 데이터 포인트를 수집했습니다. 최종적으로 유망한 세 가지 조합을 선정하여 공간 채움 설계를 통해 전체 매개변수 공간을 탐색했습니다.
이후, 제품 품질을 예측하는 머신러닝 모델이 개발되었으며, 순차 학습을 통해 특정 조합에 대한 모델을 개선하기 위한 추가 실험을 진행했습니다. 이 접근 방식을 통해 100회 미만의 실험으로 최적의 배합을 찾아냈으며, 머신러닝, 순차 학습 및 실험 설계(DOE)를 결합하여 실험 노력을 줄이면서 고성능 원료 배합을 효율적으로 도출할 수 있음을 입증했습니다.
안녕하세요 여러분. 오늘은 머신러닝, 순차 학습, 실험 설계법을 활용한 레시피 최적화에 대해 이야기해 보겠습니다. 저는 주나이드 메흐무드이고, 네덜란드 위트레흐트에 있는 다논 R&I에서 공정 기술 전문가로 일하고 있습니다.
본론으로 들어가기 전에 다논에 대해 간략히 소개드리겠습니다. 다논의 사명은 가능한 한 많은 사람들에게 음식을 통해 건강을 제공하는 것입니다. 건강을 중시하는 다양한 제품 포트폴리오를 바탕으로, 다논은 지역 시장에서 원료를 조달하고, 지속가능성을 추구하며, 혁신적인 제품을 개발하고 있습니다. 액티비아, 압타밀, 에비앙, 아프로와 같은 글로벌 브랜드는 여러분께 익숙하실 수도 있지만, 다논은 다양한 지역 브랜드를 통해 거대한 시장을 구축하고 있습니다.
보시다시피, 저희 제품 대부분은 식품 또는 식품 파생물로 구성되어 있으며, 물론 물도 포함되어 있습니다. 즉, 저희는 수많은 레시피를 다룹니다. 다논에서 레시피 개발과 혁신을 구상할 때, 저희는 최고의 맛을 유지하면서도 영양가 또한 높게 유지하는 데 중점을 둡니다. 소비자의 니즈와 선호도를 바탕으로 끊임없이 혁신하고자 합니다.
식품 기반 제품 혁신은 여러 가지 어려움이 따르기 때문에 결코 쉬운 일이 아닙니다. 우선 소비자 선호도는 해마다 변할 수 있습니다. 특히 지속가능성에 대한 관심이 높아지는 지금, 우리는 끊임없이 혁신해야 합니다.
둘째로, 우리는 식품 안전 규정을 준수해야 하는데, 이로 인해 한 시장에서는 문제가 없는 제품이 다른 시장에서는 문제가 될 수 있습니다. 또한, 우리는 우리 제품이 본질적으로 안전하기를 바랍니다. 왜냐하면 우리 제품의 대부분은 유아를 위한 것이고, 때로는 경구 섭취가 불가능한 환자들을 위한 것이기도 하기 때문입니다.
그다음으로는 제품 가격의 균형을 맞추고 싶습니다. 최고 품질을 유지하는 것이 중요합니다. 품질이 아무리 좋아도 가격이 비싸면 아무도 사지 않을 테니까요.
이 점을 염두에 두고, 일반적으로 혁신을 진행할 때 제품 워크플로 사이클은 다음과 같습니다. 이는 매우 일반적이며, 식품 기반 제품을 생산하는 모든 식품 회사가 유사한 워크플로를 따릅니다. 처음에는 신제품 아이디어를 구상하거나 시장 조사를 바탕으로 기존 제품의 특정 속성을 변경하기로 결정합니다. 그런 다음 이를 기반으로 원료 및 공정 선택 단계로 넘어갑니다.
원료 선택과 가공 방식은 서로 밀접하게 연관되어 있습니다. 특정 원료에 적합한 가공 방식이 다른 원료에는 적합하지 않을 수 있습니다. 이는 원료와 가공 방식을 결정하는 순환적인 과정으로, 우리는 원료가 제공하는 영양가를 고려해야 합니다. 지속 가능성도 중요합니다. 가공 방식의 경우, 확장 가능하고 효율적이며, 사용하는 공정이 제품 원가를 증가시키지 않는지 확인해야 합니다.
그다음 단계는 시제품 개발인데, 주로 연구 개발 센터의 실험실에서 진행합니다. 이곳에서 소규모 실험실 시험을 수행하고, 향미 프로파일링을 하며, 특정 공정을 최적화하거나, 다시 처음 단계로 돌아가 다른 원료를 선택하기도 합니다. 이 과정이 완료되면 파일럿 플랜트에서 제품의 확장성을 검토합니다. 마지막으로 공장 시험을 진행합니다. 이 모든 단계를 거친 후, 시장에 출시하기 전 마지막 단계로 유통기한 및 안정성 테스트를 실시해야 합니다. 특정 유형의 제품은 규제 기관의 승인이 필요하지만 모든 제품이 그런 것은 아니므로 제품 유형에 따라 다릅니다.
실험실 규모, 파일럿 단계, 그리고 공장 규모에서 제품 특성을 파악하는 방법은 제품의 관능적 특성, 점도와 같은 가공성 등 제품의 실제적인 특성을 기반으로 합니다. 이러한 제품 특성을 바탕으로 공정을 최적화하는 것입니다.
오늘 제가 이야기할 프로젝트는 주로 실험실 규모의 실험에 초점을 맞추고 있으며, 크게 세 가지 구성 요소, 즉 원료, 공정, 그리고 실험 자체로 이루어져 있습니다. 원료와 공정에만 집중한다면, 당연히 미량 영양소와 다량 영양소에 주목하게 됩니다. 이러한 영양소들은 제품에 포함되어야 하지만, 제품의 맛 또한 좋아야 합니다.
물론, 방금 유통기한에 대해 말씀드렸듯이, 제품에는 방부제와 안정제가 첨가되고, 질감 개선제도 들어가는데, 이는 제품의 전반적인 가공성을 향상시켜 줍니다. 공정 선택을 고려할 때, 온도 조절, 혼합, 가공 속도 등 다양한 요소들을 고려할 수 있습니다.
이러한 결정은 실험실 테스트를 진행하기 전에 미리 내려지거나, 실험실 테스트를 진행하는 동안 다시 이러한 재료와 선택 사항을 검토하고, 일반적인 제품 측면에서 더 합리적인 방향으로 변경하는 것입니다.
원료를 고를 때, 우리는 기능성을 기준으로 테스트합니다. 미량 영양소(특정 미네랄이나 비타민)의 필요성, 맛, 그리고 규제 요건 등 원료의 감각적 특성을 고려합니다. 이를 바탕으로 각 원료의 최소 및 최대 함량을 정합니다. 그런 다음, 실험실 규모로 시험을 진행하여 각 원료가 제품의 특성(맛, 질감, 안정성)에 어떤 영향을 미치는지 확인합니다.
하지만 어떤 제품에든 첨가할 수 있는 특정 성분의 최대 함량은 규제 요건에 따라 제한되는 경우가 많으며, 특히 향료, 설탕, 방부제의 경우 더욱 그렇습니다. 따라서 우리는 이러한 규제 요건을 잘 준수해야 하며, 특정 함량 이하로 유지해야 합니다.
이 프로젝트에서는 머신러닝, 순차학습, 실험설계법(DOE)을 함께 사용하여 맛과 질감을 최적화하고자 했습니다. 이를 위해 11가지 재료를 분석하고, 맛과 질감을 향상시키는 단일, 이중 또는 삼중 조합을 찾고자 했습니다.
그러면 우리는 서로 다른 7가지 목표를 가지고 있습니다. 그중 3가지는 최소화하고자 하는 반응 변수이고, 2가지는 최대화하고자 하는 반응 변수이며, 나머지 3가지는 일정하게 유지하고자 하는 반응 변수입니다. 즉, 이러한 재료 조합을 넣더라도 특정 두 분자는 변하지 않도록 하는 것입니다.
그런 다음 특정 규제 요건이 있었는데, 11가지 성분 중 단일 성분만 사용할 경우 최대 1개까지만 사용할 수 있다는 것이었습니다. 여기서 '1'은 용어로 레벨을 나타내며, 실험계획법(DOE)을 생각하면 사용할 수 있는 성분의 최대량을 의미합니다. 두 가지 성분을 조합할 경우 최대 0.5까지만 사용할 수 있고, 마찬가지로 세 가지 성분을 조합할 경우 최대 0.33까지만 사용할 수 있습니다. 이러한 제약 조건 내에서 어떤 세 가지 성분이 더 나은 맛이나 질감을 만들어내는지 알아내야 했습니다.
전체적인 조합 가능성을 생각해 보면, 두 가지 재료를 조합할 수 있는 경우의 수는 총 55가지입니다. 세 가지 재료를 사용할 경우 165가지 조합이 가능하지만, 그중에서 11가지 조합이 더 나은 결과를 보여줍니다. 이 모든 조합을 고려하면 총 231가지 조합이 존재합니다. 따라서 이 모든 조합에 대해 실험을 반복하는 것은 너무 과도한 작업입니다. 어쩌면 3~4년 동안 연구에 매진해야 결론에 도달할 수도 있겠지만, 이는 바람직하지 않습니다.
이를 위해 우리는 11가지 성분 중 주요 효과만을 기준으로 5가지 성분을 선별하는 순차적인 접근 방식을 고안했습니다. 그런 다음, 선별된 5가지 성분을 바탕으로 2가지 또는 3가지 성분의 조합을 검토하여 최적의 효과를 보이는 조합을 찾았습니다. 세 번째 단계에서는 이러한 2~3가지 조합을 선택한 후, 그중에서 가장 우수한 효과를 보이는 조합을 분석했습니다. 마지막으로 모델링 단계에서는 모델 예측값을 사용하여 특정 성분과 특정 조합의 최적 함량을 도출했습니다. 각 단계에 대해서는 자세히 설명하겠습니다.
요인 선별을 위해, 우리는 지금 살펴본 것처럼 한 번에 하나의 요인만 고려했습니다. 실험계획법 수업에서는 이런 방식을 권장하지 않지만, 이 경우에는 선별 설계를 적용할 수 없었습니다. 선별 설계에는 내재된 전제가 있기 때문입니다. 즉, 각 요인을 다른 요인과 독립적으로 변경할 수 있고, 모든 요인이 모든 실험에서 항상 존재한다는 것입니다. 하지만 우리 실험에서는 그렇지 않습니다. 이 특정 레시피에 네다섯 가지 재료를 단순히 함께 넣을 수는 없습니다. 따라서 우리는 오직 하나의 요인에만 집중할 수밖에 없었습니다.
둘째로, 스크리닝 설계 모델링을 생각할 때, 우리는 보통 하나의 모델만 구축하고 매개변수 값을 살펴봅니다. 하지만 이 경우에는 그렇게 할 수 없습니다. 왜냐하면 더 많은 요소를 추가하기 시작하면 프로젝트 목표에서 벗어나게 되기 때문입니다.
마지막으로, 이 단계에서는 어떠한 상호작용도 고려하지 않았습니다. 첫째, 상호작용을 고려하면 실험 횟수가 급격히 증가할 것입니다. 둘째, 식품 제형과 우리 입안에서 약물이 작용하는 방식은 일반적인 가공 과정과는 상당히 다릅니다. 투입량에 따라 시너지 효과가 나타날 수도 있고, 서로 상반되는 작용을 할 수도 있습니다. 이미 비선형적인 효과가 존재한다는 것을 알고 있는데, 이 단계에서 이를 고려하는 것은 타당하지 않습니다.
각 요인을 하나씩 고려해 보면, 이 경우에는 0.33, 0.67, 1의 세 가지 수준에서 실험을 진행했습니다. 이를 바탕으로 총 33회의 실험을 수행했고, 물론 반복 실험도 많이 진행했습니다. 하지만 이 발표에서 제가 각 처리 또는 실험에 초점을 맞출 때는 반복 실험 횟수는 포함하지 않겠습니다. 이 경우에는 33개의 개별적인 실험 결과만을 다루겠습니다.
실험실 테스트를 완료한 후에는 각 반응에 대한 선호도를 기반으로 상관 행렬을 구축합니다. 오른쪽에 보이는 것은 시각화를 돕기 위한 것입니다. 세 가지 반응은 최소화하고, 두 가지 반응은 최대화하며, 나머지 두 가지는 변경하지 않아야 합니다.
이것은 상관관계 히트맵입니다. X축에는 모든 요소가 있고, Y축에는 모든 반응 변수가 있습니다. 오른쪽 상단에 적혀 있듯이, 우리는 세 가지 변수를 최소화하려고 했고, 보시다시피 모두 최소화되고 있습니다. 이제 어떤 변수가 가장 좋은지 결정해야 합니다. 따라서 Y₄와 Y₅는 최대화하고, Y₆와 Y₇는 그대로 유지해야 합니다.
하지만 상관관계만으로는 절반의 정보만 얻을 수 있습니다. 1단계 또는 3단계 반응값이 크게 변하지 않더라도 매우 높은 상관관계를 얻을 수 있기 때문입니다. 이러한 이유로 공분산 히트맵도 살펴보았습니다. 공분산은 반응 변수의 상대적인 변화량을 성분 변수의 단위 변화량과 비교하여 보여줍니다.
이 두 정보를 종합하여 총 11개의 재료 중 6개를 제거할 수 있었습니다. 남은 재료들을 살펴보면, 우리가 최소화하고자 하는 세 가지 반응 변수와 매우 높은 음의 상관관계를 보입니다. 즉, 우리가 최대화하고자 하는 반응 변수는 증가하지 않거나, 오히려 최대화되고 있다는 뜻입니다. 나머지 Y₆와 Y₇의 경우, 이 경우에는 상관관계가 그다지 높지 않습니다. 이는 이 변수들이 변화 없이 그대로 유지된다는 것을 의미합니다.
이것이 우리가 결정한 내용입니다. 첫 번째 단계에서 재료의 수를 11개에서 총 5개로 줄였습니다. 다음 단계로 넘어가기 전에 편의상 이 재료들을 1부터 5까지로 부르겠습니다. 원래의 1부터 5와는 다르지만, 다음 설명에서는 편의상 X₁부터 X₅까지로 부르겠습니다.
이제 우리는 가능한 모든 조합을 평가하고 어떤 조합이 가장 좋은 성능을 보이는지 알아내는 데 관심이 있습니다. 재료는 두 가지입니다. 세 가지 재료를 사용할 경우 가능한 조합은 10가지이므로 총 10가지 조합이 있습니다. 따라서 총 20가지 조합이 가능합니다. 만약 주요 이차 효과와 상호작용 효과를 모두 고려한 완전 요인 설계를 수행한다면 330가지의 서로 다른 실험을 하게 됩니다. 이는 이미 너무 많은 수치입니다.
그다음에는 개별 구성 요소들을 고려하는데, 그 결과 총 340개의 중복된 데이터가 생성됩니다. 이는 우리가 원치 않는 실험 횟수이며, 너무 많은 시간과 자원이 소모될 것입니다.
이 문제를 해결하기 위해 우리는 두 가지 요인을 사용하는 2요인 실험을 설계하고, 그 데이터를 모두 결합하여 3요인 조합에 대한 설계 행렬을 얻기로 했습니다. 좀 더 자세히 설명드리겠습니다. 2요인 실험에서는 최대 유의수준을 0.5로, 3요인 실험에서는 최대 유의수준을 0.3으로 설정할 수 있습니다. 특정 조합인 X₁, X₂, X₃만 고려해 보면, X₁, X₂, 2요인 조합인 X₁, X₃, 그리고 X₂, X₃의 모든 데이터를 결합할 수 있습니다. 즉, 3요인 조합에 대해 각각의 실험을 따로 수행할 필요가 없다는 뜻입니다.
특정 조합 하나에 대해 좀 더 자세히 살펴보면, 접근 방식은 다음과 같습니다. 먼저 공간 채움 설계(space-filling design)를 사용하여 2요인 조합을 설계하고, 이를 0에서 0.5까지의 연속 행렬로 처리했습니다. 그런 다음 3요인 설계에 대해서도 동일한 방식으로 진행하되, 이때는 0에서 0.33까지의 범위로 간주했습니다. 이후 모든 2요인 및 3요인 실험 결과를 하나의 표로 통합했습니다. 마지막으로 JMP의 사용자 정의 설계 모듈에 있는 공변량 요인 함수(covariate factors function)를 사용하여 최종 설계를 도출했습니다.
이제 각 단계를 자세히 살펴보겠습니다. 첫 번째 단계에서는 앞서 말씀드린 것처럼 두 가지 요인 조합에 대해 30개의 서로 다른 실험을 수행했습니다. 이것이 바로 모수 공간의 모습입니다. 물론 모수 공간은 동일합니다. X₁, X₂; X₁, X₃; 그리고 X₂, X₃의 경우 X와 Y 변수만 변경됩니다. 이 경우에는 모든 모수 공간을 탐색하려고 합니다. 그다음에는 세 가지 요인 조합에 대해 동일한 과정을 수행했지만, 최대 한계값은 0.33으로 설정했고, 이번에도 공간 채움 설계(space-filling design)를 사용했습니다.
이제 이 모든 결과를 하나의 표로 통합할 수 있습니다. 이를 시각화하면 전체적으로 120개의 결과가 다음과 같이 나타납니다. 벽면에는 두 가지 요인으로 이루어진 결과들이 있고, 가운데 빨간 점으로 표시된 부분에는 세 가지 요인으로 이루어진 결과들이 있습니다. 두 가지 요인으로 이루어진 결과는 0~0.5 범위에 해당하고, 세 가지 요인으로 이루어진 결과는 0~0.33 범위에 해당합니다.
이제 JMP 사용자 정의 설계 모듈을 열고 '공변량 요인' 버튼을 선택할 수 있습니다. 이 세 개의 열에 있는 다양한 값들을 모두 선택하면, 사용자 정의 모듈에서 선택한 모델에는 주효과, 이차 효과, 그리고 모든 상호작용 효과가 포함됩니다.
그다음에는 실행 횟수를 다르게 하여(16, 19, 22회) 서로 비교하고, 가능한 120번의 실행 중에서 최적의 설계를 얻기 위해 필요한 최소 실행 횟수를 찾기 위한 설계 평가를 수행했습니다. 그 결과, 이 모델이 최적의 기준을 충족하며, 모델 내 각 항 사이의 상관관계가 매우 작다는 것을 발견했습니다.
자세히 살펴보면, 벽에 표시된 두 가지 요인 조합의 경우 모서리에 점들이 흩어져 있다는 점에서 완전 요인 설계와 매우 유사해 보입니다. 세 가지 요인 조합의 경우 점 두 개가 추가됩니다. 하지만 이 경우에는 중앙에도 점이 추가됩니다. 이것이 바로 이 경우에 완전 요인 설계를 적용할 수 있다는 첫 번째 단서였습니다. 돌이켜보면 처음부터 그렇게 했어야 했을지도 모르지만, 지금은 단지 우리의 작업 과정을 설명하는 것뿐입니다.
완전 요인 설계처럼 보였기 때문에, 실제로 이 부분으로 되돌아갔습니다. 완전 요인 설계의 경우 설계 행렬이 어떻게 생겼는지 모두 알고 계실 겁니다. 이 경우 최댓값은 0.5입니다. 세 가지 조합에 대한 완전 요인 설계의 경우 설계 행렬은 다음과 같습니다.
하지만 앞서 말씀드린 것처럼, 완전 요인 설계에는 한 가지 추가적인 이점이 있으며, 이는 저희가 직접 포함시킨 것으로 3가지 요인 조합의 최대 한도에 해당합니다.
이 특정 사례에서는 상호작용 및 이차 효과를 분석하는 데 중요한 실험들이 여기에 해당합니다. 즉, 하나의 요인만 변경된 실험들입니다. 하지만 우리는 이미 1단계에서 주효과를 살펴보기 위해 이러한 실험들을 수행했습니다. 따라서 이러한 실험들을 다시 수행하는 대신, 기존 데이터를 활용했습니다. 즉, 2단계에서는 두 개 또는 세 개의 요인이 변경된 특정 실험들만 수행하면 됩니다. 이로써 전체 실험 횟수가 상당히 줄어들었습니다. 기존 340회에서 60회만으로 20가지 조합을 모두 분석할 수 있게 되었습니다.
결정적으로, 완전 요인 설계가 직교성을 만족한다고 하더라도, 이 경우에는 직교성이 확보되지 않습니다. 따라서 분석을 진행할 때 이 점을 반드시 명심해야 합니다.
2단계에서 수행된 총 실행 횟수는 50회로 줄어들었습니다. 모든 가능한 조합에 대해 모든 실행을 완료한 후, 다목적 평가를 수행했습니다. 즉, 목표값과의 거리 측정 기준을 계산했습니다. Y₁, Y₂, Y₃, Y₄, Y₅에 대한 목표값이 주어졌습니다. 우리는 이 중 일부를 최소화하고, 최대화하고, 나머지 두 개는 고정하려고 합니다. 이 거리 측정 기준을 바탕으로, 어떤 조합이 목표값에 가장 가깝고 어떤 조합이 목표값에 그다지 가깝지 않은지 판단했습니다.
목표에 가장 근접한 상위 10개 결과를 분석하여, 이 10개 결과에서 가장 많이 나타나는 분자 조합을 찾아냈습니다. 그 결과, 두 분자 조합과 세 분자 조합이 우리 프로젝트 목표에 가장 근접한 결과를 보였습니다.
비록 우리 모델이 여기서는 잘 작동하지 않을 것이라는 것을 알고 있고, 아직 충분한 데이터가 없으며, 직교성도 확보되지 않았지만, 각 조합에 대해 모델이 어떻게 나타나는지 확인하고 싶었습니다. 방금 설명한 다섯 가지 조합에 대해, 2개 요인 조합과 3개 요인 조합 모두에서 R² 값이 어떻게 나타나는지 보여드리겠습니다.
이 특정 모델에는 주효과, 상호작용 효과, 그리고 이차 효과가 있습니다. 이 중 특정 두 요인 조합에만 초점을 맞추면, 이 그래프는 실제 p값을 보여줍니다. 여기서 주목할 점은 일부 반응 변수의 경우 p값이... 어떤 매개변수도 유의미하지 않았다는 것입니다. 또 다른 일부 변수의 경우, 일부 매개변수는 유의미하지만, R² 값이 높게 나옴에도 불구하고 각 반응 변수마다 유의미한 값이 다릅니다. 이는 데이터셋의 크기가 제한적이고 모델이 과적합되었을 가능성이 있기 때문에 예상되는 결과입니다.
세 가지 요인 조합의 경우에도 마찬가지였습니다. 하지만 세 가지 요인 조합에서 우리가 깨달은 것은 적어도 하나 또는 두 개의 매개변수가 모든 반응에 대해 유의미하다는 점입니다. 그러나 모든 매개변수가 모든 반응에 대해 유의미한 것은 아닙니다. 이것이 바로 각 매개변수를 다르게 모델링해야 한다는 첫 번째 단서였습니다. 각 매개변수에 대해, 즉 각 반응 매개변수에 대해 어떤 요인이 유의미한지 파악해야 했습니다.
이 점을 좀 더 명확히 설명하기 위해, 다음으로 제한된 데이터 세트를 사용했을 때에도 이차 효과를 제거했더니 R² 값이 매우 낮아졌습니다. 이는 이차 효과가 일부 매개변수에 중요하며, 따라서 이를 포함해야 한다는 것을 시사합니다. 3단계로 넘어가면, 우리가 살펴본 다섯 가지 조합 중에서 세 가지 재료가 모두 포함된 조합만 고려하게 됩니다. 왜냐하면 이러한 조합은 모델링이 잘 될 뿐만 아니라, 각 요인이 해당 매개변수에 영향을 미치기 때문입니다. 이제 우리는 이러한 요인 중 어떤 것이 어떤 반응에 영향을 미치는지 알아내야 합니다.
이러한 특정 조합에 대한 데이터를 증강하기 위해 JMP의 증강 설계 모듈을 사용하여 5번의 추가 실행을 수행했으며, 이를 위해 공간 채움 설계를 사용했습니다. 이제 각 조합에 대해 최소 20개의 엣지 데이터 포인트를 확보했으며, 이를 기반으로 모델을 평가할 수 있습니다. 하지만 앞서 강조했듯이 각 반응 변수에 대해 모델은 서로 다른 형태를 갖게 됩니다. 각 모델에 대해 좋은 모델을 찾을 수도 있겠지만, 우리는 그 대신 머신 러닝 접근 방식을 사용하여 최소 제곱법, LASSO, Elastic Net을 통해 각 반응 변수에 대해 다양한 모델을 평가했습니다. 또한 선형 및 다항 커널만을 사용한 서포트 벡터 회귀(SVR)도 추가했습니다.
다음으로, leave-one-out 교차 검증 방법을 사용했습니다. leave-one-out 방법은 모든 데이터 포인트 중 하나만 제외하고 나머지 데이터에 모델을 학습시키는 방식입니다. 그런 다음, 제외된 하나의 데이터 포인트만을 사용하여 예측을 수행하고 오차를 계산합니다. 이 과정을 모든 데이터 포인트에 대해 반복합니다. 마지막으로 평균 제곱근 오차(RMSE)를 계산합니다. 이 오차를 기반으로 어떤 모델이 가장 좋은지 판단할 수 있습니다. 이 방법은 항상 하나의 데이터 포인트를 예측에 사용하기 때문에 과적합을 방지하면서도, 제한된 데이터 세트에서 충분한 데이터 포인트를 활용하여 좋은 모델을 학습시킬 수 있도록 해줍니다.
이 방법을 적용하면 X₂, X₃, X₄ 조합에 대해 평균 제곱 오차가 매우 낮고 R² 값이 상당히 높은 좋은 모델을 얻을 수 있습니다. 특정 조합을 예측하는 능력이 뛰어나다는 것은 해당 조합에 대한 설명되지 않은 오차가 적다는 것을 의미합니다. 따라서 이 특정 조합을 선택하여 다음 단계로 진행합니다. 실제 값과 실험값 및 예측값을 비교한 그래프는 다음과 같습니다. 모델은 사실이 아니지만, 특정 조합에 대한 예측을 수행하기에는 충분히 좋은 모델임을 알 수 있습니다.
다음 단계에서는 이러한 모델을 사용하여 몬테카를로 시뮬레이션을 실행합니다. 몬테카를로 시뮬레이션을 통해 응답 및 거리 측정 기준을 기반으로 다시 계산을 수행하고, 특정 목표값에 가장 가까운 시뮬레이션 값을 찾아냅니다. 그런 다음 목표값에 가장 가까운 모든 시뮬레이션에 대해 클러스터링을 수행하여 실험실에서 실험을 진행할 수 있는 세 가지 다른 실행 결과를 도출합니다.
세 번의 시뮬레이션 중 한 번만 원하는 목표를 달성했습니다. Y₁, Y₂, Y₃를 최소화하고 Y₄, Y₅를 최대화하며 Y₇는 유지할 수 있었습니다. 이 단계에서는 Y₆를 건너뛰었는데, 모든 시뮬레이션을 거친 후에도 Y₆를 예측하는 능력이 아직 확보되지 않았기 때문입니다.
자, 다시 제품 워크플로로 돌아가서 말씀드리자면, 이것은 전체 과정의 한 단계일 뿐입니다. 이제 실험실 규모 단계를 마쳤습니다. 이제 파일럿 플랜트로 넘어가 확장성 테스트를 진행하고, 공장 생산을 거쳐 나머지 단계를 진행할 것입니다.
이제 요약 슬라이드로 넘어가겠습니다. 이 사례에서는 반복적인 실험 설계(DOE) 접근법을 단계적으로 사용하여 500번의 실험 대신 단 100번의 실험만으로 최적의 조합을 찾아낼 수 있었습니다. 또한 공간 채움 설계와 머신러닝을 효과적으로 활용하여 실험 공간을 탐색했습니다. 마지막으로, 머신러닝과 DOE 데이터, 그리고 이러한 순차적 접근법을 결합함으로써, 초기 가설이 틀렸더라도 더 나은 모델을 찾을 수 있다는 것을 알게 되었습니다. 이쯤에서 감사 인사를 드리겠습니다.
