고도화된 머신러닝 알고리즘이 방대한 양의 정보를 처리할 수 있는 시대에도 대규모 데이터 세트를 다루는 것은 여전히 고유한 과제입니다. 방대한 데이터 세트를 분석하기 위해 무차별 대입 방식에 의존하는 것은 비효율성, 모델 과적합, 노이즈 축적, 그리고 데이터 추가에 따른 효율성 저하로 이어질 수 있습니다.
데이터의 대표적인 일부를 선택하는 지능형 부분표본추출은 종종 더 효과적이고 통찰력 있는 접근 방식을 제공합니다. 부분표본추출을 통해 데이터 세트 크기가 줄어들어 변수 간의 관계가 단순화되므로, 더 해석하기 쉬운 모델을 구축할 수 있습니다. 이러한 이유로 스마트 부분표본추출은 재료 과학, 생의학 연구, 환경 모델링, 마케팅 분석, 사회 과학 등 다양한 분야에서 선호되는 접근 방식입니다.
하지만 왜 무식한 방법을 택할까요? 스마트한 방법을 사용하면 되는데 말입니다. 이 프레젠테이션은 복잡한 재료 조성 분야에서 JMP Pro의 최신 기능을 활용한 대화형 데모를 통해, 잘 설계된 서브샘플링 접근 방식과 고전적 및 고급 모델링 기법(다중선형 회귀, 신경망, SVM, 일반화 회귀)을 결합하면 견고한 예측 결과를 얻을 수 있음을 보여줍니다.
안녕하세요. 2025년 유럽 디스커버리 서밋 컨퍼런스 발표를 시청해 주셔서 감사합니다. 저는 프랑스 CEA의 R&D 과학자인 다미앙 페레입니다. 오늘 저는 잇폰 이노베이션의 통계학자인 캐롤 수알과 함께 발표를 진행합니다. 캐롤과 함께 오늘 이 자리에 참석하게 되어 매우 기쁘며, 예측 모델링에 적용된 스마트 서브샘플링 접근법에 대한 이번 연구를 발표할 기회를 주신 운영위원회에 감사드립니다.
먼저 CEA에 대해 간략히 소개하겠습니다. CEA는 저탄소 에너지, 디지털 기술, 미래 의료 기술, 국방 및 안보의 네 가지 분야에서 연구, 개발 및 혁신을 담당하는 프랑스 정부 기관입니다.
CEA는 9개 지점에 약 21,000명의 직원을 두고 있습니다. 다양한 공동 연구 기관을 통해 대학들과 긴밀한 관계를 유지하고 있으며, 다수의 특허를 보유하고 있고, 약 60억 유로의 예산을 투입하여 스타트업을 육성하고 있습니다.
이폰 이노베이션은 산업계에 첨단 알고리즘을 제공하는 데이터 과학자 기업입니다. 제조 비용 및 테스트 시간을 최적화하여 복잡한 제품의 품질을 향상시키고, 빅데이터 속에서 미세한 신호를 포착하는 것을 목표로 합니다. 컨설팅, 교육, 맞춤형 고급 연구 서비스를 제공하며, 맞춤형 통계 솔루션 및 첨단 도구 개발 등 다양한 프로젝트를 진행해 왔고, 그중 일부는 특허를 보유하고 있습니다.
본 연구는 최근 머신러닝 알고리즘들이 방대한 양의 정보를 처리할 수 있음에도 불구하고, 대규모 데이터셋을 다루는 데에는 여전히 어려움이 있다는 점에서 출발합니다. 대규모 데이터셋에 무차별 대입 방식을 적용하는 것은 여러 가지 이유로 예측 정확도를 저하시킬 수 있으므로, 본 연구에서는 지능형 부분 샘플링이 더욱 심층적인 분석을 가능하게 하고 해석력 있는 모델을 도출하는 접근 방식이라고 생각합니다. 본 논문에서는 재료과학 분야에 대한 적용 사례를 제시하지만, 이러한 접근 방식은 물리학 및 화학 분야를 넘어 다양한 새로운 분야에도 적용될 수 있을 것으로 기대합니다.
저희는 2021년 발표회에 참석하여 연구 접근 방식을 설명하는 사전 발표를 진행했습니다. 지난 4년 동안 이 접근 방식은 크게 개선되었고, 방법의 예측 능력도 상당히 향상되었습니다. 그래서 저희는 최신 결과를 여러분께 보여드리고자 합니다.
본 연구의 주요 목표는 견고한 예측을 도출하기 위해 고전적인 모델링 기법과 더욱 발전된 모델링 기법을 결합한, 잘 설계된 서브샘플링 접근법을 개발하는 것입니다. 이를 위해 알고리즘을 JSL로 코딩하고 JMP Pro 18에서 구현하고자 했습니다.
오늘 예시에서는 이 방법론을 유리 용융 점도 예측에 적용하는 방법을 보여드리겠습니다. 따라서 모델의 반응 변수는 유리 점도입니다. 변수로는 유리 산화물의 중량 백분율이 있으며, 저희 데이터베이스에는 상용 데이터 세트와 자체 개발 데이터 세트가 모두 포함되어 있습니다.
간단히 말해서, 유리는 급속 냉각으로 얻어지는 비결정성 물질이며, 여러 가지 산화물의 혼합물입니다. 산화물의 종류는 매우 단순한 유리에서는 2~3가지에서 가장 복잡한 조성의 경우 약 30가지, 그 이상까지 다양합니다.
유리 점도에 관한 중요한 점은 점도의 변동 범위가 매우 넓어 예측하기가 매우 어렵다는 것입니다. 또한 유리 점도는 조성에 매우 민감하며, 결정화와 같은 메커니즘은 용융물의 유동학적 특성에 큰 영향을 미칩니다.
지질학에서 용암의 거동을 예로 들면 결정화와 점도 사이의 복잡한 관계를 설명하기에 좋은 비유가 있습니다. 고온에서 용암은 산화물 유리 용융물과 매우 유사한 점성이 높고 균질한 유체입니다. 용암 온도가 낮아지면 일반적으로 빠르고 대규모의 결정화가 일어나 용융물의 점도에 큰 영향을 미칩니다.
이 그래프에서 볼 수 있듯이, 이러한 결정화로 인한 점도 증가는 최대 8배까지 커질 수 있으며, 용융물의 실제 논리적 거동을 변화시켜 점도 예측을 매우 어렵게 만듭니다.
본 연구에서는 매우 단순한 유리 조성에서도 점도 예측이 쉽지 않다는 것을 보여주고자 했습니다. 세 가지 산화물만으로 구성된 매우 단순한 유리인 SBN 유리의 세 가지 조성을 선택하여, 기존 문헌에 제시된 가장 잘 알려진 모델들을 적용하여 점도를 계산했습니다. 그리고 예측값과 자체 측정 장비로 측정한 실험값을 그래프에서 빨간색으로 표시하여 비교했습니다. 보시다시피, 매우 단순한 유리조차도 신뢰할 수 있는 점도 예측값을 얻기가 쉽지 않다는 것을 알 수 있습니다.
머신러닝 기술은 유리 재료 과학, 특히 유리 점도 예측에 점점 더 많이 적용되고 있지만 예측 정확도에는 한계가 있습니다. 저희는 과거에 신경망을 이용하여 유리 점도를 예측하려고 시도했지만 결과에 만족하지 못했습니다.
예를 들어, 예상치 못한 패턴과 수십 배에 달하는 편차를 관찰할 수 있습니다. 이는 최근 발표된 신경망을 사용한 연구에서도 마찬가지였으며, 예측값과 측정값 사이에 6배에 달하는 차이가 나타나는 것을 확인할 수 있었습니다.
결론적으로, 전 세계 데이터 세트 간에 상당한 차이가 있고, 유리 용융물의 점도에 영향을 미치는 물리적, 화학적 비선형 메커니즘이 너무 많아서 전 세계 데이터베이스에 전통적인 머신러닝을 적용하는 것은 최선의 접근 방식이 아니라는 것을 알게 되었습니다.
이 그림은 우리 데이터베이스를 시각적으로 잘 보여줍니다. 각 점은 다차원적인 조성 영역에서 하나의 유리 샘플을 나타냅니다. 데이터는 여러 개별 연구에서 수집되었거나, 실험 설계에서 얻은 데이터, 또는 한 번에 하나의 성분만 변화시키는 매개변수 연구에서 얻은 데이터일 수 있습니다. 결과적으로 매우 이질적이면서도 고르게 분포된 데이터베이스가 만들어집니다.
이 전략은 모든 데이터를 사용하는 대신 유사한 데이터만을 사용하여 예측 모델을 학습시키는 것이 더 효과적이라는 가설에 기반합니다. 예를 들어, 특정 지역을 예측하려면 해당 지역의 데이터를 기반으로 모델을 생성합니다. 반대로 다른 지역을 예측하려면 또 다른 모델을 생성해야 합니다.
우리는 예측 모델이 구성에 따라 달라지고 예측하고자 하는 지점에 맞춰 조정되기 때문에 이 접근 방식이 동적이라고 설명했습니다. 또한 모든 단계를 수동으로 처리할 필요가 없기 때문에 자동화되어 있다고 말했습니다. 모든 단계는 우리 도구에 구현된 알고리즘에 의해 수행됩니다.
훈련 데이터 세트를 생성하기 위해 적용한 전략은 실험 설계 방법론에 기반합니다. 각 예측에 대해 관심 있는 구성 요소를 중심으로 최적의 실험 설계(DOE)를 생성하고, 해당 설계의 각 실행을 데이터베이스에 있는 가장 유사한 실험 데이터로 대체하여 최종 훈련 데이터 세트를 얻습니다.
이 도구의 예측 부분에는 네 가지 알고리즘이 구현되었습니다. 다중선형 회귀에서 얻은 고전적인 다항식 모델, GENREG 모델, 신경망 모델, 그리고 새롭게 추가된 서포트 벡터 회귀 모델입니다. 최종적으로 하나의 예측값이 아닌 네 개의 예측값을 얻게 됩니다. 이 네 예측값의 중앙값을 취함으로써 매우 견고한 반응 예측을 얻을 수 있습니다. 데모에서 보시겠지만, 다양한 예측 알고리즘의 성능을 비교하기 위해 여러 통계적 지표도 계산 및 분석됩니다.
주요 고려 사항은 다음과 같습니다. 유리 전문가들의 의견을 최대한 많이 반영하는 것이 매우 중요했습니다. 특히 데이터의 출처와 신뢰성이 중요한 요소였습니다. 이를 위해 본 프로젝트에서는 신뢰할 수 있는 데이터베이스를 구축하는 데 상당한 시간을 투자했습니다.
또한 산화물의 특성과 점도를 처리하기 위한 특수 알고리즘을 개발해야 했습니다. 유사한 조성물 간의 거리를 계산하는 다양한 방법을 구현하고 연구해야 했습니다. 이 모든 것이 툴 알고리즘에 구현되었습니다.
데모를 시작하기 전에, 도구의 개략도와 최근 추가된 개선 사항을 보여드리겠습니다. 샘플링 부분과 예측 모델 모두에서 많은 알고리즘이 업데이트되었습니다. 앞서 말씀드린 대로 SVR(Support Vector Regression)이 구현되었습니다. 또한, 이제 단일 유리 조성 또는 조성 목록을 입력할 수 있어 다양한 조성을 사용하여 도구의 기능을 평가할 수 있습니다.
계산 시간 측면에서 보면, 한 번의 생산에 1분도 채 걸리지 않습니다. 이 정도면 괜찮지만, 코드 효율성을 조금 더 개선하기 위해 현재 작업 중입니다. 말씀드렸듯이 모든 코드는 JSL로 작성되었으며, 추가 기능이 함께 제공됩니다.
데모 영상 감사합니다, 데미안. 화면 공유하겠습니다. JMP 추가 기능은 CEA의 MS [들리지 않는 부분 00:13:28] 도구를 위해 JMP Pro 버전 16부터 개발되어 왔으며, 현재 JMP Pro 버전 18에 포함되어 있습니다. 이 기능은 유리 시료에 대한 점도 또는 열팽창 계수(TG) 예측을 실행하는 두 가지 방법을 제공합니다. JMP 메뉴의 첫 번째 버튼은 사용자 인터페이스를 통해 하나 또는 여러 온도에서 하나의 유리 시료에 대한 점도 또는 TG를 예측합니다. 두 번째 버튼은 자동화된 버전으로, 하나의 온도에서 여러 유리 시료에 대한 예측 결과를 제공합니다.
추가 기능 폴더로 이동하면 두 개의 버튼으로 실행되는 두 개의 주요 스크립트와 이 스크립트에서 사용되는 다양한 함수 또는 표현식을 확인할 수 있습니다. 이 폴더에는 학습 샘플 데이터를 구성하기 위한 데이터 전처리 단계, 예측 모델 구축, 그리고 최종적으로 분석 결과를 출력하는 단계에 필요한 스크립트가 포함되어 있습니다.
첫 번째 버튼, 즉 대화형 버전을 실행해 보겠습니다. 사용자는 먼저 JMP 형식의 모든 유리 점도 데이터베이스가 들어 있는 폴더를 선택해야 합니다. 그런 다음 점도를 예측하려는 유리의 구성 요소, 즉 산화물을 선택해야 합니다. 마지막으로 확인을 클릭합니다.
여기서는 유리 전체 조성에서 각 원소의 함량을 백분율로 입력해야 합니다. 예를 들어, 제가 점도를 예측하려는 유리에는 CaO가 6.5% 함유되어 있습니다. 마지막 단계는 온도를 입력하는 것입니다. 제가 예측하려는 값은 1,100도와 1,200도, 두 온도에서의 점도입니다. 데미안이 설명한 네 가지 모델 모두 이 두 온도에 대한 것입니다. 목표는 유리의 점도를 예측하는 것입니다. 두 온도에 대한 결과를 얻는 데 약 1분이 소요됩니다.
마지막으로, 이 출력 창이 나타납니다. 여기서 예측 결과를 더 자세히 분석하기 위해 가장 관심 있는 온도를 선택할 수 있습니다. 여기서는 1200도를 선택했습니다. '진행'을 선택하면 1200도에서의 점도를 확대한 최종 출력 창이 열립니다.
먼저, 개요에는 예측하고자 하는 유리의 구성과 모델에서 실제로 고려되는 요소들이 포함됩니다. 그다음에는 평균 절대 오차 또는 R-제곱 값과 같은 모델의 품질을 보여주는 개요가 있습니다. 적응형 실험 설계(DOE) 방법에 대한 더 자세한 정보는 여기에서 확인할 수 있습니다. 예를 들어, 최적 DOE와 적응형 DOE 간의 상관관계 비율(두 DOE 간에 80%의 요소가 상관관계를 보임) 등이 있습니다. 매우 훌륭한 프로젝트입니다.
예측 공식과 그 영향도 함께 제시됩니다. 예를 들어 BIC의 경우, SiO2가 모델에서 가장 중요한 산화물임을 알 수 있습니다. 가장 중요한 출력 결과는 바로 여기에 있습니다. 모델별 예측 점도 값을 그래프로 요약한 것입니다. 각 지점에서 예측된 점도 값을 확인할 수 있습니다. BIC F는 61데시파스칼초, GLM은 67, 신경망은 49, SVR은 64입니다.
녹색 점선으로 표시된 수평선은 측정된 실제 점도가 68데시파스칼초인 가장 가까운 유리를 나타냅니다. 이 가장 가까운 유리는 바로 여기입니다. 우리가 예측하려는 유리와 매우 유사합니다. 참고로, 우리가 예측하려는 유리는 CaO 함량이 6.5%였는데, 가장 가까운 유리는 CaO 함량이 6.4%입니다. 우리는 예측하려는 유리의 실제 점도를 모르기 때문에 예측값을 가장 가까운 유리의 실제 점도와 비교합니다.
마지막으로, 이 유리의 경우 예측값의 중앙값은 62.5입니다. 이는 가장 유사한 유리의 측정 점도와 비교했을 때 매우 좋은 결과입니다. GLM과 SVR(여기 및 여기 참조)은 점도를 예측하는 데 가장 적합한 모델입니다.
이제 다미앙이 자동화 버전 분석 결과와 해당 도구의 표 형식 출력 결과를 발표하겠습니다.
해당 도구의 성능은 7,500개의 데이터로 구성된 테스트 세트를 사용하여 평가되었습니다. 주요 평가 지표는 점도의 로그 값에 대한 절대 오차이며, 이는 예측된 점도가 보고된 값과 자릿수 측면에서 얼마나 차이가 나는지를 나타냅니다. 일반적으로 점도의 전체 범위 내에서 한 자릿수 이내의 오차로 점도 등급을 예측하는 것이 매우 효과적이라고 간주합니다.
다음은 네 가지 알고리즘으로 예측한 점도 값의 중앙값인 예측 점도를 나타낸 결과입니다. 예측 정확도가 매우 높아서 놀랐습니다. 예측 점도 오차가 10분의 1 미만으로, 이는 대부분의 데이터에 대해 우리가 목표로 했던 결과입니다. 또한 오차가 10분의 1을 넘는 샘플은 극히 드뭅니다. 최대 오차는 3.3배로, 기존 문헌의 점도 모델보다 훨씬 낮습니다.
또 하나 중요한 점은 예측 정확도가 1~10에서 6데시파스칼초에 이르는 전체 점도 범위에서 우수하다는 것입니다. 마지막으로, 우리가 주로 응용 분야에서 집중하는 유리 조성의 경우 정확도가 훨씬 더 높다는 점을 말씀드립니다.
현재 예측 오차가 가장 높게 나타난 데이터의 원인을 조사하고 있습니다. 구성 측면에서 볼 때, 예측 오차는 유리 점도에 매우 큰 영향을 미치는 것으로 알려져 있지만 데이터베이스에서 극히 소수의 조성에만 존재하는 화학 원소의 존재와 높은 상관관계를 보이는 것으로 나타났습니다. 또한 이러한 이상치에서 최근접 이웃과의 거리가 유의미하게 더 큰 것을 확인했습니다.
마지막으로, 보고된 데이터의 연도가 미치는 영향도 확인해 보았습니다. 60년 또는 80년 전에는 유리 점도 측정 장비의 정확도가 지금보다 낮았을 가능성을 생각해 볼 수 있기 때문입니다. 실제로, 이러한 그래프는 최근 데이터일수록 예측 오차가 더 낮다는 것을 보여줍니다.
마지막으로, 네 가지 모델 유형 모두 절대 오차의 분위수 측면에서 매우 유사한 예측 결과를 보임을 확인했습니다. 절대 오차의 최댓값은 신경망 모델에서 유의미하게 작았고, SVR 모델에서는 더욱 작아 최종적으로 평균 오차가 더 작았습니다. 네 가지 모델 모두 효율적인 것으로 나타났기 때문에, 높은 수준의 예측 안정성을 확보하기 위해 네 가지 예측값의 중앙값을 사용하기로 결정했습니다.
결론적으로, 본 연구에서는 데이터의 동적 부분 샘플링에 기반한 예측 접근 방식을 제시했습니다. 최적의 실험 설계(DOE)에서 생성된 유사 데이터 하위 집합을 사용하여 학습된 네 가지 모델을 구현했습니다. 이 절차는 모든 단계가 JSL로 코딩되어 JMP Pro 18의 추가 기능으로 구현된 완전 자동화 방식입니다.
이 도구의 예측 능력은 약 7,500개의 유리 조성물을 포함하는 데이터 세트를 사용하여 평가되었으며, 특히 관심 있는 유리 조성물에 대해 매우 정확한 결과를 제공했습니다.
다음으로, 본 응용 분야에 유용할 것으로 예상되는 추가적인 예측 기법들을 평가하고 구현하고자 합니다. 또한, 유리화 처리 과정에 이미 사용하고 있는 유한 요소 시뮬레이션 코드들과 본 도구를 연동할 수 있도록 파이썬 인터페이스를 개발할 계획입니다.
관심 가져주셔서 대단히 감사합니다.
감사합니다.
