756664_ko-KR

liliconcom

JMP®를 이용한 유리 점도 예측에 적용된 고급 통계 방법 (2021-EU-30MP-743)

Damien Perret, PhD, R&D 과학자, CEA
François Bergeret, PhD, Ippon
캐롤 소우알, MS, 잇폰

Muriel Neyret, PhD, R&D 과학자, CEA

CEA에서는 원자력 유리 조성물을 개발하는 연구 개발팀이 2010년에 JMP 소프트웨어를 도입했습니다. 첫 번째 발표는 2011년 덴버에서 열린 디스커버리 서밋에서 이루어졌으며, 당시 우리는 JMP 통계 분석 플랫폼을 사용하여 고도의 복잡성을 지닌 유리 조성 영역을 비교하는 방법을 설명했습니다.

그 후 개발자들은 JMP에 강력한 혼합물 실험계획법(DOE) 생성 방법을 제공하기 위해 많은 개선 작업을 진행하여, 매우 제한적인 실험 영역을 조사할 수 있도록 했습니다. 2014년 캐리에서 열린 디스커버리 서밋에서 우리는 이러한 모든 노력을 통해 더욱 정확한 물성-조성 예측 모델을 구축할 수 있었음을 보여주었습니다.

최근 CEA의 유리 배합 과학자들이 이폰의 통계학자들과 협력하여 유리 점도를 예측하는 매우 혁신적인 방법론을 개발했습니다. 이 접근 방식은 데이터의 자동적이고 지능적인 부분 샘플링을 기반으로 하며, 최적 설계 기법과 JMP 및 JMP Pro의 여러 예측 방법을 결합합니다. 기존 문헌에 발표된 다른 통계 모델과 비교했을 때 예측 정확도가 매우 높은 것으로 나타났습니다.

자동 생성된 녹취록...

스피커	성적 증명서
다미앙 페레	안녕하세요, 유럽 디스커버리 서밋 온라인 컨퍼런스 프레젠테이션을 시청해 주셔서 감사합니다.
	제 이름은 다미앙 페레입니다. 저는 프랑스 CEA의 연구 개발 과학자이며, 제 동료이자 친구인 프랑수아 베르제레는 통계학자이자 프랑스 이폰 이노베이션의 창립자입니다.
	제 이름은 다미앙 페레입니다. 저는 프랑스 CEA의 연구 개발 과학자이며, 제 동료이자 친구인 프랑수아 베르제레는 통계학자이자 프랑스 이폰 이노베이션의 창립자입니다.
	프랑수아와 함께 오늘 이 자리에 참석하게 되어 매우 기쁩니다. JMP를 이용한 유리 점도 예측에 적용된 고급 통계 방법론에 대한 발표 기회를 주신 운영위원회에 감사드립니다.
	그럼 프랑스 대체에너지원자력위원회(CEA)에 대해 간략히 소개하겠습니다. CEA는 프랑스 정부 산하 기관으로, 네 가지 분야에서 연구, 개발 및 혁신을 담당합니다.
	국방 및 안보, 저탄소 에너지, 기술 연구 및 기초 연구를 담당하는 CEA는 9개 지역에 약 2만 명의 직원을 두고 있습니다.
	우리는 다양한 공동 연구 기관, 다수의 특허, 스타트업 창업 등을 통해 대학들과 긴밀한 관계를 유지하고 있으며, 약 50억 유로의 예산을 투입하고 있습니다.
프랑수아 베르제레	통계 및 데이터 과학 분야(연구, 컨설팅 및 교육 포함).
	저희는 총괄 파트너가 된 것을 매우 자랑스럽게 생각합니다.
	몇 년 전부터 함께 해왔습니다. 오늘 제 친구 데미안과 함께 발표하게 되어 매우 기쁩니다.
	이폰은 무결점 및 공정 제어를 위한 고급 솔루션도 제공합니다. 저는 개인적으로 1995년부터 JMP 3 버전을 사용해 왔습니다.
다미앙 페레	따라서 본 연구의 주요 목표는 유리 특성을 예측하는 통계 모델을 만드는 것이며, 오늘 발표에서는 유리 점도에 초점을 맞추겠습니다.
	이를 위해 실험 데이터는 상용 데이터베이스와 CEA 자체 데이터베이스 모두에서 가져왔습니다. 알고리즘은 JSL로 코딩하고 JMP Pro 15에서 구현하고자 했습니다.
	모델의 반응 변수는 관심 있는 유리 특성, 즉 이 예에서는 점도이며, 요인은 다양한 유리 성분의 함량입니다.
	자, 그럼 배경 정보를 좀 알려드리겠습니다. 유리는 비결정성 고체입니다. 유리 용융물을 급속 냉각하여 얻으며, 재료적인 관점에서 유리는 여러 가지 산화물의 혼합물입니다.
	따라서 산화물의 수는 매우 단순한 유리에서는 두세 가지에 불과하지만, 가장 복잡한 조성에서는 약 30가지 이상에 이를 수도 있습니다.
	유리의 물성 계산에는 오랜 전통이 있으며, 최초의 모델은 19세기 말 독일에서 만들어졌다고 생각합니다.
	그 이후로,
	유리 물성 예측 분야의 출판 문헌량이 엄청나게 증가하여 오늘날 상업용 데이터베이스에 방대한 양의 유리 데이터가 존재하며, 이러한 데이터는 유리 물성 예측에도 활용되고 있습니다.
	유리의 특성.
	과거에 유리 특성을 예측하기 위해 많은 노력을 기울였음에도 불구하고, 유리 점도 예측에는 여전히 어려움이 남아 있습니다.
	이는 유리 점도가 예측하기 어려운 특성이기 때문입니다. 우선 점도는 유리 조성에 따라 상 분리나 결정화와 같은 유리 용융물 내에서 발생할 수 있는 물리적 메커니즘에 크게 좌우됩니다. 또한
	점도는 특정 자릿수에 달하는 매우 큰 변동 범위를 갖는 유일한 물성치입니다.
	이러한 어려움을 보여주는 예시를 하나 들어보겠습니다. 우리는 SBN 유리의 세 가지 조성을 선택했는데, 이는 단 세 가지 구성 요소만 가진 매우 단순한 유리입니다.
	그리고 우리는 문헌에서 가장 잘 알려진 모델들을 적용하여 점도를 계산했습니다.
	그런 다음 예측값을 자체 장비로 측정한 실험값과 비교합니다. 보시다시피, 아주 단순한 유리라도 예측 점도에 대해 신뢰할 수 있는 값을 얻기가 쉽지 않습니다.
	자, 여기 데이터베이스를 시각적으로 보여주는 좋은 그림이 있습니다. 이 그림에서 각 점은 다차원적인 조성 영역에서 하나의 유리 제품을 나타냅니다. 따라서 데이터는 개별 연구에서 나온 것일 수 있습니다.
	또는 실험 설계를 사용한 연구에서 얻은 데이터를 사용할 수도 있고, 아니면 다른 데이터를 사용할 수도 있습니다.
	얻은
	각 구성 요소를 하나씩 평가합니다.
	과거에는 전체 데이터베이스에서 찾은 데이터의 일부를 사용하여 다양한 머신러닝 기법을 적용하는 데 많은 시간을 투자했습니다.
	검증 데이터 세트에 고전적인 접근 방식을 적용했지만, 결국 점도를 예측할 수 있는 만족스러운 예측 능력을 가진 통계 모델은 찾지 못했습니다.
	그래서 우리는 다른 접근 방식을 사용하기로 결정했습니다.
	그래서 모든 데이터를 사용하는 대신, 점도를 예측하려는 조성에 가까운 데이터를 사용하여 모델을 만드는 것이 더 낫다고 생각합니다. 예를 들어, 점도를 예측하고 싶다면
	여기에서
	빨간색 점은 이 영역에서 우리가 가진 데이터를 기반으로 하나의 모델을 생성하고, 예측을 원할 경우 다른 모델을 생성합니다.
	부동산
	다른 구성에 따라 달라집니다. 그래서 이 기술이 동적이라고 하는 것입니다. 모델이 구성에 따라 달라지기 때문입니다. 예측하려는 부분에 맞춰 관련성을 파악하고 조정합니다.
	그리고 이것이 자동화되었다고 말하는 이유는 우리가 수동으로 할 필요가 없기 때문입니다. 모든 단계는 도구에 구현된 알고리즘에 의해 처리됩니다.
	따라서 가장 중요한 점 중 하나는 모델을 구축하기 위한 최적의 데이터 부분집합을 결정하는 것입니다. 이를 위해 두 가지 부분표본 추출 방법을 구현했습니다.
	첫 번째 방법에서는 실험의 이론적 또는 가상적 설계가 생성됩니다.
	관심 있는 구성 요소를 중심으로 각 설계 실행을 데이터베이스에 있는 가장 유사한 실험 데이터로 대체하여 최종 훈련 세트를 생성합니다.
	그리고 저희가 도구에 구현한 두 번째 방법은 관심 있는 구성 요소를 중심으로 생성된 다양한 크기의 데이터 세트를 기반으로 합니다.
	이 도구는 작은 데이터 세트를 생성하고, 이 작은 데이터 세트를 기반으로 점도를 예측하는 모델을 만듭니다. 그런 다음 점점 더 큰 데이터 세트를 생성하고, 각 데이터 세트와 관련된 통계적 기준을 통해 최적의 크기를 평가합니다.
프랑수아 베르제레	유리 점도는 예측하기 어렵기 때문에 다양한 통계 및 머신러닝 방법을 사용하기로 했습니다.
	변환을 적용한 다항식 모델, 로그정규분포를 사용한 일반화 회귀 분석. 이 방법은 JMP Pro에서 매우 강력하며 변환을 적용한 기존 모델보다 더 나은 결과를 제공할 수 있습니다.
	저희는 예측 성능이 매우 뛰어난 신경망도 사용합니다. 앞서 언급했듯이 데이터 세트가 두 개이므로 각 응답에 대해 6개의 예측값을 얻습니다.
	다음 슬라이드는 도구의 개략도, 즉 전체적인 모습을 보여줍니다.
	입력값은 유리의 구성과 점도를 예측해야 하는 온도입니다.
	여기를 보시면, 앞서 설명한 두 가지 방법에 대한 코드와 알고리즘이 구현되어 있습니다.
	이 도구의 강점은 단 하나의 예측값만 제공하는 것이 아니라, 사용자가 평가할 수 있는 모든 데이터와 관련된 통계적 기준에 따라 6개의 값을 계산한다는 점입니다.
다미앙 페레	자, 여기 몇 가지 핵심 매개변수가 있습니다. 유리 전문가들의 의견을 최대한 많이 반영하는 것이 매우 중요합니다.
	예를 들어, 우리는 자연 환경과 산화물이 점도에 미치는 영향을 고려하기 위해 특정한 알고리즘을 개발해야 했습니다.
	또 다른 중요한 점은 데이터의 출처와 신뢰성에 관한 것입니다. 이를 위해 본 프로젝트에서는 상당한 시간을 투자했습니다.
	신뢰할 수 있는 데이터베이스를 구축하기 위해 가중치를 적용하고 유리 조성물 간의 거리를 계산하는 다양한 방법을 연구해야 했습니다.
	자, 이제 때가 왔습니다....
프랑수아 베르제레	네, 이제 화면을 보여드리겠습니다.
	데모를 보여드리겠습니다
	코드의 일부이므로 이제 제 화면이 보일 것입니다.
	저는 지금 코드를 실행하고 있는 중인데, 상당히 복잡한 JSL 프로그램입니다. CEA와 함께 몇 달 동안 개발해 온 프로그램이에요.
	방금 코드를 실행했는데, 이제 결과를 보여드리겠습니다.
	발견...그래서 지금 코드 파일을 열어보고 있어요.
	잘 작동하고 있습니다. 코드가 실행 중이니 간단히 설명드리겠습니다.
	이 코드에는 여러 개의 반복문이 있습니다. 물론 첫 번째 단계는 데이터와 기능을 식별하는 것입니다. 그 다음에는 반복문이 있는데, 우선 적응형 반복이라고 부르는 부분이 있고, 그 이유는 데이터베이스를 사용하기 때문입니다.
	그래서 그리고
	데미안이 언급했듯이 적응형이기 때문에 최적의 데이터 하위 집합을 찾을 수 있습니다. 또한 여기에는 실험 설계 접근 방식이 있는데, 설계를 최적화함으로써 올바른 데이터를 얻을 수 있습니다.
	그 후 실제로 실행 중인데, 유리 전이 온도를 예측하고 있습니다. 네, 말씀드린 대로 세 가지 모델이 있고 각 모델마다 두 개의 데이터베이스가 있으므로 총 여섯 번의 예측이 가능합니다.
	보시다시피 실행하는 데 시간이 좀 걸리지만 약 1분 정도 소요됩니다. 완료되면 유리 전이 온도와 점도를 포함한 프로그램의 모든 출력값을 얻을 수 있습니다.
	JSL을 사용하는 것은 매우 유용했으며, 특히 데미안의 사례에서 볼 수 있듯이 사용자 입장에서 사용하기 매우 쉽습니다.
	전문가들이 사용할 수 있도록요. 그러니까 데미안, 당신이 얘기하면 제가 공유하는 걸 멈추게 하세요.
다미앙 페레	자, 그럼.
	딱 하나만.
	지금 제 화면이 보이시나요?
	네, 알겠습니다.
	네, 이것은 해당 도구가 생성한 일반적인 통계 보고서입니다. 먼저, 관심 있는 유리 구성 성분이 표시됩니다.
	그런 다음
	우리는 가지고 있다
	이 그래프는 예측값을 나타냅니다. 즉, Y축은 다음과 같습니다.
	그래프에는 세 가지 알고리즘과 두 가지 방법을 사용하여 계산한 점도의 예측값이 나타나 있습니다. X축에는 두 번째 방법의 확대율이 표시되어 있습니다.
	그리고 빨간색으로 표시된 부분은 예측값의 중앙값입니다. 통계학 지식이 없는 사용자에게는 이 정도면 충분할 수 있지만, 통계적 세부 사항을 살펴보고 싶다면 이 보고서에 각 예측의 질을 분석하는 데 필요한 많은 정보가 담겨 있습니다.
	각 모델. 예를 들면,
	우리는 값을 확인할 수 있습니다
	PRESSS 또는 다른 모델의 경우입니다. 여기서는 다중선형 회귀 BIC F 모델에 대한 것입니다.
	여기서 PRESS 값은 첫 번째 방법의 예측이 두 번째 방법보다 약간 더 좋다는 것을 보여주고, 훈련 세트가 커짐에 따라 모델의 성능이 저하되는 것도 확인할 수 있습니다.
	저희도 가지고 있습니다
	서로 다른 통계적 값들이 있습니다. 예를 들어, 서로 다른 알고리즘과 서로 다른 모델에 대한 R 제곱 값이 있습니다.
	그리고 여기 모델에 대한 더 자세한 정보가 있습니다.
	예를 들어, 첫 번째 방법의 경우 이론적인 실험 설계와 실제 실험 설계를 비교할 수 있습니다. 우리는 예측된...
	다양한 모델에 대한 예측 공식이 있습니다. 또한 추정치에 대한 정보와 두 번째 방법에 대한 많은 정보도 있습니다. 따라서 최종적으로 우리는 많은 통계적 정보를 얻게 됩니다.
	사용자에게 매우 유용한 세부 정보와 자료입니다. 그리고 여기에는,
	결론적으로, 우리는 데이터베이스에 있는 대부분의 유리의 구성 성분을 가지고 있으며, 이에 대한 점도의 실험값을 보유하고 있으므로 이는 매우 유용합니다.
	좋아요, 그럼
	파워포인트로 돌아가죠.
	네, 이것이 우리가 얻은 결과입니다.
	두 가지 예측 능력은 전체 데이터베이스에서 230개 행을 추출하여 평가했습니다. 이 표에는 예측의 상대 오차가 나와 있습니다.
	점도 예측
	다양한 종류의 유리와 전체 데이터 하위 집합에 대해 각각 3분위수가 중앙값으로 제시됩니다. 이는 예측값의 50%가 표에 표시된 값보다 상대 오차가 작다는 것을 의미합니다.
	이 표에는 75%와 90% 분위수도 나와 있습니다. 유리 점도에 대해 이야기할 때, 일반적으로 예측 오차가 70% 정도면 매우 양호한 것으로 간주합니다. 대부분의 데이터에서 이 범위에 해당함을 확인할 수 있습니다.
	모델의 성능은 훌륭했고, 거기서 얻은 결과에 매우 만족했습니다.
	비교하자면,
	여기 다시 있습니다
	문헌에 나와 있는 모델들을 적용했을 때, 산화물이 세 개만 포함된 매우 단순한 유리인 SBN 유리에 대해 얻은 결과는 다음과 같습니다. 따라서 예측의 상대 오차 값이 훨씬 높았고, 모델마다 큰 차이를 보일 수 있음을 알 수 있습니다.
	그리고 다시 말씀드리지만, 이것은 산화물이 세 개밖에 없는 아주 단순한 유리에 대한 이야기입니다.
	그리고 어떤 경우에는 더 중요한 오류가 발생하기도 합니다.
	하지만 이 데이터를 자세히 살펴보면, 이 그래프에서 우리는 다음과 같은 사실을 알 수 있습니다.
	??? 값
	x축은 x축에, 실험값은 y축에 나타낸 그래프에서, 이 두 유리 제품에서 예측 오차가 가장 크게 나타나는 것을 확인할 수 있습니다.
	상업용 데이터베이스인 SciGlass에서 가져온 정보이며, 동일한 참조 문헌(특허)에 장비의 실험 오차가 언급되어 있지 않습니다.
	또한 알루미늄 함량이 높은 이러한 모든 조성물의 경우 결정화가 발생할 가능성이 매우 높으므로 실험값이 완전히 정확하다고 확신할 수 없습니다.
	마지막으로, 우리는 유리 기술에서 중요한 특성인 유리 전이 온도라는 또 다른 유리 특성을 예측하기 위해 우리의 방법론을 적용했습니다.
	여기 우리가 얻은 결과가 있는데, 점도 측정 결과보다 훨씬 더 좋습니다. 전체 예측 상대 오차가 5% 미만이라는 것은 정말 좋은 결과입니다. 왜냐하면 우리는 이 속성이 매우 중요하다는 것을 알고 있기 때문입니다.
	유리의 열 이력과 실험 장비에 따라 크게 달라질 수 있습니다. 따라서 여기 두 가지 측정값이 있는데, 실험 오차에 매우 근접한 값입니다. 아주 좋은 결과입니다.
프랑수아 베르제레	결론적으로, 우리 접근 방식의 중요한 특징 중 하나는 전체 데이터베이스를 동적으로 샘플링한다는 점입니다. 우리는 관심 있는 구성 요소와 관련된 적절한 정보를 다룹니다.
	또한, JSL과 JMP Pro를 사용하여 머신러닝 모델을 자동화했으며, 일반 회귀 분석 및 신경망 모델에서 매우 뛰어난 성능을 보여주고 있습니다.
	CEA 전문가에 따르면 정확도가 높으며 예상치 못한 문제점들도 발견되었다고 합니다. 저희는 이제 더 큰 데이터베이스를 활용하여 모델을 확장하고, 브래들리 존스와 협력하여 공동 논문을 발표할 계획입니다. 감사합니다.

고급 통계 모델링기초 데이터 분석 및 모델링소비자 및 시장 조사데이터 탐색 및 시각화실험 설계예측 모델링 및 머신 러닝품질 및 공정 엔지니어링신뢰성 분석