756637_ko-KR

liliconcom

대규모 DOE: 순차적이고 꾸준한 것이 승리할까? (2021-EU-45MP-775)

David Wong-Pascua, CatSci 수석 과학자

Phil Kay, SAS의 JMP 글로벌 학습 관리자
Ryan Lekivetz, JMP 수석 연구 통계 개발자, SAS

Ben Francis, SAS JMP 시스템 엔지니어

가능한 처리량이 엄청나게 많은 DOE 문제를 상상해 보세요. 각각 3, 4, 4, 8, 12단계의 범주형 요인 5개가 있습니다. 완전 요인 실험은 4,608회 실행됩니다. 처리량이 높은 시스템을 사용하므로 동시에 48회 실행을 수행할 수 있습니다. 첫 번째 실험은 아마도 명확할 것입니다. JMP Custom Design 플랫폼을 사용하여 주효과를 추정하는 48회 실행 실험 계획을 생성합니다. 반응(수율)에 모델을 적용한 결과, 예상대로 모든 요인이 유의미함을 발견했습니다. 그렇다면 다음으로 무엇을 해야 할까요? 최적값을 찾고 그 결과에 대한 확신을 가질 수 있는 효율적이고 효과적인 방법은 무엇일까요?

이는 일반적인 스크리닝-최적화 순차적 DOE 상황이 아닙니다. 초기 스크리닝 설계 이후에는 제외할 수 있는 중요하지 않은 요소가 없기 때문입니다. 또한, 2차(및 그 이상) 상호작용이 중요할 가능성이 높지만, 이러한 모델을 추정하려면 수백 번의 실행이 필요합니다.

이 논문에서는 순차적 접근법을 사용하여 압도적으로 큰 가능성 공간에서 최적의 영역을 찾는 동시에 학습을 극대화하는 균형을 맞추는 방법을 알아봅니다. 전체 시스템을 특성화하기 위한 맞춤형 설계 접근법을 포함한 여러 대안과 이를 비교해 보겠습니다. 저희가 찾아낸 해결책은 JMP의 고유한 상호작용 및 시각적 특성과 버전 16의 새로운 공변량/후보 실행 기능 덕분에 가능했음을 알게 될 것입니다.

우리가 사용한 예제 데이터와 참고 자료는 이 JMP 공개 게시물 에서 찾을 수 있습니다.

자동 생성된 대본...

스피커	성적 증명서
데이비드 웡-파스쿠아	알겠습니다.
	순차적이고 꾸준한 것이 승리의 비결입니다. 안녕하세요 여러분, 저는 CatSci의 선임 과학자 데이비드입니다. CatSci란 무엇일까요?
	CatSci는 화학 공정 전반, 연구 개발을 위한 혁신 파트너입니다. JMP UK와 같은 기관과 협력하여 모든 의사 결정이 데이터를 기반으로 이루어지도록 합니다.
	저희는 처음부터, 그리고 매번 올바른 결과를 내는 것을 중요하게 생각합니다. 모든 프로젝트에 맞는 맞춤형 솔루션을 만들어내고, 고객의 기대에 부응하는 데 전념합니다.
	저희는 초기 및 후기 개발 단계를 포함한 다양한 분야에서 활동하고 있습니다. 저희는 공정 전문성과 오랜 촉매 경험(저희 정체성의 핵심 요소)을 보유하고 있으며, 분석 화학 및 재료 과학 분야에서도 탁월한 역량을 보유하고 있습니다.
	따라서 CatSci에서 우리가 직면한 과제 중 하나는 프로세스 최적화 상류에서 범주형 변수를 선택하는 것입니다.
	이러한 어려움은 촉매 스크리닝 작업에서 가장 두드러지게 나타납니다.
	슬라이드의 이미지에서는 촉매 스크리닝을 수행하는 데 사용되는 일부 장비와 기기를 볼 수 있습니다.
	왼쪽에는 금속 전구체와 리간드의 24가지 사전 투여 조합이 포함된 사전 제작된 촉매 키트가 있습니다.
	중앙에는 수소화기가 있고, 그 안에 48웰 플레이트가 들어 있으며, 오른쪽에서 볼 수 있습니다.
	이를 통해 48개의 개별 실험을 동시에 수행할 수 있습니다.
	이러한 장비는 높은 처리량과 소규모 실험을 위해 설계되었으며, 고객을 위해 이러한 플레이트를 10개 이상 사용하는 것은 드문 일이 아니며, 총 실험 횟수는 거의 500회에 달합니다.
	그렇다면 비교적 많은 수의 실험을 해야 하는 이유는 무엇이며, 효율성을 개선하는 데 어떤 이점이 있을까요?
	따라서 우선 탐구해야 할 화학 분야는 엄청나게 큽니다.
	모든 반응, 모든 화학 반응에는 온도, 농도, 화학양론과 같이 영향을 미칠 수 있는 많은 요소가 있습니다.
	그러나 촉매 반응에 대한 탐색을 특히 어렵게 만드는 것은 금속 전구체, 리간드, 시약, 용매 및 첨가제를 포함한 많은 중요한 범주적 요소가 있다는 것입니다.
	촉매 반응의 또 다른 특징은 고차 상호 작용이 빈번하게 발생한다는 것입니다. 즉, 이는 촉매 시스템(금속 전구체와 리간드의 특정 조합)의 경우
	성능을 측정하려면 광범위한 용매 및 첨가제 스크린이 필요합니다.
	특정 용매에서 성능이 떨어진다고 해서 특정 금속 전구체와 리간드의 조합을 바로 앞에 언급하는 것은 옳지 않습니다. 적절한 용매나 첨가제가 없을 수도 있습니다.
	마지막으로, 보다 효율적인 선별 방법의 이점을 설명하는 가장 쉬운 방법 중 하나는 재료 가격을 살펴보는 것입니다.
	저희 촉매 프로젝트 중 다수는 백금, 팔라듐, 루테늄, 이리듐, 로듐과 같은 귀금속을 사용합니다. 이러한 금속 중 일부는 지각에서 가장 희귀한 원소에 속하며, 이는 가격에 반영됩니다.
	간단히 구글로 가격을 검색해 보면, 로듐의 가격이 금보다 몇 배 이상 비싼 것을 알 수 있습니다.
	촉매 스크리닝의 또 다른 큰 비용은 리간드입니다. 저렴한 리간드도 있지만, 비대칭 합성에 가장 효과적인 리간드 중 다수는 Solvias의 Josiphos와 같은 독점 리간드입니다.
	가장 흔하게 구할 수 있고 가장 저렴한 J001은 여전히 금 가격의 두 배입니다.
	따라서 실험 횟수를 줄이면 소모품 비용도 절감할 수 있지만, 가장 큰 효과는 멀티톤 제조 공정을 가진 고객에게 최적의 솔루션을 찾았을 때 나타납니다.
	이런 경우, 촉매 부하량을 10배로 줄이거나, 예를 들어 로듐 촉매를 루테늄 촉매로 교체하는 등 더 저렴한 대체 촉매를 발견하면 연간 수백만 달러를 절약할 수 있습니다.
	이제 JMP UK 팀이 이 문제를 어떻게 해결했는지 설명해줄 벤에게 넘겨드리겠습니다.
벤 프랜시스	정말 고맙습니다, 데이비드.
	그래서 그것은 분명하다
	CatSci와 CatSci와 유사한 많은 다른 회사들은 대규모 제형 공간에서 큰 어려움에 직면합니다.
	매우 높은 수준의 상호작용을 일으킬 수 있습니다. 그래서 과학은 매우 복잡하고, 그 복잡성을 풀기 위해 우리가 하는 실험은 중요합니다.
	안타깝게도 데이비드가 설명한 비용을 고려하면 모든 조합을 테스트하는 방법은 현명하지도 실행 가능하지도 않습니다.
	그리고 궁극적으로 우리는 관계를 숫자적으로 이해하기 위해 데이터 과학을 포함한 어떤 형태의 접근 방식을 취해야 합니다.
	따라서 선택한 공식을 여러 제조 시나리오에 적용하려면 데이비드가 말했듯이 그것이 매번 효과가 있을 것이라는 걸 알아야 합니다.
	그래서 저희는 문헌을 검색했습니다. JMP에서는 DOE의 적용에 많은 관심이 있었고, 이것이 DOE의 특별한 상황이라고 생각했기 때문입니다.
	그리고 우리가 적절하게 명명했듯이, 이것은 대규모 DOE입니다. 그래서 대규모 DOE 접근법을 적용할 사례 연구를 찾던 중, 페레라 외 연구진의 논문을 발견했습니다.
	2018년에 출판된 이 연구에서, 그들은 반응 스크리닝을 위한 플랫폼을 살펴보았습니다. 이 시나리오에서 흥미로운 점은 다섯 가지 범주형 요소가 있다는 것입니다.
	이건 별로 중요한 게 아닐 수도 있습니다. 그들은 반응물 1과 2, 리간드, 시약, 용매를 살펴봐야 했지만, 이 논문에 제시된 내용의 복잡성은 각 요소의 수준이었습니다.
	각각 4, 3, 12, 8, 4 레벨을 모두 합치면 4,608가지의 다양한 조합이 나옵니다.
	Perera 등의 논문에서 그들은 모든 것을 하나하나 테스트했는데, 이는 분명히 전 세계 모든 회사에 적용 가능한 해결책은 아닙니다. David가 앞서 설명한 대로 모든 조합을 테스트했을 뿐입니다.
	여기 열 지도에서 그들이 고수확 지역이 있다는 아이디어를 얻을 수 있었다는 것을 볼 수 있습니다.
	그리고 일부는 수확량이 낮았고, 일부는 매우 낮았습니다. 그래서 많은 테스트를 거쳐 결국 프로세스에 대한 이해도가 크게 낮아졌습니다.
	그리고 실험 비용이 매우 높습니다.
	그래서 결국 그들은 조합을 발견하고 조합에 도달한 후 이를 논문에서 처리하여 이것이 일반적인 조합이라고 말할 수 있는 상황으로 끝났습니다.
	처음에는 옳았지만, 그 이후로는 그것을 수톤 규모의 제조 시나리오에 적용한다면 매번 옳았을까요? 필요한 사양을 계속 제공할 수 있을까요?
	대규모 DOE 솔루션은 리소스 요구 사항을 줄이는가?
	처음부터 제대로 된 결과를 얻을 수 있을까요? 그리고 매번 제대로 된 결과를 얻을 수 있을까요? 그리고 이러한 질문들을 측정하는 방식과 우리가 수행한 성과는 어떨까요?
	첫째, 리소스 요구량을 줄이기 위해 총 480회의 실행으로 실험을 설계했습니다. 이는 10x48 작업판을 모방한 것이며, 이는 논문에서 수행된 실행 횟수의 약 10%에 해당합니다.
	논문에서 식별된 고수율 조합 중 80개가 테스트되거나 예측된 조합의 수를 살펴보면서 처음에 올바르게 측정되었는지 확인할 수 있습니다.
	생성된 모델에 의해. 그리고 궁극적으로 10%의 실행을 통해 우리는 DOE에서 최소 8개의 고수율 조합을 얻을 것으로 예상했습니다.
	(그리고 높은 수확량은 여기서 95% 이상의 값으로 표시됩니다.
	마지막으로, 그리고 가장 중요한 점은, 모델의 일반적인 진단 결과인 R 제곱을 통해 측정했을 때 매번 결과가 정확하게 나오는가 하는 것입니다. 그리고 궁극적으로, 이를 통해 프로세스에 대한 통찰력을 얻을 수 있는지 확인할 수 있을까요? 관계는 타당한가? 조합과 상호작용은 타당한가?
	따라서 여기서도 우리가 기준을 정하기 위해 한 일은 4,608개의 전체 데이터 세트를 사용하여 살펴본 결과, R 제곱이 .89라는 것을 발견한 것입니다. 이는 부스트 트리 방법을 사용한 것입니다.
	그럼 이제 필에게 넘겨서 우리가 취한 최초의 대규모 DOE 접근 방식에 대한 간략한 설명을 해드리겠습니다.
필 케이	고마워요, 벤. 그리고 멋진 배경을 만들어준 데이비드에게도 고마워요. 그래서 우리는 세 가지 다른 접근 방식을 살펴보았습니다.
	이 문제를 해결해서 실제로 그 논문에서 테스트한 실행 횟수를 줄이고도 벤이 설명한 대로 유용한 정보를 얻을 수 있는지 알아보고자 합니다.
	그래서 저는 그 세 가지 접근법 중 두 가지에 대해 이야기해 보려고 합니다. 이 두 가지는 극단적인 접근법입니다. 보수적인 접근법과 탐욕적인 접근법이 있고, 라이언은 저희가 궁극적으로 가장 효과적일 것이라고 생각했던 하이브리드적이고 균형 잡힌 접근법에 대해 이야기할 것입니다.
	보수적인 관점에서 보면, 이는 표준 DOE 방식입니다. 저희는 10개의 블록으로 구성된 480런 맞춤형 설계를 설계하는데, 이는 데이비드가 보여준 촉매 스크리닝 장비에 10개의 플레이트가 들어 있다는 것을 의미합니다.
	그리고 주요 결과는 480회 실험을 통해 가장 높은 수확량을 내는 조합 중 13개가 고수확량 조합이 될 것이라고 정확하게 예측할 수 있었다는 것입니다.
	그리고 우리는 그 480회 실행 데이터 세트에서 모델을 구축할 수 있었고, 그 모델을 그 실험에 사용되지 않은 데이터와 비교 테스트했을 때,
	R 제곱은 약 0.73이었으니, 사실 꽤 좋았습니다. 그 작은 실험 이후... 발표된 큰 실험 덕분에... 꽤 좋은 모델과 시스템 전체에 대한 꽤 좋은 이해를 얻을 수 있었습니다.
	이 과정에서 얻은 정말 흥미로운 통찰력 중 하나는 이 데이터에서 유용한 모델을 도출하기 위해 머신러닝을 활용해야 한다는 것이었는데, 이는 저희에게 다소 놀라운 결과였습니다. 이 부분에 대해서는 나중에 더 자세히 설명하겠습니다.
	그리고 우리는 이러한 보수적인 접근법을 사용하여 수집한 데이터를 통해 좋은 이해를 얻었습니다. 이를 통해 전체 요인 공간에 대한 깊은 이해를 얻었고, 특정 조합이 효과적인 이유를 파악할 수 있었습니다.
	이를 통해 우리는 대체 지역을 식별할 수 있었습니다. 따라서 수확량이 높은 조합을 찾았지만 비용이 너무 많이 들기 때문에 실행이 불가능한 경우,
	촉매가 너무 비싸거나, 위험하거나 독성이 있어서 산업 공정에 적합하지 않은 경우, 우리는 전체 공간에 대한 이해가 있으므로 많은 대안을 얻을 수 있습니다.
	그럼, 우리는 어떻게 그걸 했을까요?
	JMP에서 맞춤형 디자인.
	480번 런을 설계했는데, 이 경우 최적 설계는 10개 블록으로 구성되었습니다. 다시 말해, 10개 블록은 David가 장비를 보여준 48개의 웰플레이트 10개를 나타냅니다.
	여기서 주목할 점은 주요 효과를 위한 맞춤형 디자인의 모델을 지정한다는 것입니다.
	2차 상호작용과 3차 상호작용에 대해서요. 그리고 3차 상호작용과 이러한 범주형 요인들의 모든 수준들에 대해서요.
	추정해야 할 매개변수가 엄청나게 많아서 모든 매개변수를 명시적으로 추정하는 실험을 설계할 수 없었습니다. 가능하다면 3차 교호작용을 포함해야 하므로, 480회 반복하는 베이지안 I 최적 설계가 됩니다.
	이 시각적 그림을 보면, 우리는 10개의 서로 다른 접시에 대한 실험의 여러 라운드를 살펴보고 있는 것입니다.
	그리고 실험에 다음 판을 추가함으로써 우리가 요인 공간 전체에 대한 탐구에 어떻게 기여하는지 볼 수 있습니다.
	우리는 어떤 특정 지역에 초점을 맞추지 않습니다. 우리는 그 요인 공간 전체에 대한 지식의 공백을 채우고 있을 뿐입니다.
	따라서 실험에 사용한 480개의 실행과 공개된 데이터 세트에서 얻은 나머지 4,128개의 행이 있습니다. 이 테스트 데이터를 사용하여 보류된 데이터 세트, 즉 이 테스트 데이터에서 모델이 얼마나 잘 비교되는지 확인할 수 있습니다.
	이제 우리는 우리의 모든 DOE 배경과 경험에서 다음과 같은 것을 기대했습니다.
	특정 모델에 대한 실험을 설계할 때 표준 회귀 분석 기술은 가장 유용한 모델을 제공하게 됩니다.
	여기서는 JMP Pro를 사용했고 일반화 회귀 분석을 사용해 전체 3차 모델에 적합시켰습니다.
	여기서는 베타 분포를 사용합니다. 베타 분포는 예측값을 0에서 1 사이로 변동시키는데, 이를 통해 수확률(%)을 0에서 1 사이의 값으로 변환합니다. 이런 수확량 데이터를 모델링할 때 JMP Pro를 사용할 때 이 방법을 사용하면 유용할 수 있다는 간단한 팁입니다.
	그리고 우리는 AICc를 검증 방법으로 하여 순방향 선택을 사용하므로 중요한 효과만 선택하게 됩니다.
	그리고 우리는 각 라운드마다 이것을 반복합니다. 첫 번째 라운드에서는 48점, 두 번째 라운드에서는 96점, 세 번째 라운드에서는 144점을 얻어 10번째 라운드에서는 총 480점을 얻습니다.
	여기서는 처음 세 라운드를 살펴보기 위해 gen reg에 설정된 필터를 볼 수 있습니다.
	따라서 처음 세 라운드에서는 일반 등록, 전방 선택, AICc 검증을 사용하여 얻은 모델입니다.
	그리고 제 생각에는 그다지 좋은 모델은 아닙니다. 화학 반응에서 예상되는 결과를 직관적으로 이해하기 때문입니다. 모델에 관련된 요인은 두 가지뿐이므로, 두 가지 주요 효과만 유의미한 것으로 선택했습니다.
	따라서 우리는 그 모델을 데이터 테이블에 저장할 수 있으며, 그런 다음 그 모델이 보류된 데이터, 즉 테스트 세트를 얼마나 잘 예측하는지 확인할 수 있습니다.
	나머지 4,128개 행은 실험에 포함되지 않았습니다. 각 라운드마다 이 작업을 수행할 수 있습니다. 각 라운드마다 이 작업을 수행했으므로, gen reg를 사용하여 구축한 10개의 모델이 있습니다.
	이제 대안으로 머신러닝 방법을 살펴보는 것이 좋겠다고 생각했습니다. 여기서는 처음 세 라운드만 다시 살펴보겠습니다.
	그리고 다양한 모델링 기술을 살펴보는 정말 빠른 방법으로 JMP 16 Pro의 모델 스크리닝을 활용합니다.
	Y와 X에 수율과 요인만 입력하면 됩니다. 그리고 검증을 위해 데이터의 25%를 무작위로 보류하도록 보류 검증 열을 설정했습니다.
	확인을 클릭하면 이러한 모든 다양한 모델링 기술을 실행하여 이제 다음과 같은 내용을 알려주는 보고서를 받게 됩니다.
	이러한 모든 다양한 모델링 기술, 몇 가지 일반 규칙 모델, 신경망 및 다양한 트리 방법을 포함하여 이러한 모든 모델링 기술이 얼마나 좋은지.
	그래서 저희는 그 중에서 가장 좋은 두 가지를 선택했습니다. 실제로 모든 실험 라운드를 통틀어 신경망 부스팅 모델과 부트스트랩 포레스트 모델이 가장 좋은 성능을 보였다는 것을 발견했습니다.
	따라서 다시 한번, 예측 공식을 저장하고 실험에 사용되지 않은 테스트 데이터 세트에서 해당 공식을 사용하여 비교하고 다양한 모델이 해당 테스트 데이터 세트와 비교하여 얼마나 잘 수행되는지 확인할 수 있습니다.
	여기서는 모델 비교와 JMP Pro를 사용하여 모든 일반-정규 모델, 신경망 모델, 부트스트랩 포레스트 모델을 비교합니다.
	이제 해당 검정 데이터 세트에 대한 R 제곱의 시각적 결과를 보고 있습니다. 해당 모델이 보류된 검정 데이터 세트에 대해 얼마나 잘 적합한지 보여주는 것입니다.
	그리고 당신은 거기 빨간색으로 전방 선택을 사용하는 표준 회귀 모델인 gen reg를 볼 수 있습니다.
	첫 번째 라운드에서는 실제로 가장 좋은 모델이었지만, 크게 개선되지는 않았습니다. 그러다가 5라운드쯤에서 갑자기 매우 나빠졌다가 다음 라운드에서 다시 정말 좋아졌습니다. 매우 불안정하고 마지막 라운드로 갈수록 더 나빠졌는데, 아마도 과적합되었을 것입니다.
	반면에 머신 러닝 방법은 다음과 같습니다.
	3라운드 이후, 그들은 최고의 성과를 보이고 있으며, 표준 회귀 분석 기법보다 더 나은 성과를 보이고 있으며, 계속해서 발전하고 있습니다. 그리고 실제로,
	녹색으로 표시된 신경망이 더 나은 성능을 보이는 것을 볼 수 있고, 끝으로 갈수록 부트스트랩 포레스트가 부스트된 신경망 모델보다 더 좋은 성능을 보입니다.
	따라서 여기서 핵심은, 비교적 간단한 상황이라고 생각할 수 있는 상황에서도 이런 종류의 시스템이나 프로세스에 가장 적합한 모델, 가장 신뢰할 수 있는 모델을 얻으려면 JMP Pro의 머신 러닝 방법이 실제로 필요하다는 것입니다.
	이제 10라운드 마지막, 480회 실행 후 최고 모델의 예측값과 발표된 4,608회 실행의 실제 수율 결과를 비교하는 플롯을 살펴보겠습니다. 오른쪽은 부트스트랩 포레스트였습니다.
	나쁘지 않아요. 중요한 행동들이 포착되고 있다는 걸 알 수 있죠. 수확량이 낮은 지역과 수확량이 높은 지역을 파악하고 있습니다. 그러니까,
	특히 오른쪽 상단에는 요오드(?) 반응물과 보론산 및 보론산 에스테르가 사용됩니다.
	거기에 반응물이 있어요.
	그렇다면 이것을 다른 극단적인 접근 방식과 비교해 보겠습니다. 첫 번째 라운드의 48회 실행은 정확히 동일했습니다. 같은 48회 실행으로 시작합니다. 그런 다음 모델을 만들고, 그 모델을 사용하여 나머지 모든 실행 중 어떤 실행이
	나머지 4,560개의 실행 중에서 모델은 어느 실행이 가장 높은 수율을 낼 것으로 예측하는지 계산하고, 이후 10번째 라운드까지 이 작업을 계속합니다.
	그리고 이 경우 우리는 더 많은 고수율과 조합을 정확하게 예측하지만 10라운드 후 최종 모델을 얻고 데이터와 비교할 때
	실험에 사용하지 않은 R 제곱은 0.33으로 매우 형편없습니다. 따라서 우리가 얻은 모델은 시스템 전체에 대한 예측을 제대로 하지 못하고 있습니다.
	그래서 우리는 고수확 지역 하나를 잘 이해하고 있으며, 이를 통해 여러 요인의 조합을 찾고, 잘 작동하는 설정들을 찾아내고 있지만, 시스템 전체를 이해하는 데는 도움이 되지 않습니다. 우리는...
	우리는 시스템 전체에 대한 이해의 다양성을 줄이지 못하고 있습니다.
	따라서 그 시스템, 그 접근 방식이 어떻게 작동하는지 보여드리기 위해 전체 4,608개의 실행, 가능한 모든 조합을 보여드리겠습니다. 그리고 1라운드에서 언급했듯이 이는 보수적인 접근 방식을 사용한 1라운드와 동일하므로 최적입니다.
	거기에 점들이 집합되어 있고, 그것들이 요인 공간에 균등하게 분포되어 있는 것을 볼 수 있습니다.
	우리는 48번의 실행에서 얻은 데이터에 모델을 적용했습니다.
	그리고 우리는 그 모델을 사용하여 다른 모든 가능한 조합의 수율을 예측한 다음 그 중에서 가장 높은 수율을 보이는 48개의 예측을 선택합니다.
	바로 그겁니다. 보시다시피, 그들은 수익률이 높은 지역에 집중하고 있습니다... 우리는... 더 이상 전체 팩터 공간을 탐색하지 않습니다.
	1, 2, 3라운드를 거쳐 10라운드까지 올라가 보면, 매번 실험에 추가할 때마다 왼쪽 상단의 고수익 구간에 있는 런들을 추가하고 있다는 것을 알 수 있습니다. 즉, 요인 공간의 한 영역에만 집중하고 있는 것입니다.
	그리고 실제 결과와 예측 결과를 비교해 보면, 왼쪽 상단 부분에서는 꽤 좋은 성과를 보이고 있음을 알 수 있습니다.
	하지만 다른 곳에서는 예상대로 상당히 끔찍한 예측을 하고 있습니다. 그다지 놀라운 일은 아닐 겁니다. 전체 시스템을 대상으로 실험해 본 것은 아닙니다. 고수익 지역에만 집중해 왔습니다.
	그리고 왼쪽에 있는 우리의 보수적인 접근 방식과 비교해보면(그래서 당신은 이미 왼쪽에 있는 플롯을 보았을 것입니다) 모델이 어떻게 되는지 살펴보면
	1라운드에서 10라운드까지 개선을 거듭한 후, 각 라운드마다 모델 스크리닝 플랫폼을 다시 사용하여 가장 좋은 모델을 찾았습니다.
	그리고 실제로 각 단계에서 부스트된 신경망이 가장 좋은 모델이라는 것이 밝혀졌습니다. 다시 한번 보시다시피, 보수적인 접근법의 일반 신경망처럼 불안정합니다.
	때로는 괜찮지만, 보수적인 실험에서 나온 최고 모델과 경쟁할 수는 없습니다.
	두 가지 극단적인 견해가 있는데, 저는 이 문제에 대한 보다 균형 잡힌 또는 혼합적인 접근 방식에 대해 이야기할 라이언에게 말을 넘기겠습니다.
라이언 레키베츠	그러니까 Phil, 고맙네요. 그리고
	마침 프레젠테이션 중인데, 필, 벤, 데이비드에게 이 발표에 참여할 수 있게 해줘서 정말 고맙다고 말하고 싶어요. 개발자로서 이런저런 실험을 해보는 건 꽤 재밌거든요. 저는 JMP의 DOE 플랫폼 개발자입니다.
	필이 언급한 것처럼, 제가 여기서 살펴보는 접근 방식은 하이브리드 방식입니다.
	좋습니다. 여기서의 아이디어는 최적화와 탐색의 개념을 살펴보는 것입니다.
	그러니까, 필이 말했던 탐욕적인 접근 방식을 생각해 보세요. 그게 바로 최적화입니다. 저는 최고를 향해 엄격하게 나아갈 것이고, 그게 제가 집중할 전부입니다. 반면 보수적인 접근 방식은 탐색에만 집중했습니다.
	그래서 여기서 아이디어는 우리가 중간 어딘가에 도달할 수 있을까 하는 것입니다.
	아마도 최적화하는 동시에 그 공간을 조금 더 탐색하는 게 어떨까요?
	제가 여기서 한 일을 말씀드리자면... 사실 저는 웰 플레이트 세 개를 미리 세팅해 뒀습니다. 48 사이즈 블록 세 개를 만들고, 가능하다면 2FI로 메인 이펙트를 했습니다.
	그 이유는 48회만 돌려도 모델을 제대로 믿을 수 없을 때가 있었기 때문입니다. 그래서 "그래, 좀 더 버닝을 해보자."라고 생각했습니다. 144번이나 3웰 플레이트를 사용해 보는 건 어떨까요? 그러면 모델을 좀 더 신뢰할 수 있을 것 같습니다.
	어떤 의미에서는, 그런 탐욕적인 접근 방식을 생각해 보더라도, 모델이 형편없다면 최악의 영역으로 가게 될 테니까요. 별로 도움이 되지 않을 겁니다.
	그리고 다시 한번, 이전과 마찬가지로, 결국에는 총 10개의 웰 플레이트나 총 10개의 블록을 만들게 될 겁니다.
	이 부분에 대해서는 다음 슬라이드에서 조금 더 자세히 설명하겠습니다. 사실 저는 처음부터 끝까지 XGBoost를 사용했습니다. 제가 예측했던 방식도 XGBoost를 사용하는 것이었고, 그 이유를 설명드리겠습니다.
	그렇게 하는 것에 대해.
	하지만 여기서 핵심은 예측값을 구하는 것이었습니다. 그래서 최고 48개만 엄격하게 적용하는 대신, 임계값을 설정하기로 했습니다.
	그렇죠. 처음 세 개 후에는 50에서 시작했어요. 그래서 50보다 큰 예측값을 달라고 했고, 더 많은 웰 플레이트를 진행하면서 라운드마다 5씩 늘리려고 합니다.
	제 말은, 꽤나 임의적이었어요. 그 이유 중 하나는 우리가 라운드가 총 10개뿐이라는 걸 알고 있었기 때문이고, 또한 예측을 통해 그 세트가 얼마나 큰지 알 수 있었기 때문이기도 하죠.
	그렇죠. 데이터에 따라 해당 집합이 여전히 큰 것처럼 보이고 예측값이 약 50인 경우 이를 수정할 수 있습니다.
	그래서 여기서의 아이디어는 수확량이 더 높은 지역을 천천히 탐험하는 것입니다.
	그렇다면 우리가 옳았을까요? 음, 이 경우 우리는 실제로 95점 이상의 고수익 조합 80개 중 27개를 얻었는데, 이는 탐욕적인 접근법과 크게 다르지 않았습니다.
	그리고 R 제곱을 다시 생각해 보면, 그 모든 고정 데이터를 고려했을 때, 최종 검정 R 제곱은 0.69였습니다. 이는 보수적인 접근법과 크게 다르지 않았습니다. 그래서...
	제 말은, 지금 당장은 두 가지 수치만 봐도 조심해야 할지도 모르지만, 그런 점을 고려하면 이 하이브리드는 실제로 양쪽의 장점을 모두 갖춘 것처럼 보입니다. 물론 어느 정도 타협은 하고 있지만, 좋은 결과를 얻고 있는 거죠.
	이 접근 방식에 대한 몇 가지 통찰력을 말씀드리겠습니다. 결론적으로, 고수익과 관련된 팩터 공간에 대한 이해가 더 깊어졌다고 말씀드리고 싶습니다.
	탐욕스러운 점들이 어디에 있었는지 떠올려 보면, 그것들은 정말로 왼쪽 상단에 집중되어 있어서 그 공간을 더 탐험할 여지가 많지 않았습니다.
	그리고 당신은 상상할 수 있을 것입니다...
	만약 그 지역의 어떤 물건이 하룻밤 사이에 가격이 4배로 뛰었다면, 이제 당신은 그 지역의 나머지 부분에 대해 아무것도 알 수 없게 됩니다.
	그렇습니다. 이 하이브리드 접근 방식을 통해 우리는 그 방법과 이유, 몇 가지 조합에 대해 더 많은 정보를 얻을 수 있으며 더 나은 대안을 얻을 수 있습니다.
	다시 말해서, 다른 요소들을 고려해야 한다면, 다른 측정 기준에 따라 더 나은 대안이 있다는 이유로 수확량을 약간 희생할 의향이 있을 수도 있습니다.
	그래서, 사실, 이 아이디어는... 네, 그래서, 이 커스텀 디자인에서 실제로 어떻게 구현되었는지 잠깐 설명드리겠습니다. 제가 취한 접근 방식은 다음과 같습니다.
	사용자 정의 디자이너에서 공변량을 사용하는 것이 때때로 과소평가되는 것 같습니다.
	하지만 아이디어는 전체 데이터 세트를 가져왔다는 것입니다. 즉, 전체 4,608개의 실행입니다.
	그리고 각 라운드마다... 상상하실 수 있겠지만, 처음에는 144회 실행 디자인을 선택했고, 그다음 전체 데이터 세트의 일부를 선택했습니다. 이전 디자인에서 이미 선택했다면, 그것도 포함해야 합니다.
	그리고 또한 그 특정 값 이상에서 예상되는 수확량을 알려주세요. 다시 말해서, 네 번째 설계의 경우 50, 55, 60 등으로 시작했어요.
	그래서 데이터 테이블에서
	이제 제가 하는 건 이전 실험에서 사용된 설계 지점들을 선택하는 겁니다. 그래서 그 지점들이 강조되도록 합니다. 그리고 사용자 지정 설계에서 요인 추가를 선택하면 공변량이라는 옵션이 있습니다. 그리고 다시 말씀드리자면, 이건...
	많은 사람들이 이전에 공변량을 본 적이 없으며, 여기서 언급했듯이 공변량에 대해서만 이야기하는 데 전체 강연을 할 수 있을 것 같습니다.
	하지만 실제로 블로그 글이 몇 개 올라올 겁니다(이 영상을 볼 때쯤에는 올라와 있지 않더라도 아마 이 영상을 볼 때쯤에는 며칠 안에 올라올 겁니다)
	공변량을 실제로 사용하는 방법에 대해 좀 더 자세히 이야기해 보겠습니다. 그런데, 후보 집합이라는 것도 들어보셨을 텐데, 핵심은...
	이전에 선택한 것의 하위 집합인 이 데이터 세트가 있고, 이런 종류의 데이터 세트가 사용자 정의 디자이너에게 이러한 디자인 포인트만 선택할 수 있다고 알려줍니다.
	표준 방식대로는 할 수 없습니다. 좌표 등을 계속 바꾸려고 할 테니까요. JMP 커스텀 디자이너에게 "이 런들을 디자인에 사용해야 합니다."라고 알려주는 겁니다. 특히,
	공변량을 사용하는 옵션 중 하나는 이전에 선택한 설계 지점을 강제로 적용할 수 있다는 것입니다. 즉, 이런 방식으로 실제로는 설계 증강을 수행하는 것과 같습니다.
	공변량을 사용한 후 후보를 사용합니다.
	그리고 물론, 이 경우에는... 이 경우에는 제가 이전에 실험했던 디자인 요소들을 버릴 수가 없으니까요. 사실, 우리가 원하는 건 다음 48가지를 고르는 것뿐입니다.
	그리고 여기서 한 가지 더 언급하고 싶은 게 있는데, 맞춤형 디자인을 생각해 보면...
	그래서 각각의 경우에서 제가 한 일은... 가능하다면 두 가지 요인의 상호 작용과 세 가지 요인의 상호 작용을 하는 것이었습니다.
	하지만... 사실 그건 디자인 공간을 탐구하기 위한 메커니즘에 가까웠죠. 제가 맞추려고 했던 모델은
	사실 XGBoost를 사용하고 있었으므로, 그 디자인은 XGBoost 모델이나 그런 것에 최적화되지 않았습니다.
	이는 예측 수율이 좋아 보이는 설계 공간을 탐색하라는 의미였습니다. 특히 범주형 요소를 다루고 있기 때문에 적절한 균형을 맞추기 위해 노력할 것입니다. 또 한 가지 언급할 점은,
	원하신다면... 다시 말씀드리지만, XGBoost 같은 기본 모델을 사용하지 않기 때문에 응답을 사용할 수 있습니다. 따라서 이 경우에는 수율을 또 다른 공변량으로 예측했는데, 이를 통해 고수율과 저수율의 균형을 더 잘 맞추려고 합니다.
	디자인을 할 때의 반응.
	그래서 우리는 여기서는 그 문제를 탐구하지 않았지만, 앞으로는 그것이 타당한 일이 될 것이라고 생각합니다.
	예상 수익률에 대해 말씀드리겠습니다. 제가... Phil이 시도했던 다른 머신 러닝 기법들에 대해 이야기할 때 언급했던 것처럼
	제 ???에서는 실제로 주로 XGBoost에 집중했습니다.
	그리고 왼쪽을 보면 내가 그렇게 한 이유 중 하나는 시도하기 위해서였습니다.
	K 폴드 교차 검증을 사용하지만, 설계 번호를 사용하는데, 이는 기본적으로 각 추가 폴드에 대한 웰 플레이트가 됩니다. 따라서 서로 다른 K 폴드를 무작위로 선택하는 대신,
	"웰 플레이트를 보고 각 웰 플레이트에 대해 그 값을 유지하려고 합니다."라고 적혀 있을 겁니다. 첫 번째 웰 플레이트의 경우, 웰 플레이트가 세 개밖에 없었을 때를 상상해 보세요.
	그 웰 플레이트들을 하나씩 꺼내서 들고 있다가 나머지 두 개를 기준으로 얼마나 잘 예측하는지 보는 거였어요. 그래서 열 번째... 열 번째 웰 플레이트에 도달할 때쯤이면, 사실상 10배 정도 될 거예요.
	그래서 제가 그렇게 생각한 이유 중 하나는 여러분이 아직 보지 못한 다음 웰 플레이트에 대해서도 그 모델을 견고하게 만들려고 노력하는 것이었습니다.
	그리고 실제로 이것은 특정 웰 플레이트에 문제가 발생하더라도 실제로 당신을 보호할 수도 있습니다.
	그러면, 거기서도 약간의 보호를 받을 수 있을 거예요.
	그리고 XGBoost에서 제가 한 또 다른 일은 XGBoost 플랫폼을 시작할 때, 예를 들어 애드인을 통해 실행하면 맨 위에 튜닝 디자인이라고 부르는 작은 체크박스가 있는 것을 볼 수 있다는 것입니다.
	그래서 그 튜닝 디자인으로,
	실제로는 커버 뒤에 공간을 채우는 디자인을 맞추고 다양한 하이퍼 매개변수에 대해 모든 것을 실행하는 것입니다.
	그래서 내가 이 일을 할 때마다 했던 일은,
	50회 실행을 위한 튜닝 디자인을 선택하겠지만, 그 초모수 공간을 탐색해 보는 것도 좋을 것 같습니다. 그래서 매 라운드마다 모델을 선택할 것입니다.
	가장 좋은 검증 R 제곱을 가진 것이었습니다. 다시 한번 말씀드리지만, 이 경우 검증 R 제곱은 실제로 제가 가지고 있는 설계점들만 사용하는 것입니다. 그러니까 K-폴드를 하는 것이...
	서로 다른 웰 플레이트를 사용하죠. 그래서 이 경우, 검증 R 제곱은... 아직 확인되지 않은 데이터는 사용하지 않습니다. 왜냐하면 다시 말하지만, 실제로는 아직 그런 데이터가 없기 때문입니다.
	하지만 이건 그냥 그 검증 기법을 사용했다는 얘기일 뿐이에요. 웰 플레이트를 사용했죠. 다시 말씀드리지만, 제가 이 작업 대부분에 XGBoost를 사용한 이유가 바로 그것입니다. 그냥 다른 걸 시도해 보고 싶었던 거죠.
	K 폴드 기술을 사용하고, XGBoost의 경우 공간 채우기도 사용하는 걸 정말 좋아합니다.
	자, 여기를 살펴보죠. 여기 보시다시피, 연속 라운드에서 선택되는 포인트가 있습니다. 자,
	탐욕적인 접근 방식에서 무슨 일이 일어났는지 생각해 보면, 실제로는 왼쪽 상단에 집중되어 있었습니다.
	그렇죠. 하지만 지금 이 하이브리드 접근 방식을 보면,
	라운드가 진행될수록 포인트가 조금씩 채워지는 것을 볼 수 있고, 특히 왼쪽에서 포인트 샘플링이 더 좋아집니다.
	그렇죠. 관점을 바꿔 생각해보면, 이제 고수익 지역에 대한 훨씬 더 나은 대안이 생긴 셈이죠.
	그렇다고 생각합니다... 지금 실제와 예측을 살펴보면,
	사실 저는 이게 어떤 면에서는 의미 있는 일이라고 생각합니다. 우리가 더 나은 탐험을 했기 때문이죠.
	아마도 고수확 지역에서는
	그렇게 높지는 않은 것 같아요. 왼쪽 아래를 보시면, 실행 가능한 대안이 될 수 있는 것들을 하이브리드 모델에서 더 잘 포착한 것 같아요.
	이 방법의 장점 중 하나는 수확량에만 집중할 수 없다는 것입니다.
	그렇죠. 그럼 생각해 보면...
	나는 독성이든 비용이든 그와 비슷한 어떤 것이든 2차적인 대응을 할 수 있습니다.
	예측된 값을 볼 때 수익률 그 이상의 것에 집중할 수 있습니다. 그래서 탐욕적인 접근 방식 같은 것을 생각해 보면,
	고려하고 싶은 2차적인 기준을 추가하기 시작하면 균형을 맞추기가 훨씬 더 어려워집니다. 반면, 이 하위 집합 접근법을 사용하면 2차적인 대응을 추가하는 것이 전혀 어렵지 않습니다.
	이제 결론을 내리기 위해 벤에게 넘겨드리겠습니다.
벤 프랜시스	그래서,
	David, Phil, Ryan에게 우리가 이 문제에 접근하는 이유에 대한 배경을 알려주시고 궁극적으로 두세 가지 매우 좋은 솔루션과 방법을 제시해 주셔서 진심으로 감사드립니다.
	이 문제를 어떻게 해결하는지 살펴보세요. 그리고 이 모든 접근 방식에서 JMP가 과학자들에게 가치를 제공하고 있다는 것은 분명합니다. 따라서 우리는 간단하고, 사전에 실험에 필요한 리소스를 10배나 줄였습니다. 실행 횟수의 10%만 사용했습니다. 그리고
	궁극적으로, 우리는 각 상황에서 사양을 충족하고 실험을 통해 높은 수율의 솔루션을 제공할 수 있는 능력을 갖추게 되었습니다.
	하지만 그에 더해, 우리는 이 접근 방식을 채택함으로써 회사의 목표와 전략에 따라 어떻게 다양한 수준의 심층적 프로세스 이해를 얻을 수 있는지 보여주었습니다.
	JMP의 저희 세 명이 CatSci가 이 문제에 어떻게 접근하는지에 매우 관심이 있다는 것을 눈치채셨을 겁니다.
	CatSci에서 문제를 해결하지 않고 직접 해결하는 것입니다. DOE 측면에서 이 문제를 해결할 수 있는 도구를 제공하고 있습니다. 이는 고객인 David와
	저와 필은 기술 판매 부문에 있고 라이언은 제품 개발 부문에 있는데 여기서 중요한 점은 우리 모두가 이를 다른 관점에서 보고 있다는 것입니다.
	그런 종류의 솔루션을 가능하게 하려면, 앞서 말했듯이, 우리는 달성해야 할 목표에 따라 다양한 방식으로 심층적인 프로세스 이해를 살펴볼 수 있습니다.
	JMP에서 우리에게 매우 흥미로운 몇 가지 사실을 발견했으며 이는 제품 개선으로 이어질 것이며 이를 다시 여러분에게 전달해 드리겠습니다.
	고객으로서. 머신 러닝 접근 방식이 이 대규모 DOE 상황에 적용 가능하다는 것을 알게 되었고, 아시다시피 JMP를 사용하면 적용하기가 매우 쉽습니다. 또한 검증 접근 방식에 대해서도 주의해야 한다는 것을 알게 되었고, 이 부분을 더 자세히 살펴볼 수 있을 것입니다.
	따라서 궁극적으로 우리는 대규모 DOE 과제에 관한 많은 연구 결과를 여기에 제시했으며, CatSci와 비슷한 회사들이 이런 종류의 문제를 해결하고 있다고 확신합니다.
	따라서 우리는 여러분이 우리가 수행한 이 작업을 더 탐색하도록 초대하고, 여기에는 커뮤니티 측면에서 우리가 리소스와 이에 대한 비디오를 게시할 두 개의 링크가 있습니다.
	JMP 공개 게시물도 있으니, 여기에서 저희가 활용한 데이터를 직접 확인해 보실 수 있습니다. 이 프레젠테이션에 참여해 주신 모든 분들께 감사의 말씀을 전합니다.

고급 통계 모델링기본 데이터 분석 및 모델링소비자 및 시장 조사데이터 블렌딩 및 정리데이터 탐색 및 시각화실험 설계대량 맞춤화예측 모델링 및 머신 러닝품질 및 공정 엔지니어링신뢰성 분석결과 공유 및 전달