스피커
|
성적 증명서
|
| David.Wong-Pascua |
좋아요. |
| |
순차적이고 꾸준한 것이 레이스에서 승리합니다. 안녕하세요 여러분 저는 David이고 CatSci의 선임 과학자입니다. 그렇다면 CatSci는 무엇입니까? |
| |
CatSci는 종단 간 화학 공정, 연구 및 개발을 위한 혁신 파트너입니다. 우리는 JMP UK와 같은 조직과 협력하여 모든 결정이 데이터에 기반하도록 합니다. |
| |
우리에게 그것은 처음부터 제대로 하고 매번 제대로 하는 것입니다. 모든 프로젝트를 위한 맞춤형 완벽한 솔루션을 공식화합니다. 우리의 절대적인 초점은 고객의 기대에 부응하는 것입니다. |
| |
우리는 초기 및 후기 단계 개발을 포함하여 여러 영역에서 작업합니다. 항상 우리 아이덴티티의 핵심이었던 오랜 촉매 경험과 공정 전문성을 보유하고 있으며, 분석 화학 및 재료 과학 분야에서 뛰어난 역량을 보유하고 있습니다. |
| |
따라서 CatSci에서 직면한 과제 중 하나는 프로세스 최적화 업스트림에서 범주형 변수를 선택하는 것입니다. |
| |
이 어려움은 촉매 스크리닝 작업에서 가장 두드러집니다. |
| |
슬라이드의 이미지에서 우리는 촉매 스크리닝을 수행하기 위해 의존하는 일부 장치와 도구를 볼 수 있습니다. |
| |
왼쪽에는 금속 전구체와 리간드의 24가지 사전 투여 조합을 포함하는 사전 제작된 촉매 키트가 있습니다. |
| |
중앙에는 오른쪽에서 볼 수 있는 48개의 웰 플레이트가 들어 있는 수소 발생기가 있습니다. |
| |
이를 통해 48개의 개별 실험을 동시에 수행할 수 있습니다. |
| |
이 기기는 높은 처리량과 소규모 규모를 위해 설계되었으며 고객을 위해 이러한 플레이트를 10개 이상 실행하는 것은 드문 일이 아니며, 이는 거의 총 500번의 실험에 해당합니다. |
| |
그렇다면 상대적으로 많은 수의 실험을 수행해야 하는 이유는 무엇이며 효율성을 개선하면 어떤 이점이 있습니까? |
| |
따라서 우선 탐색해야 할 화학 공간이 매우 큽니다. |
| |
모든 반응, 모든 화학 반응에는 온도, 농도 및 화학양론과 같이 영향을 미칠 수 있는 많은 요소가 있습니다. |
| |
그러나 촉매 반응에 대한 탐색을 특히 어렵게 만드는 것은 많은 중요한 범주적 요인이 있다는 것입니다. 여기에는 금속 전구체, 리간드, 시약, 용매 및 첨가제가 포함됩니다. |
| |
촉매 반응의 또 다른 특징은 고차 상호작용이 자주 발생한다는 것입니다. 따라서 이것이 의미하는 바는 촉매 시스템(금속 전구체와 리간드의 특정 조합)에 대해 |
| |
성능을 측정하려면 광범위한 용매 및 첨가제 스크린이 필요합니다. |
| |
특정 용매에서 성능이 좋지 않기 때문에 직전에 금속 전구체와 리간드의 특정 조합을 말하는 것을 배제하는 것은 옳지 않습니다. 적절한 용제나 적절한 첨가제가 없는 경우일 수 있습니다. |
| |
마지막으로 보다 효율적인 선별 방법의 이점을 가장 쉽게 설명하는 방법 중 하나는 재료의 가격을 살펴보는 것입니다. |
| |
당사의 많은 촉매 프로젝트에는 백금, 팔라듐, 루테늄, 이리듐 및 로듐과 같은 귀금속이 포함됩니다. 이러한 금속 중 일부는 지각에서 가장 희귀한 원소에 속하며 가격에 반영됩니다. |
| |
Google에서 가격을 빠르게 검색하면 여기에서 로듐 가격이 금보다 훨씬 더 비싸다는 것을 알 수 있습니다. |
| |
촉매 스크리닝의 또 다른 큰 비용은 리간드입니다. 저렴한 리간드가 존재하지만 비대칭 합성을 위한 최고 성능의 리간드 중 다수는 Solvias의 Josiphos와 같은 독점 리간드입니다. |
| |
가장 일반적으로 구할 수 있고 가장 저렴한 J001 중 하나는 여전히 금 가격의 두 배입니다. |
| |
따라서 실험 횟수를 줄이면 소모품 비용을 줄일 수 있지만 가장 큰 영향은 다톤 제조 공정을 가진 고객에게 최적의 솔루션을 찾을 때 발생합니다. |
| |
이 경우 촉매 부하를 10배 줄이거나 대체 저렴한 촉매를 발견하면 예를 들어 로듐 촉매를 루테늄 촉매로 교체하면 연간 수백만 달러를 절약할 수 있습니다. |
| |
이제 JMP UK 팀이 이 문제를 어떻게 해결했는지 논의할 Ben에게 넘겨줄 것입니다. |
| 벤 프랜시스 |
대단히 감사합니다, 데이빗. |
| |
그래서 그것은 분명합니다 |
| |
CatSci 및 CatSci와 유사한 다른 많은 회사는 대형 배합 공간으로 인해 큰 문제에 직면하고 있습니다. |
| |
매우 높은 순서의 상호 작용을 할 수 있습니다. 따라서 과학은 매우 매우 복잡하며 그 복잡성을 풀기 위해 실험하기 위해 우리가 하는 일이 중요합니다. |
| |
불행하게도 모든 단일 조합을 테스트하는 옵션은 David가 거기에서 설명한 비용으로 인해 실제로 합리적이거나 실행 가능한 옵션이 아닙니다. |
| |
그리고 궁극적으로 관계를 수치적으로 이해하기 위해 데이터 과학을 포함하는 어떤 형태의 접근 방식을 수행해야 합니다. |
| |
따라서 선택한 공식을 제조에 적용하고 진행하려면...다중 제조 시나리오에서 David가 말했듯이 매번 작동하는지 알아야 합니다. |
| |
그래서 우리는 JMP에서 DOE의 적용에 매우 관심이 있고 이것이 DOE의 특정 상황이라고 느꼈기 때문에 문헌을 검색했습니다. |
| |
그리고 우리가 적절하게 이름을 붙였듯이 이것은 큰 DOE입니다. 그래서 우리는 대규모 DOE 접근 방식을 적용할 사례 연구를 검색했고 Perera et al의 논문을 찾았습니다. |
| |
2018년에 출판되었고 그들은 이 반응 스크리닝을 위한 플랫폼을 보았습니다. 이 시나리오에서 흥미로운 점은 5가지 범주형 요인이 있다는 것입니다. |
| |
그리고 이것은 너무 많이 들리지 않을 수 있습니다. 그들은 반응물 1과 2, 리간드, 시약 및 용매를 살펴봐야 했지만 이 논문에 제시된 것의 복잡성은 각 요인의 수준이었습니다. |
| |
각각 4개, 3개, 12개, 8개, 4개 레벨이 모두 결합되어 4,608개의 고유한 조합이 됩니다. |
| |
이제 Perera 등의 논문에서 그들은 모든 개별 항목을 테스트했습니다. David가 이전에 설명했듯이 모든 조합을 테스트하면서 전 세계 모든 회사의 측면에서 실행 가능한 솔루션은 아닙니다. |
| |
여기 열 지도에서 그들이 일부 고수익 지역이 있다는 아이디어를 얻을 수 있었음을 볼 수 있습니다. |
| |
일부는 덜 높은 수율이고 일부는 매우 낮습니다. 따라서 궁극적으로 프로세스 이해가 많지 않은 것으로 끝나기 위해 많은 테스트가 있었습니다. |
| |
매우 높은 실험 비용. |
| |
그래서 이것은 궁극적으로 그들이 조합을 찾은 상황에서 끝났고, 그들은 조합에 도달했고, 그런 다음 그들은 종이에서 처리할 수 있었고 이렇게 말할 수 있었습니다. |
| |
처음에는 옳았지만, 그 시점부터 멀티톤 제조 시나리오에 넣으면 매번 옳았습니까? 필요한 사양을 계속 제공합니까? |
| |
큰 DOE 솔루션이 리소스 요구 사항을 줄입니까? |
| |
처음에 제대로 이해하고 매번 제대로 이해합니까? 그리고 우리가 이러한 질문을 측정할 수 있는 방법과 우리가 수행한 방법 |
| |
첫 번째는 리소스 요구 사항을 줄이는 측면에서 총 480개의 실행으로만 실험을 설계할 수 있도록 허용했습니다. 그리고 이것은 10 48개의 워크플레이트를 모방한 것이었고 이것은 논문에서 수행된 실행의 약 10%입니다. |
| |
처음에 제대로 작동하는지 여부는 논문에서 식별된 80개의 고수익 조합 중 몇 개가 테스트 또는 예측되었는지 살펴봄으로써 측정되었습니다. |
| |
생성된 모델에 의해 그리고 궁극적으로 10%의 실행으로 DOE에서 최소 8개의 고수익 조합을 얻을 것으로 예상했습니다. |
| |
(높은 수율은 여기서 95% 이상의 값으로 표시됩니다). |
| |
마지막으로, 결정적으로 모델의 일반 진단인 R 제곱을 살펴봄으로써 측정될 때마다 제대로 작동하는지 여부입니다. 그리고 궁극적으로 이것을 보고 프로세스 통찰력이 있는지 확인할 수 있습니까? 관계가 의미가 있습니까? 조합과 상호 작용이 의미가 있습니까? |
| |
그래서 여기에서도 코스에 대한 파를 제공하기 위해 우리가 한 것은 4,608의 전체 데이터 세트를 사용하는 것이었습니다. 우리는 이것의 R 제곱이 .89라는 것을 알았고 이것은 부스트 트리 방법을 사용했습니다. |
| |
이제 우리가 취한 첫 번째 대규모 DOE 접근 방식의 개요를 설명할 Phil에게 인계하겠습니다. |
| 필 케이 |
고마워, 벤; 장면을 멋지게 설정해 준 David에게 감사합니다. 그래서 우리는 세 가지 접근 방식을 살펴보았습니다. |
| |
이 문제를 해결하고 해당 백서에서 실제로 테스트된 실행 횟수를 줄이면서도 설명된 Ben과 동일한 유용한 정보를 얻을 수 있는지 확인합니다. |
| |
그래서 저는 이 세 가지 접근 방식 중 두 가지를 통해 이야기할 것입니다. 이 두 가지는 일종의 극단적인 접근 방식입니다. 보수적인 접근 방식과 욕심 많은 접근 방식이 있고 Ryan은 우리가 궁극적으로 가장 잘 작동할 것이라고 생각했던 보다 하이브리드 균형 잡힌 접근 방식을 통해 이야기할 것입니다. |
| |
따라서 보수적인 접근 방식에 따르면 이것은 표준 DOE 접근 방식입니다. 우리는 10개의 블록으로 480회 맞춤형 설계를 설계합니다. David가 보여준 촉매 스크리닝 장비의 10개 플레이트를 나타냅니다. |
| |
그리고 헤드라인 결과는 480회의 실험에서 가장 높은 수익을 내는 조합 중 13개가 높은 수익을 낼 조합이라는 것을 정확하게 예측할 수 있었다는 것입니다. |
| |
그리고 우리는 480개의 실행 데이터 세트에서 모델을 구축할 수 있었습니다. 그 실험에서 사용되지 않은 데이터에 대해 테스트했을 때 |
| |
R 제곱은 약 .73이었으며 실제로 꽤 좋았습니다. 우리는 꽤 좋은 모델을 얻었고, 그 작은 실험에서...발표된 큰 실험에서 시스템 전체에 대한 꽤 좋은 이해를 얻었습니다. |
| |
이 데이터에서 얻은 정말 흥미로운 통찰 중 일부는 기계 학습을 사용하여 이 데이터에서 유용한 모델을 얻어야 한다는 점이었습니다. 좀 더 자세히 이야기하겠습니다. |
| |
그리고 우리는 이 보수적인 접근 방식을 사용하여 수집한 이 데이터에서 어느 정도 이해를 얻었습니다. 그것은 우리에게 전체 요인 공간, 특정 조합이 잘 작동하는 이유를 잘 이해하게 해주었습니다. |
| |
이를 통해 대체 지역을 파악할 수 있었기 때문에 수익률이 높은 조합을 찾았지만 너무 비싸서 실용적이지 못한 경우, |
| |
촉매가 너무 비싸거나 위험하거나 독성이 있어 산업 공정에 적합하지 않을 수 있습니다. 그러면 우리는 전체 공간을 이해하고 있기 때문에 많은 대안을 갖게 됩니다. |
| |
어떻게 했습니까? |
| |
JMP의 맞춤형 디자인. 우리 |
| |
480 런을 설계했습니다. 이 경우에는 10블록으로 최적의 설계를 했습니다. David가 우리에게 장비를 보여준 10개의 48개의 웰플레이트를 나타내는 10개의 블록입니다. |
| |
여기서 주목할 점은 주 효과를 위한 맞춤형 디자인의 모델을 지정한다는 것입니다. |
| |
2차 상호작용과 3차 상호작용을 위해. 그리고 3차 상호작용과 이러한 범주적 요인의 모든 수준에서 |
| |
추정해야 할 매개변수가 엄청나게 많기 때문에 이러한 모든 매개변수를 명시적으로 추정하는 실험을 실제로 설계할 수는 없습니다. 가능하면 3차 상호작용을 넣어야 하므로 이것은 480런에서 베이지안 I 최적 설계입니다. |
| |
이 영상에서 볼 수 있듯이, 우리는 실험의 다양한 라운드, 다양한...10가지 플레이트를 살펴보고 있습니다. |
| |
그리고 실험에서 다음 플레이트를 추가하여 요소 공간 전체에 대한 탐색을 추가하는 방법을 볼 수 있습니다. |
| |
우리는 특정 지역에 집중하지 않습니다. 우리는 전체 요인 공간에 대한 지식의 공간을 채우고 있습니다. |
| |
이것이 실험에서 사용한 480개의 실행과 게시된 데이터 세트에서 얻은 나머지 4,128개의 행입니다. 이 테스트 데이터를 사용하여 모델이 보류 데이터 세트인 이 테스트 데이터와 얼마나 잘 비교되는지 확인할 수 있습니다. |
| |
이제 우리는 모든 종류의 DOE 배경과 경험을 통해 |
| |
특정 모델에 대한 실험을 설계할 때 표준 회귀 기술이 가장 유용한 모델을 제공할 것입니다. |
| |
그래서 우리는 여기에서 JMP Pro를 사용했고 일반화된 회귀를 사용하여 전체 3차 모델에 적합했습니다. |
| |
이제 우리는 실제로 여기에서 베타 분포를 사용하는데, 이 분포는 0과 1 사이의 예측을 반박하므로 퍼센트 수율을 0에서 1의 척도로 변환합니다. 이와 같은 수율 데이터를 모델링할 때 JMP Pro가 있을 때 이를 사용할 수 있다는 것은 약간의 속임수일 뿐입니다. |
| |
그리고 검증 방법으로 AICc를 사용하여 전방 선택을 사용하므로 중요한 효과를 선택하게 됩니다. |
| |
그리고 매 라운드마다 이것을 반복합니다. 첫 번째 라운드는 48런, 두 번째 라운드는 96런, 세 번째 라운드는 144런, 그리고 10라운드까지 480런을 모두 기록합니다. |
| |
여기에서 처음 세 라운드를 보기 위해 gen reg에 설정된 필터를 볼 수 있습니다. |
| |
따라서 처음 세 라운드에 대해 이것은 gen reg, 전방 선택, AICc 검증을 사용하여 얻은 모델입니다. |
| |
그리고 그것은 훌륭한 모델이 아닙니다. 제 생각에는 우리가 화학에서 기대하는 바를 이해하는 것만으로도 직관적으로 알 수 있습니다. 모델에 포함된 요인 중 두 가지만 보고 있으므로 두 가지 주요 효과만 중요하다고 선택했습니다. |
| |
따라서 해당 모델을 데이터 테이블에 저장한 다음 해당 모델이 보류 데이터, 테스트 세트, |
| |
실험에 포함되지 않은 나머지 4,128개의 행. 그리고 매 라운드마다 그렇게 할 수 있습니다. 그리고 우리는 각 라운드에 대해 그렇게 했으므로 gen reg를 사용하여 구축한 10개의 모델이 있습니다. |
| |
이제 대안으로 기계 학습 방법을 살펴볼 가치가 있다고 생각했습니다. 그리고 여기에서 처음 세 라운드를 다시 살펴보겠습니다. |
| |
다양한 모델링 기술을 살펴보는 정말 빠른 방법으로 JMP 16 Pro에서 모델 스크리닝을 사용합니다. |
| |
우리는 Y와 X의 수율과 요소를 채웁니다. 유효성 검사를 위해 무작위로 데이터의 25%를 보류하도록 설정된 보류 유효성 검사 열이 있습니다. |
| |
확인을 클릭하면 이 모든 다양한 모델링 기술을 통해 실행되므로 보고서가 표시됩니다. |
| |
몇 가지 gen reg 모델, 신경망 및 다른 트리 방법을 포함하여 이 모든 다른 모델링 기술이 얼마나 잘 작동하는지. |
| |
그리고 우리는 거기에서 가장 좋은 두 가지를 선택했습니다. 그리고 실제로 실험의 모든 라운드에서 우리는 신경...강화 신경망 모델과 부트스트랩 포레스트가 가장 성능이 좋은 모델이라는 것을 발견했습니다. |
| |
따라서 다시 예측 공식을 다시 저장하고 실험에 포함되지 않은 테스트 데이터 세트의 공식을 사용하여 이를 비교하고 해당 테스트 데이터 세트에 대해 서로 다른 모델이 얼마나 잘 수행되는지 확인할 수 있습니다. |
| |
여기서는 모델 비교와 JMP Pro를 사용하므로 모든 gen reg 모델, 신경망 모델, 부트스트랩 포레스트 모델을 비교합니다. |
| |
이제 해당 테스트 데이터 세트에 대한 R 제곱의 시각적 개체를 보고 있습니다. 해당 모델이 홀드백 테스트 데이터 세트에 얼마나 잘 맞는지. |
| |
빨간색으로 표시된 순방향 선택을 사용하는 표준 회귀 모델인 gen reg를 볼 수 있습니다. |
| |
첫 번째 라운드에서 그것은 실제로 최고의 모델이지만 실제로 개선되지 않고 갑자기 5시쯤에 매우 나빠지고 다음 라운드에서 다시 정말 좋아집니다. 그래서 매우 불안정하고 결국에는 악화되고 아마도 과적합일 것입니다. |
| |
반면 기계 학습 방법은 다음과 같습니다. |
| |
3라운드 후, 그들은 최고의 성능을 발휘하고 있으며 표준 회귀 기술보다 더 나은 성능을 발휘하고 있으며 계속해서 개선되고 있습니다. 그리고 사실, |
| |
신경망이 녹색에서 더 잘 시작하고 끝으로 갈수록 부트스트랩 숲이 부스트된 신경망 모델보다 성능이 우수함을 알 수 있습니다. |
| |
그래서 여기에서 집으로 가져가는 방법은 상대적으로 간단한 상황이라고 생각할 수 있지만 이러한 종류의 시스템 또는 프로세스에 가장 적합한 모델, 가장 신뢰할 수 있는 모델을 얻으려면 JMP Pro의 기계 학습 방법이 정말로 필요합니다. |
| |
이제 우리는 전체 480회 실행 후 10라운드가 끝날 때 게시된 모든 4,608회 실행에 대한 실제 수율 결과의 플롯과 10라운드가 끝날 때 최고의 모델의 예측을 보고 있습니다. 그래서 오른쪽에 부트스트랩 숲이 있었습니다. |
| |
그리고 그것은 나쁘지 않습니다. 당신이 볼 수 있다는 것을 알고 있습니다. 중요한 행동을 취하는 것입니다. 저수익 지역을 식별하고 최고 수익 지역을 식별합니다. 그래서, |
| |
특히 오른쪽 상단에는 요오드(?) 반응물과 보론산 및 보론산 에스테르를 사용하고 있습니다. |
| |
거기 반응물. |
| |
그래서 우리는 이것을 다른 극단적인 접근법과 비교합니다. 그래서 첫 번째 라운드 48런은 정확히 같았습니다. 우리는 동일한 48개의 실행으로 시작합니다. 그런 다음 모델을 만들고 해당 모델을 사용하여 나머지 모든 실행 중에서 |
| |
나머지 전체 4,560개의 실행 중에서 모델이 가장 높은 수율을 가질 것으로 예측한 다음 최대 10개까지의 모든 후속 라운드에서 계속 그렇게 합니다. |
| |
그리고 이 경우 우리는 더 많은 높은 수율과 조합을 정확하게 예측하지만 10라운드 후에 최종 모델을 얻고 데이터에서 비교했을 때 |
| |
실험에서 사용하지 않은 R 제곱은 끔찍합니다. .33입니다. 따라서 실제로 우리가 얻은 모델은 시스템 전체에 대해 좋은 예측을 하지 않습니다. |
| |
그래서 우리는 하나의 고수익 영역을 잘 이해하고 있으며 조합을 찾고 잘 작동하는 요인의 설정을 찾고 있지만 전체 시스템을 이해하는 데는 도움이 되지 않습니다. 하지 않았다... |
| |
우리는 시스템 전체에 대한 이해의 가변성을 줄이지 않습니다. |
| |
이 시스템과 접근 방식이 어떻게 작동하는지 보여드리기 위해 가능한 모든 조합인 전체 4,608회 실행입니다. |
| |
요소 공간에 고르게 분포되어 있는 것을 볼 수 있습니다. |
| |
우리는 48번의 실행에서 얻은 데이터에 모델을 맞춥니다. |
| |
그리고 이 모델을 사용하여 다른 모든 가능한 조합의 수율을 예측한 다음 그 중에서 가장 높은 수율 예측 48개를 선택합니다. |
| |
그것은 그것들입니다. 보시다시피, 그들은 더 높은 수익률 영역에 집중하고 있습니다. 우리는...우리는 더 이상 전체 요인 공간을 탐색하지 않습니다. |
| |
그리고 1, 2, 3에서 10라운드로 이동하면 추가할 때마다... 왼쪽 상단의 고수익 영역에 있는 실험에 런을 추가하는 것을 볼 수 있습니다. 그래서 우리는 요인 공간의 한 영역에만 집중하고 있습니다. |
| |
여기서 실제와 예측을 비교하면 왼쪽 상단의 해당 지역에서 꽤 잘 작동하고 있음을 알 수 있습니다. |
| |
그러나 다른 곳에서는 우리가 예상할 수 있듯이 상당히 끔찍한 예측을 하고 있습니다. 그다지 놀라운 일은 아닐 것입니다. 우리는 전체 시스템에서 실험하지 않았습니다. 우리는 고수익 지역에 집중했습니다. |
| |
그리고 왼쪽에 있는 우리의 보수적인 접근 방식과 비교하면(그래서 왼쪽에 있는 플롯을 이미 보셨을 것입니다) 모델이 어떻게 |
| |
1~10라운드를 거치면서 개선되었고, 매 라운드마다 모델 선별 플랫폼을 다시 사용하여 최고의 모델을 찾았습니다. |
| |
그리고 실제로 각 단계에서 강화된 신경망이 최고의 모델이라는 것이 밝혀졌습니다. 음, 보수적 접근 방식의 gen reg와 같이 일종의 불안정함을 다시 볼 수 있습니다. |
| |
가끔은 괜찮지만 결코... 보수적인 실험에서 나온 최고의 모델과 결코 경쟁적이지 않습니다. |
| |
그래서 그것들은 두 가지 극단입니다. 그리고 이 문제에 대한 보다 균형 잡힌 또는 하이브리드 접근 방식에 대해 이야기할 Ryan에게 넘어갈 것입니다. |
| 라이언 레키베츠 |
Phil에게 감사드립니다. 그리고 |
| |
실제로 프레젠테이션 중간에 참여를 허용한 Phil, Ben, David에게 감사의 말을 전해야 합니다. 개발자로서 약간의 장난을 치는 것은 실제로 일종의 재미입니다. 저는 JMP의 DOE 플랫폼 개발자입니다. |
| |
필이 여기서 언급한 것처럼 제가 여기서 보고 있는 접근 방식은 하이브리드 접근 방식입니다. |
| |
좋습니다. 여기서 아이디어는 최적화 대 탐색이라는 아이디어를 살펴보는 것입니다. |
| |
따라서 Phil이 말한 탐욕적인 접근 방식을 생각해 보면 이것이 바로 최적화입니다. 나는 엄격하게 최선을 다할 것입니다. 그것이 제가 집중할 전부입니다. 보수적인 접근 방식인 반면에 관심 있는 것은 탐색뿐이었습니다. |
| |
여기서 아이디어는 우리가 중간 어딘가에 도달하여 |
| |
여전히 공간을 조금 탐색하면서 최적화할 수 있습니까? |
| |
그래서 제가 여기서 무엇을 했는지 말하겠습니다... 그래서 저는 실제로 미리 설정된 3개의 웰 플레이트로 시작했습니다. 그래서 크기가 48인 3개 블록을 작업했고 가능한 경우 2FI로 주요 효과를 수행했습니다. |
| |
그 이유는 때로 48회만 실행되는 모델을 실제로 신뢰하지 않기 때문입니다. 나는 약간의 번인을 주자고 말했다. 144 또는 3개의 웰 플레이트를 사용해 봅시다. 그러면 모델을 조금 더 신뢰할 수 있습니다. |
| |
어떤 의미에서 그 탐욕스러운 접근법을 생각하더라도 모델이 나쁘면 끔찍한 지역으로 가게 될 것이기 때문입니다. 그것은 당신에게 많은 도움이되지 않을 것입니다. |
| |
그리고 다시...이전과 마찬가지로 결국 총 10개의 웰 플레이트 또는 총 10개의 블록을 수행할 것입니다. |
| |
이에 대해서는 앞으로의 슬라이드에서 조금 이야기하겠지만 실제로는 전체적으로 XGBoost를 사용하고 있었습니다. 그래서 제가 예측한 방식은 XGBoost를 사용하는 것이었고 |
| |
그렇게 하기 위해. |
| |
그러나 여기서 아이디어는 본질적으로 예측 값이 무엇인지를 취하는 것이었습니다. 그래서 최고 48명을 엄격히 따르는 대신 임계값을 설정하겠다고 말했습니다. |
| |
맞아요 그래서 처음 3개 이후에 저는 50에서 시작했어요. 그래서 저는 50보다 큰 예측값을 알려달라고 했습니다. 계속해서 더 많은 웰 플레이트를 진행함에 따라 매 라운드마다 5씩 증가할 것입니다. |
| |
나는 그것이 꽤 임의적이라는 것을 의미합니다. 그것의 일부는 우리가 총 10라운드만 가지고 있다는 것을 알고 있었고 그것은 또한 그 세트가 얼마나 큰지 예측을 기반으로 볼 수 있었기 때문입니다. |
| |
데이터에 따라 그 세트가 여전히 거대하고 예측이 약 50인 것처럼 보이면 그렇게 수정할 수 있습니다. |
| |
따라서 여기에서 아이디어는 실제로 희망적으로 더 높은 수확량 지역이 되어야 하는 곳을 천천히 탐색하기 시작하는 것입니다. |
| |
그래서 우리가 옳았습니까? 글쎄요, 여기에서 우리는 실제로 80개의 가장 높은 수익 조합 중 27개를 얻었습니다. 95개 이상의 조합은 탐욕적인 접근 방식에서 그리 멀지 않았습니다. |
| |
그리고 R 제곱을 생각한다면, 모든 홀드아웃 데이터와 함께 최종 테스트 R 제곱은 .69이므로 보수적인 접근 방식에서 그리 멀지 않았습니다. 그래서 그냥... |
| |
내 말은, 당신은 아마도... 당신은 지금 이 두 숫자를 보고 조심하고 싶을 수도 있지만, 그것에 기초하여 이 하이브리드는 실제로 두 세계의 최고인 것 같습니다. 내 말은, 당신은 그것으로 거래를 하고 있지만, 하지만 당신은 좋은 것을 얻고 있습니다. |
| |
따라서 이 접근 방식에 대한 몇 가지 통찰력만 있으면 됩니다. 실제로 저는 결국 높은 수익률과 관련된 요소 공간을 더 잘 이해하게 되었다고 말하고 싶습니다. |
| |
제 생각에 탐욕스러운 사람들은 그 지점들이 어디에 있었는지 다시 생각해 볼 수 있다면 그들은 실제로 왼쪽 상단에 집중되어 있어서 그 공간을 더 많이 탐색하지 못했습니다. |
| |
그리고 당신은 상상할 수 있습니다 ... |
| |
거기에 있는 어떤 것이 하룻밤 사이에 가격이 갑자기 4배로 뛰면 이제 나머지 지역에 대해 아무것도 알 수 없습니다. |
| |
맞습니다. 이 하이브리드 접근 방식을 통해 우리는 방법과 이유, 일부 조합을 더 많이 얻고 더 나은 대안을 제공합니다. |
| |
다시 말하지만, 고려해야 할 다른 사항이 있는 경우 다른 측정을 기반으로 더 나은 대안이 있기 때문에 약간의 수율을 기꺼이 희생할 수 있습니다. |
| |
그래서, 정말로, 여기에 있는 아이디어는...네, 그래서 이것이 커스텀 디자인에서 실제로 어떻게 수행되었는지에 대해 설명하겠습니다. 맞습니다. 그래서 제가 취한 접근 방식은 |
| |
맞춤 디자이너에서 공변량을 사용합니다. 때때로 과소 평가되는 것 같습니다. |
| |
하지만 아이디어는 방금 전체 데이터 세트를 가져와 전체 4,608개를 실행한다는 것입니다. |
| |
그리고 각 라운드에 대해...상상하실 수 있듯이, 처음에 저는 그것들을...저는 144 런 디자인을 취했고, 그런 다음 전체 데이터 세트의 하위 집합을 취하겠다고 말했습니다. 이전 디자인에서 이미 선택한 경우 포함되어 있는지 확인해야 합니다. |
| |
그런 다음 특정 값 이상의 예상 수율을 알려주세요. 50, 55, 60 등에서 시작된 네 번째 디자인에 대해 다시 한 번 말씀드리겠습니다. |
| |
그래서 데이터 테이블에서 |
| |
이제 제가 하는 일은 이전 실험에서 사용된 디자인 포인트를 선택하는 것입니다. 그래서 나는 그것들이 강조 표시되어 있는지 확인합니다. 그런 다음 맞춤 디자인에서 요소 추가로 이동하면 공변량이라는 옵션이 있습니다. 그리고 또 생각나는건... |
| |
많은 사람들이 이전에 공변량을 실제로 본 적이 없으며 여기에서 언급한 바 있습니다. |
| |
그러나 실제로 몇 개의 블로그 항목이 있을 것입니다(이 비디오를 볼 때까지 작동하지 않으면 아마 이 비디오를 볼 때까지 며칠 내에) |
| |
공변량을 실제로 사용하는 방법에 대해 조금 더 이야기하겠습니다. 하지만 아이디어는 이전에 후보 세트라는 것을 들어봤을 수도 있으므로 아이디어는... |
| |
이전에 선택한 것과 그와 유사한 모든 것의 하위 집합인 이 데이터 세트는 사용자 지정 디자이너에게 이러한 디자인 포인트만 선택할 수 있음을 알려줍니다. |
| |
당신은 표준적인 방법을 할 수 없습니다. 우리는 좌표와 그와 같은 모든 것을 전환하려고 계속 노력할 것입니다. JMP 사용자 지정 디자이너에게 이러한 실행을 설계에 사용해야 하며 특히 |
| |
공변량을 사용하는 옵션 중 하나는 이전에 선택한 디자인 포인트를 강제로 적용할 수 있다는 것입니다. 따라서 이러한 방식은 실제로 디자인 증대를 수행하는 것과 같습니다. |
| |
공변량을 사용한 후 후보를 사용합니다. |
| |
그리고 물론, 이 경우...이 경우에는 이전에 실험한 설계 포인트를 실제로 버릴 수 없기 때문입니다. 실제로 우리가 원하는 것은 다음 48개를 선택하는 것입니다. |
| |
그리고 여기서도 언급해야 하겠지만, 맞춤형 디자인을 생각한다면... |
| |
그래서 이것들 각각에서, 제가 하고 있던 것은... 그래서 2개의 요소 상호작용 그리고 가능하다면 3개의 요소 상호작용이었습니다. |
| |
하지만... 디자인 공간을 탐색하는 메커니즘에 더 가깝습니다. 맞습니다. 피팅하고 있던 모델 |
| |
사실 이후에 XGBoost를 사용하고 있었으므로 디자인이 XGBoost 모델이나 그와 비슷한 것에 최적화되지 않았다는 의미입니다. |
| |
이것은 예측된 수율이 좋아 보이는 설계 공간을 탐색하는 대리자에 가깝습니다. 특히 범주적 요인을 다루었기 때문에 좋은 균형을 얻으려고 노력할 것입니다. 한 가지 더 언급할 사항은, |
| |
원하신다면...다시 말하지만 기본 모델, XGBoost 또는 이와 유사한 것을 사용하지 않기 때문에 응답을 사용할 수 있습니다. 그래서 이 경우 그들은 또 다른 공변량으로 수익률을 예측했고, 그것이 할 일은 고수익률과 저수익률 모두에서 더 나은 균형을 얻으려고 노력하는 것입니다. |
| |
디자인을 만들려고 할 때 응답합니다. |
| |
그래서 우리는 여기서 그것을 탐구하지 않았지만 그것이 미래에 유효한 일이라고 생각합니다. |
| |
따라서 예상 수익률에. 그래서 제가 언급했듯이... Phil이 시도했던 다른 기계 학습 기술에 대해 이야기했을 때 생각합니다. |
| |
내 ???의 경우 실제로 주로 XGBoost에 집중했습니다. |
| |
왼쪽을 보면 제가 그렇게 한 이유 중 하나는 |
| |
K 접기 교차 검증을 사용하지만 디자인 번호를 사용하는 경우 기본적으로 각각의 추가 접기로 웰 플레이트가 됩니다. 따라서 다른 K 접기를 무작위로 선택하는 대신 |
| |
그것은 말할 것입니다, 나는 우물 판을 볼 것이고 나는 각각을 위해 그것을 유지하려고 노력할 것입니다. 상상해 보세요. 첫 번째로 웰 플레이트가 3개뿐이었을 때 |
| |
각각의 웰 플레이트를 잡고 유지한 다음 나머지 2개를 기반으로 얼마나 잘 예측할 수 있는지 확인했습니다. 그래서 제가 10번째... 10번째 웰 플레이트에 도달할 즈음에는 실제로 10배 정도가 될 것입니다. |
| |
그래서 제 추론의 일부는 그 모델을 여러분이 보지 못한 다음 웰 플레이트에 견고하게 만들려고 노력하는 것에 대해 생각하는 것이었습니다. |
| |
그리고 실제로 이것은 특정 웰 플레이트에 문제가 발생한 경우 실제로 보호할 수도 있습니다. |
| |
그런 다음 그것으로부터 약간의 보호를 받을 수도 있습니다. |
| |
XGBoost로 수행한 또 다른 작업은 추가 기능을 통해 XGBoost 플랫폼을 시작할 때 우리가 튜닝 설계라고 부르는 작은 확인란이 맨 위에 있는 것을 볼 수 있다는 것입니다. |
| |
그래서 그 튜닝 디자인으로 |
| |
그것은 실제로 표지 뒤에 공간을 채우는 디자인을 맞추고 다른 하이퍼 매개 변수에 대해 모든 것을 실행합니다. |
| |
그래서 제가 이 일을 할 때마다 무엇을 했는지, |
| |
저는 50회 실행을 위한 튜닝 설계를 선택하겠지만 하이퍼 매개변수 공간을 살펴보는 정도입니다. 그래서 매 라운드마다 내가 선택할 모델 |
| |
가장 좋은 검증 R 제곱을 가진 것입니다. 다시 한 번, 이 경우의 유효성 검사 R 제곱은 실제로 제가 가지고 있는 디자인 포인트만 사용하고 있습니다. 그래서 이것은 K 폴드를... |
| |
다른 웰 플레이트와 함께. 따라서 이 경우 검증 R 제곱은...아직 본 적이 없는 데이터를 사용하지 않습니다. 다시 말하지만 실제로는 아직 해당 데이터가 없기 때문입니다. |
| |
그러나 이것은 내가 웰 플레이트를 사용했던 검증 기술을 사용하여 말한 것입니다. 다시 말하지만, 이것이 제가 대부분의 작업에 XGBoost를 사용하는 이유입니다. |
| |
K 접기 기술을 사용하고 XGBoost와 관련하여 공간 채우기를 사용하는 것도 정말 좋아합니다. |
| |
여기를 살펴봅시다. 여기에서 볼 수 있듯이 연속 라운드 동안 선택되는 포인트입니다. 지금, |
| |
탐욕적인 접근 방식에서 무슨 일이 일어났는지 생각해보면 왼쪽 상단에 실제로 초점이 맞춰져 있었습니다. |
| |
맞습니다. 하지만 이제 이 하이브리드 접근 방식을 보면 |
| |
라운드로 이동하기 시작하면 해당 포인트를 조금 더 채우는 것을 볼 수 있지만 특히 왼쪽에서 더 나은 포인트 샘플링을 얻을 수도 있습니다. |
| |
맞습니다. 따라서 관점에서 생각한다면 이제 이러한 고수익 지역에 대한 훨씬 더 나은 대안이 있습니다. |
| |
제 생각에는...실제와 예측을 비교해보면 |
| |
나는 실제로 이것이 일종의 이야기라고 생각합니다. 우리가 더 나은 탐사를 했기 때문입니다. |
| |
아마도 그 높은 수확량 지역에서 |
| |
그다지 높지 않았습니다. 왼쪽 아래를 보면 하이브리드 모델에서 실행 가능한 대안이 될 수 있는 모델 중 일부를 선택하는 훨씬 더 나은 작업을 수행했다고 생각합니다. |
| |
이 방법의 좋은 점 중 하나는 수율 이상의 것에 집중할 수 있다는 것입니다. |
| |
맞아요 그래서 생각해보면... |
| |
2차적인 대응을 할 수 있습니다. 어떤 종류의 독성이든 비용이든 상관없습니다. |
| |
이러한 예측 값을 볼 때 수율 이상의 것에 집중할 수 있습니다. 따라서 탐욕적인 접근 방식과 같은 것을 생각하면 |
| |
고려하려는 2차...2차 기준을 추가하기 시작하면 균형을 맞추기가 훨씬 더 어렵습니다. 반면에 이 하위 집합 접근 방식을 사용하면 두 번째 응답을 추가하는 것이 전혀 어렵지 않습니다. |
| |
결론을 내리기 위해 지금 Ben에게 넘겨야 할 것 같습니다. |
| 벤 프랜시스 |
그래서, |
| |
David, Phil, Ryan에게 우리가 이 문제에 접근하는 이유에 대한 배경 정보를 제공하고 궁극적으로 두세 가지 매우 좋은 솔루션과 방법을 알려준 데 대해 대단히 감사합니다. |
| |
이 문제를 해결하는 방법을 봅니다. 그리고 이러한 모든 접근 방식에서 JMP가 과학자들에게 가치를 제공하고 있음이 분명합니다. 그래서 우리는 실험을 위한 리소스를 10배로 줄일 수 있습니다. 런의 10%만 사용했습니다. 그리고 |
| |
궁극적으로 각 상황에서 우리가 가능하게 한 것은 사양을 충족하고 실험에서 높은 수율 솔루션을 제공하는 능력이었습니다. |
| |
그러나 그 외에도 이 접근 방식을 사용하는 회사의 목표와 전략에 따라 서로 다른 수준의 심층 프로세스 이해를 가질 수 있는 방법도 보여주었습니다. |
| |
이제 JMP의 우리 세 명이 CatSci가 이 문제에 접근하는 방법에 매우 관심이 있다는 것을 눈치채셨을 것입니다. 우리는 반드시 복용하지 않았습니다 |
| |
CatSci에서 벗어나 스스로 문제를 해결합니다. 우리는 DOE 측면에서 이 문제를 해결하기 위한 도구를 제공하고 있습니다. 이것은 고객인 David 간의 환상적인 협력이었습니다. |
| |
저와 Phil은 기술 영업 부문에, Ryan은 제품 개발 부문에 있습니다. 여기에서 우리 모두 다른 관점에서 이를 바라보고 있다는 것이 핵심입니다. |
| |
이전에 말했듯이 달성해야 할 목표에 따라 다양한 방식으로 일종의 심도 있는 프로세스 이해를 볼 수 있는 그런 종류의 솔루션을 가능하게 합니다. |
| |
그 과정에서 몇 가지 사실을 알게 되었는데, 이는 JMP에서 정말 흥미로웠고 제품 개선으로 이어져 여러분에게 다시 전달될 것입니다. |
| |
고객으로. 우리는 머신 러닝 접근 방식이 이 대규모 DOE 상황에 적용 가능하며 아시다시피 JMP를 사용하면 간단하게 적용할 수 있다는 것을 배웠습니다. 또한 유효성 검사 접근 방식에 대한 주의 사항도 배웠고 더 자세히 살펴볼 수 있습니다. |
| |
그래서 궁극적으로 우리는 여기에서 큰 DOE 과제와 관련하여 상당한 양의 작업을 제시했으며 CatSci와 유사하게 이런 종류의 문제를 해결하는 많은 회사가 있다고 확신합니다. |
| |
그래서 우리 모두는 우리가 수행한 이 작업을 더 자세히 살펴보도록 여러분을 초대합니다. 여기에 리소스와 비디오를 게시할 커뮤니티 측면에서 두 개의 링크가 있습니다. |
| |
뿐만 아니라 JMP 공개 게시물을 통해 여기에서 활용한 데이터를 직접 활용할 수 있습니다. 따라서 이 프레젠테이션에 참석한 모든 분들이 시청해 주셔서 감사하다는 말씀을 전하고 싶습니다. |
