스피커
|
성적 증명서
|
| David.Wong-Pascua |
좋아요. |
| |
순차 및 안정이 레이스에서 승리합니다. 여러분 안녕하세요 저는 David이고 CatSci의 선임 과학자입니다. 그렇다면 CatSci는 무엇입니까? |
| |
CatSci는 종단 간 화학 공정, 연구 및 개발을위한 혁신 파트너입니다. 우리는 JMP UK와 같은 조직과 협력하여 모든 의사 결정이 데이터에 의해 이루어 지도록합니다. |
| |
우리에게 그것은 매번 처음부터 올바르게하는 것입니다. 모든 프로젝트를위한 맞춤형 완벽한 솔루션을 공식화합니다. 우리의 절대적인 초점은 고객의 기대에 부응하는 것입니다. |
| |
우리는 초기 및 후기 단계 개발을 포함하여 여러 분야에서 일합니다. 우리는 항상 우리 아이덴티티의 핵심 특징이었던 프로세스 전문 지식과 오랜 촉매 경험의 역사를 보유하고 있으며 분석 화학 및 재료 과학 분야에서 탁월한 역량을 보유하고 있습니다. |
| |
따라서 CatSci에서 직면 한 과제 중 하나는 공정 최적화 업스트림의 범주 형 변수를 선택하는 것입니다. |
| |
이 어려움은 촉매 스크리닝 작업에서 가장 두드러집니다. |
| |
슬라이드의 이미지에서 우리는 촉매 스크리닝을 수행하는 데 사용하는 장치와 도구 중 일부를 볼 수 있습니다. |
| |
왼쪽에는 금속 전구체와 리간드의 사전 투여 된 24 가지 조합을 포함하는 사전 제작 된 촉매 키트가 있습니다. |
| |
중앙에있는 수 소화기는 오른쪽에서 볼 수있는 48 개의 웰 플레이트를 수용합니다. |
| |
이를 통해 48 개의 개별 실험을 동시에 수행 할 수 있습니다. |
| |
이러한 기기는 높은 처리량과 소규모를 위해 설계되었으며, 고객을 위해 이러한 플레이트 중 10 개 이상을 실행하는 것이 드물지 않으며 총 500 회에 이르는 실험에 이릅니다. |
| |
그렇다면 상대적으로 많은 수의 실험을 실행해야하는 이유와 효율성 향상의 이점은 무엇입니까? |
| |
그래서 우선 탐구해야 할 화학 공간이 매우 큽니다. |
| |
모든 반응, 화학 반응에 대해 온도, 농도 및 화학 양론과 같은 영향을 미칠 수있는 많은 요소가 있습니다. |
| |
그러나 촉매 반응에서 탐사를 특히 어렵게 만드는 것은 중요한 범주 적 요인이 많다는 것입니다. 여기에는 금속 전구체, 리간드, 시약, 용매 및 첨가제가 포함됩니다. |
| |
촉매 반응의 또 다른 특징은 고차 상호 작용이 자주 있다는 것입니다. 즉, 촉매 시스템 (금속 전구체와 리간드의 특정 조합)의 경우, |
| |
성능을 측정하려면 광범위한 솔벤트 및 첨가제 스크린이 필요합니다. |
| |
특정 용매에서 제대로 작동하지 않기 때문에 바로 전에 금속 전구체와 리간드의 특정 조합을 말하는 것을 배제하는 것은 옳지 않습니다. 올바른 용매 나 적절한 첨가제가없는 경우 일 수 있습니다. |
| |
마지막으로보다 효율적인 스크리닝 방법의 이점을 설명하는 가장 쉬운 방법 중 하나는 재료 가격을 보는 것입니다. |
| |
당사의 많은 촉매 프로젝트에는 백금, 팔라듐, 루테늄, 이리듐 및 로듐과 같은 귀금속이 포함됩니다. 이 금속 중 일부는 지각에서 가장 희귀 한 원소 중 하나이며 가격에 반영됩니다. |
| |
Google에서 가격을 빠르게 검색하면 로듐 가격이 금보다 훨씬 비싸다는 것을 알 수 있습니다. |
| |
촉매 스크리닝의 또 다른 큰 비용은 리간드입니다. 저렴한 리간드가 존재하지만, 비대칭 합성을위한 최고 성능의 리간드는 Solvias의 Josiphos와 같은 독점 리간드입니다. |
| |
가장 일반적으로 사용 가능하고 가장 저렴한 J001 중 하나는 여전히 금 가격의 두 배입니다. |
| |
따라서 실험 횟수를 줄이면 소모품 비용을 줄일 수 있지만 다톤 제조 공정을 사용하는 고객을위한 최적의 솔루션을 찾을 때 가장 큰 영향을 미칩니다. |
| |
이러한 경우에 촉매 로딩이 10 배 감소하거나 더 저렴한 대체 촉매가 발견되면, 예를 들어 로듐 촉매를 루테늄 촉매로 교환하면 연간 수백만 달러를 절약 할 수 있습니다. |
| |
이제 JMP UK 팀이이 문제를 어떻게 해결했는지 논의 할 Ben에게 넘겨 보겠습니다. |
| 벤 프랜시스 |
정말 감사합니다, 데이비드. |
| |
그래서 분명 |
| |
CatSci 및 CatSci와 유사한 다른 많은 회사는 큰 제형 공간으로 인해 큰 문제에 직면하고 있습니다. |
| |
매우 높은 수준의 상호 작용을 할 수 있습니다. 그래서 과학은 매우 매우 복잡하며 우리가 그 복잡성을 밝히기 위해 실험하는 것은 중요합니다. |
| |
안타깝게도 모든 단일 조합을 테스트하는 옵션은 David가 설명한 비용으로 인해 실제로 합리적이거나 실행 가능한 옵션이 아닙니다. |
| |
그리고 궁극적으로 관계를 수치 적으로 이해하기 위해 데이터 과학을 포함하는 접근 방식을 취해야합니다. |
| |
따라서 선택한 공식을 제조에 적용하고 ... 다중 제조 시나리오를 진행하려면 David가 말했듯이 매번 작동하는지 알아야합니다. |
| |
그래서 우리는 문헌을 검색했습니다. JMP에서 우리는 DOE의 적용에 매우 관심이 있고 이것이 DOE의 특별한 상황이라고 느꼈기 때문입니다. |
| |
그리고 우리가 그것을 적절하게 명명했듯이, 그것은 큰 DOE입니다. 그래서 우리는 큰 DOE 접근 방식을 적용하기위한 사례 연구를 검색했고 Perera 등의 논문을 찾았습니다. |
| |
2018 년에 발표했으며이 반응 선별을위한 플랫폼을 살펴 보았습니다. 이 시나리오에서 흥미로운 점은 5 가지 범주 적 요인이 있다는 것입니다. |
| |
그리고 이것은 너무 많이 들리지 않을 수도 있습니다. 그들은 Reactant 1과 2, 리간드, 시약 및 용매를 조사해야했지만이 논문에 제시된 내용의 복잡성은 각 요인의 수준이었습니다. |
| |
4, 3, 12, 8 및 4 개의 레벨이 각각 합쳐져 4,608 개의 서로 다른 조합이됩니다. |
| |
이제 Perera 등의 논문에서 그들은 David가 이전에 설명한 것처럼 모든 조합을 테스트하고 전 세계의 모든 회사에서 실행 가능한 솔루션이 아닌 모든 단일 항목을 테스트했습니다. |
| |
여기 히트 맵에서 그들이 수율이 높은 지역이 있다는 아이디어를 얻을 수있었습니다. |
| |
일부는 덜 높은 수율, 일부는 매우 낮습니다. 그래서 궁극적으로 프로세스 이해가 많지 않은 것으로 끝나는 많은 테스트가있었습니다. |
| |
그리고 매우 높은 실험 비용. |
| |
그래서 이것은 궁극적으로 그들이 조합을 찾은 상황에서 끝났습니다. 그들은 조합에 도달했습니다. 그런 다음 그들은 종이에서 처리하고보기, 이것은 이것이 일반적인 것입니다. |
| |
처음에는 옳았지만 그 시점부터 다톤 제조 시나리오에 적용하면 매번 옳았습니까? 필요한 사양을 계속 제공합니까? |
| |
대규모 DOE 솔루션이 리소스 요구 사항을 줄입니까? |
| |
처음부터 제대로 된 것인지, 매번 제대로 된 것인지? 그리고 우리가 이러한 질문을 측정 할 수있는 방법과 우리가 수행 한 방법은 |
| |
먼저 리소스 요구 사항을 줄이는 측면에서 총 480 번의 실행으로 만 실험을 설계 할 수있었습니다. 그리고 이것은 10 48 개의 워크 플레이트를 모방 한 것이고 이것은 논문에서 수행 된 실행의 약 10 %입니다. |
| |
논문에서 확인 된 고 수율 조합 80 개 중 몇 개가 테스트 또는 예측되었는지를 조사하여 처음에 올바르게 작동합니까? |
| |
생성 된 모델에 의해. 그리고 궁극적으로 10 %의 실행으로 우리는 DOE에서 최소한 8 개의 고수익 조합을 얻을 것으로 예상했습니다. |
| |
(여기서 높은 수율은 95 % 이상의 값으로 표시됩니다). |
| |
마지막으로, 결정적으로 모델의 일반적인 진단 인 R 제곱을보고 측정 할 때마다 올바르게 작동합니까? 그리고 궁극적으로 이것을보고 프로세스 통찰력이 있는지 확인할 수 있습니까? 관계가 타당합니까? 조합과 상호 작용이 합리적입니까? |
| |
그래서 우리가 여기서 코스에 대한 평가를 제공하기 위해 한 것은 4,608의 전체 데이터 세트를 사용하는 것입니다. 우리는 이것의 R 제곱이 .89라는 것을 발견했습니다. 그리고 이것은 부스트 트리 방법을 사용한 것입니다. |
| |
이제 저는 우리가 취한 첫 번째 대규모 DOE 접근 방식을 설명 할 Phil에게 넘겨 줄 것입니다. |
| 필 케이 |
고마워, 벤; 고마워요, 데이비드. 그래서 세 가지 접근 방식을 살펴 보았습니다. |
| |
이 문제를 해결하여 해당 백서에서 실제로 테스트 된 실행 횟수를 줄이면서도 설명한대로 Ben과 동일한 유용한 정보를 얻을 수 있는지 확인했습니다. |
| |
그래서 저는이 세 가지 접근 방식 중 두 가지를 살펴볼 것입니다.이 두 가지는 극단적 인 접근 방식입니다. 보수적 인 접근 방식과 탐욕스러운 접근 방식이 있으며 Ryan은 우리가 궁극적으로 가장 잘 작동 할 것이라고 생각했던보다 하이브리드 균형 잡힌 접근 방식을 이야기 할 것입니다. |
| |
따라서 보수적 인 접근 방식에 따르면 이것은 표준 DOE 접근 방식입니다. 우리는 10 개의 블록으로 구성된 480 실행 맞춤형 디자인을 설계합니다. 이것은 David가 우리에게 보여준 촉매 스크리닝 장비에서 10 개의 플레이트를 나타냅니다. |
| |
헤드 라인 결과는 480 회 실행 된 실험에서 가장 높은 수익을내는 조합 중 13 개가 수익이 높은 조합이 될 것이라고 정확하게 예측할 수있었습니다. |
| |
그리고 우리는 480 개의 실행 데이터 세트에서 모델을 만들 수있었습니다. 그 실험에서 사용되지 않은 데이터에 대해 테스트했을 때 |
| |
R 제곱은 약 .73이었고 실제로 꽤 좋습니다. 우리는 발표 된 큰 실험에 대한 소규모 실험에서 시스템 전체에 대한 상당히 좋은 모델을 얻었습니다. |
| |
이 데이터에서 유용한 모델을 얻기 위해 머신 러닝을 사용해야한다는 점에서 정말 흥미로운 통찰을 얻었습니다. 좀 더 자세히 설명하겠습니다. |
| |
그리고 우리는이 보수적 인 접근 방식을 사용하여 수집 한이 데이터에서 좋은 이해를 얻었습니다. 전체 요소 공간, 특정 조합이 잘 작동하는 이유를 잘 이해하게되었습니다. |
| |
대체 지역을 식별 할 수 있었기 때문에 고수익 조합을 찾으면 너무 비싸서 실용적이지 않습니다. |
| |
촉매는 너무 비싸거나 위험하거나 독성이 있고 산업 공정에 적합하지 않을 수 있습니다. 그러면 전체 공간을 이해했기 때문에 많은 대안이 있습니다. |
| |
그래서 어떻게 했습니까? |
| |
JMP에서 맞춤형 디자인. 우리 |
| |
480 개의 런을 설계했고,이 경우에는 10 개의 블록에서 최적의 설계를했습니다. 다시 말하지만 David가 장비를 보여준 10 개의 48 웰 플레이트를 나타내는 10 개의 블록입니다. |
| |
여기서 주목할 점은 주 효과를위한 커스텀 디자인 모델을 지정하는 것입니다. |
| |
2 차 상호 작용 및 3 차 상호 작용에 대해 그리고 3 차 상호 작용과 이러한 범주 적 요인의 모든 수준으로 |
| |
추정해야 할 매개 변수가 엄청나게 많기 때문에 모든 것을 명시 적으로 추정하는 실험을 실제로 설계 할 수는 없습니다. 가능하면 3 차 상호 작용을 넣어야하므로 이것은 480 회 실행에서 베이지안 I 최적 설계입니다. |
| |
이 영상에서 볼 수 있습니다. 우리는 단지 다른 10 개의 다른 플레이트의 여러 라운드의 실험을 살펴보고 있습니다. |
| |
그리고 실험에서 다음 판을 추가하여 전체 요소 공간에 대한 탐색을 추가하는 방법을 알 수 있습니다. |
| |
우리는 특정 지역에 초점을 맞추지 않습니다. 우리는 전체 요소 공간에 대한 지식의 공간을 채우고 있습니다. |
| |
실험에서 사용한 480 개의 런과 게시 된 데이터 세트에서 가져온 나머지 4,128 개의 행입니다. 이 테스트 데이터를 사용하여 모델이 보류 된 데이터 세트 인이 테스트 데이터와 얼마나 잘 비교되는지 확인할 수 있습니다. |
| |
이제 우리는 모든 DOE 배경과 경험을 통해 |
| |
특정 모델에 대한 실험을 설계 할 때 표준 회귀 기술이 가장 유용한 모델을 제공 할 것입니다. |
| |
그래서 우리는 여기에서 JMP Pro를 사용했고 일반화 된 회귀를 사용하여 완전한 3 차 모델을 맞 춥니 다. |
| |
이제 우리는 실제로 0과 1 사이에서 예측을 바운스하는 베타 분포를 사용합니다. 따라서 수익률을 0에서 1의 척도로 변환합니다. 이와 같은 수율 데이터를 모델링 할 때 JMP Pro가있을 때 사용할 수 있다는 것은 약간의 트릭입니다. |
| |
그리고 우리는 검증 방법으로 AICc와 함께 순방향 선택을 사용하므로 중요한 효과를 선택합니다. |
| |
그리고 우리는 매 라운드마다 이것을 반복합니다. 첫 번째 라운드에서 48 번, 두 번째 라운드에서 96 번, 세 번째 라운드에서 144 번, 10 라운드까지 480 번의 런을 완료했습니다. |
| |
여기에서 처음 세 라운드를보기 위해 gen reg에 설정된 필터를 볼 수 있습니다. |
| |
따라서 처음 세 라운드에서 이것은 gen reg, forward selection, AICc 유효성 검사를 사용하여 얻은 모델입니다. |
| |
그리고 그것은 우리가 화학에서 기대할 수있는 것에 대한 이해에서 직관적으로 볼 때 훌륭한 모델이 아니라고 생각합니다. 우리는 모델에 관련된 두 가지 요인 만보고 있으므로 중요한 것으로 두 개의 주 효과 만 선택했습니다. |
| |
따라서 해당 모델을 데이터 테이블에 저장하면 해당 모델이 보류 된 데이터, 테스트 세트를 얼마나 잘 예측하는지 볼 수 있습니다. |
| |
실험에 포함되지 않은 나머지 4,128 개의 행. 그리고 우리는 매 라운드마다 그렇게 할 수 있습니다. 그리고 우리는 각 라운드에 대해 그렇게 했으므로 gen reg를 사용하여 만든 10 개의 모델이 있습니다. |
| |
이제 대안으로 기계 학습 방법을 살펴볼 가치가 있다고 생각했습니다. 그리고 여기서 우리는 처음 세 라운드를 다시보고 있습니다. |
| |
다양한 모델링 기술을 빠르게 살펴볼 수있는 방법으로 JMP 16 Pro에서 모델 스크리닝을 사용합니다. |
| |
우리는 Y와 X의 수율과 인자를 채 웁니다. 검증을 위해 데이터의 25 %를 무작위로 보류하도록 설정된 보류 검증 열이 있습니다. |
| |
확인을 클릭하면이 모든 다양한 모델링 기술을 통해 실행되므로 이제 보고서를 받게됩니다. |
| |
이 모든 것들이 ... 일부 gen reg 모델, 신경망 및 다른 트리 방법을 포함한 모든 다른 모델링 기술. |
| |
그리고 우리는 거기에서 가장 좋은 두 가지를 선택했습니다. 그리고 실제로 실험의 모든 라운드에서 우리는 신경 ... 부스트 된 신경망 모델과 부트 스트랩 포레스트가 가장 성능이 좋은 모델이라는 것을 발견했습니다. |
| |
따라서 다시 예측 공식을 다시 저장하고 실험에 포함되지 않은 테스트 데이터 세트의 공식을 사용하여 비교하고 다른 모델이 해당 테스트 데이터 세트에 대해 얼마나 잘하고 있는지 확인할 수 있습니다. |
| |
그리고 여기서는 모델 비교와 JMP Pro를 사용하므로 모든 gen reg 모델, 신경망 모델 및 부트 스트랩 포리스트 모델을 비교합니다. |
| |
이제 해당 테스트 데이터 세트에 대한 R 제곱의 비주얼을보고 있습니다. 이러한 모델이 보류 된 테스트 데이터 세트에 얼마나 잘 맞는지. |
| |
여기 빨간색으로 표시된 순방향 선택을 사용하는 표준 회귀 모델 인 gen reg를 볼 수 있습니다. |
| |
첫 번째 라운드에서, 그것은 실제로 최고의 모델이지만, 실제로 개선되지는 않았습니다. 그리고 갑자기 다음 라운드에서 다시 좋은 상태가되기 전에 5 시경에 매우 나빠졌습니다. 매우 불안정하고 끝이 갈수록 악화되고 아마도 과적 합할 것입니다. |
| |
반면에 기계 학습 방법은 다음과 같습니다. |
| |
3 라운드 후, 그들은 우리의 표준 회귀 기술보다 더 나은 성과를 내고 있으며, 모든면에서 개선되고 있습니다. 그리고 사실 |
| |
신경이 녹색에서 더 잘 시작하고 끝으로 갈수록 부트 스트랩 포리스트가 부스트 된 신경망 모델보다 성능이 우수하다는 것을 알 수 있습니다. |
| |
따라서 여기서 집으로 가져가는 방법은 이것으로도 가능합니다. 비교적 간단한 상황이라고 생각할 수 있습니다. 이러한 종류의 시스템이나 프로세스에 가장 적합한 모델 인 최상의 모델을 얻으려면 JMP Pro의 기계 학습 방법이 정말 필요합니다. |
| |
이제 우리는 게시 된 모든 4,608 개의 실행에 대한 실제 수익률 결과와 전체 480 개 실행 후 10 라운드가 끝날 때의 최상의 모델 예측을 비교하고 있습니다. 그래서 그것은 오른쪽에 부트 스트랩 숲이었습니다. |
| |
그리고 그것은 나쁘지 않습니다. 당신은 알다시피 그것이 선택하는 중요한 행동을 알 수 있습니다. 저수익 지역을 식별하고 가장 높은 수익 지역을 식별합니다. 그래서, |
| |
특히 오른쪽 상단에는 요오드 (?) 반응물과 붕소 산과 붕소 산 에스테르를 사용하고 있습니다. |
| |
거기 반응물. |
| |
그래서 우리는 이것을 다른 극단적 인 접근과 비교합니다. 그래서 48 번의 첫 라운드는 똑 같았습니다. 우리는 동일한 48 개의 런으로 시작합니다. 그런 다음 모델을 만들고 해당 모델을 사용하여 나머지 모든 실행 중 어떤 것이 |
| |
나머지 4,560 개의 런 중 모델이 가장 높은 수익률을 보일 것으로 예측 한 다음 10 번까지 모든 후속 라운드에서 계속 수행합니다. |
| |
그리고이 경우 우리는 더 많은 고수익과 조합을 정확하게 예측하지만, 10 라운드 후에 최종 모델을 얻고이를 데이터에서 비교하면 |
| |
실험에서 사용하지 않은 R 제곱은 끔찍합니다. .33입니다. 그래서 실제로 우리가 얻는 모델은 시스템 전체에 대해 좋은 예측을하지 못합니다. |
| |
따라서 우리는 하나의 고수익 영역에 대해 잘 이해하고 있으며 조합을 찾고 잘 작동하는 요소의 설정을 찾는 것이지만 실제로 시스템 전체를 이해할 수는 없습니다. 하지 않았다... |
| |
우리는 시스템 전체에 대한 이해의 다양성을 감소시키지 않습니다. |
| |
그 시스템, 그 접근 방식이 어떻게 작동하는지 보여 드리기 위해, 이것은 우리의 전체 4,608 번의 실행이며 가능한 모든 조합입니다. 나는 최적 |
| |
점의 집합이 있고 요인 공간에 균등하게 분포되어 있음을 알 수 있습니다. |
| |
48 번의 실행 데이터에 모델을 맞 춥니 다. |
| |
이 모델을 사용하여 가능한 다른 모든 조합의 수율을 예측 한 다음 48 개의 최고 수율 예측 중에서 선택합니다. |
| |
저것들입니다. 보시다시피, 그들은 더 높은 수율 영역에 초점을 맞추고 있습니다. 우리는 더 이상 전체 요소 공간을 탐구하지 않습니다. |
| |
그리고 우리가 1, 2, 3 라운드에서 10 라운드까지 가면 볼 수 있습니다. 우리가 추가 할 때마다 ... 우리는 상단에있는 높은 수율 영역에있는 실험에 런을 추가하고 있습니다. 왼쪽. 그래서 우리는 요소 공간의 한 영역에만 집중하고 있습니다. |
| |
여기에서 실제와 예측을 비교해 보면 왼쪽 상단의 해당 지역에서 꽤 잘하고 있음을 알 수 있습니다. |
| |
그러나 다른 곳에서는 우리가 예상 할 수 있듯이 상당히 끔찍한 예측을하고 있습니다. 그다지 놀라운 일은 아닐 것입니다. 우리는 전체 시스템에서 실험하지 않았습니다. 우리는 고수익 지역에 집중했습니다. |
| |
그리고 왼쪽에있는 우리의 보수적 인 접근 방식과 비교해 보면 (그러므로 왼쪽에있는 플롯을 이미 보았습니다) 모델이 어떻게 |
| |
라운드 1 ~ 10을 통해 개선되었고, 각 라운드마다 모델 스크리닝 플랫폼을 다시 사용하여 최상의 모델을 찾았습니다. |
| |
실제로 각 단계에서 부스트 된 신경망이 최고의 모델이라는 것이 밝혀졌습니다. 음, 보수적 인 접근 방식의 gen reg처럼 다소 불안정하다는 것을 다시 볼 수 있습니다. |
| |
때로는 괜찮지 만 결코 ... 보수적 인 실험에서 얻은 최고의 모델과 경쟁하지 않습니다. |
| |
이 두 가지 극단은이 문제에 대해보다 균형 잡힌 또는 혼합 된 접근 방식에 대해 이야기 할 Ryan에게 넘어가겠습니다. |
| 라이언 레키 베츠 |
필 감사합니다. 과 |
| |
실제로 프레젠테이션 중간에 필, 벤, 데이비드에게이 작업에 참여할 수있게 해주셔서 감사합니다. 개발자로서 실제로 약간 놀아 보는 것은 일종의 재미입니다. 그래서 저는 JMP의 DOE 플랫폼 개발자입니다. |
| |
필이 여기서 언급했듯이 여기에서 살펴본 접근 방식은 하이브리드 접근 방식입니다. |
| |
자, 여기에서 아이디어는 최적화 대 탐색이라는 아이디어를 살펴볼 것입니다. |
| |
따라서 Phil이 말한 탐욕스러운 접근 방식을 생각한다면 이것이 바로 최적화입니다. 나는 최선을 다할 것입니다. 그게 내가 집중할 전부입니다. 보수적 인 접근 방식 이었지만 관심을 가진 것은 탐험뿐이었습니다. |
| |
그래서 여기에있는 아이디어는 |
| |
공간을 조금 탐색하면서 최적화 할 수 있을까요? |
| |
그래서 제가 여기서 무엇을했는지 말하겠습니다. 그래서 저는 실제로 미리 설정된 세 개의 우물 판으로 시작했습니다. 맞습니다. 그래서 저는 크기가 48 인 3 개의 블록을 만들었고 가능한 경우 2FI로 주 효과를 만들었습니다. |
| |
그 이유는 가끔 48 번의 런으로 모델을 신뢰하지 않았기 때문입니다. 글쎄요, 약간 번 인해 보겠습니다. 144 또는 3 개의 웰 플레이트를 사용해 보겠습니다. 그러면 모델을 조금 더 신뢰할 수있을 것입니다. |
| |
어떤 의미에서는 탐욕스러운 접근 방식을 생각하더라도 모델이 나쁘면 끔찍한 지역으로 갈 것입니다. 그것은 당신에게 많은 도움이되지 않을 것입니다. |
| |
그리고 다시 말하지만, 전과 같이 총 10 개의 웰 플레이트 또는 마지막에 총 10 개의 블록을 수행 할 것입니다. |
| |
이 부분에 대해서는 향후 슬라이드에서 조금 이야기 할 것이지만 실제로는 XGBoost를 전체적으로 사용했습니다. 그래서 제가 예상했던 방식은 XGBoost를 사용하는 것이었고 제가 얻을 수있는 이유가 있습니다. |
| |
그렇게해서. |
| |
하지만 여기서 아이디어는 본질적으로 예측 가치를 취하는 것이 었습니다. 따라서 최고 48 개를 엄격하게 따르는 대신 임계 값을 설정하겠다고 말했습니다. |
| |
맞아요, 처음 세 개 이후에 저는 50 세에 시작했습니다. 그래서 저는 50보다 큰 예측 값을 제공하고 더 많은 웰 플레이트를 계속 진행함에 따라 매 라운드마다 5 개씩 증가시킬 것이라고 말했습니다. |
| |
제 말은 그것은 매우 임의적이었습니다. 그것의 일부는 우리가 단지 10 개의 라운드와 토탈을 가지고 있다는 것을 아는 것이 었습니다. 그리고 그것은 또한 제가 그 세트가 얼마나 큰지 예측을 기반으로 볼 수 있었기 때문입니다. |
| |
맞습니다. 데이터에 따라 그 세트가 여전히 거대하고 예측값이 약 50 인 것처럼 보이면 수정할 수 있습니다. |
| |
그래서 여기서 아이디어는 실제로 더 높은 수익률 영역이 될 것을 천천히 탐색하기 시작하는 것입니다. |
| |
그래서 우리가 옳았습니까? 음, 그래서 여기에서 우리는 80 개의 가장 높은 수익률 조합 중 27 개를 얻었습니다. 95 개 이상의 조합은 탐욕스러운 접근 방식과 그리 멀지 않았습니다. |
| |
그리고 모든 홀드 아웃 데이터와 함께 R 제곱을 생각해 보면, 최종 테스트 R 제곱은 .69 였고, 이것은 실제로 보수적 인 접근 방식과 그리 멀지 않았습니다. 그래서 그냥 ... |
| |
내 말은, 당신은 ... 당신은 조심하고 싶을 수도 있습니다. 지금 당장, 그 두 숫자를 보면,하지만 그것을 바탕으로 볼 때,이 하이브리드는 실제로 두 세계에서 가장 좋은 것 같습니다. 내 말은, 당신은 그것에 대해 거래하고 있지만 좋은 것을 얻고 있습니다. |
| |
이 접근 방식에 대한 몇 가지 통찰력입니다. 정말로, 결국 우리는 높은 수율과 관련된 요인 공간에 대해 더 잘 이해했다고 말하고 싶습니다. |
| |
욕심 많은 사람들이 그 지점들이 어디에 있었는지 생각해볼 수 있다면, 그것들이 왼쪽 상단에 집중되어 있었기 때문에 그 공간을 더 많이 탐험하지는 못했습니다. |
| |
그리고 상상할 수 있습니다. |
| |
밤새 가격이 갑자기 네 배가된다면 나머지 지역에 대해서는 아무것도 알지 못합니다. |
| |
맞습니다.이 하이브리드 접근 방식을 통해 우리는 방법과 이유, 조합 중 일부를 더 많이 얻고 더 나은 대안을 제공합니다. |
| |
다시 말하지만, 고려할 다른 사항이 있다면 다른 측정을 기반으로 더 나은 대안이 있기 때문에 약간의 수확량을 기꺼이 희생 할 수 있습니다. |
| |
그리고 여기에있는 아이디어는 ... 예, 그래서 이것이 실제로 커스텀 디자인에서 어떻게 이루어 졌는지에 대해 설명하겠습니다. 그래서 제가 취한 접근 방식은 |
| |
커스텀 디자이너에서 공변량을 사용하는 것인데, 때때로 과소 평가되었다고 생각합니다. |
| |
하지만 아이디어는 방금 전체 데이터 세트를 가져 와서 전체 4,608 개가 실행된다는 것입니다. |
| |
그리고 각 라운드에 대해 ... 상상할 수 있습니다. 처음에는 제가 이것을 가져 왔습니다. 저는 144 개의 런 디자인을 취한 다음 전체 데이터 세트의 일부를 취하겠다고 말했습니다. 이전 디자인에서 이미 선택했다면 그 내용이 포함되어 있는지 확인해야합니다. |
| |
그리고 그 특정 값 이상의 예상 수율을 알려주세요. 네 번째 디자인의 경우 50, 55, 60 등에서 시작되었습니다. |
| |
따라서 데이터 테이블에서 |
| |
이제 저는 이전 실험에서 사용 된 설계 포인트를 선택합니다. 그래서 그것들이 강조되어 있는지 확인합니다. 그런 다음 사용자 지정 설계에서 요인 추가 아래로 이동하면 공변량이라는 옵션이 있습니다. 그리고 다시, 나는 그것이 ... |
| |
많은 사람들이 이전에 공변량을 본 적이 없습니다. 여기에서 언급했습니다. 아마도 공변량에 대해 이야기하면서 전체 강연을 할 수있을 것 같기 때문입니다. |
| |
하지만 실제로 두어 개의 블로그 항목이있을 것입니다 (이 동영상을 볼 때까지 올라 오지 않았다면 아마이 동영상을보고있을 때까지 며칠 내에). |
| |
여기서 공변량을 실제로 사용하는 방법에 대해 조금 더 이야기하겠습니다. 하지만 아이디어는 이전에 후보 세트라는 것을 들어 본 적이있을 수 있으므로 아이디어는 ... |
| |
여기에 이전에 선택한 데이터 세트와 이와 유사한 모든 것의 하위 집합이 있습니다. 사용자 지정 디자이너에게 이러한 디자인 포인트 만 선택할 수 있음을 알려줍니다. |
| |
표준 방식으로는 할 수 없습니다. 우리는 계속해서 좌표를 바꾸려고 노력할 것입니다. JMP 사용자 지정 디자이너에게 이러한 실행을 디자인에 사용해야하며 특히 |
| |
공변량을 사용하는 옵션 중 하나는 이전에 선택한 디자인 포인트를 강제로 적용 할 수 있다는 것입니다. 따라서이 방식은 실제로 디자인 확대를 수행하는 것과 같습니다. |
| |
공변량을 사용한 후 후보 사용. |
| |
그리고 물론,이 경우 ...이 경우에는 이전에 실험 한 디자인 포인트를 실제로 버릴 수 없기 때문입니다. 정말로, 우리가 원하는 것은 다음 48 개를 선택하는 것입니다. |
| |
그리고 여기서도 언급해야합니다. 맞춤 디자인을 생각한다면 ... |
| |
그래서이 각각에서 제가하고있는 것은 ... 그래서 두 가지 요인 상호 작용과 가능하다면 세 가지 요인 상호 작용이었습니다. |
| |
하지만 ... 그것은 디자인 공간을 탐색하는 메커니즘에 가깝습니다. 내가 피팅 한 모델 |
| |
사실 이후에 XGBoost를 사용하고 있었기 때문에 디자인이 XGBoost 모델 또는 이와 유사한 것에 최적화되지 않았다는 의미입니다. |
| |
이것은 예측 수율이 좋아 보이는 디자인 공간을 탐색하는 대리자에 가깝습니다. 한 가지 더 언급 할 사항은 |
| |
다시 한 번 원하면 기본 모델, XGBoost 또는 이와 유사한 것을 사용하지 않기 때문에 응답을 사용할 수 있습니다. 따라서이 경우에는 수익률을 또 다른 공변량으로 예측했습니다. 그러면 높은 수익률과 낮은 수익률의 균형을 더 잘 잡으려고합니다 |
| |
디자인을 만들려고 할 때 응답합니다. |
| |
그래서 우리는 여기에서 그것을 탐구하지 않았지만 그것은 미래에 타당한 일이 될 것이라고 생각합니다. |
| |
그래서, 예측 된 수확량에. 그래서 제가 언급했듯이 필이 시도한 다른 기계 학습 기술에 대해 이야기 할 때 |
| |
내 ???의 경우 실제로 주로 XGBoost에 집중했습니다. |
| |
왼쪽을 보면 제가 그랬던 이유 중 하나는 |
| |
K 폴드 크로스 유효성 검사를 사용하지만 여기서는 기본적으로 각 추가 폴드와 마찬가지로 웰 플레이트가 될 디자인 번호를 사용합니다. 따라서 다른 K 접기를 무작위로 선택하는 대신 |
| |
웰 플레이트를 살펴보고 각각에 대해 그것을 유지하려고 노력할 것입니다. 그러니 상상해 보시면, 첫 번째 웰 플레이트가 세 개 밖에 없었을 때 |
| |
각 웰 플레이트를 가져 와서 잡고 나머지 두 개를 기반으로 얼마나 잘 예측할 수 있는지 확인했습니다. 그래서 제가 10 번째 ... 10 번째 웰 플레이트에 도달 할 때 쯤이면 실제로는 10 배 정도가 될 것입니다. |
| |
그래서 제 추론의 일부는 당신이 보지 못한 다음 웰 플레이트에 대해 그 모델을 견고하게 만들려고 노력하는 것입니다. |
| |
그리고 실제로는 특정 웰 플레이트에 문제가 발생하면 실제로 보호 할 수 있습니다. |
| |
그런 다음 그로부터 약간의 보호를받을 수도 있습니다. |
| |
그리고 제가 XGBoost로 한 또 다른 작업은 추가 기능을 통해 XGBoost 플랫폼을 시작했을 때 상단에 튜닝 디자인이라고 부르는 확인란이있는 것을 볼 수 있습니다. |
| |
그래서 그 튜닝 디자인으로 |
| |
실제로 커버 뒤에 공간을 채우는 디자인을 맞추고 다른 하이퍼 매개 변수에 대해 모든 것을 실행합니다. |
| |
그래서 제가이 일을 할 때마다 제가 한 일은 |
| |
50 회 실행을위한 튜닝 디자인을 선택 하겠지만 하이퍼 매개 변수 공간을 탐색하는 것뿐입니다. 그래서 제가 선택한 모델은 |
| |
가장 좋은 검증 R 제곱을 가진 사람이었습니다. 다시 말하지만,이 경우 검증 R 제곱은 실제로 제가 가지고있는 디자인 포인트 만 사용하고 있습니다. 그래서 이것은 K 폴드를 ... |
| |
다른 웰 플레이트로. 따라서이 경우 유효성 검사 R 제곱은 ... 아직 보지 않은 데이터를 사용하지 않습니다. 왜냐하면 실제로는 아직 해당 데이터가 없기 때문입니다. |
| |
하지만 이것은 제가 웰 플레이트를 사용하고있는 검증 기술을 사용하는 것입니다. 다시 말하지만, 이것이 제가 XGBoost를 대부분의 작업에 사용했던 이유입니다. |
| |
K 폴드 기술을 사용하고 XGBoost에 관해서도 공간 채우기를 사용하는 것을 정말 좋아합니다. |
| |
이제 여기를 살펴 보겠습니다. 그래서 우리는 여기에서 볼 수 있습니다. 이것은 연속 라운드를 통해 선택되는 포인트입니다. 지금, |
| |
탐욕스러운 접근 방식에서 무슨 일이 벌어지고 있는지 생각해 보면 왼쪽 상단에 집중하고있었습니다. |
| |
맞습니다.하지만 지금이 하이브리드 접근 방식을 보면 |
| |
라운드로 이동하기 시작하면 해당 포인트가 조금 더 채워지는 것을 볼 수 있지만 더 나은 점을 얻습니다. 특히 왼쪽에서 더 나은 포인트 샘플링을 얻을 수 있습니다. |
| |
맞습니다. 관점에서 생각해 보면 이제 높은 수율 영역에 대해 훨씬 더 나은 대안이 있습니다. |
| |
제 생각에는 ... 실제 대 예측을 지금 살펴보면 |
| |
사실 이것은 우리가 더 나은 탐험을했기 때문이라고 생각합니다. |
| |
고수익 지역에서 |
| |
왼쪽 아래를 보면 우리가 실행 가능한 대안이 될 수있는 일부를 선택하는 하이브리드 모델에서 훨씬 더 나은 작업을 수행했다고 생각합니다. |
| |
이 방법의 좋은 점 중 하나는 수율 이상에 집중할 수 있다는 것입니다. |
| |
맞아, 생각해 보면 ... |
| |
저는 2 차 반응을 가질 수 있습니다. 그것이 어떤 종류의 독성이든 비용이 될 수 있습니다. |
| |
예측 된 값을 볼 때 수율보다 더 많은 것에 집중할 수 있습니다. 그래서 탐욕스러운 접근 방식을 생각하면 |
| |
고려하고 싶은 2 차 기준을 추가하기 시작하면 그 균형을 맞추기 시작하기가 훨씬 더 어렵습니다. 이 하위 집합 접근 방식에서는이를 수행하는 데 보조 응답을 추가하는 것이 전혀 어렵지 않습니다. |
| |
결론을 위해 Ben에게 지금 넘겨 줄 것입니다. |
| 벤 프랜시스 |
그래서, |
| |
우리가이 문제에 접근하고있는 이유에 대한 배경을 알려 주신 David, Phil, Ryan에게 대단히 감사합니다. 그리고 궁극적으로 우리에게 두세 가지의 아주 좋은 해결책과 방법을 |
| |
우리가이 문제를 어떻게 해결하는지보십시오. 그리고 이러한 모든 접근 방식에서 JMP가 과학자들에게 가치를 제공하고 있음은 분명합니다. 그래서 우리는 실험에 필요한 자원을 10 배나 줄였습니다. 우리는 실행의 10 % 만 사용했습니다. 과 |
| |
궁극적으로 각 상황에서 우리가 가능하게 한 것은 사양을 충족하고 실험에서 높은 수율 솔루션을 제공하는 능력이었습니다. |
| |
그러나 그 외에도이 접근 방식을 사용하는 회사의 목표와 전략에 따라 다양한 수준의 깊은 프로세스 이해를 가질 수있는 방법도 보여주었습니다. |
| |
이제 JMP의 3 명은 CatSci가이 문제에 어떻게 접근하는지에 대해 매우 관심이 있습니다. 우리는 반드시 복용하지 않았습니다 |
| |
CatSci에서 문제를 해결하고 스스로 해결합니다. DOE 측면에서이 문제를 해결하기 위해 도구를 제공하고 있습니다. 이것은 고객으로서 David 간의 환상적인 협력이었습니다. |
| |
저와 필은 기술 영업 측에 있고 Ryan은 제품 개발에 참여하고 있습니다. 여기에서 우리 모두가 다른 관점에서 이것을보고 있다는 것이 핵심입니다. |
| |
이전에 말했듯이 달성해야 할 목표에 따라 다양한 방식으로 심층적 인 프로세스 이해를 살펴볼 수 있습니다. |
| |
우리는 JMP에서 우리에게 정말 흥미로 웠고 제품 개선으로 이어질 몇 가지 사항을 발견했습니다. |
| |
고객으로. 우리는 기계 학습 접근 방식이이 큰 DOE 상황에 적용 할 수 있으며 아시다시피 JMP를 사용하면 쉽게 적용 할 수 있음을 배웠습니다. 또한 유효성 검사 접근 방식에 대해주의를 배웠으며 더 자세히 살펴볼 수 있습니다. |
| |
그래서 궁극적으로 우리는 여기에 큰 DOE 과제와 관련하여 많은 양의 작업을 발표했으며 CatSci와 유사한 많은 회사가 이러한 종류의 문제를 해결하고 있다고 확신합니다. |
| |
그래서 우리 모두는 우리가 한이 작업을 더 탐구하도록 여러분을 초대합니다. 여기에 리소스와 비디오를 게시 할 커뮤니티와 관련하여 두 개의 링크가 있습니다. |
| |
뿐만 아니라 JMP 공개 게시물을 통해 여기에서 사용한 데이터를 직접 접할 수 있습니다. 그래서이 프레젠테이션의 모든 분들께 시청 해 주셔서 감사합니다. |
