Analytics With Confidence에 다시 오신 것을 환영합니다. 이 시리즈에서는 최신 데이터 분석의 성공 비결인 유효성 검사에 대해 알아봅니다. ~ 안에 첫번째 포스트, 일반화 가능성의 필요성에 대해 Ron Kenett 및 Chris Gotwalt와 이야기했습니다. 이 게시물에서는 일반화되지 않은 모델의 문제를 볼 수 있습니다. 이를 위해서는 모델의 "과적합"을 방지하는 JMP의 보호 기능을 해킹해야 합니다.
반응 레시피 - 과학 및 공학 사례 연구
고부가가치 화학 제품을 만들기 위한 제조법의 수천 가지 변형을 조사하는 사례 연구를 통해 이를 현실로 만들어 보겠습니다[1]. 반응에는 5가지 중요한 요소가 필요합니다.
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.내가 손으로 그린 반응 개략도 . 당신이 화학자가 아니더라도 걱정하지 마십시오. 중요한 것은 다양한 가능한 조리법이 있다는 것입니다.
이들 각각에 대해 선택할 수 있는 몇 가지 변형이 있습니다: 4개의 친전자체, 3개의 친핵체, 12개의 리간드, 8개의 염기 및 4개의 용매:
이는 4608개의 가능한 레시피(4 x 3 x 12 x 8 x 4)가 있음을 의미합니다. 가장 높은 수율(최종 제품으로의 가장 완전한 전환)을 제공하는 재료 선택의 조합은 무엇입니까? 왜? "최고의" 재료는 너무 비싸거나 안전 또는 환경상의 이유로 바람직하지 않을 수 있으며, 유사하게 높은 수율을 제공할 수 있는 다른 옵션이 있을 수 있습니다.
이러한 질문에 답하는 데 도움이 되는 데이터가 있습니다. 우리는 150개의 가능한 레시피를 테스트했고 % 수율을 결정했습니다. 다음을 시각화하는 것이 좋습니다.
낮은 수율을 준 레시피는 진한 분홍색으로 표시되고 높은 수율 반응은 녹색으로 표시됩니다. 주변의 공백은 시도되지 않은 모든 레시피를 나타냅니다. 변수가 너무 많아서 확인하기 쉽지 않지만 Trifluoroborate 친핵체는 낮은 수율을 초래하는 것으로 보입니다(오른쪽 세 번째). 다른 친핵체와 친전자체로 6-IQ를 사용하는 레시피(왼쪽 위)가 일반적으로 더 좋습니다.
JMP의 대화형 분포도는 최고 수율 레시피의 공통 사항을 보여줍니다.
그러나 이와 같은 복잡한 시스템에서 입력 또는 "예측 변수"(여기서는 파란색)와 %Yield 결과 또는 "응답"(주황색) 사이의 모든 패턴을 보기는 여전히 어렵습니다.
의사 결정 트리 또는 "파티션" 분석은 빅 데이터 상황에서 가장 널리 사용되는 일부 기계 학습 방법의 기초입니다. 알고리즘은 예측 변수 중 하나를 사용하여 모든 관찰(여기에서 레시피)을 둘로 분할하는 가장 좋은 방법을 검색합니다. "최상의" 분할은 두 분기 간의 평균 응답 차이가 가장 큽니다.
You can launch the Partition platform from Analyze > Predictive Modeling. 분석 > 예측 모델링에서 파티션 플랫폼을 시작할 수 있습니다.
여기에서 우리는 보론산 에스테르 또는 보론산의 경우 평균 수율이 49.3%이고 트리플루오로보레이트의 경우 평균 수율이 23.4%인 친핵체에서 가장 좋은 분할을 발견했습니다. 이것은 친핵체의 선택이 중요하다는 것을 알려주지만 정확한 예측을 제공하지는 않습니다. 보론산 에스테르 또는 보론산을 사용하는 경우 모델은 49.3%의 수율을 예측합니다. 위의 시각적 개체의 실제 값에서 우리는 0에서 거의 100% 범위의 수율을 기대할 수 있음을 알 수 있습니다! 그리고 그것은 수확량에 대한 다른 요소의 영향에 대해 아무것도 알려주지 않습니다.
각각의 새 분기에서 분할 알고리즘을 반복하여 모델을 개선할 수 있습니다. 그만큼 알스퀘어 모델 "적합"이 어떻게 개선되고 있는지 추적하는 유용한 척도입니다. 모델에 있는 요인의 효과로 설명되는 응답의 변동 정도를 알려줍니다. 1에 가까울수록 모델에 의해 더 많은 변동이 설명됩니다.
RSquare는 두 번째 분할로 0.204에서 0.442로 증가합니다. 24회 분할 후 0.825입니다.
이 시점에서 JMP는 최소 분할 크기 제한인 5에 도달했기 때문에 더 이상 분할하지 않습니다. 이것은 어리석은 모델을 만드는 것을 방지하기 위한 JMP의 가드레일 중 하나입니다. 이 예에서는 최소 크기를 1로 설정하고 계속 분할합니다.
You can change the minimum size split from the red triangle menu.빨간색 삼각형 메뉴에서 최소 크기 분할을 변경할 수 있습니다.
97회 분할 후에는 더 이상 분할할 수 없으며 RSquare는 0.985입니다. 즉, 모델이 수율 변동의 98.5%를 포착합니다. Split History를 통해 모델 복잡성이 증가함에 따라 RSquare가 어떻게 증가했는지 확인할 수 있습니다.
예측 프로파일러에서 볼 수 있듯이 이제 모델이 훨씬 더 복잡해졌습니다.
모델을 사용하여 레시피를 최적화하고 레시피 변경이 수율에 미치는 영향을 이해하기 위해 테스트하지 않은 레시피의 수율을 예측할 수 있습니다. 어떤 예측 변수가 가장 중요한지 추론할 수 있고 요인이 서로 어떻게 상호 작용하는지 확인할 수 있습니다.
이 모델은 얼마나 좋은가요?
RSquare와 실제 대 예측 플롯에서 모델이 데이터에 매우 잘 맞는다는 것을 알 수 있습니다. 즉, 모델은 대부분 모델을 교육하는 데 사용된 레시피의 수율을 정확하게 예측합니다.
그러나 일반화합니까? 테스트하지 않은 레시피에 대한 예측을 확신해야 합니까?
이 경우 4,608개의 모든 가능한 레시피가 자동화된 고처리량 스크리닝 실험을 사용하여 실행되었기 때문에 이 질문에 직접 답할 수 있습니다. 우리가 사용한 150가지 레시피는 전체 데이터에서 예시로 무작위로 샘플링한 것입니다. 모델 예측의 히트맵은 실제 수율과 일부 유사하지만 분명한 차이점도 보여줍니다.
파티션 모델의 예측에 대한 모든 4,608개 레시피의 실제 %수율 플롯은 그다지 좋아 보이지 않습니다.
안 돼! 파티션 모델은 실제로 수율이 0에 가까운 여러 레시피에 대해 수율이 100%에 가깝다고 예측했습니다(플롯의 오른쪽 아래). RSquare는 0.5입니다. 분명히 이 "과적합" 모델은 전혀 잘 일반화되지 않습니다.
다음 게시물에서는 JMP Pro의 유효성 검사 및 일부 다른 도구가 분석을 자신 있게 적용할 수 있도록 일반화하는 예측 모델을 구축하는 데 어떻게 도움이 되는지 살펴보겠습니다.
[1] Perera D, Tucker JW, Brahmbhatt S, Helal CJ, Chong A, Farrell W, Richardson P, Sach NW의 데이터. 흐름에서 자동화된 나노몰 규모 반응 스크리닝 및 마이크로몰 규모 합성을 위한 플랫폼입니다. 과학. 2018년 1월 26일;359(6374):429-434. 도이: 10.1126/science.aap9112. PMID: 29371464. 샘플링된 전체 데이터 세트는 JMP 데이터 테이블로 첨부됩니다.
