자신감 있는 분석에 다시 오신 것을 환영합니다. 이 시리즈에서는 최신 데이터 분석을 통한 성공의 열쇠인 검증에 대해 살펴보겠습니다. 첫 번째 게시물 에서 나는 일반화의 필요성에 대해 Ron Kenett 및 Chris Gotwalt와 이야기했습니다. 이 게시물에서는 일반화되지 않는 모델의 문제점을 살펴보겠습니다. 이를 위해서는 모델의 "과적합"을 방지하는 JMP의 보호 기능을 해킹해야 합니다.
반응 레시피 – 과학 및 공학 사례 연구
고부가가치 화학 제품을 만들기 위한 레시피의 수천 가지 변형을 조사한 사례 연구를 통해 이를 현실화해 보겠습니다[1]. 반응에는 다섯 가지 중요한 성분이 필요합니다.
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.제가 손으로 그린 반응 도식입니다. 화학자가 아니더라도 걱정하지 마세요. 중요한 것은 가능한 요리법이 많이 있다는 것입니다.
이들 각각에 대해 선택할 수 있는 여러 변형이 있습니다: 4개의 친전자체, 3개의 친핵체, 12개의 리간드, 8개의 염기 및 4개의 용매:
이는 4608개의 가능한 레시피(4 x 3 x 12 x 8 x 4)가 있음을 의미합니다. 어떤 성분 선택 조합이 가장 높은 수율(최종 제품으로의 가장 완전한 전환)을 제공합니까? 왜? "최고의" 성분은 안전이나 환경적 이유로 너무 비싸거나 바람직하지 않을 수 있으며, 비슷하게 높은 수율을 제공할 수 있는 다른 옵션이 있을 수도 있습니다.
우리는 이러한 질문에 답하는 데 도움이 되는 데이터를 보유하고 있습니다. 우리는 테스트를 거쳐 산출량(%)을 결정한 가능한 레시피 중 150개를 보유하고 있습니다. 이를 시각화하는 것은 좋은 시작입니다.
수율이 낮은 레시피는 진한 분홍색으로 표시되고, 수율이 높은 반응은 녹색으로 표시됩니다. 주변의 공백은 아직 시도되지 않은 모든 레시피를 나타냅니다. 변수가 너무 많아 확인하기는 쉽지 않지만, 삼불화붕산염 친핵체는 수율이 더 낮은 것으로 보입니다(오른쪽 세 번째). 다른 친핵체와 6-IQ를 친전자체(왼쪽 위)로 사용하는 레시피가 일반적으로 더 좋습니다.
JMP의 대화형 분포도는 생산량이 가장 높은 레시피의 공통점을 보여줍니다.
그러나 이와 같은 복잡한 시스템에서는 입력 또는 "예측 변수"(여기서 파란색)와 %수익률 결과 또는 "응답"(주황색) 사이의 모든 패턴을 확인하기가 여전히 어렵습니다.
의사결정 트리 또는 "파티션" 분석은 빅 데이터 상황에 대한 가장 널리 사용되는 기계 학습 방법의 기초입니다. 알고리즘은 예측 변수 중 하나를 사용하여 모든 관찰(여기서는 레시피)을 두 개로 분할하는 가장 좋은 방법을 검색합니다. "최상의" 분할은 두 분기 간의 평균 응답 차이가 가장 큽니다.
You can launch the Partition platform from Analyze > Predictive Modeling.분석 > 예측 모델링에서 파티션 플랫폼을 시작할 수 있습니다.
여기에서 가장 좋은 분할은 친핵체에 있으며 보론산 에스테르 또는 보론산의 평균 수율은 49.3%, 삼불화붕산염의 경우 23.4%입니다. 이는 친핵체의 선택이 중요하다는 것을 알려주지만 정확한 예측을 제공하지는 않습니다. 보론산 에스테르나 보론산을 사용하는 경우 모델은 49.3%의 수율을 예측합니다. 위 시각적 개체의 실제 값에서 우리는 0에서 거의 100%까지의 범위 어디에서나 수율을 기대할 수 있음을 알 수 있습니다! 그리고 이는 다른 요인들이 수확량에 미치는 영향에 대해서는 아무 것도 알려주지 않습니다.
각각의 새로운 분기에서 분할 알고리즘을 반복하여 모델을 개선할 수 있습니다. RSquare는 모델의 '적합성'이 어떻게 향상되는지 추적하는 데 유용한 측정값입니다. 이는 모델의 요인 효과에 의해 응답의 변동 정도가 설명되는 정도를 알려줍니다. 1에 가까울수록 모델이 더 많은 변동을 설명합니다.
두 번째 분할을 통해 RSquare는 0.204에서 0.442로 증가합니다. 24번 분할한 후에는 0.825입니다.
이 시점에서 JMP는 최소 분할 크기 제한인 5에 도달했기 때문에 더 이상 분할하는 것을 중지합니다. 이는 어리석은 모델을 만드는 것을 방지하는 JMP의 가드레일 중 하나입니다. 이 예에서는 최소 크기를 1로 설정하고 계속 분할합니다.
You can change the minimum size split from the red triangle menu.빨간색 삼각형 메뉴에서 최소 크기 분할을 변경할 수 있습니다.
97번 분할 후에는 더 이상 분할할 수 없으며 RSquare는 0.985입니다. 즉, 모델이 수율 변동의 98.5%를 포착합니다. 분할 기록을 통해 모델 복잡성이 증가함에 따라 RSquare가 어떻게 증가했는지 확인할 수 있습니다.
예측 프로파일러에서 볼 수 있듯이 모델은 이제 훨씬 더 복잡해졌습니다.
모델을 사용하여 레시피를 최적화하고 레시피 변경이 생산량에 어떤 영향을 미치는지 이해하기 위해 테스트하지 않은 레시피의 생산량을 예측할 수 있습니다. 어떤 예측 변수가 가장 중요한지 추론할 수 있고 요인이 서로 어떻게 상호 작용하는지 확인할 수 있습니다.
이 모델은 얼마나 좋은가요?
RSquare와 실제 대 예측 플롯을 통해 모델이 데이터에 매우 잘 맞는 것을 확인할 수 있습니다. 즉, 모델은 대부분 모델을 훈련하는 데 사용된 레시피의 수율을 정확하게 예측합니다.
그러나 그것이 일반화되는가? 테스트하지 않은 레시피에 대한 예측에 대해 확신을 가져야 할까요?
이 경우 자동화된 고처리량 스크리닝 실험을 사용하여 4,608개의 가능한 레시피가 모두 실행되었기 때문에 해당 질문에 직접 답할 수 있습니다. 우리가 사용한 150개의 레시피는 예시로서 전체 데이터에서 제가 임의로 샘플링한 것입니다. 모델 예측에 대한 히트맵은 실제 수율과 일부 유사점을 보여주지만 분명한 차이점도 있습니다.
전체 4,608개 레시피의 실제 %수율 대 파티션 모델 예측의 플롯은 그다지 좋아 보이지 않습니다.
안 돼! 분할 모델은 실제로 수율이 0에 가까웠던 여러 레시피에 대해 100%에 가까운 수율을 예측했습니다(플롯의 오른쪽 아래). R스퀘어는 0.5이다. 분명히 이 "과적합" 모델은 전혀 일반화되지 않습니다.
다음 게시물에서는 JMP Pro의 검증 및 기타 도구 중 일부가 일반화되는 예측 모델을 구축하여 확신을 가지고 분석을 적용할 수 있는 방법을 살펴보겠습니다.
더 알아보기:
[1] Perera D, Tucker JW, Brahmbhatt S, Helal CJ, Chong A, Farrell W, Richardson P, Sach NW의 데이터. 자동화된 나노몰 규모 반응 스크리닝 및 흐름 내 마이크로몰 규모 합성을 위한 플랫폼입니다. 과학. 2018년 1월 26일;359(6374):429-434. 도이: 10.1126/science.aap9112. PMID: 29371464. 샘플링된 데이터세트와 전체 데이터세트는 JMP 데이터 테이블로 첨부됩니다.
괜찮아요. 저도 데이터세트를 정말 좋아해요. 과학적 R&D 환경에서 실제 "큰"("큰" 데이터가 아님) 데이터를 찾는 것은 좋은 일입니다. 
