예측 모델링은 관심 결과를 정확하게 예측하는 모델을 찾는 것입니다. 예를 들어, 여러 요인을 기반으로 1년 후 특정 질병(이 경우 당뇨병)의 진행을 예측하고 싶다고 가정해 보겠습니다. 보다 구체적으로, 나는 적절한 중재가 이루어질 수 있도록 높은 질병 진행을 가질 가능성이 가장 높은 환자를 식별하고 싶습니다.
나는 가지고있다 JMP 프로, 그리고 내가 맞출 수 있는 몇 가지 가능한 예측 모델이 있다는 것을 알고 있습니다. 예를 들어 회귀 모델, 다양한 유형의 트리 기반 모델 또는 신경망을 몇 가지 예로 들 수 있습니다. 어떤 모델링 플랫폼을 사용해야 합니까? 어떤 유형의 모델이 결과를 가장 정확하게 예측합니까? 주어진 모델링 상황에서 최상의 모델은 주로 데이터에 따라 달라집니다. 모든 문제에 가장 잘 맞는 한 가지 유형의 모델은 없습니다.
당뇨병 시나리오에 가장 적합한 모델을 찾기 위해 교차 검증을 사용하여 가능한 모든 모델을 한 번에 하나씩 맞출 수 있습니다. 개별 모델을 데이터 테이블이나 Formula Depot에 저장한 다음 Model Comparison을 사용하여 검증 세트의 모델 성능을 비교하여 최상의 모델을 선택할 수 있습니다. 또는 최상의 모델 조합을 선택할 수 있습니다. 이 방법은 작업을 완료하는 것 이상이지만 약간의 작업이 필요합니다.
이제 JMP Pro 16의 새로운 Model Screening 플랫폼을 사용하여 이 작업을 훨씬 더 쉽게 만들 수 있습니다. 모델 스크리닝은 최상의 예측 모델을 동시에 피팅, 비교, 탐색, 선택 및 배포하기 위한 효율적인 워크플로를 제공합니다.
설명을 위해 JMP 샘플 데이터 라이브러리의 당뇨병 데이터를 사용하겠습니다. 반응 또는 결과 변수는 Y 이진이며 두 가지 가능한 값이 있습니다: 낮음(낮은 질병 진행의 경우) 및 높음. 예측 변수 또는 요인은 Age through Glucose입니다.
Analyze > Predictive Modeling 메뉴에서 Model Screening을 선택하고 반응과 요인을 지정합니다. 유효성 검사 열은 데이터를 교육 및 유효성 검사 세트로 분할하므로 모델 유효성 검사에 사용하겠습니다.
Model Screening 대화 상자의 상단 부분은 다음과 같습니다.
대화 상자의 맨 아래에는 다양한 피팅 및 교차 검증 옵션과 함께 선택할 수 있는 여러 가지 모델링 방법이 있습니다. XGBoost는 사용 가능한 방법입니다. XGBoost 추가 기능 ~로부터 JMP 사용자 커뮤니티 .
기본 모델을 사용하지만 양방향 상호 작용을 추가하고 결과를 재현할 수 있도록 임의 시드를 11111로 설정합니다.
이러한 데이터에 적합한 모든 모델이 적합하고 여러 검증 통계가 제공됩니다. 모델은 Generalized RSquare의 내림차순으로 정렬되지만 모든 유효성 검사 통계에서 눈에 띄는 모델을 찾으려면 Select Dominant를 클릭하겠습니다.
상위 모델은 전반적으로 양방향 상호 작용이 있는 Neural Boosted 및 Generalized Regression Lasso임을 알 수 있습니다.
이러한 모델에 대한 분류를 살펴보기 위해 상단의 빨간색 삼각형 메뉴에서 Decision Threshold를 선택하겠습니다. 이 옵션은 선택한 모델의 분류 정확도를 비교하기 위한 풍부한 정보를 제공합니다. 상단 섹션은 각 모델에 대한 참 및 거짓 분류의 분석을 보여주며, 확률 임계값을 변경하면(슬라이더 선을 드래그하거나 편집 상자를 사용하여) 분류 및 분류 오류가 서로 다른 컷오프에 대해 어떻게 변경되는지 확인할 수 있습니다.
하단 섹션에는 다양한 분류 그래프와 메트릭을 보여주는 탭이 있습니다. 유효성 검사 데이터에 대한 메트릭 탭이 여기에 표시됩니다. 이 시나리오에서는 당뇨병 진행률이 가장 높은 환자를 식별하고 싶습니다. 그래서 가장 낮은 위음성 비율을 나타내는 모델을 찾고 싶습니다. 0.42의 확률 임계값에서 일반화 회귀 모델은 다른 모델에 비해 낮은 위양성 비율을 유지하면서 낮은 위음성 비율을 갖습니다.
이제 이 모델을 자세히 살펴보고 싶습니다. Model Screening은 이를 원활하게 만듭니다. Run Selected를 클릭하면 선택한 모델을 새 창에서 쉽게 실행할 수 있습니다.
또는 Model Screening을 종료하지 않고 여기에 표시된 대로 세부 정보 개요에서 직접 결과를 볼 수 있습니다. Model Screening에서는 Generalized Regression에서 볼 수 있는 모든 옵션에 액세스할 수 있습니다. 예를 들어 솔루션 경로와 상호 작용할 수 있고 배포를 위해 모델을 저장하거나 게시할 수 있습니다. 다른 모델을 실행하여 모델 정확도를 추가로 개선할 수 있는지 확인할 수도 있습니다.
여기서는 Model Screening의 표면만 다루었지만 이 간소화된 워크플로가 많은 시간과 노력을 절약하는 데 어떻게 도움이 되는지 알 수 있기를 바랍니다. 모델에 변수를 지정하고 적합할 모델과 검증 방법을 선택하기만 하면 나머지는 모델 스크리닝이 알아서 합니다!
JMP Pro에서 예측 모델을 피팅하고 검증하는 방법에 대해 자세히 알아보려면 다음으로 이동하십시오. 주요 기능 페이지 우리 웹사이트에서.
고객의 말
"지난 몇 달 동안 JMP Pro 16 베타에서 모델 스크리닝을 사용한 결과 이미 산호초 예측 모델링 연구에서 없어서는 안될 부분이 되었습니다. JMP Pro의 이전 버전(예: JMP Pro 15의 "모델 비교" 플랫폼)에서는 모델을 비교적 쉽게 비교할 수 있었지만 이 새로운 도구를 사용하면 사용자가 여러 다른 모델(예: gen-reg, PLS, 판별식, 신경망 등) 동일한 데이터 세트를 사용합니다. 한때 몇 시간, 심지어 며칠이 걸리던 일을 이제는 몇 분(또는 몇 초) 만에 완료할 수 있습니다.와우, 정말 좋은 기능입니다! 이것은 분명히 버전 15에서 16으로의 가장 큰 개선임에 틀림없으며, 다른 많은 사람들도 같은 느낌을 받을 것이라고 확신합니다."
- Anderson Mayfield, 국립해양대기청(NOAA) 및 마이애미 대학
질문 감사합니다 @sukrit2020 . MAE는 현재 Model Screening 플랫폼에서 사용할 수 없습니다.
이 플랫폼에서 MAE를 어떻게 시각화할 수 있습니까?
안녕 @mia_stephens 추가 설명 감사합니다! 나는 이것이 주제 전문 지식과 제품/사용자 응용 프로그램 및 위험에 크게 좌우되는 절충 문제라는 데 동의합니다.양방향으로 교차하는 궤적의 선이 처음에는 약간 혼란스러울 수 있지만(증가하는 방향의 실선, 감소하는 파선) 그래프가 이 절충점에서 어떻게 되는지 알 수 있습니다.위시리스트에 주제 아이디어를 추가하겠습니다!@PatrickGiuliano
안녕 @PatrickGiuliano , 이것은 상대적으로 피상적인 예였으며 나는 설명을 위해 0.42를 임계값으로 정했습니다. 여기서 목표는 낮은 위양성 비율을 유지하면서 낮은 위음성 비율로 이어지는 컷오프를 찾는 것이었습니다. 그러나 수용 가능한 요금은 무엇입니까? 이것은 주로 연구 상황이나 문제, 그리고 특정 유형의 오류에 대한 "비용"에 따라 다릅니다. 특정 상황에서 더 나은 위음성 비율이 나온다면 더 높은 위양성 비율을 기꺼이 받아들일 수 있습니다.그래프는 두 비율의 균형을 맞추기 위해 최적의 지점을 찾는 데 도움이 될 수 있습니다.
이것은 작은 데이터 세트이므로 결과가 상당히 세분화됩니다. 그러나 여기 두 번째 그래프에서 신경 강화에 대한 위양성 비율은 약 0.45 또는 0.5 이후에 빠르게 증가하기 시작하고 위음성 비율은 그 지점 부근까지 빠르게 떨어지고 어느 정도 평준화되기 시작합니다.
"기억된 설정" 옵션을 추가한다는 아이디어는 매력적입니다. JMP 위시리스트에 게시하시겠습니까?
감사!
미아
@mia_stephens 이것은 매우 훌륭합니다. 저는 "결정 임계값" 기능에 흥미를 느끼고 조금 더 잘 이해하려고 노력하고 있습니다.여기 귀하의 예에서 0.42의 확률 임계값이 좋은 선택이 될 것이라는 결정을 내릴 때 높은 곡선에 대한 오분류 카운트 대 프로브 임계값(첨부 이미지에서 검은색 원으로 표시된 점)에서 "교차점"을 본질적으로 선택했습니까? 거짓 부정을 최소화하기 위해(거의 같은 수준에서 거짓 긍정 비율을 유지하면서?)
JMP 16 EA8을 사용했고 모델 스크리닝 대화 상자에서 모델 피팅 옵션으로 'XGBoost'를 지정했다는 점을 제외하고는 거의 동일한 설정을 실행했습니다(1111에서 동일한 랜덤 시드 유지). 
여기에서 유용한 기능 중 하나는 Prediction Profiler(저장된 설정에 도달하기 위한 라디오 버튼 생성)에서 수행할 수 있는 유사한 방식으로 "설정 기억"이 될 수 있으므로 다른 확률 임계값 간에 쉽게 전환하여 직접 확인/ 관심 있는 특정 임계값에서의 효과를 비교하십시오. 첨부된 예시 이미지.
안녕 @MannyUy , 네, 정말 시간을 절약해 줍니다!
나는 본질적으로 같은 일을 했지만 한 번에 하나의 모델 플랫폼을 사용했습니다. 시간이 많이 걸렸다. 이 새로운 기능은 시간을 정말 절약해 줍니다. 고맙습니다!
