예측 모델링은 관심 있는 결과를 정확하게 예측하는 모델을 찾는 것입니다. 예를 들어 여러 요인을 기반으로 1년 후 특정 질병(이 경우에는 당뇨병)의 진행을 예측하고 싶다고 가정해 보겠습니다. 보다 구체적으로, 적절한 개입이 이루어질 수 있도록 질병 진행이 가장 높을 가능성이 가장 높은 환자를 식별하고 싶습니다.
나는 가지고있다 JMP 프로, 그리고 내가 맞출 수 있는 몇 가지 가능한 예측 모델이 있다는 것을 알고 있습니다. 예를 들어 회귀 모델, 다양한 유형의 트리 기반 모델 또는 신경망 등을 적합할 수 있습니다. 어떤 모델링 플랫폼을 사용해야 합니까? 어떤 유형의 모델이 결과를 가장 정확하게 예측합니까? 주어진 모델링 상황에서 최상의 모델은 주로 데이터에 따라 달라집니다. 모든 문제에 가장 적합한 모델 유형은 없습니다.
당뇨병 시나리오에 가장 적합한 모델을 찾기 위해 교차 검증을 사용하여 가능한 모든 모델을 한 번에 하나씩 맞출 수 있습니다. 개별 모델을 데이터 테이블이나 Formula Depot에 저장한 다음 모델 비교를 사용하여 검증 세트에서 모델의 성능을 비교하여 최상의 모델을 선택할 수 있습니다. 또는 최상의 모델 조합을 선택할 수 있습니다. 이 방법은 작업을 완료하는 것 이상이지만 약간의 작업이 필요합니다.
이제 JMP Pro 16의 새로운 모델 스크리닝 플랫폼으로 이 작업이 훨씬 쉬워졌습니다. 모델 스크리닝은 최적의 예측 모델을 동시에 피팅, 비교, 탐색, 선택 및 배포하기 위한 효율적인 워크플로우를 제공합니다.
설명을 위해 JMP 샘플 데이터 라이브러리의 당뇨병 데이터를 사용하겠습니다. 반응 또는 결과 변수는 Y 이진법이며 낮음(낮은 질병 진행의 경우) 및 높음의 두 가지 가능한 값이 있습니다. 예측변수 또는 요인은 나이부터 포도당까지입니다.
Analyze > Predictive Modeling 메뉴에서 Model Screening을 선택하고 응답과 요인을 지정합니다. 유효성 검사 열은 데이터를 교육 및 유효성 검사 세트로 분할하므로 이를 모델 유효성 검사에 사용하겠습니다.
Model Screening 대화 상자의 상단 부분은 다음과 같습니다.
대화 상자 하단에는 다양한 피팅 및 교차 검증 옵션과 함께 선택할 수 있는 여러 가지 모델링 방법이 있습니다. XGBoost를 설치했기 때문에 사용 가능한 방법입니다. XGBoost 애드인 ~로부터 JMP 사용자 커뮤니티 .
기본 모델을 사용하지만 양방향 상호 작용을 추가하고 무작위 시드를 11111로 설정하여 결과를 재현할 수 있도록 합니다.
이러한 데이터에 적합한 모든 모델이 적합하며 여러 검증 통계가 제공됩니다. 모델은 Generalized RSquare의 내림차순으로 정렬되지만 모든 유효성 검사 통계에서 눈에 띄는 모델을 찾기 위해 Select Dominant를 클릭합니다.
전반적으로 최상위 모델은 양방향 상호 작용이 있는 Neural Boosted 및 Generalized Regression Lasso임을 알 수 있습니다.
이러한 모델의 분류를 살펴보기 위해 상단의 빨간색 삼각형 메뉴에서 결정 임계값을 선택하겠습니다. 이 옵션은 선택한 모델의 분류 정확도를 비교하기 위한 풍부한 정보를 제공합니다. 상단 섹션에는 각 모델에 대한 참 및 거짓 분류의 분석이 표시되며 확률 임계값을 변경하면(슬라이더 선을 드래그하거나 편집 상자를 사용하여) 분류 및 분류 오류가 서로 다른 컷오프에 대해 어떻게 변경되는지 확인할 수 있습니다.
하단 섹션에는 다양한 분류 그래프와 메트릭을 보여주는 탭이 있습니다. 유효성 검사 데이터에 대한 지표 탭이 여기에 표시됩니다. 이 시나리오에서는 당뇨병 진행률이 가장 높은 환자를 식별하고 싶습니다. 따라서 거짓음성률이 가장 낮은 모델을 찾고 싶습니다. 0.42의 확률 임계값에서 일반화 회귀 모델은 다른 모델에 비해 여전히 낮은 가양성률을 유지하면서 낮은 가음성률을 가집니다.
이제 이 모델을 자세히 살펴보고 싶습니다. 모델 스크리닝은 이를 원활하게 만듭니다. 선택한 모델 실행을 클릭하면 새 창에서 선택한 모델을 쉽게 실행할 수 있습니다.
또는 Model Screening을 종료하지 않고 여기에 표시된 세부 정보 개요에서 직접 결과를 볼 수 있습니다. 모델 스크리닝에서는 일반화 회귀에서 볼 수 있는 모든 옵션에 액세스할 수 있습니다. 예를 들어 솔루션 경로와 상호 작용할 수 있고 배포를 위해 모델을 저장하거나 게시할 수 있습니다. 모델 정확도를 더 향상시킬 수 있는지 확인하기 위해 다른 모델을 실행할 수도 있습니다.
여기서는 모델 스크리닝의 표면만 다루었지만 이 간소화된 워크플로가 어떻게 많은 시간과 노력을 절약할 수 있는지 확인하실 수 있기를 바랍니다! 모델에 변수를 지정하고 피팅할 모델과 검증 방법을 선택하기만 하면 나머지는 모델 스크리닝이 알아서 처리합니다!
JMP Pro에서 예측 모델을 피팅하고 검증하는 방법에 대해 자세히 알아보려면 다음으로 이동하십시오. 주요 기능 페이지 저희 웹사이트에서.
고객의 의견
"지난 몇 개월 동안 JMP Pro 16 베타에서 모델 스크리닝을 사용하면서 이것은 이미 제 산호초 예측 모델링 연구에서 없어서는 안 될 부분이 되었습니다. 이전 버전의 JMP Pro(예: JMP Pro 15의 "모델 비교" 플랫폼)에서는 모델을 비교적 쉽게 비교할 수 있었지만 이 새로운 도구를 사용하면 사용자가 다양한 모델(예: gen-reg, PLS, 판별, 신경망 등)을 동일한 데이터 세트로 사용합니다. 예전에는 몇 시간 또는 며칠이 걸리던 작업을 이제는 몇 분(또는 몇 초) 만에 완료할 수 있습니다.와우, 정말 대단한 기능입니다! 이것은 확실히 버전 15에서 16으로의 가장 큰 개선 사항임에 틀림없고 다른 많은 사람들도 똑같이 느낄 것이라고 확신합니다."
- Anderson Mayfield, 국립해양대기청(NOAA) 및 마이애미 대학교
질문 주셔서 감사합니다 @sukrit2020 . MAE는 현재 Model Screening 플랫폼에서 사용할 수 없습니다.
이 플랫폼에서 MAE를 어떻게 시각화할 수 있습니까?
안녕 @mia_stephens 추가 설명에 감사드립니다! 나는 이것이 주제 전문 지식과 제품/사용자 응용 프로그램 및 위험에 크게 의존하는 절충 문제라는 데 동의합니다.두 방향으로 교차하는 궤적의 선이 처음에는 약간 혼란스러울 수 있지만(증가하는 방향의 실선, 감소하는 점선) 그래프가 이 절충점에 도달하는 방법을 봅니다.위시리스트에 주제 아이디어를 추가하겠습니다!@패트릭줄리아노
안녕 @패트릭줄리아노 , 이것은 비교적 피상적인 예였으며 설명을 위해 임계값으로 0.42를 정했습니다. 여기서 목표는 낮은 거짓 긍정률을 유지하면서 낮은 거짓 부정률로 이어지는 컷오프를 찾는 것이었습니다. 그러나 수용 가능한 비율은 무엇입니까? 이는 주로 연구 상황이나 문제, 특정 오류 유형의 "비용"에 따라 다릅니다. 특정 상황에서 거짓 긍정 비율이 더 높으면 더 높은 거짓 긍정 비율을 기꺼이 받아들일 수 있습니다.그래프는 최적 지점을 찾고 두 속도의 균형을 맞추는 데 도움이 될 수 있습니다.
이것은 작은 데이터 세트이므로 결과가 상당히 세분화됩니다. 그러나 여기 두 번째 그래프에서 신경 강화에 대한 위양성 비율이 약 0.45 또는 0.5 이후 빠르게 증가하기 시작하고 위음성 비율이 그 시점까지 빠르게 떨어지고 어느 정도 평준화되기 시작하는 것을 볼 수 있습니다.
"기억된 설정" 옵션을 추가한다는 아이디어는 설득력이 있습니다. 이것을 JMP 위시리스트에 게시하시겠습니까?
감사해요!
미아
@mia_stephens 이것은 매우 멋진 일입니다. 저는 "결정 임계값" 기능에 흥미를 느꼈고 이를 좀 더 잘 이해하려고 노력하고 있습니다.여기의 예에서 가능성 임계값 0.42가 좋은 선택이 될 것이라는 결정을 내릴 때 높은 곡선에 대한 오분류 개수 대 확률 임계값(첨부 이미지에서 검은색 원으로 표시된 점)의 "교차점"을 기본적으로 선택했습니까? 위음성을 최소화하기 위해(위양성 비율을 거의 같은 수준으로 유지하면서?)
저는 JMP 16 EA8을 사용했고 모델 스크리닝 대화 상자에서 모델 피팅 옵션으로 'XGBoost'를 지정한 것을 제외하고 거의 동일한 설정을 실행했습니다(동일한 임의 시드를 1111로 유지). 
여기서 유용한 기능 중 하나는 Prediction Profiler(저장된 설정에 도달하기 위한 라디오 버튼을 생성하는 위치)에서 수행할 수 있는 것과 유사한 방식으로 "설정을 기억"하는 것일 수 있습니다. 관심 있는 특정 임계값에서 효과를 비교합니다. 예시 이미지가 첨부되었습니다.
안녕 @MannyUy , 예, 시간이 정말 절약됩니다!
나는 본질적으로 같은 일을 했지만 한 번에 하나의 모델 플랫폼을 사용했습니다. 시간이 많이 걸렸습니다. 이 새로운 기능은 진정으로 시간을 절약해 줍니다. 감사합니다!
