349255_ko-KR

liliconcom

모델 스크리닝: 예측 모델링 워크플로 간소화(2021-EU-30MP-781)

레벨: 중급

 

SAS의 JMP 수석 제품 관리자 Mia Stephens

 

예측 모델링은 관심 있는 결과를 가장 정확하게 예측하는 모델 또는 모델 조합을 찾는 것입니다. 그러나 모든 문제(및 데이터)가 동일하게 생성되는 것은 아닙니다. 주어진 시나리오에 대해 적합할 수 있는 몇 가지 예측 모델이 있으며 모든 문제에 가장 적합한 모델 유형은 없습니다. 어떤 경우에는 회귀 모델이 최고 성능일 수 있습니다. 다른 경우에는 트리 기반 모델 또는 신경망일 수 있습니다.

가장 성능이 좋은 모델을 검색할 때 교차 검증을 사용하여 사용 가능한 모든 모델을 한 번에 하나씩 맞출 수 있습니다. 그런 다음 개별 모델을 데이터 테이블 또는 Formula Depot에 저장한 다음 모델 비교를 사용하여 검증 세트에서 모델의 성능을 비교하여 최상의 모델을 선택할 수 있습니다. 이제 JMP Pro 16의 새로운 모델 스크리닝 플랫폼으로 이 작업 흐름이 간소화되었습니다. 이 강연에서는 모델 스크리닝을 사용하여 최고 성능의 예측 모델을 동시에 맞추고, 검증하고, 비교하고, 탐색하고, 선택한 다음 배포하는 방법을 배웁니다.

 

 

자동 생성된 성적표...

 

스피커	성적 증명서
미아 스티븐스	모델 심사.
	예측 모델링 작업을 수행하는 경우 모델 스크리닝이 예측 모델링 워크플로우를 간소화하는 데 도움이 된다는 것을 알게 될 것입니다.
	따라서 이 강연에서는 예측 모델링에 대한 개요를 제공하고 JMP에서 사용할 수 있는 다양한 유형의 예측 모델에 대해 이야기하겠습니다.
	더 광범위한 분석 워크플로 내의 예측 모델링 워크플로에 대해 이야기하고 모델 스크리닝이 이 워크플로를 간소화하는 데 어떻게 도움이 되는지 알아봅니다.
	검증 데이터를 사용하여 경쟁 모델을 비교하기 위한 몇 가지 지표에 대해 이야기하고 JMP Pro에서 몇 가지 예를 살펴보겠습니다.
	먼저 예측 모델링과 예측 모델링이 무엇인지에 대해 조금 이야기해 보겠습니다.
	회귀 분석에 노출되었을 수 있으며 회귀는 설명 모델링의 예입니다. 그리고 회귀에서 우리는 일반적으로 모델 구축에 관심이 있습니다.
	응답 또는 Y는 하나 이상의 X의 함수로, 다른 모델링 목표를 가질 수 있습니다. 중요한 변수를 식별하는 데 관심이 있을 수 있습니다. 키 X 또는 키 입력 변수는 무엇입니까?
	예를 들어, 문제를 해결하기 위해 집중할 수 있는 문제 해결 설정에서?
	응답이 평균적으로 입력 변수의 함수로 어떻게 변하는지 이해하는 데 관심이 있을 수 있습니다.
	X의 1단위 변화는 Y의 5단위 변화와 관련이 있습니다. 이것은 고전적인 설명 모델링이고 학교에서 통계를 배운 적이 있다면 아마도 이것이 회귀에 대해 배우는 방법일 것입니다.
	이제 대조적으로 예측 모델링의 목표는 약간 다릅니다. 예측 모델링에서 우리의 목표는 미래 결과를 정확하게 예측하거나 분류하는 것입니다.
	따라서 응답이 연속적이라면 다음 관찰, 다음 결과를 가능한 한 정확하고 정확하게 예측할 수 있기를 원합니다.
	응답이 범주형이면 분류에 관심이 있습니다. 그리고 다시 우리는 미래에 개인 수준에서 일어날 일을 예측하기 위해 현재 데이터를 사용하는 데 관심이 있습니다.
	그리고 우리는 다양한 모델을 적합하고 비교할 수 있으며 예측 모델링에서 일부 고급 모델을 사용할 수도 있습니다. 신경망과 같은 기계 학습 기술을 사용할 수 있습니다.
	그리고 이러한 모델 중 일부는 해석하기 쉽지 않을 수 있으며 대부분은 우리가 설정할 수 있는 다양한 튜닝 매개변수를 가지고 있습니다. 결과적으로 예측 모델링을 사용하면 과적합 문제가 발생할 수 있습니다.
	과적합의 의미는 필요한 것보다 더 복잡한 모델을 적합한다는 것입니다.
	따라서 예측 모델링에서는 일반적으로 유효성 검사를 사용하며 사용할 수 있는 여러 가지 유효성 검사 형식이 있습니다.
	우리는 모델 비교 및 선택을 위해 유효성 검사를 사용하며 기본적으로 과적합뿐만 아니라 과소적합도 방지합니다.
	과소적합은 필요한 만큼 복잡하지 않은 모델을 적합할 때입니다. 실제로 데이터의 구조를 캡처하지 않습니다.
	이제 슬라이드 끝에 있는 부록에서 유효성 검사가 중요한 이유를 설명하는 몇 가지 슬라이드를 가져왔지만 이 강연의 초점을 위해 예측 모델을 맞출 때 유효성 검사를 사용하겠습니다.
	JMP Pro에 적용할 수 있는 다양한 유형의 모델이 있으며 이는 결코 완전한 목록이 아닙니다.
	여러 유형의 회귀 모델을 맞출 수 있습니다. 연속 응답이 있는 경우 선형 회귀 모델을 적합할 수 있습니다.
	응답이 범주형인 경우 로지스틱 회귀 모델이지만 일반화된 선형 모델에 적합하고 회귀 방법에 페널티를 부여할 수도 있으며 이러한 모든 모델은 적합 모델 플랫폼에서 가져옵니다.
	예측 모델링 플랫폼에는 많은 옵션이 있으므로 신경망, 부스팅이 있는 신경망, 다른 수의 레이어와 노드,
	분류 및 회귀 트리, 고급 트리 기반 방법 및 기타 여러 기술.
	또한 다변량 방법 플랫폼의 몇 가지 예측 모델링 옵션이 있으므로 분석을 구별합니다.
	부분 최소 제곱은 예측 모델링에 사용할 수 있는 두 가지 다른 두 가지 추가 유형의 모델입니다. 그런데 부분 최소 제곱법도 적합 모델에서 사용할 수 있습니다.
	왜 그렇게 많은 모델이 있습니까?
	예측 모델링에서 아무도 모델링하지 않는다는 사실을 종종 알게 될 것입니다.
	또는 모델링 유형이 항상 가장 잘 작동합니다. 특정 상황에서는 신경망이 가장 좋을 수 있으며 신경망은 일반적으로 꽤... 꽤 좋은 성능을 보입니다.
	그러나 더 간단한 모델이 실제로 가장 잘 수행되는 경우도 있으므로 데이터에 가장 적합하고 가장 정확하게 예측하는 모델 유형은 대부분 응답과 데이터 구조를 기반으로 합니다.
	따라서 가장 정확하게 적합하거나 가장 정확하게 예측하는 모델을 찾기 전에 여러 유형의 모델을 적합하고 이러한 모델을 비교할 수 있습니다.
	따라서 보다 광범위한 분석 작업 흐름 내에서 해결하려는 일종의 문제로 시작하여 데이터를 컴파일하고 데이터를 준비하고 탐색합니다.
	예측 모델링은 모델 분석 및 빌드에서 중단됩니다. 그리고 일반적인 예측 모델링 워크플로우는 검증을 통해 모델을 맞추는 다음과 같을 수 있습니다.
	그런 다음 해당 수식을 데이터 테이블에 저장하거나 수식 저장소에 게시합니다.
	그런 다음 다른 모델을 피팅하고 이를 반복하므로 여러 다른 모델을 피팅할 수 있습니다.
	그런 다음 이러한 모델을 비교합니다. 그리고 JMP Pro에서는 모델 비교 플랫폼을 사용하여 이를 수행하고 검증 데이터에서 모델의 성능을 비교한 다음 최상의 모델 또는 최상의 조합 모델을 선택한 다음 모델을 배포할 수 있습니다.
	그리고 모델 스크리닝과 다른 점은 모든 모델 피팅 및 비교, 이 선택이 모델 스크리닝 플랫폼이라는 하나의 플랫폼 내에서 수행된다는 것입니다.
	그래서 우리는 여러분에게 친숙할 수 있는 예를 사용할 것입니다. 그리고 커뮤니티에 게시된 이러한 데이터를 사용한 모델 선별에 대한 블로그가 있습니다. 이것이 당뇨병 데이터입니다.
	따라서 시나리오는 연구자들이 기준선으로부터 1년 후 질병 진행률을 예측하기를 원한다는 것입니다.
	따라서 몇 가지 기본 측정이 있으며 두 가지 다른 유형의 응답이 있습니다.
	응답 Y는 정량적 측정, 연속 측정이므로 이것은 질병 진행률이고 두 번째 응답인 Y 이진법은 높거나 낮습니다.
	따라서 Y 바이너리는 높은 진행률 또는 낮은 진행률을 나타낼 수 있습니다.
	그리고 여기서 예측 모델링의 목표는 질병 진행률이 가장 높은 환자를 예측하여 시정 조치를 취할 수 있도록 하는 것입니다.
	이것을 방지하기 위해. 그래서...JMP Pro에서 이 두 응답 모두에 대해 모델을 피팅하는 방법을 살펴보고 모델 스크리닝을 사용하여 동일한 모델을 피팅하는 방법을 살펴보겠습니다.
	그리고 JMP로 이동하기 전에 예측 모델을 비교하는 방법에 대해 조금 이야기하고 싶습니다.
	검증 세트 또는 테스트 세트에서 예측 모델을 비교합니다. 따라서 기본적으로 우리가 하는 일은 교육 데이터라고 하는 데이터의 하위 집합에 모델을 맞추는 것입니다.
	그런 다음 모델이 얼마나 잘 수행되는지 확인하기 위해 보류된 데이터(일반적으로 이러한 유효성 검사 데이터라고 함)에 해당 모델을 맞춥니다.
	연속 응답이 있는 경우 오류 측정을 사용할 수 있으므로 루트 평균 제곱 오류(RMSE) 또는 경로 평균 제곱 오류인 RASE를 의미하므로 이것이 예측 오류 측정입니다.
	AAE, MAD, MAE, 이것들은 평균 오차의 척도이며 우리가 사용할 수 있는 다른 R 제곱 척도가 있습니다.
	범주형 응답을 얻으려면 오류 또는 오분류 측정에 가장 관심이 있습니다.
	또한 ROC 곡선, AUC(곡선 아래 영역) 또는 민감도 또는 특이성, 위양성, 위음성 비율을 살펴보는 데 관심이 있을 수 있습니다.
	F1-Score 및 Matthews 상관 계수인 MCC.
	이제 JMP로 전환하겠습니다.
	이것을 치우고 당뇨병 데이터를 열어 보겠습니다.
	여러분이 볼 수 있도록 이것을 크게 만들어 보겠습니다.
	이것이 데이터입니다. 442명의 환자에 대한 정보가 있고 다시 응답 Y가 있습니다. 이는 연속적이고 이것이 1년 후 질병 진행의 양입니다. Y부터 살펴보겠지만 두 번째 변수인 Y Binary도 있습니다.
	기본 정보가 있습니다.
	그리고 열 유효성 검사가 있습니다. 그래서 다시 유효성 검사, 우리가 모델을 적합할 때 훈련 데이터만을 사용하여 모델을 적합시킬 것입니다. 검증 데이터를 사용하여 모델 성장을 중지할 시기를 알려주고 얼마나 좋은지 측정할 수 있습니다. 모델이 실제로 맞습니다.
	이제 이 컬럼을 구축하기 위해 모델 검증 컬럼이라는 예측 모델링 아래 유틸리티가 있습니다.
	그리고 이것은 유효성 검사 열을 구축하기 위한 많은 옵션을 제공하므로 데이터를 교육 유효성 검사 및 테스트 세트로 분할할 수 있습니다.
	그리고 대부분의 경우 데이터를 하위 집합으로 분할하는 이런 종류의 기술을 사용하면
	테스트 세트를 갖는 것이 좋습니다. 테스트 세트가 있으면 모델을 구축하거나 모델 성장을 중지하는 데 사용되지 않은 데이터에 대한 모델 성능을 평가할 수 있으므로 여기에서 테스트 세트가 없더라도 권장합니다. 사례.
	그래서 제가 하고 싶다고 합시다...반응을 가장 정확하게 예측하는 모델을 찾고 싶습니다. 보시다시피 다양한 모델 중에서 선택할 수 있습니다.
	맞는 모델부터 시작하겠습니다.
	그리고 이것은 일반적으로 좋은 출발점입니다.
	그래서 Y를 응답으로, X를 모델 효과로 사용하여 회귀 모델을 구축할 것입니다. 여기서는 주요 효과만 넣겠습니다. 유효성 검사 열을 추가하겠습니다.
	이제 적합 모델에서 여기서 기본값은 표준 최소 제곱이 될 것이지만, 적합할 수 있는 다양한 유형의 모델이 있습니다.
	저는 단순히 최소 제곱 모델을 실행할 것입니다.
	여기서 몇 가지 지적할 사항이 있습니다. 여기 마커 V에 주목하십시오.
	모델을 교육 데이터에 맞추지만 모델이 유효성 검사 데이터에서 얼마나 잘 수행되는지 확인하고 싶으므로 V가 있는 이러한 모든 마커는 유효성 검사 세트의 관찰입니다.
	유효성 검사가 있기 때문에 여기에 교차 유효성 검사 섹션이 있으므로 훈련 세트와 유효성 검사 세트 및 RASE에서 R 제곱을 볼 수 있습니다.
	그리고 종종 검증 통계가 훈련 통계보다 다소 나쁘다는 것을 보게 될 것입니다. 거리가 멀수록 모델이 과적합 또는 과소적합되었음을 더 잘 나타냅니다.
	여기서 이 강연의 범위를 벗어나는 다른 한 가지를 지적하고 싶습니다. 바로 이 예측 프로파일러입니다.
	그리고 예측 프로파일러
	사실 JMP를 처음 사용하기 시작한 이유 중 하나입니다. 모델을 이해하는 정말 강력한 방법입니다.
	그래서 저는 임의의 X 값을 변경하고 예측된 응답에 어떤 일이 발생하는지 확인할 수 있습니다. 이것이 평균입니다.
	이 모델에서 우리는 평균을 예측하고 있습니다. 하지만 이 밴드가 총 콜레스테롤과 LDL, HDL에 대해 어떻게 퍼져나가는지 주목하세요. 이는 해당 지역에 데이터가 없기 때문입니다.
	이 새로운 기능을 정말 빨리 지적하고 싶고 다시 한 번 이것은 이 이야기의 범위를 벗어나는 외삽 제어라고 하는 것입니다. 그리고 경고를 켜고 드래그하면
	총 콜레스테롤, 외삽이 가능하다는 것을 알려주고 있습니다. 이것은 내가 실제로 데이터가 없는 지역에서 예측을 시도하고 있다는 것을 말해줍니다.
	이 외삽 제어를 켜면 이 막대, 이 선이 잘려서 기본적으로 해당 지역에서 예측을 할 수 없다는 것을 의미합니다. 따라서 모델을 피팅하고 있는지 확인하고 싶을 수도 있습니다. 정말 강력한 도구입니다.
	모든 진단 작업을 완료했다고 가정해 보겠습니다. 이 모델을 축소했으며 결과를 저장할 수 있기를 원합니다.
	몇 가지 방법이 있습니다. 빨간색 열로 이동하여 열을 저장하고 예측 공식을 저장할 수 있습니다.
	이렇게 하면 방금 데이터 테이블에 구축한 선형 모델이 저장됩니다. 여기 백그라운드에서 볼 수 있습니다. 그런 다음 이 데이터 테이블에 새 값을 추가하면 응답을 자동으로 예측합니다.
	하지만 모델을 다른 형식으로 저장하고 싶을 수 있으므로 이를 위해 게시할 수 있습니다.
	이 수식을 수식 저장소로 보냅니다. 수식 저장소는 실제로 내 데이터 테이블과 독립적이지만 이를 통해 스크립트를 복사하고 새 데이터가 있는 다른 데이터 테이블에 붙여넣어 새 데이터의 점수를 매길 수 있습니다.
	또는 일종의 생산 시스템 내에서 이것을 배포할 수 있도록 다른 언어로 코드를 생성하고 싶을 수도 있습니다.
	이만 마치겠습니다. 이것은 하나의 모델일 뿐입니다. 이제 더 복잡하거나 정교한 모델에 적합하면 더 나은 성능을 얻을 수 있습니까?
	그래서 다른 모델에 맞을 수도 있습니다. 예를 들어, 저는...그냥 리콜을 누르겠습니다. 회귀를 일반화하기 위해 표준 최소 제곱에서 성격을 변경할 수 있습니다.
	이를 통해 다양한 응답 분포를 지정할 수 있습니다. 그리고 저는 그냥 일반을 고수하고 실행을 클릭하겠습니다.
	그래서 이것은 내가 다른 불이익 방법에 적합하고 다른 변수 선택 기술을 사용할 수 있게 해줄 것입니다. 일반화 회귀를 확인하지 않았다면
	매우 강력하고 매우 유연한 최신 모델링 플랫폼입니다. 이동을 클릭하겠습니다. 그리고 내가 이 모델에 적합하다고 가정해 봅시다.
	이 모델을 이미 저장한 모델과 비교할 수 있기를 원합니다. 따라서 예측 공식을 데이터 테이블에 저장할 수 있습니다. 이제 데이터 테이블의 배경에 또 다른 열이 있습니다.
	아니면 다시 게시하고 싶을 수도 있습니다.
	에게
	수식 세부 정보, 이제 여기에 두 가지 다른 모델이 있습니다. 그리고 나는 계속할 수 있습니다. 따라서 이것은 일반화 회귀의 하나의 모델일 뿐입니다. 나도 여러 종류를 맞출 수 있다.
	예측 모델링 메뉴의 예측 모델(예: 신경망, 분할 또는 부트스트랩 포리스트 또는 부스트 트리).
	이제 일반적으로 내가 해야 할 일은 이 모든 모델을 맞추고 결과를 데이터 테이블이나 수식 저장소에 저장하는 것입니다.
	데이터 테이블을 통해 이 모델 비교 플랫폼을 사용하여 다양한 경쟁 모델을 비교할 수 있습니다. 그리고 모델이 여러 개 있을 수 있지만 여기에는 두 개만 있습니다.
	그리고 실제로 모델이 무엇인지 지정할 필요도 없고 유효성 검사만 지정하면 됩니다. 그리고 저는 실제로 여기 by 필드에 유효성 검사를 넣는 것을 좋아합니다.
	이것은 훈련 세트와 검증 세트 모두에 대한 내 적합 통계를 제공하며 검증 단계에 대한 통계만 살펴보겠습니다. 그래서 이것을 사용하여 가장 성능이 좋은 모델을 선택하는 데 도움을 줄 것입니다.
	그리고 제가 관심 있는 것은 더 높은 R 제곱 값, 더 낮은 RASE(평균 제곱근 오차) 값, 더 낮은 평균 절대 오차입니다. 그리고 이 두 모델 중에서 이 적합 최소 제곱 회귀 모델이 가장 좋은 것 같습니다.
	이제 가능한 모든 모델을 맞추려면 이 작업은 시간이 많이 소요될 수 있습니다. 그래서 이렇게 하는 대신 JMP Pro 16의 새로운 기능은 모델 스크리닝이라는 플랫폼입니다.
	그리고 모델 스크리닝을 시작하면 위에서 본 것처럼 상단에 대화 상자가 표시되므로 계속해서 이 대화 상자를 채울 것입니다.
	유효성 검사를 추가하겠습니다. 하지만 여러 다른 모델을 선택하고 한 번에 이러한 다양한 모델에 맞출 수 있다는 것을 볼 수 있습니다.
	따라서 결정 트리, 부트스트랩 포레스트, 부스트된 트리, K 최근접 이웃, 맞습니다. 저는 이 모든 모델에 적합할 수 있습니다.
	이치에 맞지 않는 모델은 실행하지 않으므로 내 옵션 중 하나로 연속 응답 로지스틱 회귀가 있고 로지스틱 회귀 모델을 실행하지 않습니다.
	지속적인 응답으로. 여기 XGBoost 옵션도 있습니다.
	표시되는 이유는 추가 기능이 있고 실제로 오픈 소스 라이브러리를 사용하기 때문입니다. 이 추가 기능을 설치하면(JMP 사용자 커뮤니티에서 사용할 수 있습니다.
	XGBoost라고 하며 JMP Pro에서만 작동합니다.) 하지만 이 추가 기능을 설치하면 모델 선별 대화 상자에 자동으로 나타납니다.
	이제 확인을 클릭하겠습니다. 확인을 클릭하면 각 플랫폼이 실행됩니다.
	그런 다음 모든 결과를 하나의 창으로 가져옵니다. 그래서 확인을 눌렀습니다. 여기에는 많은 데이터가 없으므로 매우 빠릅니다.
	그리고 세부 사항 아래에는 적합했던 모든 개별 모델이 있습니다. 이 대화 상자 중 하나를 열면 결과를 볼 수 있고 해당 메뉴에서 사용할 수 있는 추가 옵션에 액세스할 수 있습니다.
	그래서 나는 세부 사항을 숨길 것입니다. 그리고 기본적으로 수행되는 작업은 훈련 데이터에 대한 보고 통계이지만 검증 데이터에 대한 결과를 보여주므로 R 스퀘어와 RASE를 볼 수 있습니다.
	그리고 기본적으로 가장 낮은 것이 가장 좋은 RASE 순서로 정렬됩니다.
	하지만 여기 아래에 몇 가지 작은 지름길 옵션이 있습니다. 최고의 모델을 찾고 싶은 경우 R 스퀘어가 일부 모델에 가장 적합하지만 RASE가 다른 모델에 더 적합할 수 있습니다. 선택 지배를 클릭하겠습니다. .
	그리고 이 경우 신경 부스트를 선택했기 때문에 이러한 모든 모델에서 최상의 모델은 신경 부스트입니다. 그리고 이 모델을 자세히 살펴보고 싶다면 여기 신경 아래에서 세부 정보를 볼 수 있습니다.
	또는 단순히 선택 실행이라고 말할 수 있습니다.
	지금은 이것에 대해 이야기하지 않았지만 대화창에 임의의 시드를 설정하는 옵션이 있습니다.
	그리고 임의의 시드를 설정하면 여기에서 실행되는 결과는 여기에서 보는 것과 동일합니다. 그래서 이건...이건
	TanH 함수를 사용하는 세 개의 노드가 있는 신경 모델이지만 부스팅도 사용합니다. 따라서 이 플랫폼을 설계할 때 개발자는 다양한 모델에 대한 최상의 시작점과 최상의 기본 설정을 결정하기 위해 많은 시뮬레이션을 수행했습니다.
	그래서 신경 강화가 최고입니다.
	그리고
	이 모델을 배포하려면 스크립트를 저장하면 됩니다.
	또는 실행하거나 더 깊은 수식에 저장할 수 있습니다.
	그래서 이것은 지속적인 응답과 빨간색 삼각형 아래에 몇 가지 다른 옵션이 있습니다. 범주형 응답이 있으면 어떻게 합니까? 범주형 응답의 경우 동일한 플랫폼을 사용할 수 있습니다. 그럼 다시 모델 시사회로 가겠습니다.
	회수를 클릭하지만 Y를 사용하는 대신 Y 바이너리를 사용하겠습니다.
	그리고 기본 방법을 변경하지 않을 것입니다. 예를 들어 12345와 같이 임의의 시드를 입력하겠습니다. 난 그냥 임의의 숫자를 가져옵니다.
	이것이 할 일은 저에게 반복성을 부여하는 것입니다. 따라서 데이터 테이블이나 수식 저장소에 모델을 저장하면
	통계는 모델에서 동일하고 적합도는 동일합니다. 여기에 몇 가지 다른 옵션이 있습니다. 보고서와 같은 일부 기능을 끄고 싶을 수 있습니다.
	우리는 다른 교차 유효성 검사 방법을 사용하기를 원할 수 있으므로 이 플랫폼에는 K 폴드 유효성 검사가 포함되지만 중첩된 K 폴드 교차 유효성 검사도 사용됩니다.
	그리고 우리는 이것을 반복할 수 있습니다. 정말 너무 좋아요. 때로는 데이터를 교육 검증 및 테스트로 분할하는 것이 최선이 아니며 K 접기
	실제로 조금 더 나을 수 있습니다. 그리고 하단에 몇 가지 추가 옵션이 있습니다. 따라서 양방향 상호 작용을 추가할 수 있습니다. 2차 효과를 추가하고 싶을 수도 있습니다.
	추가 방법에서는 추가 일반화 회귀 방법에 적합합니다. 계속 진행하고 확인을 클릭하겠습니다.
	좋아요. 그것은 모든 모델을 실행하고 다시 말하지만 이것은 작은 데이터 세트입니다. 매우 빠릅니다.
	맞습니다. 모양과 느낌은 같지만 지금은 통계가 다릅니다. 그래서 오분류율을 얻었습니다. 곡선 아래 영역이 있습니다. 또한 일부 R 제곱 측정값과 평균 제곱근 오차가 있습니다.
	우성 선택을 클릭하겠습니다. 우세한 방법은 뉴럴 부스트입니다.
	이제 이러한 다양한 모델 중 일부를 탐색할 수 있으려면 어떻게 해야 합니까? 따라서 바로 여기의 오분류는 단계별보다 상당히 낮습니다.
	AUC는 비슷합니다. 전반적으로 가장 낮지만 그다지 좋지는 않습니다. 그리고 이것들 중 몇 가지를 잡아 보겠습니다. 이 중 몇 개를 클릭하면 아마...이 4개, 5개를 선택할 것입니다.
	모델을 비교하기 위해 ROC 곡선을 보는 데 관심이 있다면 ROC 곡선을 볼 수 있습니다.
	여기에는 모델을 끄고 특정 모델에 집중할 수 있는 멋진 컨트롤이 있습니다.
	제가 정말 기대하는 새로운 기능은 결정 임계값이라는 것입니다.
	그리고 결정 임계값이 우리가 볼 수 있는 것은 무엇입니까?
	학습 데이터를 살펴보는 것으로 시작하여 데이터의 스냅샷을 제공합니다.
	그리고 오분류율은 분류를 위한 0.5의 컷오프를 기반으로 합니다. 그래서 각 모델에 대해 실제로 높고 낮은 포인트를 보여줍니다. 그리고 우리가 높음에 초점을 맞추면 녹색 점이 높음으로 올바르게 분류되었습니다.
	빨간색 영역에 있는 항목은 잘못 분류되었으므로 올바른 분류와 잘못된 분류를 보여주고 여기 측면에 있는 모든 통계를 보고합니다.
	그리고 아래에는 잘못된 분류와 실제 분류를 볼 수 있는 여러 가지 메트릭과 많은 그래프가 표시됩니다.
	닫고 살펴볼게요
	검증 데이터.
	그렇다면 이것이 유용한 이유는 무엇입니까? 감도를 최대화하는 데 관심이 있는 특정 시나리오가 있을 수 있습니다.
	특정 특이성을 유지하면서. 그리고 감도... 그리고 여기에 몇 가지 정의가 있습니다. 민감도는 진양성률입니다.
	특이도는 참음성률입니다. 이것은...이것은 우리가 질병의 진행을 살펴보고자 하는 시나리오이므로 우리는 우리가...높은 민감도를 유지하고 있는지 확인하고 싶습니다.
	또한 우리의 특이성이 높은지 확인하면서. 이것으로 우리가 할 수 있는 것은 여기에 슬라이더가 있다는 것입니다. 이 슬라이더를 잡고
	분류에 대한 컷오프를 변경함에 따라 분류가 어떻게 변경되는지 확인할 수 있습니다.
	경쟁 모델을 볼 때 이것이 정말 강력한 도구라고 생각합니다. 전체 컷오프가 0.5인 일부 모델이 있을 수 있고 오분류율이 가장 높을 수 있기 때문입니다.
	그러나 분류 구분을 변경하면 다른 모델이 다르게 수행될 수 있는 시나리오가 있을 수도 있습니다. 예를 들어 제가 여기 특정 지역에 있다면 단계별 모델이 실제로 더 낫다는 것을 알 수 있습니다.
	이제 이것을 더 자세히 설명하기 위해 다른 예를 열고 싶습니다.
	그리고 이 예를 신용 카드 마케팅이라고 합니다.
	이 시나리오를 소개하기 위해 슬라이드로 돌아가 보겠습니다.
	이것은 시나리오입니다
	신용 카드 제안 수락에 대한 시장 조사를 기반으로 한 많은 데이터가 있습니다.
	응답은 제안이 수락되었는지입니다. 그리고 이것은 연구에서 제안의 5.5%만이 실제로 수락된 시나리오입니다.
	이제 우리가 관심을 갖는 요소가 있으므로 제공되는 다양한 유형의 보상이 있습니다.
	다른 메일러 유형이 있습니다. 이것은 실제로 설계된 실험입니다. 우리는 이 연구의 그 부분... 그 측면을 무시할 것입니다.
	그리고 재무 정보도 있으므로 우리는 이 예에서 한 가지 목표를 고수할 것입니다. 그것은 제안을 수락할 가능성이 가장 높은 고객을 식별하는 목표입니다.
	가능성이 가장 높은 고객을 식별할 수 있는 경우 이 시나리오에서는 제안을 수락할 가능성이 더 높은 하위 집합에만 제안을 보내고 나머지는 무시할 수 있습니다. 이것이 여기의 시나리오입니다.
	이 데이터를 열겠습니다.
	나는 10,000개의 관찰을 받았고 내 대답은 제안이 수락되었다는 것입니다.
	그리고 이미 스크립트를 데이터 테이블에 저장했기 때문에 항공 마일리지, 우편물 유형, 소득 수준, 신용 등급 및 기타 몇 가지 재무 정보가 있습니다.
	진행 중입니다... 저장 스크립트를 실행했습니다. 모든 모델을 실행하는 것입니다. 이 경우 뉴럴은 부스트 뉴럴을 실행하기 때문에 가장 많은 시간이 소요됩니다.
	몇 초 더 걸립니다. 지원 벡터 머신을 실행 중입니다. 10,000개 이상의 관찰이 있는 경우 지원 벡터 머신이 시간 초과되어 실제로 실행되지 않습니다.
	잠시만 기다려 보겠습니다. 유효성 검사를 사용하고 있으므로 유효성 검사 열이 있는 표준 유효성 검사를 사용하고 있습니다. 이 경우에는 0과 1로 구성된 열이 있고 JMP는 훈련 데이터의 0과 검증 데이터의 1을 인식합니다.
	좋아요. 우리가 간다. 알겠습니다. 실행했습니다. 대용량 데이터 테이블을 처리하는 경우 실행할 수 있는 보고서가 있습니다.
	경과 시간을 보려면. 그리고 이 시나리오에서는 서포트 벡터 머신이 실제로 가장 오랜 시간이 걸렸고, 이것이 때때로 10,000개 이상의 관찰이 있는 경우 실행되지 않는 이유입니다.
	그럼 이것들을 봅시다. 그래서 우리의 최고의 모델은 우성 모델을 선택한 경우 신경 부스트 및 의사 결정 트리이지만 여기서 지적하고 싶은 것이 있습니다. 오분류 비율에 주목하십시오.
	오분류율은 서포트 벡터 머신을 제외한 모든 모델에서 동일합니다. 왜 이런 일이 발생합니까? 글쎄, 내가 수락 된 제안 배포를 실행하면
	(우리가 볼 수 있도록 조금 더 크게 만들어 보겠습니다.) 유효성 검사 데이터에 초점을 맞추면 관측치의 0.063%가 '예'라는 점을 알 수 있습니다. 이것이 바로 우리 모델이 예측한 것입니다.
	왜 이러는 걸까요?
	결정 임계값에 대해 다시 묻겠습니다.
	여기 이 그래프에 초점을 맞추면 이 그래프는 많은 용도로 사용됩니다. 이 경우 분류에 대한 컷오프가 0.5라는 것을 보여줍니다.
	그러나 우리의 적합 확률 중 어느 것도 그것에 가깝지 않았습니다. 결과적으로 모델은 아니오를 아니오로 올바르게 분류하거나
	또는 예를 아니오로 분류했습니다. 어떤 확률도 0.5보다 크지 않았기 때문에 예라고 분류하지 않았습니다. 그래서 이 녀석을 펴면
	맞아, 이 두 모델의 차이를 볼 수 있어. 그래서 최고 확률은 신경 강화에 대해 약 .25이고 의사 결정 트리에 대해 약 .15였습니다.
	의사 결정 트리의 경우 의사 결정 트리는 기본적으로 일련의 이진 분할을 수행하고 기본적으로 몇 가지 예측 값을 가지고 있는 반면 신경 강화는 포인트에서 멋진 무작위 패턴을 보여줍니다. 이것을 .12와 같은 것으로 변경하겠습니다.
	맞습니다. 그리고 .12에서 잘렸습니다. 사실 이것을 슬라이드하면 제가 낮아질수록 실제로 점점 더 좋아지기 시작합니다(여기서 측정 기준을 설정하겠습니다).
	그리고 나는 약간의 오 탐지를 받기 시작합니다. 이것을 드래그하면 막대에서 볼 수 있지만 막대가 약간 작습니다. 신경이 강화되어 몇 가지 참 양성과 거짓 양성이 보이기 시작했습니다.
	그리고 이제 당신은 그것들을 보기 시작합니다. 이 첫 번째 지점을 통과하자마자 의사 결정 트리를 보기 시작합니다.
	따라서 0.5의 컷오프를 사용하는 것은 이러한 데이터에 적합하지 않으며 다시 한 번...저는 특이성에 대해 적절한 수준을 유지하면서 가장 민감도를 제공하는 컷오프를 찾으려고 노력할 수 있습니다.
	이 경우 다른 두 가지 통계를 지적하겠습니다.
	F1은 F1 점수이고 이것은 우리가 진정한 긍정을 얼마나 잘 포착할 수 있는지에 대한 척도입니다.
	MCC는 Matthews 상관 계수이며, 이는 네 가지 가능성 각각 내에서 얼마나 잘 분류하는지에 대한 좋은 척도입니다. 그래서 난...
	거짓 긍정, 거짓 부정, 참 긍정, 참 부정을 가질 수 있습니다.
	그리고 나는 실제로 여기 상자에 해당하는 것을 말하지 않았지만 네 가지 다른 옵션이 있습니다. MCC는 마이너스 1과 플러스 1 사이에 있는 상관 계수로 각 4개의 상자에서 내가 어떻게 예측하는지 측정합니다.
	따라서 최대 F1 값 또는 최대 MCC 값을 제공하는 컷오프를 탐색하고 싶을 수 있습니다. 이쪽으로 드래그한다고 가정해 보겠습니다. 알아두세요
	민감도는 빠르게 증가하고 특이성은 떨어지기 시작합니다. 그래서 아마도 0.5 정도일 것입니다. 맞습니다. 저는 특이성이 너무 많이 떨어지기 시작하는 지점에 도달했습니다.
	컷오프를 찾을 수 있으며 하단에는 수익 매트릭스를 설정하는 옵션이 있습니다. 이것을 수익 매트릭스로 설정하면 기본적으로 이 컷오프를 사용하여 새로운 데이터를 점수화할 수 있게 됩니다.
	그래서 이것을 여기에서 설정하고 확인을 누르면 미래의 예측을 데이터 테이블이나 수식 저장소에 저장하면 해당 컷오프가 사용됩니다.
	그리고 이것은 제가 수익 매트릭스에 구축할 수 있는 재무 정보를 실제로 가지고 있는 시나리오입니다.
	예를 들어 슬라이더를 사용하여 컷오프를 선택하는 대신 내 분류와 관련된 달러 가치에 대한 지식이 있을 수 있습니다. 실제 응답이 '아니오'라면
	하지만 저는 그들에게 제안을 보냈습니다. 그래서 예가 있습니다. 저는 그들이 예라고 할 것이라고 생각하고 그들에게 제안을 보냅니다. 아마도 이것은 저에게 5달러의 비용이 들 것입니다.
	잠재적인 이익에 대해 어느 정도 알고 있을 수도 있습니다. 따라서 이익...이 기간 동안의 잠재적 이익은 $100이고 기회를 놓쳤을 수도 있습니다. 아마도 내가 말할 것입니다. 만약 -100이라면
	그 사람은 실제로 응답했을 것이지만 나는 그들에게 제안을 보내지 않았습니다. 그래서 이것은 기회를 놓치고 때때로 우리는 이것을 비워 둡니다. 이제 이것을 대신 사용하면
	표시되는 추가 정보가 있으므로 수익 매트릭스가 있음을 인식합니다. 이제 지표를 보면 이 이익을 기반으로 최상의 모델에 대한 결정을 내릴 수 있습니다.
	그래서 저는 이 추가 정보를 의사 결정에 적용하고 있습니다. 때때로 우리는 수익 매트릭스를 가지고 있고 그것을 직접 사용할 수 있고 때로는 그렇지 않습니다. 그리고 이것은 신경 부스트 모델이 나에게 최고의 전체 이익을 줄 것이라는 것을 볼 수 있는 사례 중 하나입니다.
	그래서 이것은 모델 스크리닝에 대한 살짝 엿보기이고 제 슬라이드로 돌아가겠습니다.
	그리고 우리는 여기서 무엇을 보았습니까? 음, 우리는 예측 모델링에 대해 이야기했습니다.
	예측 모델링이 설명 모델링과 다른 목표를 갖는 방법. 따라서 여기서 우리의 목표는 미래의 결과를 정확하게 예측하거나 분류하는 것이므로 미래의 관찰에 점수를 매기고자 합니다.
	그리고 우리는 일반적으로 유효성 검사를 사용하여 많은 모델을 적합하고 비교하고 가장 잘 작동하고 가장 정확하게 예측하는 모델 또는 모델 조합을 선택합니다.
	모델 스크리닝은 이 워크플로를 간소화하여 하나의 플랫폼에서 동시에 여러 모델을 맞출 수 있습니다.
	그리고 저는 기본 설정만 사용했기 때문에 실제로 거기에 맞추는 것보다 훨씬 더 정교한 모델을 맞출 수 있습니다. 주요 모델을 선택하고 모델 세부 정보를 탐색하는 것이 정말 쉽습니다. 우리는 새로운 모델을 맞출 수 있습니다
	세부 사항에서. 범주형 데이터를 다루는 경우 이 결정 임계값을 사용하면 분류를 위한 컷오프를 탐색할 수 있으며 수익 매트릭스를 포함하는 기능도 통합할 수 있습니다.
	그리고 선택한 모델에 대해 모델을 수식 저장소에 배포하거나 데이터 테이블에 저장할 수 있습니다. 정말 강력하고 새로운 도구입니다.
	자세한 내용은. 분류 메트릭은 F1 점수와 Matthews 상관 계수를 보기 전에 알고 있습니다. 이러한 통계는 제게 비교적 새로운 것이었습니다.
	민감도와 특이성을 이해하기 위해 이 Wikipedia 게시물에는 정말 좋은 예와 정말 좋은 토론이 있습니다.
	예측 모델링과 모델 스크리닝을 위한 정말 좋은 리소스도 있습니다. JMP 사용자 커뮤니티에는 비디오,
	JMP 시리즈 비디오 마스터링. 작년에 Tucson에서 열린 JMP Discovery에서 Ruth Hummel과 Mary Loveless가 어떤 모델을 언제 사용할 것인지에 대해 정말 좋은 이야기를 나눴습니다.
	그리고 이것은 다양한 모델링 목표와 각 모델을 언제 사용하고 싶을지에 대해 이야기하는 좋은 일입니다.
	예측 모델링을 처음 접하는 경우 무료 온라인 과정인 STIPS(산업 문제 해결을 위한 통계적 사고), 모듈 7은 예측 모델링에 대한 소개입니다.
	그래서 저는 이것을 추천합니다. 제가 지적할 당뇨병 데이터를 사용하는 모델 스크리닝 블로그가 있으며, JMP Pro로 더 나은 모델 구축, 이 책의 두 번째 에디션이 있다는 점도 지적하고 싶습니다.
	그것은 앞으로 몇 달 안에 나올 것입니다. 그들은 아직 새로운 표지를 가지고 있지 않습니다. 그러나 그들은...그 책에 모델 스크리닝을 포함시킬 것입니다.
	그래서 그게 내가 가진 전부입니다. 이 게시물에 대한 의견을 게시하거나 질문을 자유롭게 해주시기 바랍니다. 남은 컨퍼런스를 즐기시기 바랍니다. 감사합니다.

베스트 오브 서밋탈주예측 모델링Re: 모델 스크리닝: 예측 모델링 워크플로 간소화(2021-EU-30MP-781)

프레젠테이션에 감사드립니다! 음, 이 16번째 버전에는 내가 사용하는 15번째 버전에서 많이 요구되는 예측을 위한 기능이 있습니다. Predictive 플랫폼의 기능에 놀랐습니다!

Re: 모델 스크리닝: 예측 모델링 워크플로 간소화(2021-EU-30MP-781)

새로운 모델링북도 기대해주세요!