349255_ko-KR

liliconcom

Re : 모델 스크리닝 : 예측 모델링 워크 플로우 간소화 (2021-EU-30MP-781)

새로운 모델링 책을 기대합니다!

모델 스크리닝 : 예측 모델링 워크 플로 간소화 (2021-EU-30MP-781)

레벨 : 중급

 

Mia Stephens, JMP 수석 제품 관리자, SAS

 

예측 모델링은 관심 결과를 가장 정확하게 예측하는 모델 또는 모델 조합을 찾는 것입니다. 그러나 모든 문제 (및 데이터)가 동일하게 생성되는 것은 아닙니다. 주어진 시나리오에 대해 몇 가지 가능한 예측 모델이 있으며 모든 문제에 가장 적합한 모델 유형은 없습니다. 어떤 경우에는 회귀 모델이 최고의 성과를 거둘 수 있습니다. 다른 경우에는 트리 기반 모델 또는 신경망 일 수 있습니다.

가장 성능이 좋은 모델을 검색 할 때 교차 검증을 사용하여 사용 가능한 모든 모델을 한 번에 하나씩 맞출 수 있습니다. 그런 다음 개별 모델을 데이터 테이블 또는 공식 저장소에 저장 한 다음 모델 비교를 사용하여 검증 세트에서 모델의 성능을 비교하여 최상의 모델을 선택할 수 있습니다. 이제 JMP Pro 16의 새로운 모델 스크리닝 플랫폼을 통해이 워크 플로가 간소화되었습니다. 이 강연에서는 모델 스크리닝을 사용하여 최고 성능의 예측 모델을 동시에 맞추고, 검증하고, 비교하고, 탐색하고, 선택한 다음 배포하는 방법을 배웁니다.

 

 

자동 생성 스크립트 ...

 

스피커	성적 증명서
미아 스티븐스	모델 심사.
	예측 모델링 작업을 수행하는 경우 모델 스크리닝이 예측 모델링 워크 플로를 간소화하는 데 도움이된다는 것을 알게 될 것입니다.
	그래서이 강연에서는 예측 모델링에 대한 개요를 제공하고 JMP에서 사용할 수있는 다양한 유형의 예측 모델에 대해 이야기 할 것입니다.
	더 광범위한 분석 워크 플로우 내에서 예측 모델링 워크 플로우에 대해 이야기하고 모델 스크리닝이이 워크 플로우를 간소화하는 데 어떻게 도움이되는지 살펴볼 것입니다.
	검증 데이터를 사용하여 경쟁 모델을 비교하기위한 몇 가지 메트릭에 대해 이야기하고 JMP Pro에서 몇 가지 예를 볼 것입니다.
	먼저 예측 모델링과 예측 모델링에 대해 조금 이야기 해 보겠습니다.
	회귀 분석에 노출되었을 수 있으며 회귀는 설명 모델링의 예입니다. 회귀 분석에서는 일반적으로 모델을 구축하는 데 관심이 있습니다.
	하나 이상의 X의 함수로서 응답 또는 Y에 대해, 다른 모델링 목표를 가질 수 있습니다. 중요한 변수를 식별하는 데 관심이있을 수 있습니다. 따라서 키 X 또는 키 입력 변수는 무엇입니까?
	예를 들어, 문제 해결에 집중할 수있는 문제 해결 환경에서?
	입력 변수의 함수로서 반응이 평균적으로 어떻게 변하는 지 이해하는 데 관심이있을 수 있습니다.
	X의 1 단위 변경은 Y의 5 단위 변경과 연관됩니다. 그래서 이것은 고전적인 설명 모델링이고 학교에서 통계를 취했다면 아마도 회귀에 대해 배우는 방법 일 것입니다.
	대조적으로 예측 모델링의 목표는 약간 다릅니다. 예측 모델링에서 우리의 목표는 미래의 결과를 정확하게 예측하거나 분류하는 것입니다.
	따라서 우리의 반응이 연속적이라면, 다음 관찰, 다음 결과를 가능한 한 정확하거나 정확하게 예측할 수 있기를 원합니다.
	그리고 우리의 응답이 범주 형이라면 분류에 관심이 있습니다. 그리고 다시 우리는 현재 데이터를 사용하여 미래에 개별 수준에서 일어날 일을 예측하는 데 관심이 있습니다.
	그리고 우리는 다양한 모델을 맞추고 비교할 수 있으며 예측 모델링에서 더 고급 모델을 사용할 수도 있습니다. 신경망과 같은 기계 학습 기술을 사용할 수 있습니다.
	그리고 이러한 모델 중 일부는 해석하기 쉽지 않을 수 있으며 많은 모델에는 설정할 수있는 다양한 튜닝 매개 변수가 있습니다. 결과적으로 예측 모델링을 사용하면 과적 합 문제가 발생할 수 있습니다.
	과적 합이 의미하는 것은 우리가 필요 이상으로 복잡한 모델에 적합하다는 것입니다.
	따라서 예측 모델링에서는 일반적으로 유효성 검사를 사용하며 사용할 수있는 여러 다른 형식의 유효성 검사가 있습니다.
	모델 비교 및 선택을 위해 유효성 검사를 사용하며 기본적으로 과적 합뿐 아니라 과소 적합도 방지합니다.
	과소 적합은 필요한만큼 복잡하지 않은 모델에 적합 할 때입니다. 실제로 데이터의 구조를 캡처하는 것이 아닙니다.
	이제 슬라이드 끝에있는 부록에서 유효성 검사가 중요한 이유를 설명하는 몇 가지 슬라이드를 가져 왔지만이 강연에서는 예측 모델에 적합 할 때 유효성 검사를 사용하겠습니다.
	JMP Pro에 맞출 수있는 다양한 유형의 모델이 있으며, 이것은 완전한 목록이 아닙니다.
	다양한 유형의 회귀 모델을 맞출 수 있습니다. 연속 반응이 있으면 선형 회귀 모델을 맞출 수 있습니다.
	응답이 범주 형인 경우 로지스틱 회귀 모델이지만 일반화 된 선형 모델을 적합하고 회귀 방법에 페널티를 줄 수 있으며 모두 적합 모델 플랫폼에서 가져온 것입니다.
	예측 모델링 플랫폼에는 많은 옵션이 있으므로 신경망, 부스팅 기능이있는 신경망, 레이어 및 노드 수가 서로 다릅니다.
	분류 및 회귀 트리, 고급 트리 기반 방법 및 기타 여러 기술.
	또한 다변량 방법 플랫폼의 몇 가지 예측 모델링 옵션이 있으므로 분석을 차별화합니다.
	부분 최소 제곱은 두 가지 차이입니다 ... 예측 모델링에 사용할 수있는 두 가지 추가 모델 유형입니다. 그리고 부분 최소 제곱도 적합 모델에서 사용할 수 있습니다.
	그리고 우리는 왜 그렇게 많은 모델을 가지고 있습니까?
	예측 모델링에서는 아무도 모델이
	또는 모델링 유형이 항상 가장 잘 작동합니다. 특정 상황에서는 신경망이 가장 좋을 수 있고 신경망은 일반적으로 꽤 좋은 성능을 보입니다.
	그러나 다른 경우에는 더 단순한 모델이 실제로 가장 잘 수행되는 것을 발견 할 수 있으므로 데이터에 가장 적합하고 가장 정확하게 예측하는 모델 유형은 주로 응답뿐만 아니라 데이터 구조를 기반으로합니다.
	따라서 가장 정확하게 적합하거나 가장 정확하게 예측하는 모델을 찾기 전에 여러 유형의 모델을 적합하고 이러한 모델을 비교할 수 있습니다.
	따라서보다 광범위한 분석 워크 플로 내에서 해결하려는 문제로 시작하고 데이터를 컴파일하고 데이터를 준비하고 데이터를 탐색합니다.
	예측 모델링은 모델 분석 및 빌드에서 다운되었습니다. 그리고 일반적인 예측 모델링 워크 플로는 다음과 같을 수 있습니다. 여기서 유효성 검사를 통해 모델을 맞 춥니 다.
	그런 다음 해당 공식을 데이터 테이블에 저장하거나 공식 저장소에 게시합니다.
	그런 다음 다른 모델을 맞추고 이것을 반복합니다. 그래서 여러 다른 모델을 맞출 수 있습니다.
	그런 다음이 모델을 비교합니다. JMP Pro에서는 모델 비교 플랫폼을 사용하여이를 수행하고 검증 데이터에서 모델의 성능을 비교 한 다음 최상의 모델 또는 최상의 조합 모델을 선택한 다음 모델을 배포 할 수 있습니다.
	모델 스크리닝과 다른 점은 모든 모델 피팅 및 비교가 하나의 플랫폼 인 모델 스크리닝 플랫폼 내에서 수행된다는 것입니다.
	그래서 우리는 여러분이 친숙 할 수있는 예를 사용할 것입니다. 그리고 커뮤니티에 게시 된 이러한 데이터를 사용한 모델 스크리닝에 대한 블로그가 있습니다. 이것은 당뇨병 데이터입니다.
	따라서 시나리오는 연구자들이 기준선 이후 1 년 후 질병 진행률을 예측하고자하는 것입니다.
	따라서 몇 가지 기준 측정이 있고 두 가지 유형의 응답이 있습니다.
	반응 Y는 양적 측정, 연속 측정입니다. 그래서 이것은 질병 진행률이고 두 번째 반응 인 Y 바이너리가 있습니다. 높거나 낮습니다.
	따라서 Y 바이너리는 높은 진행률 또는 낮은 진행률을 나타낼 수 있습니다.
	그리고 여기서 예측 모델링의 목표는 질병 진행률이 가장 높은 환자를 예측하여 시정 조치를 취할 수 있도록하는 것입니다.
	이를 방지하기 위해. 그래서 우리는 ...이 두 가지 응답에 대해 JMP Pro에서 모델 피팅을 살펴보고 모델 스크리닝을 사용하여 동일한 모델을 피팅하는 방법을 살펴볼 것입니다.
	그리고 JMP로 이동하기 전에 예측 모델을 비교하는 방법에 대해 조금 이야기하고 싶습니다.
	검증 세트 또는 테스트 세트에서 예측 모델을 비교합니다. 그래서 기본적으로 우리가하고있는 것은 훈련 데이터라는 데이터의 하위 집합에 모델을 맞추는 것입니다.
	그런 다음 모델이 얼마나 잘 수행되는지 확인하기 위해 보류 된 데이터 (일반적으로 이러한 유효성 검사 데이터라고 함)에 해당 모델을 맞 춥니 다.
	그리고 연속적인 응답이있는 경우 오류 측정 값을 사용할 수 있으므로 루트 평균 제곱 오류 (RMSE) 또는 경로 평균 제곱 오류 인 RASE를 의미하므로 이것이 예측 오류의 척도입니다.
	AAE, MAD, MAE, 이것들은 평균 오차의 척도이며 우리가 사용할 수있는 다른 R 제곱 척도가 있습니다.
	범주 형 응답을 얻기 위해 우리는 오류 또는 오 분류 측정에 가장 관심이 있습니다.
	ROC 곡선, AUC (곡선 아래 영역) 또는 민감도 또는 특이성, 위양성, 위음성 비율을 살펴 보는 것도 관심이있을 수 있습니다.
	Matthews 상관 계수 인 F1-Score 및 MCC.
	이제 JMP로 전환하겠습니다.
	이것을 치우면 당뇨병 데이터를 열 것입니다.
	그리고 여러분이 볼 수 있도록 이것을 크게 만들겠습니다.
	그래서 이것이 데이터입니다. 442 명의 환자에 대한 정보가 있습니다. 그리고 다시 우리는 응답 Y를 얻었습니다. 이것은 연속적이고 이것은 1 년 후 질병 진행의 양입니다. Y부터 시작하겠습니다. 두 번째 변수 인 Y Binary도 있습니다.
	기준 정보가 있습니다.
	그리고 열 유효성 검사가 있습니다. 다시 유효성 검사, 모델을 맞출 때 훈련 데이터 만 사용하여 모델을 맞출 것이고 유효성 검사 데이터를 사용하여 모델 성장을 중지해야 할 때를 알려주고 모델이 얼마나 좋은지 측정 할 수 있습니다. 모델이 실제로 맞습니다.
	이제이 열을 작성하기 위해 모델 유효성 검사 열이라는 예측 모델링 아래에 유틸리티가 있습니다.
	그리고 이것은 검증 열을 구축하기위한 많은 옵션을 제공하므로 데이터를 훈련 검증 및 테스트 세트로 분할 할 수 있습니다.
	그리고 대부분의 경우 데이터를 하위 집합으로 분할하는 이런 종류의 기술을 사용하면
	테스트 세트를 갖는 것이 좋습니다. 테스트 세트가 있으면 모델을 빌드하거나 모델 성장을 중지하는 데 사용되지 않은 데이터에 대한 모델 성능을 평가할 수 있으므로 여기에 테스트 세트가 없더라도 권장합니다. 케이스.
	그래서 제가 원한다고 가정 해 봅시다. 반응을 가장 정확하게 예측하는 모델을 찾고 싶습니다. 보시다시피 다양한 모델 중에서 선택할 수 있습니다.
	맞는 모델부터 시작하겠습니다.
	그리고 이것은 일반적으로 좋은 출발점입니다.
	그래서 저는 Y를 우리의 반응으로, X를 모델 효과로 사용하여 회귀 모델을 구축 할 것입니다.이 시점에서는 주 효과 만 넣겠습니다. 그리고 유효성 검사 열을 추가하겠습니다.
	이제 모델 적합에서 기본값은 표준 최소 제곱이 될 것이지만, 적합 할 수있는 다양한 유형의 모델이 있습니다.
	저는 단순히 최소 제곱 모델을 실행할 것입니다.
	여기서 지적 할 몇 가지 사항이 있습니다. 여기 마커 V를 주목하십시오.
	모델을 학습 데이터에 맞추지 만 모델이 유효성 검사 데이터에서 얼마나 잘 수행되는지 확인하려고하므로 V가있는 이러한 모든 마커는 유효성 검사 세트의 관찰입니다.
	검증이 있기 때문에 여기에 교차 검증 섹션이 있으므로 훈련 세트와 검증 세트, 그리고 RASE에서 R 제곱을 볼 수 있습니다.
	그리고 종종 당신이 보게 될 것은 검증 통계가 훈련 통계보다 다소 나빠질 것이고, 그것들이 멀수록 모델이 과적 합 또는 과소 적합이라는 더 나은 표시입니다.
	저는이 강연의 범위를 벗어난 다른 한 가지를 지적하고 싶습니다. 이것이 바로이 예측 프로파일 러입니다.
	그리고 예측 프로파일 러
	실제로 JMP를 처음 사용하기 시작한 이유 중 하나입니다. 모델을 이해하는 정말 강력한 방법입니다.
	그래서 저는 X의 값을 변경하고 예측 된 반응에 어떤 일이 일어나는지 볼 수 있습니다. 이것은 평균입니다.
	이 모델들은 평균을 예측하고 있습니다. 그러나이 밴드가 총 콜레스테롤과 LDL, HDL을 어떻게 부채질하는지 주목하십시오. 이는 해당 지역에 데이터가 없기 때문입니다.
	그래서 새로운 기능은 정말 빨리 지적하고 싶습니다. 이것은이 강연의 범위를 벗어납니다. 이것은 외삽 제어라고 불리는 것입니다. 경고를 켜고 끌면
	총 콜레스테롤은 가능한 외삽이 있음을 알려주는 것입니다. 이것은 내가 실제로 데이터가없는 지역에서 예측을 시도하고 있다는 것을 의미합니다.
	이 외삽 컨트롤은이 막대,이 선을 잘라냅니다. 기본적으로 해당 영역에서 예측을 할 수 없다는 의미입니다. 따라서 모델을 피팅하고 있는지 확인하고 싶을 수도 있습니다. 정말 강력한 도구입니다.
	그래서 제가 모든 진단 작업을 마쳤다고합시다. 이 모델을 축소했으며 결과를 저장할 수 있기를 원합니다.
	음,이를 수행하는 몇 가지 방법이 있습니다. 빨간색 열로 이동하여 열을 저장하고 예측 공식을 저장할 수 있습니다.
	그래서 이것은 제가 방금 구축 한 선형 모델을 데이터 테이블에 저장합니다. 여기 배경에서 볼 수 있습니다. 그런 다음이 데이터 테이블에 새 값을 추가하면 응답을 자동으로 예측합니다.
	하지만 모델을 다른 형식으로 저장하고 싶을 수도 있습니다. 이렇게하려면 게시 할 수 있습니다.
	이 공식은 공식 창고로 보내집니다. 그리고 공식 저장소는 실제로 내 데이터 테이블과 독립적이지만 이렇게하면 스크립트를 복사하여 새 데이터가있는 다른 데이터 테이블에 붙여 넣어 새 데이터를 채점 할 수 있습니다.
	또는 일종의 프로덕션 시스템 내에서 배포 할 수 있도록 다른 언어로 코드를 생성하고 싶을 수도 있습니다.
	계속해서 닫겠습니다. 이것은 단지 하나의 모델입니다. 이제 더 복잡하거나 정교한 모델에 적합하면 더 나은 성능을 얻을 수 있습니까?
	그래서 다른 모델을 맞출 수도 있습니다. 예를 들어, 제가 ... 리콜을 할 것입니다. 회귀를 일반화하기 위해 성격을 표준 최소 제곱에서 변경할 수 있습니다.
	이를 통해 다른 응답 분포를 지정할 수 있습니다. 그리고 그냥 평범한 상태를 유지하고 실행을 클릭합니다.
	따라서 이것은 다른 페널티를받는 방법을 적용하고 다른 변수 선택 기술을 사용할 수있게합니다. 일반화 회귀를 확인하지 않은 경우
	그것은 매우 강력하고 매우 유연한 현대 모델링 플랫폼입니다. 이동을 클릭하겠습니다. 그리고 제가이 모델에 적합하다고합시다
	이 모델을 이미 저장 한 모델과 비교할 수 있기를 원합니다. 따라서 예측 공식을 데이터 테이블에 저장할 수 있습니다. 이제 데이터 테이블의 백그라운드에 또 다른 열이 있습니다.
	아니면 다시 게시하고 싶을 수도 있습니다.
	...에
	이제 여기에 두 가지 다른 모델이 있습니다. 그리고 나는 계속할 수 있습니다. 따라서 이것은 일반화 회귀에서 나온 하나의 모델 일뿐입니다. 여러 가지 유형의
	예측 모델링 메뉴의 예측 모델 (예 : 신경망, 파티션 또는 부트 스트랩 포리스트 또는 부스트 트리).
	이제 일반적으로해야 할 일은 이러한 모든 모델을 맞추고 결과를 데이터 테이블이나 공식 저장소에 저장 한 다음
	이 모델 비교 플랫폼을 사용하여 다른 경쟁 모델을 비교할 수 있습니다. 모델이 많을 수도 있지만 여기에는 두 개만 있습니다.
	실제로 모델이 무엇인지 지정할 필요도없고 유효성 검사 만 지정하면됩니다. 그리고 저는 실제로 여기 by 필드에 유효성 검사를 넣는 것을 좋아합니다.
	그래서 이것은 훈련 세트와 검증 세트 모두에 대한 내 적합 통계를 제공합니다. 그리고 검증 단계에 대한 통계 만 볼 것입니다. 그래서 저는 이것을 사용하여 가장 성능이 좋은 모델을 선택하도록 돕습니다.
	제가 관심있는 것은 R 제곱의 더 높은 값, RASE의 더 낮은 값 (근 평균 제곱 오차) 및 더 낮은 평균 절대 오차입니다. 그리고이 두 모델 사이에서이 최소 제곱 회귀 모델이 가장 좋은 것 같습니다.
	이제 가능한 모든 모델을 맞추려면 시간이 많이 걸릴 수 있습니다. 따라서 이렇게하는 대신 JMP Pro 16의 새로운 기능은 모델 스크리닝이라는 플랫폼입니다.
	모델 스크리닝을 시작하면 맨 위에 우리가 본 것처럼 대화 상자가 있으므로 계속해서 채울 것입니다.
	그리고 유효성 검사를 추가하겠습니다.하지만 측면에서 보시는 것은 여러 다른 모델을 선택하고이 다른 모델을 한 번에 모두 맞출 수 있다는 것입니다.
	그래서 의사 결정 트리, 부트 스트랩 포리스트, 부스트 트리, K 개의 가장 가까운 이웃, 맞습니다. 저는이 모든 모델을 맞출 수 있습니다.
	그리고 말이 안되는 모델을 실행하지 않을 것입니다. 그래서 제 옵션 중 하나로 연속 응답 로지스틱 회귀를 사용합니다. 로지스틱 회귀 모델을 실행하지 않습니다.
	지속적인 응답으로. 여기에이 옵션이 있습니다. XGBoost.
	그리고 나타나는 이유는 추가 기능이 있고 실제로 오픈 소스 라이브러리를 사용하기 때문입니다. 그리고이 추가 기능을 설치하면 (JMP 사용자 커뮤니티에서 사용할 수 있습니다.
	XGBoost라고하며 JMP Pro에서만 작동합니다.)이 추가 기능을 설치하면 모델 심사 대화 상자에 자동으로 나타납니다.
	확인을 클릭하고 확인을 클릭하면이 플랫폼이 각각 나가서 실행됩니다.
	그런 다음 모든 결과를 하나의 창으로 가져옵니다. 그래서 OK를 클릭했습니다. 여기에는 데이터가 많지 않아서 매우 빠릅니다.
	그리고 세부 사항 아래에서 이들은 적합했던 모든 개별 모델입니다. 이 대화 상자 중 하나를 열면 결과를 볼 수 있으며 해당 메뉴에서 사용할 수있는 추가 옵션에 액세스 할 수 있습니다.
	그래서 나는 세부 사항을 숨길 것입니다. 기본적으로 학습 데이터에 대한 통계가보고되지만 유효성 검사 데이터에 대한 결과가 표시되므로 R 제곱을 볼 수 있고 RASE를 볼 수 있습니다.
	그리고 기본적으로 가장 낮은 것이 가장 좋은 RASE 순서로 정렬됩니다.
	하지만 여기 아래에 몇 가지 간단한 바로 가기 옵션이 있으므로 최상의 모델을 찾고 싶다면 R square가 일부 모델에 가장 적합하지만 RASE가 다른 모델에 더 적합 할 수 있습니다. select dominant를 클릭합니다. .
	그리고이 경우에는 신경 증폭을 선택 했으므로이 모든 모델에서 최고의 모델은 신경 증폭입니다. 이 모델을 좀 더 자세히 살펴보고 싶다면 여기 신경망 아래에있는 세부 사항을 보거나
	또는 간단히 말해서 선택 실행이라고 말할 수 있습니다.
	지금은 이것에 대해 이야기하지 않았지만 대화 창에는 임의의 시드를 설정하는 옵션이 있습니다.
	그리고 내가 그 임의의 시드를 설정하면 여기에서 시작되는 결과는 여기에서 보는 것과 동일합니다. 그래서 이건 ... 이건
	TanH 함수를 사용하는 3 개의 노드가있는 신경 모델이지만 부스팅도 사용하고 있습니다. 따라서이 플랫폼을 설계 할 때 개발자는 다양한 모델에 대한 최상의 시작점과 최상의 기본 설정을 결정하기 위해 많은 시뮬레이션을 수행했습니다.
	그래서 신경 강화가 최고입니다.
	과
	이 모델을 배포하려면 이제 스크립트를 저장할 수 있습니다.
	실행하거나 공식에 더 깊게 저장할 수 있습니다.
	따라서 이것은 연속적인 응답이며 빨간색 삼각형 아래에 다른 옵션이 있습니다. 범주 형 응답이 있으면 어떻게합니까? 범주 형 응답의 경우 동일한 플랫폼을 사용할 수 있습니다. 그래서 다시 모델 스크리닝으로 가겠습니다.
	Recall을 클릭하고 Y 대신 Y Binary를 사용합니다.
	그리고 기본 방법을 변경하지 않겠습니다. 난 임의의 시드를 넣을 것입니다. 예를 들어 12345, 난 그냥 난수를 잡는 것입니다.
	그리고 이것이 할 일은 반복성을 제공하는 것입니다. 따라서 모델을 데이터 테이블이나 공식 저장소에 저장하면
	통계는 모델에서 동일하고 적합도는 동일합니다. 여기에 몇 가지 다른 옵션이 있습니다. 보고서와 같은 것을 끄고 싶을 수도 있습니다.
	다른 교차 검증 방법을 사용할 수 있으므로이 플랫폼에는 K 폴드 검증이 포함되지만 중첩 된 K 폴드 교차 검증도 사용됩니다.
	그리고 우리는 이것을 반복 할 수 있습니다. 정말 멋져요. 때로는 데이터를 훈련 검증 및 테스트로 분할하는 것이 최선이 아니며 K 폴드
	실제로 조금 더 나아질 수 있습니다. 그리고 하단에 몇 가지 추가 옵션이 있습니다. 따라서 양방향 상호 작용을 추가 할 수 있습니다. 2 차 효과를 추가 할 수 있습니다.
	추가 방법에서는 추가 일반화 회귀 방법에 적합합니다. 이제 계속해서 확인을 클릭하겠습니다.
	확인. 모든 모델을 실행하고 다시 이것은 작은 데이터 세트입니다. 매우 빠릅니다.
	맞아요, 모양과 느낌은 같지만 이제 통계가 다릅니다. 그래서 오 분류 율이 있습니다. 곡선 아래 영역이 있습니다. 또한 R 제곱 측정 값과 루트 평균 제곱 오차도 있습니다.
	select dominant를 클릭하고, 다시 지배적 인 방법은 neural boosted입니다.
	이제 이러한 다른 모델 중 일부를 탐색하고 싶다면 어떻게해야할까요? 그래서 바로 여기에있는 오 분류는 단계적인 것보다 상당히 적습니다.
	AUC는 비슷합니다. 전체적으로 가장 낮지 만 그다지 좋지는 않습니다. 그리고 이것들 중 몇 개를 가져 가겠습니다. 그래서이 중 몇 개를 클릭하면 아마도이 4 개,이 5 개를 선택할 것입니다.
	ROC 곡선을보고 모델을 비교하는 데 관심이 있다면 ROC 곡선을 볼 수 있습니다.
	여기에는 모델을 끄고 특정 모델에 집중할 수있는 멋진 컨트롤이 있습니다.
	제가 정말 기대하는 새로운 기능은 의사 결정 임계 값이라는 것입니다.
	그리고 결정 임계 값을 통해 우리가 볼 수있는 것은
	훈련 데이터를 보는 것으로 시작하여 데이터의 스냅 샷을 제공합니다.
	그리고 오 분류 율은 분류를 위해 .5를 기준으로합니다. 그래서 각 모델에 대해 실제로 높고 낮은 포인트를 보여줍니다. 그리고 우리가 높은 것에 초점을 맞추고 있다면, 녹색 점은 정확하게 높은 것으로 분류되었습니다.
	빨간색 영역에있는 항목은 잘못 분류되었으므로 올바른 분류와 잘못된 분류를 표시하고 여기 측면에있는 모든 통계를보고합니다.
	그리고 아래에는 여러 가지 다른 메트릭과 함께 잘못된 분류와 실제 분류를 볼 수있는 많은 그래프가 있습니다.
	나는 이것을 닫고
	검증 데이터.
	그렇다면 이것이 왜 유용할까요? 음, 민감도를 최대화하는 데 관심이있는 특정 시나리오가있을 수 있습니다.
	특정 특이성을 유지하면서. 그리고 감도 ... 여기에 몇 가지 정의가 있습니다. 감도는 진정한 긍정 비율입니다.
	특이성은 진정한 음성 비율입니다. 이건 ... 이것은 우리가 질병의 진행을보고 싶은 시나리오입니다. 그래서 우리는 우리가 ... 높은 민감도를 유지하고 있는지 확인하고 싶습니다
	또한 우리의 특이성이 높은지 확인합니다. 여기에 슬라이더가 있고이 슬라이더를 잡을 수 있습니다.
	분류 기준을 변경함에 따라 분류가 어떻게 변경되는지 확인할 수 있습니다.
	그래서 저는 이것이 경쟁 모델을 볼 때 정말 강력한 도구라고 생각합니다. .5의 컷오프가있는 일부 모델이있을 수 있기 때문에 가장 좋은 오 분류 율을 가질 수 있기 때문입니다.
	그러나 분류 기준을 변경하면 다른 모델이 다르게 작동 할 수있는 시나리오도있을 수 있습니다. 예를 들어 제가 여기 특정 지역에 있다면 단계별 모델이 실제로 더 낫다는 것을 알 수 있습니다.
	이제 이것을 더 설명하기 위해 다른 예를 열고 싶습니다.
	그리고이 예를 신용 카드 마케팅이라고합니다.
	이 시나리오를 소개하기 위해 슬라이드로 돌아 가면됩니다.
	이것은 시나리오입니다
	신용 카드 제안 수락에 대한 시장 조사를 기반으로 한 많은 데이터가 있습니다.
	응답은 제안이 수락되었습니다. 그리고 이것은 연구의 제안 중 5.5 %만이 실제로 수락 된 시나리오입니다.
	이제 우리가 관심을 가지고있는 요소가 있으므로 제공되는 다양한 유형의 보상이 있습니다.
	다양한 메일러 유형이 있습니다. 그래서 이것은 실제로 설계된 실험입니다. 우리는 그 부분 ...이 연구의 측면을 무시할 것입니다.
	또한 재무 정보도 있으므로이 예에서 한 가지 목표를 고수 할 것입니다. 그것이 제안을 수락 할 가능성이 가장 높은 고객을 식별하는 목표입니다.
	가능성이 가장 높은 고객을 식별 할 수있는 경우이 시나리오에서는 제안을 수락하고 나머지는 무시할 가능성이 더 높은 하위 집합에만 제안을 보낼 수 있습니다. 이것이 여기의 시나리오입니다.
	그리고 저는이 데이터를 열 것입니다.
	10,000 개의 관찰이 있고 내 응답은 제안이 수락되었습니다.
	그리고 저는 이미 스크립트를 데이터 테이블에 저장 했으므로 항공 마일, 우편물 유형, 소득 수준, 신용 등급 및 기타 몇 가지 재무 정보를 얻었습니다.
	진행 중입니다 ... 저장 스크립트를 실행했습니다. 모든 모델을 실행하고 있습니다. 이 경우 신경은 부스트 된 신경을 실행하기 때문에 가장 많은 시간이 걸립니다.
	몇 초가 더 걸립니다. 지원 벡터 머신을 실행하고 있습니다. 서포트 벡터 머신은 시간이 초과되고 관측치가 10,000 개 이상이면 실제로 실행되지 않습니다.
	1 초 더 주겠습니다. 유효성 검사를 사용하고 있으므로 여기에 유효성 검사 열이있는 표준 유효성 검사를 사용하고 있습니다. 이 경우에는 0과 1로 구성된 열이 있으며 JMP는 훈련 데이터에 대해 0을 인식하고 검증 데이터에 대해 1을 인식합니다.
	괜찮아. 우리가 간다. 좋아, 그래서 실행되었고 큰 데이터 테이블을 다루는 경우 실행할 수있는 보고서가 있습니다.
	경과 시간을 확인합니다. 그리고이 시나리오에서 서포트 벡터 머신은 실제로 가장 오랜 시간이 걸렸고, 이것이 10,000 개 이상의 관측치가있는 경우 실행되지 않는 이유입니다.
	그럼 이것들을 살펴 보겠습니다. 그래서 우리의 최고의 모델은, 제가 지배적을 선택한다면, 신경 강화와 의사 결정 트리입니다.하지만 여기서 뭔가를 지적하고 싶습니다. 오 분류 율을 확인하십시오.
	오 분류 율은 서포트 벡터 머신을 제외하고 모든 모델에서 동일합니다. 그리고 이것이 왜 그렇습니까? 음, 내가 수락 한 제안 배포를 실행하면
	(이것을 조금 더 크게 만들어서 우리가 볼 수 있도록하겠습니다) 그리고 검증 데이터에 초점을 맞 춥니 다. 우리 관찰의 .063 %가 Yes라는 것을 주목하세요. 이것이 바로 우리 모델이 예측 한 것입니다.
	그리고 왜 이것을 하는가?
	다시 결정 임계 값을 요청하겠습니다.
	여기이 그래프에 초점을 맞추면이 그래프는 많은 용도로 사용됩니다.이 경우 분류를위한 컷오프는 .5입니다.
	그러나 우리의 적합 확률 중 어느 것도 그에 근접하지 않았습니다. 결과적으로 모델은 아니오를 아니오로 올바르게 분류했습니다.
	또는 예를 아니오로 분류했습니다. 확률이 .5보다 크지 않았기 때문에 어떤 것도 예로 분류하지 않았습니다. 그래서 제가이 남자를 펴면
	맞습니다.이 두 모델의 차이점을 알 수 있습니다. 따라서 상위 확률은 신경 강화의 경우 약 .25이고 의사 결정 트리의 경우 약 .15였습니다.
	그리고 의사 결정 트리의 경우 의사 결정 트리는 기본적으로 일련의 이진 분할을 수행하고 기본적으로 몇 가지 예측 값을 가지고있는 반면 신경 강화는 포인트에서 멋진 무작위 패턴을 보여줍니다. 그래서 이것을 .12와 같이 변경하겠습니다.
	맞아요, 그리고 그것은 .12에서 잘 렸습니다. 사실 제가 이것을 밀어 주면, 제가 더 낮은 값을 얻을 수 있다는 것을 알 수 있습니다. 저는 실제로 얻습니다.
	그리고 나는 오 탐지하기 시작합니다. 드래그하면 바에서 볼 수 있지만 바는 약간 작습니다. 신경이 강화되어 참 양성과 거짓 양성이 보이기 시작했습니다.
	그리고 이제 당신은 그들을보기 시작합니다. 이 첫 번째 포인트 세트를지나 자마자 의사 결정 트리를보기 시작합니다.
	따라서 .5의 컷오프를 사용하는 것은 이러한 데이터에 적합하지 않습니다. 다시 한 번 저는 ... 특이성에 대한 적절한 수준을 유지하면서 저에게 가장 감도를주는 컷오프를 찾으려고 할 수 있습니다.
	이 경우,이 두 가지 다른 통계를 지적하겠습니다.
	F1은 F1 점수이며, 이것은 우리가 진정한 긍정을 얼마나 잘 포착 할 수 있는지에 대한 척도입니다.
	MCC는 Matthews 상관 계수이며 네 가지 가능성 각각에서 얼마나 잘 분류되는지를 나타내는 좋은 척도입니다. 그래서 ...
	나는 거짓 양성, 거짓 음성, 참 양성, 참 음성을 가질 수 있습니다.
	여기 상자에 해당한다고 실제로 말하지는 않았지만 네 가지 옵션이 있습니다. MCC는 마이너스 1과 플러스 1 사이에있는 상관 계수로, 네 개의 상자 각각에서 각각의 네 가지 ...를 어떻게 예측할 것인지를 측정합니다.
	따라서 최대 F1 값 또는 최대 MCC 값을 제공하는 컷오프를 탐색하고 싶을 수 있습니다. 그리고 제가 이쪽으로 드래그한다고합시다. 주목하세요
	민감도는 빠르게 증가하고 특이성은 떨어지기 시작합니다. 그래서 아마도 .5 정도일 것입니다. 맞습니다. 저는 특이성이 너무 멀리 떨어지기 시작하는 지점에 도달했습니다.
	잘린 부분이 있고 하단에는 수익 매트릭스를 설정하는 옵션이 있습니다. 이것을 수익 매트릭스로 설정하면 기본적으로이 컷오프를 사용하여 새로운 데이터를 채점 할 수있게됩니다.
	그래서 여기에 이것을 설정하고 OK, 맞아요. 제가 이걸 데이터 테이블이나 공식 저장소에 저장하면 앞으로 내릴 모든 예측은 그 컷을 사용할 것입니다.
	그리고 이것은 제가 수익 매트릭스에 구축 할 수있는 재무 정보를 실제로 가질 수있는 시나리오입니다.
	예를 들어 슬라이더를 사용하여 컷오프를 선택하는 대신 분류와 관련된 달러 가치에 대해 어느 정도 알고있을 수 있습니다. 실제 응답이 '아니오'인 경우
	하지만 나는 그들에게 제안을 보냅니다. 그래서 예, 그들이 예일 것이라고 생각하고 그들에게 제안을 보냅니다. 아마도 이것은 5 달러의 비용이들 것입니다. 그래서 저는 거기에 음의 값을 가지고 있습니다.
	그리고 잠재적 인 이익에 대한 아이디어가있을 수 있습니다. 따라서 이익은 ...이 기간 동안의 잠재적 이익은 $ 100이고 기회를 잃어 버릴 수도 있습니다. 아마 내가 말 하겠지.
	그 사람은 실제로 응답했을 것이지만 나는 그들에게 제안을 보내지 않았습니다. 따라서 이것은 기회를 잃은 것일 수도 있고 때로는 공백으로두기도합니다. 이제 이것을 대신 사용하면
	표시되는 추가 정보가 있으므로 수익 매트릭스가 있음을 인식합니다. 이제 메트릭을 살펴보면이 수익을 기반으로 최상의 모델을 결정할 수 있습니다.
	그래서 저는이 추가 정보를 의사 결정에 적용하고 때로는 수익 매트릭스를 가지고 있으며이를 직접 사용할 수 있고 때로는 사용하지 않을 수도 있습니다. 그리고 이것은 신경 강화 모델이 나에게 최고의 전체 수익을 줄 것이라는 것을 알 수있는 경우 중 하나입니다.
	그래서 이것은 모델 스크리닝을 살짝 엿보며 슬라이드로 돌아가 보겠습니다.
	그리고 우리는 여기서 무엇을 보았습니까? 음, 우리는 예측 모델링에 대해 이야기했습니다.
	예측 모델링이 설명 모델링과 다른 목표를 갖는 방법. 따라서 여기서 우리의 목표는 미래의 결과를 정확하게 예측하거나 분류하는 것이므로 미래의 관찰에 점수를 매기고 싶습니다.
	그리고 우리는 일반적으로 유효성 검사를 사용하여 많은 모델을 맞추고 비교하고 가장 정확하게 예측하는 최상의 작업을 수행하는 모델 또는 모델 조합을 선택합니다.
	모델 스크리닝은이 워크 플로를 실제로 간소화하므로 하나의 플랫폼에서 동시에 여러 모델을 맞출 수 있습니다.
	그리고 저는 실제로 기본값만을 사용했기 때문에 실제로 거기에 맞는 것보다 훨씬 더 정교한 모델을 맞출 수 있습니다. 지배적 인 모델을 선택하고 모델 세부 사항을 탐색하는 것이 정말 쉽습니다. 우리는 새로운 모델을 맞출 수 있습니다
	세부 사항에서. 범주 형 데이터를 다루는 경우이 결정 임계 값을 사용하면 분류를위한 컷오프를 탐색 할 수 있으며 수익 매트릭스를 포함하는 기능도 통합됩니다.
	선택한 모델에 대해 모델을 공식 저장소에 배포하거나 데이터 테이블에 저장할 수 있습니다. 정말 강력하고 새로운 도구입니다.
	자세한 내용은. 분류 메트릭은 F1 점수와 Matthews 상관 계수를보기 전에 알고 있는데, 이러한 통계는 나에게 비교적 새로운 것입니다.
	민감도와 특이성을 이해하기 위해이 Wikipedia 게시물에는 정말 멋진 예제와 정말 멋진 토론이 있습니다.
	예측 모델링과 모델 스크리닝을위한 몇 가지 유용한 리소스도 있습니다. JMP 사용자 커뮤니티에는 비디오에 액세스 할 수있는 새로운 경로 인 Learn JMP가 있습니다.
	JMP 시리즈 동영상 마스터하기. 작년 Tucson의 JMP Discovery에서 Ruth Hummel과 Mary Loveless가 어떤 모델에 대해 발표 한 멋진 강연이 있습니다.
	그리고 이것은 서로 다른 모델링 목표와 각 모델을 사용하고 싶을 때에 대해 이야기하는 좋은 작업입니다.
	예측 모델링을 처음 접하는 경우 무료 온라인 과정 인 STIPS (산업 문제 해결을위한 통계적 사고) 인 모듈 7은 예측 모델링에 대한 소개입니다.
	그래서 이것을 추천합니다. 제가 지적 할 당뇨병 데이터를 사용하는 모델 스크리닝 블로그가 있습니다. 또한이 책의 두 번째 버전 인 JMP Pro로 더 나은 모델 만들기가 있음을 지적하고 싶습니다.
	그것은 앞으로 몇 달 안에 나올 것입니다. 그들은 아직 새 표지가 없지만 그 책에 모델 심사를 포함시킬 것입니다.
	그래서 내가 가진 전부입니다. 이 게시물에 대한 의견을 게시하거나 질문을 해주시기 바랍니다. 나머지 회의 시간을 즐겁게 보내시기 바랍니다. 감사합니다.

베스트 오브 더 서밋브레이크 아웃예측 모델링