스피커 | 성적 증명서 |
| 미아 스티븐스 | 아마 45분도 걸리지 않을 겁니다. |
| 좋아, 우리는 좋다. |
| 젠장, 그 문자가 왜 나왔지. |
| 제이슨 위긴스, JMP | 보셨습니까, 제가 녹음을 시작했지만 누군가가 들어와서 끝에서 시작 부분을 잘라낼 것이라고 묻고 싶었습니다. |
| 미아 스티븐스 | 녹음을 하신다고 합니다. |
| 제이슨 위긴스, JMP | 응. |
| 원한다면 멈출 수 있습니다. |
| 음. |
| 제이슨 위긴스, JMP | 자, 녹화가 시작되었습니다. |
| 미아 스티븐스 | 안녕하세요 제 이름은 MIA Stevens이고 JMP 제품 관리자입니다. |
| 그리고 오늘은 JMPed 16 또는 JMP pro 16 모델 스크린 스크리닝에서 처음 등장한 새로운 기능에 대해 이야기하려고 합니다. |
| 사실, 다시 시작하겠습니다. |
| 제이슨 위긴스, JMP | 녹음이 다시 시작되었습니다. |
| 미아 스티븐스 | 안녕하세요, 저는 미아 스티븐스입니다. |
| 저는 JMP 제품 관리자입니다. 그리고 오늘은 모델 선별에 대해 이야기하겠습니다. 모델 스크리닝은 JMP Pro 16의 새로운 플랫폼으로, 여러 모델을 동시에 피팅할 수 있어 예측 모델링 워크플로를 간소화할 수 있습니다. |
| 그래서 우리는 예측 모델링이 무엇을 의미하는지에 대해 조금 이야기하는 것으로 시작할 것입니다. 이것은 보다 고전적인 모델링이나 설명 모델링과 대조됩니다. |
| JMP Pro에서 구축할 수 있는 모델 유형을 살펴보고 예측 모델링 작업 흐름에 대해 조금 이야기하겠습니다. 그런 다음 모델 스크리닝을 사용하여 이 워크플로를 간소화하는 방법을 살펴보겠습니다. |
| 우리는 경쟁 모델을 비교하기 위한 몇 가지 다른 지표를 보게 될 것이며 JMP Pro에서 두 가지 다른 예를 사용할 것이며 저는 JMP Pro 16.1을 사용할 것입니다. |
| 먼저 예측 모델링이란 무엇을 의미합니까? |
| 우리 대부분은 대학이나 회사에서 통계 과정을 수강했으며 일반적으로 통계 모델링을 배울 때 그것은 설명 모델링입니다. |
| 이것이 의미하는 바는 여러분이 여러 X 또는 입력 변수의 함수로 일부 Y 변수, 관심 있는 응답을 연구하는 데 관심이 있다는 것입니다. |
| 따라서 우리는 중요한 변수를 식별하는 데 관심이 있을 수 있습니다. 아마도 우리는 가장 중요한 잠재적 원인인 가장 중요한 X를 식별하려는 문제 해결 상황에 있을 수 있습니다. |
| 따라서 설명적 모델링의 결과로 X1, X3 및 X6이 Y 변동의 잠재적 원인임을 식별할 수 있으며 이는 설계된 실험을 사용하여 이러한 변수를 추가로 연구하도록 유도할 수 있습니다. |
| 또한 관계의 특성을 정량화하는 데 관심이 있을 수 있습니다. 예를 들어 응답인 Y가 X의 함수로 평균적으로 어떻게 변하는지 이해하는 데 관심이 있을 수 있습니다. |
| X의 1단위 변화는 Y의 5단위 변화와 관련이 있습니다. |
| 이것이 우리가 모델링이나 통계 모델링 또는 회귀 분석에 대해 이야기할 때 일반적으로 생각하는 것입니다. |
| 이제 대조적으로 예측 모델링은 미래 결과를 정확하게 예측하거나 분류하는 것입니다. |
| 따라서 고전적 모델링에서는 일반적으로 평균, 전체 평균에 대한 진술을 합니다. 예측 모델링에서 우리는 다음에 무슨 일이 일어날지 알고 싶습니다. 예를 들어 이 고객이 이탈할까요? 이 고객이 |
| 신용 카드 제안을 받아들이시겠습니까? 기계가 고장날까요? 그래서 우리는 다음에 일어날 일을 예측하는 데 관심이 있습니다. 그래서 우리는 정확성, 우리 예측의 정확성에 관심이 있습니다. |
| 예측 모델링에서 우리는 다양한 가능한 모델을 적합하고 비교하는 경향이 있으며 여기에는 매우 고급 기술이 포함되거나 포함될 수 있습니다. |
| 그리고 이러한 기술 중 일부는 해석하기 쉽지 않을 수 있습니다. 따라서 신경망을 생각하면 신경망은 일반적으로 일종의 블랙박스로 간주됩니다. |
| 그리고 이러한 더 복잡한 모델의 경우 과적합이 문제가 될 수 있습니다. 과적합이란 우리가 필요로 하는 것보다 훨씬 더 복잡한 모델을 적합시킬 수 있는 경향이 있다는 것입니다. |
| 따라서 예측 모델링에서는 모델 검증을 사용하는 경향이 있습니다. 과적합 및 과소적합으로부터 보호하기 위해 모델 유효성 검사를 사용합니다. 그리고 모델 유효성 검사와 관련된 것은 데이터를 분할하는 것입니다. 데이터를 분할하는 일반적인 방법은 일부 데이터를 유지하는 것입니다... |
| 데이터 중 일부는 모델을 훈련하는 데 사용되고 일부 데이터는 유지되며 세 번째 세트도 유지될 수 있습니다. 이러한 데이터를 사용하는 방식은 교육 데이터를 사용하여 모델을 맞추는 것입니다. |
| 그런 다음 유효성 검사 데이터에서 모델이 얼마나 잘 수행되었는지 확인합니다. 그리고 세 번째 단계가 사용될 수 있으며 이것은 종종 테스트 세트라고 합니다. |
| 유효성 검사...JMP의 유효성 검사 데이터는 종종 모델의 크기를 제어하는 데 사용되기 때문입니다. 몇 분 안에 이것이 실제로 작동하는 것을 보게 될 것입니다. |
| 유효성 검사에 대해 자세히 설명하지는 않겠지만 비교적 생소한 주제인 경우 무료 온라인 과정인 STIPS에서 빌린 슬라이드가 이 자료의 끝에 있으며 유효성 검사가 왜 필요한지 설명합니다. 중요한. |
| JMP Pro에는 적합할 수 있는 다양한 유형의 예측 모델이 많이 있습니다. |
| 이들 중 일부는 적합 모델에서 사용할 수 있으므로 연속 응답이 있는 경우 선형 회귀 모델을 적합할 수 있습니다. 범주형 응답이 있는 경우 적합할 수 있습니다. |
| 로지스틱 회귀 모델. 이는 서수 또는 다항 또는 이항 회귀 모델일 수 있습니다. 일반화 선형 모델이나 탄성망, 올가미 및 능선 회귀와 같은 불이익 회귀 모델을 적합할 수 있습니다. |
| 예를 들어 신경망과 같이 많은 항목이 포함된 예측 모델링 메뉴가 있습니다. 그리고 다음을 사용하여 JMP Pro에 신경망을 맞출 수 있습니다. |
| 두 개의 레이어, 다중 노드, 다중 활성화 기능, 부스팅 포함. 일반적으로 JMP에서는 |
| 동일한 플랫폼을 사용하여 범주형 응답 또는 연속 응답에 대한 모델을 맞출 수 있습니다. 다양한 유형의 나무, 분류 나무가 있으면 적합할 수 있습니다. |
| 범주형 응답, 연속 응답이 있는 경우 회귀 트리. 부트스트랩 포리스트 및 부스트된 트리와 같은 좀 더 복잡한 유형의 트리를 맞출 수도 있습니다. 그리고 사용 가능한 다른 방법도 있음을 알 수 있습니다. |
| 그리고 다변량 방법에 따라 몇 가지 예측 모델링 플랫폼이 있으므로 분석과 부분 최소 제곱을 구별합니다. 따라서 이것은 완전한 목록이 아니며 적합 모델에서 부분 최소 제곱도 사용할 수 있음을 지적하겠습니다. |
| 문제는 왜 그렇게 많은 모델이 필요한가입니다. 고전적인 설명 모델링에서 우리는 일반적으로 회귀 분석에 대해 배우고 있지만 분명히 우리가 적합할 수 있는 모델의 훨씬 더 많은 유형이 있습니다. |
| 그 이유는 단일 유형의 모델이 항상 최고는 아니기 때문입니다. 최상의 모델은 종종 데이터 구조에 따라 달라집니다. |
| 순전히 연속적인 X가 있든, 연속 변수와 범주형 변수가 혼합되어 있든, 비선형 행동이 있든 상관없이 얼마나 많은 변수를 가지고 있는지. |
| 따라서 단일 유형의 모델이 항상 정확한 예측에 가장 적합한 모델은 아닙니다. 따라서 우리는 일반적으로 여러 가지 다른 모델을 시도하고 최상의 작업을 수행하는 모델 또는 조합 모델을 선택합니다. |
| 그리고 더 광범위한 분석 워크플로의 맥락에서 예측 모델링에 대해 생각합니다. |
| 물론 우리가 해결하려는 문제 유형이 있습니다. 비즈니스 문제 또는 엔지니어링 문제입니다. |
| 하지만 우리는 데이터를 수집합니다. 이것은 다양한 출처의 데이터일 수 있습니다. 우리는 이 데이터들을 짝짓기해야 하고 데이터를 큐레이팅해야 합니다. |
| 우리는 우리가 사용할 수 있는 것과 추가 데이터 요구 사항에 대해 자세히 알아보기 위해 데이터를 탐색하고 시각화합니다. 그리고 이것의 예측 모델링 측면은 데이터를 분석하고 모델을 구축하는 것입니다. 제 생각에는 이것이 정말 재미가 시작되는 곳입니다. |
| 따라서 JMP의 기존 워크플로는 검증을 통해 모델을 맞추는 것입니다. |
| 그런 다음 예측 수식을 데이터 테이블에 저장하거나 수식 저장소에 게시하면 잠시 후에 이를 확인할 수 있습니다. |
| 그런 다음 다른 모델에 맞습니다. 따라서 회귀 모델로 시작한 다음 트리 기반 모델에 맞출 수 있습니다. 그런 다음 이것을 반복하고 여러 가지 다른 유형의 모델을 맞춥니다. |
| 그런 다음 모델 비교를 사용하여 검증 데이터에 대한 각 모델의 성능을 평가합니다. 따라서 학습 데이터를 사용하여 모델을 맞추지만 모델을 비교하여 어떤 예측이 가장 정확한지 확인하려면 유효성 검사 또는 테스트 데이터를 사용합니다. |
| 그리고 최상의 모델 또는 최상의 모델 조합을 선택합니다. |
| 그런 다음 모델을 배포하므로 이것이 일반적인 워크플로입니다. |
| 이제 모델 스크리닝을 통해 모델 스크리닝은 이를 간소화합니다. 따라서 모델 심사 플랫폼 내에서 원하는 모든 모델을 맞출 수 있으며, |
| 검증 데이터를 사용하여 해당 모델을 비교하고 최상의 모델을 선택하십시오. 모델을 탐색할 수 있고 모델 스크리닝에서 새 모델을 맞출 수도 있으며 그런 다음 최상의 모델을 쉽게 배포할 수 있습니다. |
| 이를 자세히 살펴보기 위해 몇 가지 예를 사용하겠습니다. 첫 번째 예는 여러분에게 친숙할 수 있는 예입니다. |
| 당뇨병 데이터이며 샘플 데이터 디렉토리에 있습니다. 시나리오는 연구원들이 질병 진행률을 예측할 수 있기를 원한다는 것입니다. |
| 기준선 측정을 한 지 1년 후. 따라서 10개의 기본 변수와 442명의 환자가 있고 여기에서 살펴볼 두 가지 유형의 응답이 있습니다. 응답 Y는 질병이 1년 동안 얼마나 진행되었는지를 측정하는 정량적 측정입니다. |
| 그리고 높음/낮음의 이항 반응도 있습니다. 높음은 질병 진행률이 높음을 의미하고 낮음은 진행률이 낮음을 의미합니다. |
| 여기서 모델링 목표는 시정 조치를 취할 수 있도록 질병 진행률이 가장 높은 환자를 예측하는 것입니다. |
| 따라서 궁극적으로 우리가 할 수 있는 것은 인구 통계학적 변수와 여기에 있는 기본 정보를 기반으로 미래의 환자를 분류할 수 있는 모델을 구축하는 것입니다. 그래서 우리는 할 수 있기를 원합니다 |
| 질병 진행률이 높을지 여부를 정확하게 예측하여 조치를 취할 수 있습니다. 좋아, 그게 시나리오야. |
| 그리고 JMP를 시작하기 전에 어떤 모델이 가장 잘 예측하는지 결정하는 방법에 대해 조금 이야기하고 싶습니다. |
| 이를 위해 유효성 검사 또는 테스트 세트를 사용하며 사용할 수 있는 여러 유형의 측정이 있다고 언급했습니다. |
| 연속 응답의 경우 주 제곱근 오차인 RMSE 또는 관련 척도인 RASE, 평균 제곱근 오차를 사용합니다. 이것이 예측 오차이며 여기서 낮을수록 좋습니다. |
| 또한 AAE(평균 절대 오차), MAD(평균 절대 편차) 또는 MAE를 사용할 수 있으며 이들도 낮을수록 좋습니다. 그래서 이것들은...이것들은...이것들은 일종의 평균 오차 척도입니다. |
| 그런 다음 R 제곱, R 제곱은 실제로 적합도를 측정하는 척도이므로 높을수록 좋습니다. |
| 그래서 우리는 연속적인 응답을 위해 이것을 사용하는 경향이 있습니다. 사용할 수 있는 다른 많은 유형의 조치가 있습니다. |
| 범주형 응답이 종종 오분류나 오류율 또는 정확도에 관심이 있는 경우 정밀도에 관심이 있을 수 있습니다. |
| ROC 곡선, 민감도 및 특이도에서 볼 수 있는 곡선 아래 영역과 같은 다른 측정값이 있습니다. 이들은 여러 가지 다른 유형의 이름으로 사용됩니다. |
| 그리고 균형이 맞지 않는 데이터가 있을 때 유용한 모델 스크리닝에 추가한 몇 가지 다른 측정값이 있습니다. F1 점수와 Matthews 상관 계수인 MCC가 있으며 이것은 다음을 취하는 값입니다. |
| 또는 마이너스 1과 플러스 1 사이의 값을 취하는 측정항목입니다. 범주형 데이터가 있을 때 데이터가 네 가지 가능한 범주, 즉 참양성, 참음성, 거짓양성에 얼마나 잘 분류되어 있는지 측정하는 데 좋습니다. 그리고 위음성. |
| 이제 JMP에 대해 살펴보겠습니다. |
| 그리고 데이터를 공개하겠습니다. |
| 그래서 이것들은...조금 더 크게 만들겠습니다. 이것들은 다시 당뇨병 데이터입니다. |
| 이러한 데이터를 가지고 놀고 싶다면 이러한 데이터를 사용하는 블로그가 있으며 도움말과 샘플 데이터에서도 찾을 수 있습니다. |
| 그리고 다시, 반응 Y가 있습니다. 좀 더 크게 만들어 보겠습니다. 이것이 질병 진행의 지속적인 척도입니다. 그리고 우리는 결과가 낮거나 높은 이진 Y를 가지고 있습니다. |
| 먼저 JMP 15를 사용 중이거나 모델 스크리닝을 사용하지 않는 경우 JMP Pro를 사용 중이라면 연속 반응인 Y를 예측하기 위해 예측 모델을 어떻게 맞추겠습니까? |
| 몇 가지 인구통계학적 변수가 있습니다. |
| 10개가 있고 유효성 검사 열이 있고 유효성 검사 열은 데이터를 교육 데이터와 유효성 검사 데이터로 분할합니다. |
| 그래서 우리는 학습 데이터를 사용하여 모델을 맞출 것입니다. 그런 다음 유효성 검사 데이터에 모델을 적용할 때 모델이 얼마나 잘 수행되는지 확인할 것입니다. |
| 이 컬럼을 생성하기 위해서는 분석, 예측 모델링, 유효성 검증 컬럼 작성에 유틸리티가 있으며 이를 통해 유효성 검증 컬럼을 생성할 수 있습니다. |
| 예를 들어 계층화 열로 사용하려는 변수가 있을 수 있습니다. |
| 검증 세트. 여기서 확인을 클릭하겠습니다. |
| 이를 통해 데이터의 특정 비율을 다른 세트에 할당할 수 있습니다. |
| 그리고 여기 아래에는 유용한 몇 가지 추가 옵션이 있습니다. 임의 시드는 가르치고 있고 모든 학생이 동일한 분할을 갖기를 원하는 경우 정말 좋습니다. |
| 그래서 이것은 이전에 사용되었습니다. |
| 분석이므로 연속 응답인 이 Y 열을 살펴보는 것으로 시작하겠습니다. 따라서 예측 모델을 피팅하는 경우 자연스러운 출발점은 회귀 모델을 피팅하는 것이며 JMP의 회귀는 모델에 적합하지 않습니다. |
| 내 대답은 Y이고 딱 맞을 것입니다...주효과만 있는 모델을 맞추는 것으로 시작합니다. |
| 이 유효성 검사 필드에 유효성 검사를 입력하고 기본적으로 특성은 표준 최소 제곱입니다. 그러나 JMP 및 JMP Pro에 익숙하다면 Personality에서 사용할 수 있는 다양한 옵션이 있다는 것을 알고 있을 것입니다. |
| 실행을 클릭하면 |
| JMP 16의 한 가지 변경 사항은 예측 플롯 또는 다른 플롯에 의한 실제를 보면 점이 있다는 것을 알 수 있습니다. 여기에 점 대신 V가 있는 점이 있습니다. |
| 이는 이러한 포인트가 실제로 유효성 검사 세트에 할당되었음을 나타내므로 기본적으로 살펴보고 있는 것은 |
| 모델이 주변의 무작위 노이즈에서 얼마나 잘 예측하는지 알 수 있으며 어느 정도 분산이 있음을 알 수 있습니다. 그리고 |
| 모델을 훈련 데이터에 맞추고 검증 데이터에서 얼마나 잘 수행되는지 확인하고 있음을 기억하십시오. 아래에 몇 가지 통계가 있습니다. 따라서 유효성 검사가 있을 때마다 훈련 및 유효성 검사 세트에 대한 추가 통계를 볼 수 있습니다. |
| 여기에 몇 가지 조치가 있음을 알 수 있습니다. 알스퀘어도 있고 RASE도 있습니다. |
| 그리고 일반적으로 모델을 하나의 데이터 세트에 맞춘 다음 해당 모델을 새 데이터에 적용하면 새 데이터에서 제대로 수행되지 않습니다. 따라서 유효성 검사 세트에 대해 R 제곱이 더 낮고 오류인 RASE가 약간 더 높다는 것을 알 수 있습니다. |
| 한 번... 여기 예측 프로파일러 아래에서 볼 수 있는 한 가지 |
| 그 통지는 ... 총 콜레스테롤과 LDL이 실제로 끝에서 부채꼴 모양이라는 것을 주목하십시오. |
| 그리고 드래그하면서 |
| 콜레스테롤의 값, 평균에 대한 이 신뢰 구간이 얼마나 넓어지는지 확인하십시오. 하단으로 드래그하면 |
| 매우 넓어지고 하이 엔드로 드래그하는 것과 동일합니다. 사실, 각 예측 변수에 대한 이러한 모든 간격은 매우 넓어집니다. |
| 그리고 이것은 이 이야기의 범위를 벗어나는 것입니다. 하지만 이것은 우리가 실제로 이 지역에 데이터나 많은 데이터를 가지고 있지 않기 때문입니다. 내가 가져간 경우...한 번 보고 그냥 가겠습니다. |
| 예를 들어 콜레스테롤과 LDL의 경우 총 콜레스테롤과 LDL이라는 두 가지 변수를 가져옵니다. |
| 이들 사이에는 꽤 강한 상관관계가 있음을 주목하세요. 이 지역에 데이터가 없고 이 지역에 데이터가 없습니다. |
| 따라서 예측 모델이나 이러한 밴드가 실제로 펼쳐지는 것을 볼 수 있는 모든 유형의 모델에 적합하면 |
| 그것은 당신의 예측이 해당 지역에서 매우 정확하지 않을 것이라는 표시입니다. 그리고 JMP Pro에는 새로운 기능이 있습니다. |
| 이것이 문제인지 경고할 수 있는 외삽 제어라고 합니다. 그래서 이것을 드래그하면 |
| 외삽이 가능하다는 것을 알려주고 있습니다. 당신의 예측은 여기서 문제가 될 수 있습니다. 외삽 제어를 켜면 |
| 이 대역을 잘라내고 기본적으로 그 범위를 넘어서는 예측을 할 수 없다는 것을 알 수 있습니다. 그것은 단지 유효하지 않습니다. |
| 따라서 이것은 이 범위를 약간 벗어납니다. 하지만 예측 프로파일러에서 밴드가 부채꼴 모양으로 펼쳐지는 것을 본다면 |
| 예측 변수가 서로 연관되어 있기 때문인 경우가 많으며, 그 지역에서 예측할 데이터가 많지 않을 수도 있습니다. 그래서 알아두시면 좋습니다. |
| 자, 당면한 작업으로 돌아가서 보자. 이 모델에 맞고 모델을 줄였습니다. 이것이 제 최종 모델입니다. |
| 예측 공식을 저장하여 이 모델을 내 데이터 테이블에 저장하겠습니다. 그러면 데이터 테이블에 새 열이 추가되는 것을 볼 수 있습니다. 방금 선형 모델을 만들었기 때문에 공식이 데이터 테이블에 저장되었습니다. |
| 대안은 이것을 게시하는 것입니다. 저는 공식 저장소에 게시할 것입니다. |
| 그래서 궁극적으로 제가 하려는 것은 여러 가지 다른 유형의 모델을 맞추는 것입니다(그리고 계속해서 이것을 닫을 것입니다). 그리고 저는 그것을 사용할 수 있도록 그 모델들을 비교하고 싶습니다... |
| 수식을 저장하고 분석, 예측 모델링, 모델 비교로 이동하여 잠시 후에 이 작업을 수행하거나 수식 저장소에 저장하여 이를 수행할 수 있습니다. |
| 공식 저장소에 저장하는 것의 이점은 이제 점수 코드가 있다는 것입니다. 예를 들어 이것이 새 데이터에 적용하려는 최종 모델이라면 |
| 이 스크립트를 복사하여 새 데이터 점수를 매기기 위해 적용할 수 있습니다. |
| (그리고 여기서는 그렇게 하지 않겠습니다) 또는 프로덕션 환경에서 이 모델을 사용할 수 있기를 원한다면 다양한 언어로 코드를 생성할 수 있습니다. |
| 그래서 그것은 단순한 선형 모델이었습니다. 다른 유형의 모델을 맞추려면 어떻게 해야 합니까? |
| 모델 적합에 더 복잡한 모델을 적합시킬 수 있습니다. |
| 일반화된 회귀 모델을 맞출 수 있고 올가미 모델을 맞출 수도 있으므로 여기를 클릭하겠습니다. |
| 여기 일반화 회귀 내에서 일부 모델 비교가 있지만 이 모델을 저장하고 싶다고 가정해 보겠습니다. |
| 그리고 나는 여기서 세부 사항에 너무 많은 관심을 기울이지 않고 있지만 이것은 저장하겠습니다. 예측 공식을 저장하겠습니다. 아마도 나는 그것을 계속해서 출판 할 것입니다. |
| 여기로 가서 이것을 게시하십시오. |
| 그리고 저는 이것을 반복할 것입니다. 저는 상호작용이 있는 모델에 적합할 것입니다. 그런 다음 신경망 모델 또는 파티션 모델, 트리 기반 모델에 적합하도록 진행할 수 있으며 범주형 응답이 있는 경우 이것이 적합할 것입니다. |
| 분류 트리. 연속 응답이 있는 경우 회귀 트리에 적합합니다. 더 작은 나무 또는 부스트된 나무의 모음인 부트스트랩 숲에 맞출 수 있으므로 여러 가지 유형의 모델을 맞출 수 있습니다. |
| 그리고 일단 모델을 가져오고 공식을 저장하거나 공식 저장소에 게시하면 어떤 모델이 가장 정확하게 예측하는지 찾고 싶습니다. |
| 그래서 모델 비교를 사용하겠습니다. |
| 그리고 단순히 유효성 검사를 by 변수로 추가하겠습니다. |
| 유효성 검사 데이터에서 모델이 얼마나 잘 수행되었는지 확인하고 싶기 때문입니다. 그리고 이 두 모델을 사용하고 검증 데이터를 보면(훈련 데이터는 치워두겠습니다), |
| 최소 제곱 모델에 대한 평균 오류가 더 낮고 내 RASE가 최소 제곱 모델에 대해 약간 더 높다는 것을 알 수 있습니다. |
| 그리고 제 R 스퀘어는 일반화된 올가미에 조금 더 좋습니다. |
| 이것이 JMP 15 Pro 또는 JMP Pro 15가 있거나 모델 스크리닝을 사용하지 않는 경우 예측 모델링을 수행할 수 있는 일반적인 방법입니다. 그리고 모델 스크리닝은 우리가 한 단계 내에서 모든 것을 할 수 있게 해줍니다. 그래서 저는 예측 모델링에 들어가 모델 스크리닝을 시작할 것입니다. |
| 그리고 여기 모퉁이를 내려다보면 모델 스크리닝을 통해 기본적으로 우리가 보유한 데이터 유형에 적합한 각 플랫폼을 시작할 수 있습니다. |
| 해당 모델을 자동으로 실행합니다. 따라서 들어가서 메뉴에서 모델을 선택할 필요가 없으며 여기에서 자동으로 실행할 수 있습니다. 그래서 저는 동일한 유형의 모델에 맞출 것이므로 여기서는 주 효과 전용 모델입니다. |
| 이것들은 내 X입니다. 동일한 유효성 검사를 사용하겠습니다. |
| 여기에는 잠시 후에 설명할 여러 가지 옵션이 있습니다. 확인을 클릭하겠습니다. 그리고 결정 트리, 부트스트랩 포리스트, 부스트된 트리, K개의 가장 가까운 이웃이 있습니다. |
| 기본적으로 Naive Bayes는 꺼져 있으며 신경 모델을 맞출 수 있습니다. |
| 여기 아래쪽에 다른 사람들이 있습니다. XGBoost가 있으므로 추가 기능인 XGBoost 추가 기능을 설치했기 때문에 XGBoost를 사용할 수 있습니다. |
| 따라서 이것은 오픈 소스 라이브러리에 액세스하는 무료 추가 기능이며 JMP Pro에 설치되어 있으면 모델 선별 플랫폼에서 시작할 수 있습니다. 이를 해제하고 확인을 클릭하겠습니다. |
| 그래서 모델을 실행하고 있습니다. 그래서 그것은 나갔고 실제로 한 단계를 건너뛰었습니다. 자동으로 이러한 각 모델을 실행합니다. |
| 그리고 조정 매개변수에 대한 최상의 시작 값을 결정하는 데 사용하는 몇 가지 시뮬레이션이 있으므로 이러한 모든 모델에 적합합니다. |
| 그리고 각 모델에 대한 검증 교육 및 검증 통계를 보고합니다. 이제 이 모델들 중 어떤 것이 가장 좋은지 알아보기 위해, |
| 우세를 선택합니다. 선택 우세는 기본적으로 사용 가능한 측정항목 전반에 걸쳐 경계선을 만드는 것이므로 여기에서 우세 선택을 누릅니다. |
| 그리고 이러한 데이터에 대해 최상의 모델이 신경 부스트 모델이고 해당 모델에 대한 세부 정보가 여기 신경 아래에 있음을 발견했습니다. |
| 따라서 모든 세부 사항은 바로 여기 이 플랫폼 내에서 플랫폼을 시작하고 모든 정보를 캡처하는 것입니다. |
| 신경에 대한 모든 세부 정보가 여기에 있으므로 기본적으로 부스트된 3개의 노드로 TanH를 실행합니다. 그리고 학습 통계와 검증 통계를 볼 수 있고 실제로 적합했던 모델을 보고 싶다면 |
| 다음은 기본 모델입니다. |
| 맞아요, 이건...제 최고의 성능을 발휘하는 모델입니다. 이 모델을 자세히 살펴보고 싶다면 여기에서 탐색할 수 있습니다. 여기에는 몇 가지 옵션이 있습니다. 예측 플롯에 따라 실제를 볼 수 있습니다. |
| 그리고 이 모델을 비교할 수 있으므로 예상한 대로 검증 데이터와 예측 플롯에 따른 실제 데이터보다 교육 데이터의 변동이 조금 더 적습니다. 이것을 탐색하고 싶다면 특정 모델을 끌 수 있습니다. |
| 그리고 프로파일러를 실행할 수도 있습니다. 16.1이 있는 경우 프로파일러는 옵션입니다. 16.0이 있는 경우 실제로 숨겨진 옵션이며 다시 Pro에 있습니다. 프로파일러는 우리가 적합한 모델을 탐색할 수 있게 해주기 때문에 훌륭하므로 세 가지 모델을 선택했습니다. |
| 그리고 이것을 조금 더 크게 만들어 보겠습니다. |
| 그렇게 크지 않을 수도 있습니다. |
| 그래서 저는 트리 기반 모델인 부트스트랩 포레스트를 가지고 있습니다. 여기서 기본적으로 여러 트리의 결과를 함께 추가합니다. |
| 강화된 모델이 있고 신경 모델이 비선형 동작을 정말 훌륭하게 포착합니다. 본질적으로 선형 모델인 올가미 모델이 있습니다. |
| 그리고 여러분은 이 모델들을 꽤 명확하게 볼 수 있습니다. 일반화된 올가미를 사용하면 BMI 사이에 선형 관계가 있습니다. |
| 그리고 반응. 뉴로 부스트를 사용하면 약간의 곡률이 있음을 알 수 있습니다. 여기에서 LTG로 볼 수 있고 부트스트랩 포레스트로 작은 단계 함수가 있다는 것을 알 수 있습니다. 그래서 실제로 우리가 여기 있는 이 비선형 관계에 근사하고 있습니다. |
| 따라서 신경 부스트 모델이 최고라고 결정하면 |
| 그런 다음 기본적으로 모델을 시작하고 여기에서 시작할 수 있으며 수식을 데이터 테이블에 저장하거나 배포를 위해 수식 저장소에 게시할 수 있습니다. |
| 따라서 많은 시간을 절약하고 모델을 탐색할 수 있는 기능을 제공합니다. |
| 범주형 응답이 있으면 어떻게 됩니까? 기억하세요, 우리는 Y 바이너리를 가지고 있습니다. 같은 방식으로 Y 바이너리를 사용할 수 있으므로 분석으로 이동하고 다시 모델 스크리닝을 호출하고 리콜을 누르고 Y 대신 Y 바이너리를 사용하겠습니다. |
| 동일한 유형의 모델을 실행할 수 있습니다. 특정 유형의 모델이 이치에 맞지 않으면 실행되지 않습니다. 예를 들어 최소 제곱 회귀는 여기서 의미가 없으므로 실제로 실행하지 않습니다. |
| 여기에는 몇 가지 옵션이 있습니다. 1, 2, 3, 4, 5와 같이 랜덤 시드 설정을 선택하면 반복성이 제공되며 세부 정보에서 모델을 시작하면 |
| 그것은... 같은 결과를 갖게 될 것입니다. 유효성 검사를 위한 몇 가지 추가 옵션이 있습니다. |
| 따라서 많은 경우에 훈련, 검증 및 테스트의 고전적인 분할을 사용하는 것으로 나타났습니다. |
| 특히 작은 데이터 세트에서 실제로 최고는 아닙니다. 따라서 대신 K 접기 교차 유효성 검사를 사용하고 싶을 수 있으며 중첩 교차 유효성 검사도 있습니다. |
| 그리고 K겹 검증을 반복할 수 있습니다. 따라서 이것은 특히 작은 데이터 세트가 있는 경우 좋은 옵션입니다. |
| 그리고 하단에 몇 가지 추가 옵션이 있습니다. 따라서 양방향 상호 작용 또는 이차 방정식을 추가할 수 있습니다. |
| 값이 누락되었음을 알고 있는 경우 정보 제공 누락을 사용할 수 있습니다. 그리고 추가 방법은 추가 일반화 회귀 방법에 적용됩니다. JMP 17 얼리 어답터 프로그램에 참여하고 있다면 메뉴 대화상자의 이 부분이 |
| 또는 모델 시작 대화 상자가 조금 더 잘 흐르도록 약간 재구성되었습니다. 알겠습니다. 여기서는 임의 시드와 함께 기본 설정을 사용하고 확인을 클릭하겠습니다. |
| 그래서 이 모든 모델을 실행하고 있습니다. 다시 말하지만 매우 매우 빠릅니다. 이제 이진 응답이 있기 때문에 몇 가지 추가 메트릭이 있습니다. 두 개 있어요 |
| R 제곱 측정값, 오분류율, 곡선 아래 영역, RASE가 있습니다. 이것은 평균 제곱근 오차와 관련이 있음을 기억하십시오. 다시, Select Dominant를 클릭하면 Neural Boosted가 발견되는데 항상 그런 것은 아닙니다. |
| 상위 모델이라고 생각되는 빨간색 삼각형 아래의 옵션을 선택하면 이들에 대한 ROC 곡선을 볼 수 있으며 모델을 켜고 끌 수 있는 확인 표시가 있습니다. 나를 보자 |
| 이것을 선택하십시오. 모델 비교 플랫폼과 JMP 17에서도 사용할 수 있는 제가 가장 좋아하는 새 기능 중 하나는 분류 모델링을 수행하는 모든 모델링 플랫폼에 추가되는 것으로 결정 임계값이라고 합니다. |
| 제 생각에는 이것이 JMP 16에 추가된...중...중...가장 강력한 기능 중 하나라고 생각합니다. |
| 이 세 가지 모델을 선택하면 이 세 가지 모델에 대한 분류 요약이 제공됩니다. |
| 좀 더 크게 만들겠습니다. 조금 더 잘 볼 수 있도록 말이죠. |
| 그래서 우리가 이것을 읽는 방식은 우리가 뉴럴 부스트를 살펴보면 뉴럴...뉴럴 부스트에 대한 두 가지 범주를 보여주고 우리는 높은 가능성을 예측하고 있다는 것입니다. 그래서 이것들은 높음에 맞는 확률입니다. |
| 컷오프는 .5이므로 .5 미만은 낮음으로 분류됩니다. 0.5를 초과하는 것은 높음으로 분류됩니다. |
| 따라서 여기 이 빨간색 블록을 보면 낮음으로 분류되었지만 실제로는 높음으로 분류된 모든 포인트가 여기에서 그 숫자를 볼 수 있습니다. 그 중 29개가 있었으므로 이것이 위음성이었습니다. |
| 아래쪽 빨간색 상자는 높음으로 분류되었으며, |
| 그러나 그들은 실제로 최저점이었습니다. 이것이 오탐지입니다. 여기 이 사람들이 있습니다. |
| 그리고 아래쪽에는 우리가 이것을 이해하고 결정을 내리는 데 도움이 되는 몇 가지 지표와 그래프가 있습니다. 또한 몇 가지 측정항목이 있으므로 여기에서 동일한 값을 볼 수 있습니다. 29개의 거짓 음성과 17개의 거짓 긍정입니다. |
| 그리고 우리는 또한 진정한 긍정과 부정을 볼 수 있습니다. 제가 정말 좋아하는 점은 다양한 컷오프를 탐색할 수 있다는 것입니다. |
| 따라서 예를 들어 모델링 목표에 따라 높은 민감도 비율에 관심이 있을 수 있지만 실제로는 낮은 특이성 비율을 원하지 않습니다. |
| 민감도 비율, 여기 이 키는 정말 유용합니다. 민감도는 진정한 긍정 비율입니다. 특이도는 참음성률입니다. |
| 두 가지 모두에서 실제로 조금 더 나은 컷오프를 찾을 수 있습니까? 클릭하고 드래그하면 분류 구분을 변경할 수 있습니다. |
| 더 나은 작업을 수행하는 컷오프를 찾으십시오. 예를 들어 .26에서 저는 여기에 좋은 반올림 숫자를 입력할 것입니다. .25의 컷 오프에서 여전히 높은 특이성을 유지하면서 민감도가 더 높습니다. |
| 제가 숨겨둔 그래프는 이러한 숫자를 해석하는 데에도 정말 유용하므로 잘못된 분류에 대한 전반적인 그림을 제공합니다. |
| 임계값 기준, 부분 기준, 진정한 분류 기준. 따라서 특이성과 민감도의 균형을 맞추는 지점을 찾으려는 경우 이 그래프를 볼 수 있습니다. |
| 그래서 이 윗선은 민감도이고, 점선은 특이도이고 제가 여전히 민감도에 대한 특정 값보다 위에 있는 지점이 있습니다. 여기서... |
| 감도, 내 특이성이 높게 유지되는 곳은 어디입니까? 그리고 우리는... 그것들의 균형을 맞출 수 있습니다. 그래서 여기를 보면 여기가 두 선이 교차하는 지점이라는 것을 알 수 있습니다. |
| 불균형한 데이터가 있는 경우에는 이것이 정말 중요해집니다. 다른 예를 살펴보겠습니다. 그래서 나는 이것을 닫고 |
| 이것을 저장하지 마십시오. 수식 저장소를 닫겠습니다. 그런데 수식 저장소는 독립형이므로 기본적으로 우리가 사용하던 데이터 세트에 연결되어 있지 않습니다. 따라서 모델을 가져와 새 데이터에 적용하는 것이 정말 쉽습니다. 이만 마치겠습니다. |
| 따라서 이 다음 데이터 세트에 대한 시나리오는 신용 카드 마케팅이라는 데이터이며 시나리오는 |
| 신용 카드 제안 수락에 대한 시장 조사를 수행하고 있습니다. 그리고 응답은 제안이 수락되었습니다. 그리고 주의할 점은 오퍼의 5.5%만이 |
| 과거 데이터를 사용하여 승인되었습니다. 이것은 실제로 다양한 보상, 다양한 메일러 유형, |
| 재무 정보는 다르지만 설계된 실험은 보상 및 메일러 유형입니다. 우리는 이 특정 모델링 목표에 초점을 맞출 것입니다. 우리는 신용 카드 제안을 수락할 가능성이 가장 높은 고객을 식별하고자 합니다. |
| 그리고 이렇게 함으로써 우리는 |
| 이 모델을 신규 고객에게 적용하고 이러한 신규 고객에 대한 분류에 따라 제안을 보낼지 여부를 결정할 것입니다. |
| 따라서 고객이 제안을 수락할 가능성이 높지 않으면 제안을 보내지 않을 것입니다. 가능성이 높으면 보내드리겠습니다. |
| 이것이 시나리오이고 JMP로 돌아가서 제안을 수락했습니다. 데이터에 대해 이야기하는 동안 여기에서 저장된 스크립트를 실행하겠습니다. |
| 10,000개의 관측치가 있으므로 시간이 조금 더 걸릴 것입니다. 지금은 해당 모델을 실행하고 있습니다. 여기서는 기본 설정을 사용하고 있습니다. 그래서 제안을 수락했고, |
| 보상 유형은 항공 마일리지, 캐쉬백 또는 포인트입니다. 메일러 유형은 편지 또는 엽서입니다. 그리고 나머지는 은행 업무...과거 은행 정보 및 일부 인구 통계 정보입니다. |
| 서포트 벡터 머신을 실행하고 있음을 알 수 있습니다. 서포트 벡터 머신은 특히 큰 데이터 세트에서 약간 느릴 수 있으며 실제로 10,000개 이상의 관찰이 있는 경우 기본적으로 실행되지 않습니다. |
| 우리는 우리가 평균 균형을 가지고 있음을 볼 수 있습니다. 그리고 데이터는 훈련 및 검증에 청원되며 JMP는 자동으로 0을 훈련으로, 1을 검증으로 인식합니다. 맞습니다. 모든 모델을 실행합니다. |
| 그리고 Dominant를 선택하면 단계적으로 적합하고 결정 트리가 선택된 것을 볼 수 있습니다. |
| 하지만 저는 이 오분류율을 지적하고 싶습니다. |
| 이것은... 이것은 우리가 건초 더미에서 바늘을 찾으려고 할 때 매우 자주 보게 되는 것입니다. 맞습니다. 이 데이터를 살펴보고 이 데이터의 분포를 실행하면... |
| 좀 더 크게 만들어서 좀 더 잘 볼 수 있도록 할게요. 유효성 검사 데이터를 살펴보고 있습니다. |
| 6.25, 6.2, 6.3% |
| 의 값이 예이고 제안에 응답했으며 이것이 바로 오분류 비율에 대해 여기에서 얻은 것입니다. |
| 이를 더 잘 이해하기 위해 결정 임계값을 설정하겠습니다. |
| 그리고 이것을 조금 더 크게 만드십시오. |
| 예측된 예는 모두 0이며 이는 예측 확률이 모두 상대적으로 낮기 때문입니다. |
| 고전적인 혼동 행렬에서 컷오프는 .5이며 불균형 데이터가 있는 경우 매우 많은 관측값을 '예'로 분류할 가능성이 거의 없습니다. |
| 클릭하고 드래그하면 |
| 이 첫 번째 포인트 세트에 도달한 다음 예상되는 몇 가지 예를 보기 시작합니다. 실제로 메트릭을 켜겠습니다. |
| 매우 불균형한 데이터가 있는 경우 예측 확률이 매우 낮을 수 있습니다. |
| 따라서 이 슬라이더를 사용하면 컷오프를 탐색할 수 있습니다. |
| 민감도와 특이도 모두에 영향을 미칠 수 있습니다. 그래서 이런 경우에 우리는 다음과 같이 말할 수 있습니다. 만약 우리가 보낸다면... |
| 여기에 0.05를 입력하겠습니다...예상 확률에 신용 카드 제안을 보내면 예측 확률의 상위 5% 예, 맞습니다. 우리의 민감도 |
| 두 모델 사이는 약 .72, .75이며 우리의 특이성은 여전히 꽤 높습니다. 따라서 이...이 잘린 슬라이더를 사용하면 모델에서 더 유용한 정보를 얻을 수 있습니다. |
| 그래서 만약... 0.5라면, 나는 약간의 진정한 긍정을 얻고 있음을 볼 수 있습니다. 나는 또한 오탐지(false positive)를 많이 받고 있습니다. 그래서 여기에 장단점이 있습니다. |
| 이제 이와 같은 경우 재정적 영향을 받을 수도 있습니다. 오른쪽. 그래서 이것에 대해 생각하는 것이 합리적입니다 ... |
| 이익 매트릭스. 그리고 버튼이 있습니다. |
| 나는 이것을 클릭한다. |
| 이익 행렬은 특정 열에 대한 열 속성이며 다음을 설정할 수 있습니다. |
| 확률 임계값에서 잘라낸 해당 값을 열 속성으로 사용하거나 값을 연결할 수도 있습니다. 아시다시피, 고전적인 시나리오에서는 비용이 5달러일 수 있습니다. |
| 우리가 누군가에게 제안을 보내기로 선택한 경우. |
| 그리고 그들이 그 제안에 응한다면, |
| 아마도 $100의 가치가 있을 것입니다. 따라서 우리가 누군가에게 제안을 보내기로 선택하고 그들이 응답하지 않으면 우리는 $5를 잃게 됩니다. |
| 우리가 누군가에게 제안을 보내기로 선택하고 그들이 응답한다면 우리는 평균 $100를 벌 수 있습니다. 그리고 잃어버린 기회가 있을지도 모릅니다. 우리는 100달러를 잃었다고 말할 수도 있습니다. |
| 그들이 응답하지 않는 경우. 그리고 종종 이것의 비용은, 이것은 그냥 비워두고, 우리는 단지 yes에 대한 값을 연결하기만 합니다. 이것을 적용하고 확인을 클릭하면 |
| 그런 다음 몇 가지 새로운 값이 추가됩니다. 이제 수익 매트릭스가 생겼고 메트릭을 보면 예상 수익을 볼 수 있습니다. 그래서 |
| 평균적으로 이 데이터 세트의 각 고객에 대해 의사결정 트리 모델을 적용하면 $1.50를 벌고 단계적 모델을 적용하면 조금 적게 벌게 됩니다. |
| 따라서 일부 기본 비용이 있는 불균형 데이터가 있는 이와 같은 상황에서는 이익 매트릭스를 사용하는 것이 합리적입니다. 기본 비용이 없다면 |
| 그런 다음 이 슬라이더는 모델링 목표를 달성할 수 있는 컷오프를 선택하는 데 도움이 됩니다. 민감도를 최대화하거나 특이성을 최대화하거나 다른 것일 수 있습니다. |
| 이것이 본질적으로 모델 스크리닝입니다. |
| 이것을 닫고 슬라이드 덱으로 돌아가겠습니다. |
| 그래서 우리는 예측 모델링과 예측 모델링이 의미하는 바에 대해 조금 이야기했습니다. |
| 검증을 사용하여 많은 모델을 쉽게 적합하고 비교할 수 있으며 모델 스크리닝은 이 워크플로우를 간소화하는 것입니다. |
| 원하는 경우 계속 나가서 개별 모델을 피팅할 수 있지만 모델 스크리닝을 사용하면 한 플랫폼에서 모든 모델을 동시에 피팅한 다음 이러한 모델을 비교할 수 있습니다. |
| 자세한 내용은 사용 가능한 다양한 유형의 메트릭과 분류 데이터에 대한 수많은 메트릭이 있습니다. 거기에 정말 좋은 |
| Wikipedia의 페이지에서 민감도와 특이도, 모든...다양한 메트릭에 대해 설명합니다. 제공되는 메트릭을 해석하는 방법을 파헤치고 이해하려고 할 때 이것이 정말 유용하다는 것을 알았습니다. |
| 일반적으로 예측 모델링과 JMP Pro의 모델 스크리닝에 대한 많은 리소스가 있습니다. |
| 우리의...사용자 커뮤니티에서. 다시 STIPS를 참조하겠습니다. STIPS는 산업 문제 해결 과정을 위한 통계적 사고입니다. |
| 그리고 일곱 번째 모듈은 예측 모델링에 대한 소개이므로 예측 모델링이 처음이라면 이것을 확인하는 것이 좋습니다. 그리고 커뮤니티에 게시된 당뇨병 데이터를 사용하는 블로그도 있습니다. 그리고 마지막으로 새로운 기능 |
| 반복적인 개선을 거치는 경향이 있습니다. 모델 스크리닝은 JMP Pro 16에서 도입되었습니다. 우리는 이미 JMP Pro 17에서 작업 중이며 이미 많은 개선 사항이 진행 중입니다. |
| 앞으로 나올 내용을 살펴보고 싶다면 피드백을 제공할 수 있는 기회를 제공합니다. |
| 얼리 어답터 프로그램 가입에 대해 문의해 주시면 준비를 도와드리겠습니다. 시간을 내주셔서 감사드리며 남은 컨퍼런스를 즐기시기 바랍니다. |
