스피커 | 성적 증명서 |
| 미아 스티븐스 | 아마 45분도 걸리지 않을 것입니다. |
| 좋아, 우린 괜찮아. |
| 젠장, 왜 그 문자가 온거야. |
| 제이슨 위긴스, JMP | 보셨나요, 저는 그냥 녹음을 시작했는지 묻고 싶었지만 누군가가 들어와서 끝 부분의 시작 부분을 잘라낼 것입니다. |
| 미아 스티븐스 | 녹음을 하고 있다고 합니다. |
| 제이슨 위긴스, JMP | 응. |
| 당신이 원한다면 멈출 수 있습니다. |
| 음. |
| 제이슨 위긴스, JMP | 자, 녹화가 시작되었습니다. |
| 미아 스티븐스 | 안녕하세요 제 이름은 MIA Stevens이고 JMP 제품 관리자입니다. |
| 그리고 오늘 우리는 JMPed 16 또는 JMP pro 16 모델 화면 스크리닝에 처음 등장한 새로운 기능에 대해 이야기할 것입니다. |
| 사실, 다시 시작하겠습니다. |
| 제이슨 위긴스, JMP | 녹화가 다시 시작되었습니다. |
| 미아 스티븐스 | 안녕하세요 미아 스티븐스입니다. |
| 그리고 저는 JMP 제품 관리자입니다. 그리고 오늘 우리는 모델 심사에 대해 이야기할 것입니다. 모델 스크리닝은 JMP Pro 16의 새로운 플랫폼으로, 여러 모델을 동시에 피팅할 수 있어 예측 모델링 워크플로를 간소화할 수 있습니다. |
| 그래서 우리는 예측 모델링이 의미하는 바에 대해 조금 이야기하면서 시작할 것입니다. 이것은 보다 고전적인 모델링 또는 설명적 모델링과 대조됩니다. |
| JMP Pro에서 구축할 수 있는 모델 유형을 살펴보고 예측 모델링 워크플로에 대해 조금 이야기하겠습니다. 그런 다음 모델 스크리닝을 사용하여 이 워크플로를 간소화하는 방법을 살펴보겠습니다. |
| 우리는 경쟁 모델을 비교하기 위한 몇 가지 다른 메트릭을 볼 것이며 JMP Pro에서 두 가지 다른 예를 사용할 것이며 저는 JMP Pro 16.1을 사용할 것입니다. |
| 먼저 예측 모델링이란 무엇을 의미합니까? |
| 우리 대부분은 대학이나 대학에서 또는 귀사를 통해 통계 과정을 이수했으며 일반적으로 통계 모델링을 배울 때 설명 모델링입니다. |
| 그리고 이것이 의미하는 바는 몇 가지 X 또는 입력 변수의 함수로 일부 Y 변수, 관심 있는 응답을 연구하는 데 관심이 있다는 것입니다. |
| 따라서 우리는 중요한 변수를 식별하는 데 관심이 있을 수 있습니다. 아마도 가장 중요한 X, 가장 중요한 잠재적 원인을 식별하려고 하는 문제 해결 상황에 있을 수 있습니다. |
| 따라서 설명 모델링의 결과로 X1, X3 및 X6이 Y 변동의 잠재적 원인임을 식별할 수 있으며 이는 설계된 실험을 사용하여 이러한 변수를 추가로 연구하도록 유도할 수 있습니다. |
| 우리는 또한 관계의 특성을 수량화하는 데 관심이 있을 수 있으므로 예를 들어 우리의 응답인 Y가 X의 함수로서 평균적으로 어떻게 변하는지 이해하는 데 관심이 있을 수 있습니다. |
| X의 1단위 변화는 Y의 5단위 변화와 연관됩니다. |
| 이것이 우리가 모델링이나 통계적 모델링 또는 회귀 분석에 대해 이야기할 때 일반적으로 생각하는 것입니다. |
| 반면에 예측 모델링은 미래 결과를 정확하게 예측하거나 분류하는 것입니다. |
| 따라서 고전적 모델링에서는 일반적으로 평균, 전체 평균에 대해 설명합니다. 예측 모델링에서 우리는 다음에 무슨 일이 일어날지 알고 싶습니다. 예를 들어 이 고객이 이탈할까요? 이 고객이 |
| 신용 카드 제안을 받아? 기계가 고장날까요? 그래서 우리는 다음에 일어날 일을 예측하는 데 관심이 있습니다. 그래서 우리는 예측의 정확성, 정확성에 관심이 있습니다. |
| 예측 모델링에서 우리는 다양한 가능한 모델을 맞추고 비교하는 경향이 있으며 여기에는 일부 매우 고급 기술이 포함되거나 포함될 수 있습니다. |
| 그리고 이러한 기술 중 일부는 해석하기가 쉽지 않을 수 있습니다. 따라서 신경망을 생각하면 신경망은 일반적으로 일종의 블랙박스로 간주됩니다. |
| 그리고 이러한 더 복잡한 모델에서는 과적합이 문제가 될 수 있습니다. 과적합이 의미하는 바는 우리가 필요로 하는 것보다 훨씬 더 복잡한 모델을 맞출 수 있다는 것입니다. |
| 따라서 예측 모델링에서는 모델 검증을 사용하는 경향이 있습니다. 우리는 과적합과 과소적합을 방지하기 위해 모델 검증을 사용합니다. 그리고 모델 검증과 관련된 것은 데이터를 분할하는 것이고, 데이터를 분할하는 일반적인 방법은 일부 데이터를 유지하는 것입니다... |
| 글쎄, 우리 데이터의 일부는 모델을 훈련하는 데 사용되고 일부 데이터는 유지되고 우리는 또한 유지되는 세 번째 세트를 가질 수 있습니다. 그리고 우리가 이 데이터를 사용하는 방법은 훈련 데이터를 사용하여 모델을 맞추는 것입니다. |
| 그런 다음 검증 데이터에서 모델이 얼마나 잘 수행되었는지 확인합니다. 그리고 세 번째 단계가 사용될 수 있습니다. 이것은 종종 테스트 세트라고 합니다. |
| 검증... JMP의 검증 데이터는 종종 모델의 크기를 제어하는 데 사용되기 때문입니다. 따라서 우리는 몇 분 안에 이것이 실제로 작동하는 것을 보게 될 것입니다. |
| 유효성 검사에 대한 자세한 내용은 다루지 않겠지만 이것이 비교적 새로운 주제인 경우 이 자료의 마지막 부분에 무료 온라인 과정인 STIPS에서 빌린 슬라이드가 있습니다. 여기에는 유효성 검사가 왜 필요한지 설명합니다. 중요한. |
| JMP Pro에는 적합할 수 있는 다양한 유형의 예측 모델이 있습니다. |
| 이들 중 일부는 적합 모형에서 사용할 수 있으므로 연속 응답이 있는 경우 선형 회귀 모형을 적합할 수 있습니다. 범주형 응답이 있는 경우 적합할 수 있습니다. |
| 로지스틱 회귀 모델. 이것은 순서 또는 다항 또는 이항 회귀 모델일 수 있습니다. 일반화 선형 모델 또는 탄성망 및 올가미 및 능선 회귀와 같은 벌점 회귀 모델을 피팅할 수 있습니다. |
| 많은 항목(예: 신경망)이 있는 예측 모델링 메뉴가 있습니다. 그리고 다음을 사용하여 JMP Pro에 신경망을 맞출 수 있습니다. |
| 두 개의 레이어, 다중 노드, 다중 활성화 기능, 부스팅 포함. 그리고 일반적으로 JMP에서는 |
| 동일한 플랫폼을 사용하여 범주형 응답 또는 연속 응답에 대한 모델을 피팅할 수 있습니다. 다양한 종류의 나무, 분류 나무가 있는 경우 적합할 수 있습니다. |
| 범주형 응답, 연속 응답이 있는 경우 회귀 트리. 부트스트랩 포리스트 및 부스트 트리와 같은 좀 더 복잡한 유형의 트리를 맞출 수도 있습니다. 그리고 사용 가능한 다른 방법도 있음을 알 수 있습니다. |
| 그리고 다변량 방법에는 예측 모델링 플랫폼이 몇 가지 있으므로 분석과 부분 최소 자승을 구분합니다. 따라서 이것은 결코 완전한 목록이 아니며 부분 최소 제곱도 적합 모델에서 사용할 수 있음을 지적하겠습니다. |
| 문제는 왜 그렇게 많은 모델이 필요한가 하는 것입니다. 고전적인 설명 모델링에서 우리는 일반적으로 회귀 분석에 대해 배우고 있지만 우리가 맞출 수 있는 모델 유형이 훨씬 더 많습니다. |
| 그 이유는 단일 유형의 모델이 항상 최고는 아니기 때문입니다. 최상의 모델은 종종 데이터 구조에 따라 다릅니다. |
| 순전히 연속 X가 있든 연속 변수와 범주형 변수가 혼합되어 있든 비선형 동작이 있는 경우 얼마나 많은 변수가 있습니까? |
| 따라서 단일 유형의 모델이 항상 정확한 예측에 가장 적합한 모델은 아닙니다. 그래서 우리는 일반적으로 몇 가지 다른 모델을 시도하고 가장 잘 작동하는 모델 또는 조합 모델을 선택합니다. |
| 그리고 더 광범위한 분석 워크플로의 맥락에서 예측 모델링에 대해 생각합니다. |
| 물론 비즈니스 문제 또는 엔지니어링 문제와 같이 우리가 해결하려고 하는 문제 유형이 있습니다. |
| 하지만 우리는 데이터를 컴파일합니다. 이것은 다양한 소스의 데이터일 수 있습니다. 그리고 우리는 이 데이터를 짝지어야 하고 데이터를 선별해야 합니다. |
| 우리는 우리가 사용할 수 있는 것과 추가 데이터 요구 사항에 대해 자세히 알아보기 위해 데이터를 탐색하고 시각화합니다. 그리고 이것의 예측 모델링 측면은 데이터를 분석하고 모델을 구축하는 것입니다. 제 생각에는 이것이야말로 진정한 재미가 시작되는 곳입니다. |
| 따라서 JMP의 기존 워크플로는 검증을 통해 모델을 맞추는 것입니다. |
| 그런 다음 예측 공식을 데이터 테이블에 저장하거나 공식 저장소에 게시하면 잠시 후 이를 확인할 수 있습니다. |
| 그런 다음 다른 모델에 적합합니다. 따라서 회귀 모델로 시작한 다음 트리 기반 모델을 맞출 수 있습니다. 그런 다음 이것을 반복하고 몇 가지 다른 유형의 모델에 맞춥니다. |
| 그런 다음 모델 비교를 사용하여 검증 데이터에 대한 각 모델의 성능을 평가합니다. 따라서 훈련 데이터를 사용하여 모델을 맞추지만 모델을 비교하여 어떤 예측이 가장 정확한지 확인하기 위해 검증 또는 테스트 데이터를 사용한다는 것을 기억하십시오. |
| 그리고 우리는 최고의 모델 또는 최상의 모델 조합을 선택합니다. |
| 그런 다음 모델을 배포합니다. 이것은 일종의 일반적인 워크플로입니다. |
| 이제 모델 스크리닝에서 모델 스크리닝이 하는 일은 이것을 간소화하는 것입니다. 모델 심사 플랫폼 내에서 원하는 모든 모델을 맞출 수 있으므로, |
| 검증 데이터를 사용하여 해당 모델을 비교하고 최상의 모델을 선택하십시오. 모델을 탐색하고 모델 스크리닝에서 새 모델을 피팅한 다음 최적의 모델을 쉽게 배포할 수 있습니다. |
| 따라서 이를 자세히 살펴보기 위해 몇 가지 예를 사용할 것입니다. 첫 번째 예는 여러분이 잘 알고 계실 것입니다. |
| 당뇨병 데이터는 샘플 데이터 디렉토리에 있습니다. 따라서 시나리오는 연구자들이 질병 진행 속도를 예측할 수 있기를 원한다는 것입니다. |
| 기준선 측정이 수행된 후 1년. 그래서 10개의 기준 변수와 442명의 환자가 있습니다. 그리고 여기에서 우리가 살펴볼 두 가지 유형의 반응이 있습니다. 반응 Y는 1년 동안 질병이 얼마나 진행되었는지를 측정하는 정량적 측정입니다. |
| 그리고 높은/낮은 이분법적 반응도 있습니다. 따라서 높으면 질병 진행률이 높고...높다는 것을 의미하고 낮으면 진행률이 낮음을 의미합니다. |
| 그리고 여기서 모델링 목표는 시정 조치를 취할 수 있도록 질병 진행률이 높을 가능성이 가장 높은 환자를 예측하는 것입니다. |
| 그래서 궁극적으로 우리가 할 수 있기를 바라는 것은 인구통계학적 변수와 여기에 있는 기본 정보를 기반으로 미래의 환자를 분류할 수 있는 모델을 구축하는 것입니다. 그래서 우리는 할 수 있기를 원합니다 |
| 질병 진행률이 높을지 여부를 정확하게 예측하여 조치를 취할 수 있습니다. 자, 이것이 시나리오입니다. |
| 그리고 JMP를 시작하기 전에 어떤 모델이 가장 잘 예측하는지 결정하는 방법에 대해 조금 이야기하고 싶습니다. |
| 그리고 저는 이를 위해 검증 또는 테스트 세트를 사용한다고 언급했으며 사용할 수 있는 여러 유형의 측정이 있습니다. |
| 연속 응답의 경우 Root Main Square Error인 RMSE를 사용하거나 관련 측도인 RASE인 Root Average Squared Error를 사용하며 이것이 예측 오차이며 여기서는 낮을수록 좋습니다. |
| 우리는 또한 AAE(평균 절대 오차), MAD(평균 절대 편차) 또는 MAE를 사용할 수 있으며 이들 역시 낮을수록 좋습니다. 그래서 이것들은... 이것들은... 이것들은 일종의 평균 오차 측정입니다. |
| 그리고 R 제곱이고 실제로 적합도의 척도인 R 제곱은 높을수록 좋습니다. |
| 그래서 우리는 이것을 연속적인 응답에 사용하는 경향이 있습니다. 다른 많은 유형의 조치를 사용할 수 있습니다. |
| 범주형 응답의 경우 오분류 또는 오류율 또는 정확도에 관심이 많았으므로 정밀도에 관심이 있을 수 있습니다. |
| ROC 곡선에서 볼 수 있는 곡선 아래 면적, 민감도 및 특이도와 같은 다른 측정값이 있으며 이들은 여러 유형의 이름으로 불립니다. |
| 그리고 불균형 데이터가 있을 때 좋은 모델 스크리닝에 추가한 몇 가지 다른 측정값이 있습니다. F1 점수와 Matthews 상관 계수인 MCC가 있으며 이것은 다음을 취하는 값입니다... |
| 또는 마이너스 1과 플러스 1 사이의 값을 취하는 측정항목으로, 범주형 데이터가 있을 때 데이터가 가능한 네 가지 범주, 즉 참양성, 참음성, 거짓양성 모두에서 얼마나 잘 분류되는지 측정하는 데 유용합니다. 및 위음성. |
| 자... JMP에 대해 알아보겠습니다. |
| 그리고 데이터를 공개하겠습니다. |
| 이것은...그리고 제가 조금 더 크게 만들겠습니다. 이것은 다시 당뇨병 데이터입니다. |
| 그리고 이러한 데이터를 가지고 놀고 싶다면 이 데이터를 사용하는 블로그가 있으며 도움말에서 찾은 다음 샘플 데이터를 사용할 수도 있습니다. |
| 그리고 다시, 우리는 응답 Y를 얻었습니다. 조금 더 크게 만들겠습니다. 이것은 질병 진행에 대한 우리의 지속적인 측정입니다. 그리고 나서 우리는 낮거나 높은 결과를 가진 이진 Y를 가지고 있습니다. 우리는 그것을 취할 것입니다...우리는 이들 각각을 살펴볼 것입니다. |
| 시작하기 위해 JMP 15가 있거나 모델 스크리닝을 사용하지 않는 경우 JMP Pro가 있는 경우 연속 반응인 Y를 예측하기 위해 예측 모델을 어떻게 맞추겠습니까? |
| 몇 가지 인구 통계학적 변수가 있습니다. |
| 그래서 이들 중 10개가 있고 검증 열이 있고 검증 열은 데이터를 훈련 및 검증 데이터로 분할합니다. |
| 따라서 훈련 데이터를 사용하여 모델을 피팅한 다음 검증 데이터에 적용할 때 모델이 얼마나 잘 수행되는지 확인할 것입니다. |
| 이 컬럼을 생성하기 위해 분석 유틸리티, 예측 모델링, 유효성 컬럼 만들기가 있으며 이를 통해 유효성 컬럼을 생성할 수 있습니다. |
| 계층화 열로 사용하려는 변수가 있을 수 있으므로 예를 들어 데이터가 |
| 검증 세트. 여기에서 확인을 클릭하겠습니다. |
| 그리고 이를 통해 데이터의 특정 비율을 다른 세트에 할당할 수 있습니다. |
| 그리고 여기에 유용한 몇 가지 추가 옵션이 있습니다. 따라서 가르치고 있고 모든 학생이 동일한 파티션을 갖도록 하려는 경우 임의의 시드가 정말 좋습니다. |
| 그래서 이것은 이전에 사용되었습니다. |
| 분석이므로 이 열 Y, 연속 응답을 살펴보는 것으로 시작하겠습니다. 따라서 내가 예측 모델을 피팅했다면 자연스러운 출발점은 회귀 모델을 피팅하는 것이고 JMP의 회귀는 모델에 맞는 것입니다. |
| 내 응답은 Y이며, 저는 적합할 것입니다...주효과 전용 모델을 적합하는 것으로 시작합니다. |
| 여기 이 유효성 검사 필드에 유효성 검사를 입력하고 기본적으로 성격은 표준 최소 제곱입니다. 그러나 JMP 및 JMP Pro에 익숙하다면 Personality에서 사용할 수 있는 다양한 옵션이 있다는 것을 알 수 있습니다. |
| 실행을 클릭하면, |
| JMP 16의 한 가지 변경 사항은 예측된 플롯이나 다른 플롯으로 실제를 보면 점이 있다는 점입니다. 여기에 점 대신 V로 표시된 점이 있습니다. |
| 이것은 이러한 포인트가 실제로 유효성 검사 세트에 할당되었음을 나타내기 위한 것이므로 기본적으로, |
| 모델이 주변의 무작위 노이즈를 얼마나 잘 예측하는지 알 수 있습니다. 어느 정도 산란이 있음을 알 수 있습니다. 그리고 |
| 우리는 모델을 훈련 데이터에 맞추고 검증 데이터에서 얼마나 잘 수행하는지 보고 있다는 것을 기억하십시오. 그래서 아래에 몇 가지 통계가 있습니다. 따라서 검증이 있을 때마다 훈련 및 검증 세트에 대한 몇 가지 추가 통계를 볼 수 있습니다. |
| 그리고 여기에 몇 가지 조치가 있음을 알 수 있습니다. R 스퀘어도 있고 RASE도 있습니다. |
| 그리고 일반적으로 모델을 한 데이터 세트에 맞춘 다음 해당 모델을 새 데이터에 적용하면 새 데이터에서 제대로 수행되지 않을 것입니다. 따라서 검증 세트의 경우 R 제곱이 더 낮고 오류인 RASE가 약간 더 높다는 것을 알 수 있습니다. |
| 한 번... 예측 프로파일러 아래에서 볼 수 있는 한 가지 |
| 총콜레스테롤과 LDL이 결국에는 부채질을 한다는 사실에 주목하세요. |
| 그리고 내가 끌면서 |
| 콜레스테롤 값, 평균에 대한 이 신뢰 구간이 얼마나 넓어지는지 확인하십시오. 그래서 나는 그것을 낮은 끝으로 끌면서, |
| 그것은 슈퍼 와이드되고 내가 하이 엔드로 드래그하는 것과 동일합니다. 실제로 각 예측 변수에 대한 이러한 모든 구간은 매우 넓어집니다. |
| 그리고 이것은 이 이야기의 범위를 벗어나는 것입니다. 하지만 이것은 우리가 실제로 이 지역에 데이터가 없거나 많은 데이터가 없기 때문입니다. 내가 가져간 경우 ... 한 번 살펴보고 그냥 가겠습니다. |
| 콜레스테롤과 LDL에 대한 이 두 변수, 총 콜레스테롤과 LDL을 예로 들어 보겠습니다. |
| 이들 사이에는 꽤 강한 상관관계가 있음을 주목하십시오. 이 지역에 데이터가 없고 이 지역에 데이터가 없습니다. |
| 따라서 예측 모델이나 이러한 밴드가 실제로 확장되는 것을 볼 수 있는 모든 유형의 모델에 적합하면 |
| 그것은 당신의 예측이 그 지역에서 매우 정확하지 않을 것이라는 표시입니다. JMP Pro에는 새로운 기능이 있습니다. |
| 이것이 문제인지 경고할 수 있는 외삽 제어라고 합니다. 그래서 이것을 끌어내면, |
| 그것이 가능한 외삽이 있다고 말하고 있음을 주목하십시오. 당신의 예측은 여기서 문제가 될 수 있습니다. 외삽 제어를 켜면 |
| 이 밴드를 잘라냅니다. 기본적으로 그 경계를 넘어서는 예측을 할 수 없다는 뜻입니다. 그냥 유효하지 않습니다. |
| 따라서 이것은 이 범위를 약간 벗어나지만 예측 프로파일러에서 팬아웃되는 밴드를 본 적이 있다면, |
| 그것은 종종 여러분이 예측 변수가 서로 상관 관계가 있기 때문입니다. 그리고 그것은...그 지역에서 예측을 할 데이터가 많지 않기 때문일 수 있습니다. 그래서 알아두시면 좋습니다. |
| 자, 이제 당면한 작업으로 돌아가서 봅시다. 이 모델을 맞추고 모델을 축소하고 이것이 내 최종 모델이라는 것이 편안해졌습니다. |
| 예측 공식을 저장하여 이 모델을 내 데이터 테이블에 저장하겠습니다. 그리고 데이터 테이블에 새 열을 추가하는 것을 볼 수 있습니다. 그리고 방금 선형 모델을 구축하여 해당 공식을 데이터 테이블에 저장했습니다. |
| 그리고 대안은 이것을 게시하는 것입니다. 저는 그것을 공식 저장소에 게시할 것입니다. |
| 그래서 궁극적으로 제가 하려는 것은 여러 가지 다른 유형의 모델을 맞추는 것입니다. 그리고 이 모델을 사용할 수 있도록 해당 모델을 비교하고 싶습니다. |
| 수식을 저장하고 분석, 예측 모델링, 모델 비교를 수행하여 이를 수행할 수 있습니다. 잠시 후 이 작업을 수행하거나 수식 저장소에 저장합니다. |
| 공식 저장소에 저장하는 이점은 이제 점수 코드를 얻었다는 것입니다. 예를 들어 이것이 내가 새 데이터에 적용하고 싶은 최종 모델이라면 |
| 이 스크립트를 복사하여 새 데이터에 점수를 매길 수 있습니다. |
| (여기서는 그렇게 하지 않겠습니다.) 또는 프로덕션 환경에서 이 모델을 사용하려면 다양한 언어로 코드를 만들 수 있습니다. |
| 그래서 그것은 단순한 선형 모델이었습니다. 다른 유형의 모델에 맞추려면 어떻게 합니까? |
| 여기서 더 복잡한 모델을 적합 모델에 맞출 수 있습니다. |
| 따라서 일반화 회귀 모델을 맞출 수 있고 올가미 모델을 맞출 수도 있으므로 여기로 이동을 클릭하겠습니다. |
| 그리고 여기 일반화된 회귀 내에 몇 가지 모델 비교가 있습니다. 하지만 이 모델을 저장하고 싶다고 가정해 보겠습니다. |
| 그리고 저는 여기서 세부 사항에 너무 많은 관심을 기울이지 않는 것이 아니라 이것을 저장하려고 합니다. 예측 공식을 저장하겠습니다. 아마도 나는 그것을 계속해서 출판 할 것입니다. |
| 여기로 이동하여 이것을 게시하십시오. |
| 그리고 저는 이것을 반복할 수 있습니다. 저는 상호작용이 있는 모델에 적합할 수 있습니다. 그런 다음 신경망 모델 또는 파티션 모델, 트리 기반 모델을 적합하도록 진행할 수 있으며 범주형 응답이 있는 경우 적합합니다. |
| 분류 트리. 연속 응답이 있으면 회귀 트리에 맞습니다. 더 작은 나무 또는 부스트 트리의 모음인 부트스트랩 포리스트에 적합할 수 있으므로 적합할 수 있는 여러 유형의 모델이 있습니다. |
| 그리고 일단 내 모델을 가져와 공식을 저장하거나 공식 저장소에 게시하면 어떤 모델이 가장 정확하게 예측하는지 찾고 싶습니다. |
| 그래서 모델 비교를 사용하겠습니다. |
| 그리고 변수에 의해 유효성 검사를 추가하기만 하면 됩니다. |
| 검증 데이터에서 모델이 얼마나 잘 수행되었는지 확인하고 싶기 때문입니다. 그리고 이 두 모델을 사용하고 유효성 검사 데이터를 보기만 하면 됩니다(훈련 데이터는 생략하겠습니다). |
| 최소 제곱 모델의 평균 오차가 더 낮고 RASE가 최소 제곱 모델의 경우 약간 더 높다는 것을 알 수 있습니다. |
| 그리고 내 R 제곱은 일반화된 올가미에 조금 더 좋습니다. |
| 따라서 이것은 JMP 15 Pro 또는 JMP Pro 15가 있거나 모델 스크리닝을 사용하지 않는 경우 예측 모델링을 수행할 수 있는 일반적인 방법입니다. 그리고 모델 스크리닝이 하는 일은 우리가 이 모든 것을 한 단계에서 할 수 있도록 하는 것입니다. 그래서 저는 예측 모델링에 들어가고 모델 스크리닝을 시작하겠습니다. |
| 그리고 모델 스크리닝은 여기 구석을 살펴보면 기본적으로 우리가 가지고 있는 데이터 유형에 맞는 각 플랫폼을 시작할 수 있습니다. |
| 자동으로 해당 모델을 실행합니다. 따라서 메뉴에서 모델을 선택할 필요가 없으며 여기에서 자동으로 실행할 수 있습니다. 그래서 저는 같은 유형의 모델을 맞출 것이므로 여기서는 주효과만 있는 모델입니다. |
| 이것들은 내 X입니다. 동일한 유효성 검사를 사용하겠습니다. |
| 그리고 여기에는 잠시 후에 이야기할 여러 가지 옵션이 있습니다. 저는 확인을 클릭하겠습니다. 그리고 결정 트리, 부트스트랩 포리스트, 부스트 트리, K개의 가장 가까운 이웃이 있습니다. |
| 기본적으로 Naive Bayes는 꺼져 있으며 신경 모델을 맞출 수 있습니다. |
| 여기 아래에 다른 사람들이 있습니다. XGBoost가 있으므로 추가 기능인 XGBoost 추가 기능을 설치했기 때문에 XGBoost를 사용할 수 있습니다. |
| 따라서 이것은 오픈 소스 라이브러리에 액세스하는 무료 추가 기능이며 JMP Pro에 설치한 경우 모델 스크리닝 플랫폼에서 실행할 수 있습니다. 그래서 저는 그것을 그대로 두고 확인을 클릭하겠습니다. |
| 그래서 모델을 실행하고 있습니다. 그래서 그것은 사라졌고 실제로 한 단계를 건너 뛰었습니다. 자동으로 각 모델을 실행합니다. |
| 그리고 튜닝 매개변수에 대한 최상의 시작 값을 결정하는 데 사용하는 몇 가지 시뮬레이션이 있으므로 이 모든 모델에 적합합니다. |
| 그리고 각 모델에 대한 검증 훈련 및 검증 통계를 보고합니다. 이제 이 모델 중 어떤 것이 가장 좋은지 알아내기 위해 |
| 지배적 인 것을 선택하십시오. 그리고 우성 선택이 기본적으로 하는 일은 사용 가능한 메트릭 전반에 걸쳐 최전선을 만드는 것이므로 여기에서 우성 선택을 누릅니다. |
| 그리고 이 데이터에 대해 가장 좋은 모델은 신경 강화 모델이고 그 모델에 대한 세부 정보는 여기 신경망 아래에 있습니다. |
| 따라서 모든 세부 사항은 이 플랫폼 내에서 바로 플랫폼을 시작하고 모든 정보를 캡처하는 것입니다. |
| 따라서 모든 세부 사항은 신경을 위해 여기에 있으므로 기본적으로 3개의 노드가 부스트되는 TanH를 실행합니다. 그리고 훈련통계와 검증통계를 볼 수 있고 실제로 적합했던 모델을 보고 싶다면, |
| 여기 기본 모델이 있습니다. |
| 맞아, 이건...그래서 이게 내 최고 성능의 모델이야. 이러한 모델을 자세히 살펴보고 싶다면 여기에서 모델을 탐색할 수 있으며 여기에 몇 가지 옵션이 있습니다. 실제를 예측 플롯으로 볼 수 있습니다. |
| 그리고 저는 이 모델들을 비교할 수 있습니다. 예상대로 우리의 훈련 데이터에는 검증 데이터와 실제 예측 플롯에 있는 것보다 약간 적은 변동이 있습니다. 이 기능을 탐색하려면 특정 모델을 끌 수 있습니다. |
| 그리고 프로파일러를 실행할 수도 있습니다. 16.1이 있는 경우 프로파일러가 옵션입니다. 16.0이 있는 경우 실제로 숨겨진 옵션이며 다시 Pro에 있습니다. 프로파일러는 우리에게 맞는 모델을 탐색할 수 있기 때문에 훌륭합니다. 그래서 저는 세 가지 모델을 선택했습니다. |
| 그리고 이것을 조금 더 크게 만들겠습니다. |
| 그렇게 크지 않을 수도 있습니다. |
| 그래서 저는 트리 기반 모델인 부트스트랩 포리스트를 가지고 있습니다. 여기에서 기본적으로 다양한 트리의 결과를 함께 추가합니다. |
| 저는 부스트 모델이 있고 신경 모델은 비선형 동작을 정말 멋지게 포착하고 있습니다. 그리고 본질적으로 선형 모델인 올가미 모델이 있습니다. |
| 그리고 당신은 이 모델들을 꽤 명확하게 볼 수 있습니다. 일반화된 올가미를 사용하여 알겠습니다. 맞습니다. BMI 사이에 선형 관계가 있습니다. |
| 그리고 응답. 뉴로 부스트를 사용하면 약간의 곡률이 있음을 알 수 있습니다. LTG를 사용하여 여기에서 볼 수 있고 부트스트랩 포리스트를 사용하여 이 작은 단계 함수를 가지고 있음을 알 수 있습니다. 그래서 실제로 여기에 있는 이 비선형 관계를 근사화하고 있습니다. |
| 따라서 신경 부스트 모델이 최고라고 결정하면 |
| 그런 다음 기본적으로 모델을 시작하고 여기에서 시작하고 공식을 데이터 테이블에 저장하거나 배포를 위해 공식 저장소에 게시할 수 있습니다. |
| 따라서 많은 시간을 절약할 수 있으며 여전히 모델을 탐색할 수 있습니다. |
| 그리고 범주형 응답이 있다면 어떻게 될까요? 따라서 Y 바이너리가 있음을 기억하십시오. 우리는 같은 방식으로 Y 바이너리를 사용할 수 있으므로 분석으로 이동하여 다시 모델 스크리닝을 호출하고 리콜을 누르고 Y 대신 Y 바이너리를 사용하겠습니다. |
| 동일한 유형의 모델을 실행할 수 있습니다. 특정 유형의 모델이 의미가 없으면 실행되지 않습니다. 예를 들어, 최소 제곱 회귀는 여기서 의미가 없으므로 실제로 실행되지 않습니다. |
| 여기에는 몇 가지 옵션이 있습니다. 1, 2, 3, 4, 5와 같은 임의의 시드를 선택하면 반복성이 제공되고 세부 정보에서 모델을 시작하면 |
| 그것은...그것은 동일한 결과를 가질 것입니다. 여기에 유효성 검사를 위한 몇 가지 추가 옵션이 있습니다. |
| 따라서 많은 경우 훈련, 검증 및 테스트의 고전적인 분할을 사용하는 것으로 나타났습니다. |
| 특히 작은 데이터 세트에서는 실제로 최고가 아닙니다. 따라서 K fold 교차 유효성 검사를 대신 사용하고 싶을 수 있으며 중첩 교차 유효성 검사도 있습니다. |
| 그리고 반복된 K fold 검증을 할 수 있습니다. 따라서 이것은 특히 작은 데이터 세트가 있는 경우에 좋은 옵션입니다. |
| 그리고 하단에 몇 가지 추가 옵션이 있습니다. 따라서 양방향 상호 작용 또는 이차를 추가할 수 있습니다. |
| 누락된 값을 알고 있는 경우 정보 누락을 사용할 수 있습니다. 그리고 추가적인 일반화 회귀 방법에는 추가적인 방법이 적용됩니다. JMP 17 얼리 어답터 프로그램에 있는 경우 메뉴 대화 상자의 이 부분이 |
| 또는 모델 출시 대화가 조금 더 잘 흐르도록 재구성되었습니다. 알겠습니다. 여기에서 임의의 시드와 함께 기본 설정을 사용하고 확인을 클릭하겠습니다. |
| 그래서 이 모든 모델을 실행하고 있습니다. 다시 말하지만, 그것은 매우, 매우 빠릅니다. 이제 이진 응답이 있으므로 몇 가지 추가 메트릭이 있습니다. 나는 2개 가지고 있다 |
| R 제곱 측정, 오분류 비율, 곡선 아래 영역, RASE가 있습니다. 이것은 제곱 평균 제곱근 오차와 관련이 있음을 기억하십시오. 다시, 우세 선택을 클릭하고 다시 신경 부스트를 찾았지만 항상 그런 것은 아닙니다. |
| 내가 생각하는 최고의 모델인 빨간색 삼각형 아래의 옵션을 선택하면 ROC 곡선을 볼 수 있으며 다시 한 번 모델을 켜고 끌 수 있는 확인 표시가 있습니다. 날 보자 |
| 이것을 선택하십시오. 모델 비교 플랫폼과 JMP 17에서도 사용할 수 있고 분류 모델링을 수행하는 모든 모델링 플랫폼에 추가되고 있는 제가 가장 좋아하는 새 기능 중 하나는 결정 임계값이라고 하는 것입니다. |
| JMP 16에 추가된 가장 강력한 기능 중 하나입니다. |
| 따라서 이 세 가지 모델을 선택하면 세 가지 모델에 대한 분류 요약이 제공됩니다. |
| 그리고 저는 이것을 조금 더 크게 만들 것입니다. 그래서 우리는 조금 더 잘 볼 수 있습니다. |
| 그래서 우리가 이것을 읽는 방식은, 만약 우리가 신경 부스트를 보면, 그것은 우리에게 신경...신경 부스트에 대한 두 가지 범주를 보여주고 있고 우리는 높은 확률을 예측하고 있다는 것입니다. 따라서 이것은 높은 적합 확률입니다. |
| 그리고 컷오프는 .5이므로 .5 미만은 낮음으로 분류됩니다. .5 이상은 높은 것으로 분류됩니다. |
| 여기 이 빨간 블록을 보면 낮은 것으로 분류되었지만 실제로는 높은 모든 지점이 있습니다. 여기에서 그 숫자를 볼 수 있습니다. 그 중 29개가 있었으므로 이들은 거짓 음성이었습니다. |
| 아래 빨간색 상자는 높음으로 분류되었으며, |
| 그러나 그들은 실제로 낮았습니다. 그래서 이것들은 오탐지입니다. 여기 있는 사람들입니다. |
| 그리고 맨 아래에는 우리가 이것을 이해하는 데 도움이 되는 몇 가지 메트릭과 몇 가지 그래프가 있습니다. 그리고 몇 가지 결정을 내리는 데 도움이 됩니다. 또한 몇 가지 측정항목이 있으므로 여기에서 동일한 값을 볼 수 있습니다. 29개의 거짓 음성, 17개의 거짓 양성이 있습니다. |
| 그리고 우리는 또한 진정한 긍정적인 것과 부정적인 것을 볼 수 있습니다. 그리고 이것에 대해 제가 정말 좋아하는 점은 다양한 컷오프를 탐색할 수 있다는 것입니다. |
| 따라서 예를 들어 모델링 목표에 따라 높은 민감도 비율에 관심이 있을 수 있지만 실제로 낮은 특이도 비율을 원하지는 않습니다. |
| 민감도 비율, 여기 이 키가 정말 도움이 됩니다. 민감도는 진정한 양성 비율입니다. 특이성은 진정한 음의 비율입니다. |
| 실제로 두 가지 모두에서 조금 더 나은 컷을 찾을 수 있습니까? 그리고 클릭&드래그로 분류 기준을 변경할 수 있습니다. |
| 더 나은 작업을 수행하는 컷을 찾으려고 노력하십시오. 예를 들어 0.26에 반올림한 숫자를 입력하겠습니다. 0.25의 컷오프에서 감도는 더 높으면서도 높은 특이성을 유지합니다. |
| 내가 숨겨둔 그래프는 이러한 숫자를 해석하는 데에도 매우 유용하므로 잘못된 분류에 대한 전반적인 그림을 제공합니다. |
| 임계값별, 부분별 및 실제 분류 기준. 따라서 특이성과 민감도의 균형을 이루는 지점을 찾으려고 한다면 이 그래프를 볼 수 있습니다. |
| 그래서 이 맨 위 라인은 감도이고, 점선은 특이도이며 내가 여전히 감도에 대한 특정 값보다 높은 지점이 있습니다. |
| 감도, 어디에서 나의 특이성이 높게 유지됩니까? 그리고 우리는...우리는 그것들의 균형을 맞출 수 있습니다. 그래서 제가 바로 여기를 보면 이것이 두 선이 교차하는 지점임을 알 수 있습니다. |
| 그리고 이것은 불균형 데이터가 있는 경우에 매우 중요합니다. 그럼 다른 예를 살펴보겠습니다. 그래서 나는 이것을 닫고 |
| 이것을 저장하지 마십시오. 공식 저장소를 닫겠습니다. 그런데 공식 저장소는 독립 실행형이므로 기본적으로 우리가 사용하던 데이터 세트에 연결되어 있지 않습니다. 따라서 모델을 가져 와서 새 데이터에 적용하는 것이 정말 쉽습니다. 이만 끝내고 넘어가겠습니다. |
| 따라서 이 다음 데이터 세트에 대한 시나리오는 신용 카드 마케팅이라는 데이터이며 시나리오는 |
| 신용 카드 제안 수락에 대한 시장 조사를 하고 있습니다. 그리고 응답은 제안을 받아들였습니다. 그리고 주의할 점은 제안의 5.5%만 |
| 과거 데이터를 사용하여 승인되었습니다. 이것은 실제로 다양한 보상, 다양한 메일러 유형, |
| 재무 정보는 다르지만 설계된 실험은 보상 및 메일러 유형입니다. 우리는 이 특정 모델링 목표에 집중할 것입니다. 우리는 신용 카드 제안을 수락할 가능성이 가장 높은 고객을 식별하고자 합니다. |
| 그리고 이것을 함으로써 우리는 |
| 모델을 신규 고객에게 적용하고 이러한 신규 고객에 대한 분류를 기반으로 제안을 보낼지 여부를 결정할 것입니다. |
| 따라서 고객이 제안을 수락할 가능성이 거의 없는 경우 해당 제안을 보내지 않습니다. 가능성이 높으면 보내드리겠습니다. |
| 이것이 시나리오이며 JMP로 돌아가서 제안을 수락했습니다. 데이터에 대해 이야기하는 동안 여기에서 저장된 스크립트를 실행하겠습니다. |
| 10,000개의 관측값이 있으므로 이 작업은 조금 더 오래 걸릴 것입니다. 지금은 해당 모델을 실행하고 있으며 여기서는 기본 설정을 사용하고 있습니다. 그래서 제의가 받아들여졌고, |
| 보상 유형은 항공 마일리지, 캐쉬백 또는 포인트입니다. 우편물 유형은 편지 또는 엽서입니다. 그리고 나머지는 은행 업무...과거 은행 정보 및 일부 인구 통계 정보입니다. |
| 지원 벡터 머신이 실행되고 있는 것을 볼 수 있습니다. 서포트 벡터 머신은 특히 빅 데이터 세트에서 약간 느릴 수 있으며 실제로 10,000개 이상의 관찰이 있는 경우 기본적으로 실행되지 않습니다. |
| 우리는 평균 균형을 가지고 있음을 알 수 있습니다. 그리고 데이터는 훈련 및 검증에 청원되며 JMP는 자동으로 0을 훈련으로, 1을 검증으로 인식합니다. 네, 모든 모델을 실행합니다. |
| 그리고 Dominant를 선택하면 Stepwise 및 Decision Tree에 적합하도록 선택되었음을 알 수 있습니다. |
| 하지만 저는 이 오분류율을 지적하고 싶습니다. |
| 이것은...이것은 우리가 건초 더미에서 바늘을 찾으려고 할 때 매우 자주 보는 것입니다. 맞습니다. 이 데이터를 살펴보고 이 데이터의 분포를 실행하려고 하면... |
| 이것을 조금 더 크게 만들어서 조금 더 잘 볼 수 있도록 하겠습니다. 그래서 저는 유효성 검사 데이터를 보고 있습니다. |
| 6.25, 6.2, 6.3% |
| 값 중 '예'였고 제안에 응답했으며 오분류 비율에 대해 정확히 우리가 얻은 것입니다. |
| 그리고 이것을 더 잘 이해하기 위해 결정 임계값을 켤 것입니다. |
| 그리고 이것을 조금 더 크게 만드십시오. |
| 예측된 예는 모두 0이며 예측된 확률이 모두 상대적으로 낮았기 때문입니다. |
| 고전적인 혼동 행렬에서 컷오프는 .5이며 불균형 데이터가 있는 경우 이 경우에 매우 많은 관측치를 예로 분류할 가능성이 거의 없음을 기억하십시오. |
| 클릭하고 드래그하면, |
| 이 첫 번째 포인트 세트에 도달하면 일부 예측된 예가 표시되기 시작합니다. 사실, 측정항목을 켤 것입니다. |
| 매우 불균형한 데이터가 있는 경우 예측 확률이 매우 낮을 수 있습니다. |
| 따라서 이 슬라이더를 사용하면 컷오프를 탐색할 수 있습니다. |
| 민감도와 특이도 모두에 영향을 줄 수 있습니다. 따라서 이와 같은 경우에는 다음과 같이 말할 수 있습니다. |
| 여기에 .05를 입력하겠습니다...예상 확률에 신용 카드 제안을 보낸다면 예측 확률의 상위 5%인 예, 맞습니다, 우리의 민감도 |
| 두 모델 사이의 값은 약 .72, .75이며 우리의 특이성은 여전히 꽤 높습니다. 따라서 이...이 절단, 이 슬라이더를 사용하면 모델에서 더 유용한 정보를 얻을 수 있습니다. |
| 그래서 만약... 0.5에서 나는 진정한 긍정적인 결과를 얻고 있다는 것을 알 수 있습니다. 또한 많은 오탐(false positive)이 발생하고 있습니다. 따라서 여기에는 절충점이 있습니다. |
| 이제 이와 같은 경우 재정적 영향을 받을 수도 있습니다. 오른쪽. 그래서 이것에 대해 생각하는 것이 의미가 있습니다 ... |
| 이익 매트릭스. 그리고 버튼이 있습니다. |
| 나는 이것을 클릭한다. |
| 이익 매트릭스는 특정 열에 대한 열 속성이며 다음을 설정할 수 있습니다. |
| 확률 임계값에서 차단된 해당 값을 열 속성으로 사용하거나 값을 연결할 수도 있습니다. 알다시피, 고전적인 시나리오에서 비용은 $5입니다. |
| 누군가에게 제안을 보내기로 선택한 경우. |
| 그리고 그들이 제안에 응답하면, |
| 아마도 100달러의 가치가 있을 것입니다. 따라서 누군가에게 제안을 보내기로 선택했는데 그들이 응답하지 않으면 5달러를 잃게 됩니다. |
| 누군가에게 제안을 보내기로 선택하고 그들이 응답하면 평균 $100를 벌 수 있습니다. 그리고 어쩌면 잃어버린 기회가 있을지도 모릅니다. 어쩌면 우리는 100달러를 잃었다고 말할 수도 있습니다. |
| 그들이 응답하지 않는 경우. 그리고 종종 이것의 비용은, 이것은 그냥 비워두는 것입니다. 우리는 단지 yes에 대한 값을 연결하기만 하면 됩니다. 이것을 적용하고 확인을 누르면 |
| 그런 다음 몇 가지 새로운 값이 추가됩니다. 이제 수익 매트릭스가 생겼고 메트릭을 보면 예상 수익을 볼 수 있습니다. 그래서 |
| 평균적으로 이 데이터 세트의 각 고객에 대해 의사 결정 트리 모델을 적용하면 $1.50를 벌고 단계적 모델을 적용하면 약간 적게 벌 수 있다고 합니다. |
| 따라서 불균형 데이터가 있는 이와 같은 상황에서 기본 비용이 있는 경우 이익 매트릭스를 사용하는 것이 합리적입니다. 기본 비용이 없으면 |
| 그런 다음 이 슬라이더는 모델링 목표를 달성할 수 있는 컷을 선택하는 데 도움이 됩니다. 감도를 최대화하거나 특이성을 최대화하거나 다른 것이 될 수 있습니다. |
| 이것이 본질적으로 모델 심사입니다. |
| 이것을 닫고 슬라이드 데크로 돌아가겠습니다. |
| 그래서 우리는 예측 모델링과 예측 모델링이 의미하는 바에 대해 조금 이야기했습니다. |
| 또한 검증을 사용하여 많은 모델을 쉽게 적합하고 비교할 수 있으며 모델 스크리닝은 이 워크플로를 간소화하는 것입니다. |
| 원하는 경우 개별 모델을 계속해서 맞출 수 있지만 모델 스크리닝을 사용하면 하나의 플랫폼에서 동시에 모든 모델을 피팅한 다음 이러한 모델을 비교할 수 있습니다. |
| 자세한 정보를 위해 사용 가능한 다양한 유형의 메트릭과 분류 데이터에 대한 수많은 메트릭이 있습니다. 거기에 정말 좋은 |
| 민감도와 특이도, 그리고 모든...모든 다양한 메트릭에 대한 Wikipedia의 페이지를 참조하고 제공된 메트릭을 해석하는 방법을 파고들고 이해하려고 할 때 이것이 정말 유용하다는 것을 알았습니다. |
| 일반적으로 예측 모델링에 대한 많은 리소스가 있으며 JMP Pro의 모델 스크리닝도 있습니다. |
| 우리의...사용자 커뮤니티에서. 다시 STIPS를 참조하겠습니다. STIPS는 산업 문제 해결 과정을 위한 통계적 사고입니다. |
| 그리고 일곱 번째 모듈은 예측 모델링에 대한 소개이므로 예측 모델링을 처음 접하는 경우 이를 확인하는 것이 좋습니다. 그리고 우리 커뮤니티에 게시된 당뇨병 데이터를 사용하는 블로그도 있습니다. 마지막으로 새로운 기능은 |
| 반복적인 개선을 거치는 경향이 있습니다. 모델 스크리닝은 JMP Pro 16에 도입되었습니다. 우리는 이미 JMP Pro 17에서 작업 중이며 이미 많은 개선 사항이 작업 중입니다. |
| 따라서 향후 출시될 내용에 관심이 있는 경우 피드백을 제공할 수 있는 기회를 제공합니다. |
| 얼리 어답터 프로그램 가입에 대해 문의해 주시면 설정해 드리겠습니다. 시간을 내주셔서 감사드리며 남은 컨퍼런스를 즐기시기 바랍니다. |
