우리는 최근에 많은 관심을 갖게되어 매우 기뻤습니다. 기술적으로 말하기 JMP Pro 16의 강력한 새 기능인 Model Screening을 특징으로합니다. 모델을 구축 할 때 주어진 데이터 세트에서 어떤 방법이 가장 잘 작동하는지 알 수 없습니다.
모델 스크리닝을 사용하면 한 번에 여러 접근 방식을 시도하고, 모델 성능을 평가하고, 필요에 따라 결정 임계 값을 사용자 지정하는 것을 포함하여 가장 성능이 좋은 모델을 선택할 수 있습니다. 이 강력한 새 기능은 너무 많은 질문을 생성하여 모든 질문에 답할 수 없었습니다. 그래서 우리는이 블로그 포스트에서 그것들을 다루고 있습니다. 모델 스크리닝의 속도와 힘을 기술적으로 말하는이 에피소드 .
Kemal Oflus는 모델 스크리닝 플랫폼을 보여주기 위해 무대를 설정합니다.
일반적인 질문들
비모수 모델을 맞추려고하면 높은 예측 가능성을 얻을 수 있지만 모델의 해석 가능성이 떨어집니다. 실제 제조 문제에서 예측 가능성과 해석 가능성 사이의 균형을 어떻게 달성합니까?
이것에 분석적으로 말하기 에피소드 , 갈릿 쉬무 엘리 그녀의 많은 인용 논문을 통해이 주제에 대한 세부 사항을 파헤칩니다. 설명하거나 예측하기 위해 . 기본 모델이 얼마나 많은 분산을 설명 할 수 있는지 측면에서 모델 성능을 요약하는 RSquare와 같은 메트릭이 있습니다. RSquare가 높은 모델이 기술적으로 낮은 모델보다 낫습니다. 모델 해석 성은 입력과 출력 간의 관계에 대한 통찰력을 제공합니다. 해석 된 모델은 독립 특성이 종속 속성을 예측하는 이유에 대한 질문에 답할 수 있습니다. 모델 정확도가 증가함에 따라 해석 가능성을 희생하면서 모델 복잡성도 증가하기 때문에 문제가 발생합니다. 이 경우 JMP 프로파일 러는 기본 모델을 시각화하는 데 도움이되므로 주제 전문 지식을 사용하여 모델의 온전 성과 타당성을 확인할 수 있습니다. 매개 변수가 적은 모델은 해석하기가 더 쉽습니다. 이것은 직관적입니다. 선형 회귀 모델에는 입력 특성 당 계수와 절편 항이 있습니다. 예를 들어, 각 용어를보고 그들이 출력에 어떻게 기여하는지 이해할 수 있습니다. 로지스틱 회귀로 이동하면 계수와 함께 이해해야하는 출력으로의 함수 변환을 희생하여 모델링 할 수있는 기본 관계 측면에서 더 많은 힘을 얻을 수 있습니다. 의사 결정 트리 (적당한 크기)는 이해할 수 있으며, 배깅 된 의사 결정 트리는 이벤트 발생이 예상되는 이유를 해석하기 위해 다른 관점이 필요합니다. 더 나아가, 여러 모델을 단일 예측으로 최적화 한 혼합은 의미가 있거나시기 적절한 해석을 넘어 설 수 있습니다. 다시 말하지만 JMP Profiler는 우리가 구축 한 모델을 시각화하고 해석하는 데 완벽한 도구입니다.
회귀 모델을 평가할 때 좋은 모델을 나타내는 좋은 RSquare 메트릭에 대한 표준 범위가 있습니까, 아니면 컨텍스트에 따라 달라지는가?
이것은 컨텍스트에 따라 다릅니다. 주식 시장을 예측하려는 경우 55 % RSquare가 심장 판막 실패 여부를 예측할 때보 다 적절합니다.
훈련 세트와 검증 세트의 차이점은 무엇입니까? 이러한 세트에 어떤 유형의 데이터 시나리오가 포함되는지 자세히 살펴볼 수 있습니까?
학습 세트는 데이터에서 학습하고 모델을 구축하는 데 사용합니다. 검증 세트는 훈련 세트에서 배운 내용을 검증하는 것입니다. 데이터가 충분한 경우 모델을 추가로 조정하기위한 테스트 데이터 세트를 보유한 다음 검증 세트로 결과를 검증하는 것이 좋습니다.
PLS를 사용하지 않는 이유가 있습니까?
특별한 이유는 없습니다. 단지 해석하기가 더 어렵고 웨비나에서 살펴본 데이터 세트에 적합하지 않기 때문입니다.
일부 분석에는 더 큰 오류가 있습니다. 모델에 예상되는 오류를 입력하는 방법이 있습니까?
분류 자 사용에 대한 질문 인 경우 기본적으로 분류 임계 값은 50 %로 설정되지만 상황에 따라이 임계 값을 수정할 수 있습니다.
커피의 샘플과 관련하여 신경 증폭 방법이 다른 모든 모델 (서로 동일 함)에 비해 샘플 크기가 더 낮은 이유는 무엇입니까? 신경 강화에 대한 RSquare 값이 더 적절한 데이터를 선택하여 이점을 얻었습니까?
선택한 입력 요인 중 일부에 결 측값이 있기 때문입니다. 일부 알고리즘은 결 측값을 처리 할 수 있으므로 주어진 관측치의 나머지 정보를 사용합니다. 그러나 신경망은 할 수 없기 때문에 더 적은 수의 관측치가 샘플에 포함됩니다.
여러 모델의 매개 변수 설정을 어떻게 조정하고 비교합니까?
모델 스크리닝 및 비교 플랫폼은 여러 모델을 평균 / 결합 / 집계하는 방법을 제공하여 앙상블 모델을 생성 한 다음 매개 변수 설정을 최적화하는 데 사용할 수 있습니다.
이 과정은 과적 합되는 경향이있는 것 같습니다. 이것을 AIC와 어떻게 비교 하시겠습니까?
AIC 값은 모델 스크리닝 플랫폼의 개별 모델 요약 섹션에서 적절한 모델에 대해 제공됩니다. 세부 사항은 온라인 도움말 모델 비교 보고서에서 이에 대해 자세히 설명합니다.
데이터 과학자는 JMP가 할 수없는 중요한 역할을 수행하지 않습니까? 예를 들어, 데이터 과학자는 분류 문제에서 FP를 증가시킬 위험이있는 더 많은 참 양성 (TP)을 얻는 것 사이에서 균형을 맞출 수 있습니다. JMP는이 트레이드 오프를 어떻게 처리하고 모델러에게 전달합니까?
소프트웨어는 데이터와 해당 사용 사례 사이의 다리 역할을하는 주제 전문가 (이 경우 데이터 과학자)의 역할을 대체 할 수 없습니다. 그러나 JMP가 제공하는 도구 및 보고서는 모델 평가 메트릭 (RSquare, 조정 된 RSquare, 오 분류 비율, 혼동 매트릭스 및 가장 중요한 프로파일 러)을 통해 조직의 여러 수준에 매우 쉽게 결과를 전달할 수 있습니다.
JMP 기능 질문
JMP에서 선량 반응 로지스틱 모델링을 할 수 있습니까?
네, 이거 게시하다 커뮤니티와이 하나 JMP 파트너 인 Pega Analytics가 JMP에서이를 수행하는 방법에 대해 자세히 설명합니다.
JMP에서 에이전트 기반 모델링을 실행할 수 있습니까?
지금은 아닙니다.
사용자가 모델 매개 변수의 값을 지정할 수 있습니까? 아니면 기본값으로 가정합니까?
모델 스크리닝 플랫폼은 최적의 매개 변수 설정 (예 : 트리 수, 부스트 레이어 등)을 찾도록 설계되었습니다. 선형 모델에 대한 상호 작용 항을 포함 할 수 있습니다. 최상의 모델 (또는 모델 세트)을 찾으면 각 모델을 추가로 사용자 정의 할 수 있습니다.
워크 시트에 유효성 검사 열이 있습니까? 자동으로 채워 집니까?
유효성 검사 열이있는 경우이를 활용할 수 있습니다. 그렇지 않은 경우 JMP는 유효성 검사 열을 만드는 여러 방법을 제공합니다. 보다 옵션 이 작업을 수행하는 방법.
데이터와 예측을 JMP에 넣는 경우 Python으로 생성 된 모델에 대한 모델 분석 (예 : 예측 프로파일 러)을 얻을 수있는 방법이 있습니까?
Excel JMP 추가 기능에는 Excel에서 생성 된 모델에만 사용할 수있는 Excel 프로파일 러가 있습니다. 그러나 JMP는 사용자가 소프트웨어에 액세스 할 수있는 경우 Python, R 또는 MATLAB 스크립트를 실행하거나 데이터를주고받을 수 있습니다.
원시 데이터로 만든 모델에서 가장 잘 작동 할 수있는 사용자 지정 변수를 만드는 것은 어떻습니까? 이 플랫폼이 이것을 처리합니까 아니면 입력으로 사용하기 위해 먼저 생성해야합니까?
모델 스크리닝 플랫폼은 데이터를있는 그대로 사용합니다. Principal Components와 같은 복합 변수가 있어야한다고 생각되면 별도로 생성해야합니다. a * b 또는 2 차와 같은 간단한 상호 작용 변수는 대화 상자의 확인란을 통해 선택할 수 있습니다. 또한 신경망의 각 노드는 물리적 의미를 가질 수있는 복합 변수에 해당합니다 (하지만 다시 우리는 그것들을 제어 할 수 없습니다).
JMP는 R 또는 Python으로 생성 된 모델을 통합 할 수 있습니까?
모델을 사용하여 결과를 예측하는 R 또는 Python 스크립트가있는 경우 JMP에서 R / Python 스크립트를 실행하고 필요한 경우 결과를 새 열 변수로 사용할 수 있습니다. 이 백지 ,“JMP 시너지 : Python 및 R과 함께 JMP 및 JMP Pro 사용”은 훌륭한 리소스입니다.
텍스트 데이터에 대해 JMP를 사용 했습니까?
JMP에는 기본 제공 텍스트 탐색기 플랫폼이 있습니다. 이 JMP 디스커버리 서밋 토크 몇 가지 좋은 예가 있고 온라인 도움말 좋은 개요를 제공합니다.
Prediction Profiler에서 y와 x 중 하나의 행동을 볼 때 그것이 유일한 x라는 점을 고려하여 설정되어 있습니까? 아니면 모델에 다른 x도 있다는 것을 알고있는 행동을 가정합니까?
프로파일 러는 여러 입력 변수와 원하는 출력 변수 간의 관계를 조사하고 최적화하는 방법을 제공합니다. 입력 변수는 서로 독립적으로 설정되거나 서로 상호 작용할 수 있습니다. 이 비디오 프로파일 러 사용 방법을 보여줍니다. R & D의 저명한 연구 연구원 인 Bradley Jones는 다음과 같이 썼습니다. JMP 서문 기사 가장 인기있는 대화 형 시각화 중 하나 인 Profiler의 30 주년을 기념합니다.
