일반 JMP에서 모델의 예측 능력 테스트안녕하세요. 저는 교육 데이터 세트를 기반으로 모델을 개발했으며 테스트 데이터 세트에서 모델의 예측 기능을 테스트하고 싶습니다. 일반 JMP에서 이 작업을 수행할 수 있는 방법이 있나요? 내 모델은 연속 효과와 범주형 효과로 구성됩니다.모델의 매개변수를 수정할 수 있어야 할 것 같습니다. 아니면 이것이 JMP Pro를 구입해야 하는 또 다른 좋은 이유일까요?
고급 통계 모델링데이터 탐색 및 시각화품질 및 프로세스 엔지니어링Re: 일반 JMP에서 모델의 예측 기능 테스트내 모델의 변수 중 하나 이상이 훈련 데이터 세트와 테스트 데이터 세트에서 완전히 다른 분포를 따른다는 점에 동의합니다(test=0은 훈련 데이터와 같고 test=1은 테스트 데이터와 동일한 첨부 파일 참조). 추세 분석에 따르면 이 변수의 수준이 위쪽으로 이동한 것으로 나타났습니다. 이유는 잘 모르겠지만 이것은 조사해 볼 문제입니다.
Re: 일반 JMP에서 모델의 예측 기능 테스트그냥 추가하려면 @P_바텔 님의 의견...원본 데이터 세트가 미래 조건을 나타내지 않는 경우 해당 데이터 세트에서 생성된 모델의 기능은 예측에 그다지 유용하지 않습니다. 이는 아무것도 배우지 않았다는 의미는 아니지만 모델의 예측 가능성을 향상시키기 위해 추론 공간을 확장해야 합니다(그리고 시간이 지남에 따라 모델을 수정해야 할 수도 있음).
Re: 일반 JMP에서 모델의 예측 기능 테스트'나중 기간'이라고 말하면... 훈련 세트에 배치할 관찰을 무작위로 선택하기 위해 내가 왔던 곳은 본질적으로 전체 데이터 수집이 단일 연구 모집단을 대표한다는 전제에 기반을 두었습니다. 그리고 당신은 모델 평가를 위해 이를 기꺼이 가정했습니다. 이제 '나중에'라고 말할 때... 이 단일 인구 개념이 사실이라고 얼마나 가정하시겠습니까? 두 데이터 세트 모두에 적은 수의 관측치가 있다고 가정합니다. 하지만 K 접기를 사용하는 것은 과적합에 대한 모델을 생성하고 평가하기 위해 상대적으로 적은 수의 관측치를 사용하는 데 도움이 될 수 있는 교차 검증의 한 형태입니다.
IMO, 테스트 데이터 세트의 관찰 수가 적더라도... 테스트 세트가 예측/실제 결과에 잘 맞지 않으면 이는 모델이 미래를 예측하는 데 특별히 효과적이지 않다는 것을 의미합니다. 성능. 따라서 어떤 의미에서 귀하의 테스트 세트는 귀하를 실망시키지 않습니다. 교육 모델을 복음으로 채택하면서 조심스럽게 진행하라고 비명을 지르는 것입니다.
또한 학습 모델 진단을 공유하지 않았습니다. 모델에 향후 관찰을 적합하게 만드는 문제가 있을 수 있습니다. 데이터나 진단을 공유할 수 있나요? 이 결과에는 몇 가지 단서가 숨겨져 있을 수 있습니다.
Re: 일반 JMP에서 모델의 예측 기능 테스트감사합니다.
내 훈련 데이터 세트는 95개의 관측값으로 구성되어 있으며 k-겹 선택을 사용하여 단계적 회귀를 적용했습니다. 그런 다음 5% 유의 한계를 적용하는 일반 최소 제곱을 사용하여 모델을 더욱 줄였습니다. 아이디어는 데이터가 훈련 및 테스트 데이터 세트에 무작위로 할당되지 않음을 의미하는 테스트 데이터 세트로 (나중 기간의) 새로운 관찰 세트를 사용하는 것이었습니다. 이 절차에 문제가 있다고 생각하시나요?
귀하의 절차를 적용하면 테스트 데이터 테스트에 대한 R-제곱이 매우 열악합니다.문제는 내 테스트 데이터 세트가 너무 작고(관측값이 20개뿐임) 설명 변수 값의 범위가 교육 데이터 세트보다 작다는 것입니다. 이 테스트 데이터 세트를 사용하여 내 모델의 예측 기능을 평가하는 것이 실제로 불가능하다는 것을 알았습니다.
Re: 일반 JMP에서 모델의 예측 기능 테스트모델을 만드는 데 어떤 플랫폼이 사용되었나요?
Re: 일반 JMP에서 모델의 예측 기능 테스트한 가지 질문이 있습니다... '훈련' 세트에 포함할 관측치를 무작위로 선택하셨나요? 그렇지 않다면 나는 되돌아가서 그것부터 시작하겠습니다. 당신이 그랬다고 가정하면 ...
네, 그렇습니다. 일반적으로 예측 모델링 작업의 모범 사례인 훈련/검증/테스트 구성을 사용하여 모델을 평가하려면 JMP Pro를 사용하는 것이 좋습니다. 특히 매우 효율적인 다중 모델 평가를 목표로 하는 모델 비교 및 Formula Depot 플랫폼과 같은 매우 유용한 기능이 많이 있습니다.
하지만 JMP Pro가 없다면 고려해야 할 두 가지 간단한 아이디어가 있습니다. 학습 데이터 세트를 사용하여 구축한 모델을 '테스트' 데이터 세트가 포함된 데이터 테이블에 '예측 값' 또는 이와 같은 구문이라는 새 열 수식으로 저장합니다. 이제 열에 반응에 대한 예측이 표시됩니다. 이제 '예측 값'과 반응에 대한 실제 값의 Fit Y by X 플롯을 플롯하고 두 반응 세트의 '적합도'를 검사합니다. Fit Model 플랫폼 보고서의 실제 대 예측 플롯을 복제하는 것을 제외하고 차트의 x 및 y 축 제한을 동일하게 적용하겠습니다. 눈으로 45도 선을 찾거나 그래프 빌더에서 선을 겹쳐보세요.
또 다른 변형은 실제 값에서 예측 값을 빼고 잔차를 히스토그램 형식으로 그리는 것입니다.
이러한 기술은 피팅을 평가하는 데 아무런 역할을 하지 않습니다. 하지만 강조점이 엄격하게 예측이라면... 시작일 뿐입니다.
