홀드 아웃 세트에서 모델 정확도를 평가하는 방법여보세요,
JMP 13을 사용하고 있으며 홀드 아웃 세트에서 모델의 정확도를 자동으로 평가하는 방법을 찾지 못하는 것 같습니다. 선형 회귀 모델을 불룩하게 만듭니다.
따라서 훈련 세트에 포함 된 모델 (포함 된 효과 및 추정 크기)을 유지하고 홀드 아웃 세트에 대한 정확도 예측기 (R ^ 2, R ^ 2 조정 및 RMSE)를 계산하려고합니다. 현재 내가 찾은 유일한 해결책은 잔차를 계산할 수 있기 때문에 "손으로"RMSE를 계산하는 것입니다. 이 자동 분석을 수행하는 방법이 있습니까?
이것은 모델 buliding 프로세스에 대한 기본 작업처럼 보이므로 좋은 옵션이 있어야합니다.
도와 주셔서 감사합니다
다니엘
Re : 홀드 아웃 세트에서 모델 정확도를 평가하는 방법예측 모델에 대한 정직한 평가를 자동으로 수행하는 기능은 JMP Pro 기능입니다. JMP Pro의 모델 맞춤 실행 대화 상자에는 JMP에서 사용할 수없는 유효성 검증 분석 역할이 있습니다.
Tabulate 플랫폼을 사용하면 RMSE를보다 쉽게 평가할 수 있습니다. 그룹화를 위해 검증 열을 사용하고 저장된 잔차의 표준 편차를 표로 작성하십시오.
