RMSE (또는 모델 매개 변수)가 세 세트에서 "안정적"이라고 말하는 일반적인 관행이 있습니까? 엄지 물건에 대한 규칙이 있습니까? 서로 10 % 이내입니까?
현재 나는 다른 RMSE와 포인트 평균을 비교하고 있지만 유효한 메트릭인지 또는 이미 달성했는지 여부를 알지 못합니다. 이것은 동일한 데이터 세트를 가정합니다.
Names default to here(1);
//Training, Validation, Testing Respectively
RMSE1 = [12.23434, 15.1546, 10.6572];
RMSE2 = [12.23434, 12.526, 12.0000];
RMSE3 = [12.23434, 12.23434, 12.23434];
stable1 = sqrt(mean((mean(RMSE1)-RMSE1)^2));
stable2 = sqrt(mean((mean(RMSE2)-RMSE2)^2));
stable3 = sqrt(mean((mean(RMSE3)-RMSE3)^2));
show(stable1, stable2, stable3);
내가 결국하려고하는 것은 "좋은"안정성과 낮은 RMSE를 가진 모델을 선택하는 것입니다. 나는 이것이 공통점이 있어야한다고 생각하지만 좋은 습관을 찾을 수는 없습니다.
