¿Existe una buena práctica común de decir que RMSE (o cualquier parámetro del modelo) son "estables" en los tres conjuntos? ¿Hay alguna regla del pulgar? Dentro del 10% el uno del otro, etc?
Actualmente solo tomo otro RMSE frente a la media para los puntos, pero no sé si esa sería una métrica válida o si ya hay algo que lo logre. Esto supone el mismo conjunto de datos.
Names default to here(1);
//Training, Validation, Testing Respectively
RMSE1 = [12.23434, 15.1546, 10.6572];
RMSE2 = [12.23434, 12.526, 12.0000];
RMSE3 = [12.23434, 12.23434, 12.23434];
stable1 = sqrt(mean((mean(RMSE1)-RMSE1)^2));
stable2 = sqrt(mean((mean(RMSE2)-RMSE2)^2));
stable3 = sqrt(mean((mean(RMSE3)-RMSE3)^2));
show(stable1, stable2, stable3);
Lo que finalmente estoy tratando de hacer es elegir un modelo que tenga una estabilidad "Buena" y un RMSE bajo. Siento que esto tiene que ser algo común, pero no puedo encontrar buenas prácticas.
