Existe-t-il une bonne pratique courante de dire que RMSE (ou quelque paramètre de modèle que ce soit) soit "stable" dans les trois ensembles. Existe-t-il une règle générale? À moins de 10% les uns des autres, etc.?
Actuellement, je prends simplement un autre RMSE par rapport à la moyenne pour les points, mais je ne sais pas si ce serait une métrique valide ou s'il y a déjà quelque chose qui existe qui permet d'atteindre cet objectif. Cela suppose le même jeu de données.
Names default to here(1);
//Training, Validation, Testing Respectively
RMSE1 = [12.23434, 15.1546, 10.6572];
RMSE2 = [12.23434, 12.526, 12.0000];
RMSE3 = [12.23434, 12.23434, 12.23434];
stable1 = sqrt(mean((mean(RMSE1)-RMSE1)^2));
stable2 = sqrt(mean((mean(RMSE2)-RMSE2)^2));
stable3 = sqrt(mean((mean(RMSE3)-RMSE3)^2));
show(stable1, stable2, stable3);
Ce que j’essaie finalement de faire, c’est de choisir un modèle qui présente une "bonne" stabilité et un faible RMSE. Je pense que cela doit être une chose commune, mais je ne trouve pas de bonnes pratiques.
