C'è una buona pratica comune nel dire che RMSE (o qualunque parametro del modello) sono "stabili" tra i tre set. C'è qualche regola del pollice? Entro il 10% l'uno dall'altro, ecc.?
Attualmente sto solo prendendo un altro RMSE rispetto alla media per i punti, ma non so se sarebbe una metrica valida o se c'è già qualcosa che lo porta a termine. Questo presuppone lo stesso set di dati.
Names default to here(1);
//Training, Validation, Testing Respectively
RMSE1 = [12.23434, 15.1546, 10.6572];
RMSE2 = [12.23434, 12.526, 12.0000];
RMSE3 = [12.23434, 12.23434, 12.23434];
stable1 = sqrt(mean((mean(RMSE1)-RMSE1)^2));
stable2 = sqrt(mean((mean(RMSE2)-RMSE2)^2));
stable3 = sqrt(mean((mean(RMSE3)-RMSE3)^2));
show(stable1, stable2, stable3);
Quello che alla fine cercherò di fare è scegliere un modello che abbia una "buona" stabilità e un basso RMSE. Credo che questo debba essere una cosa comune, ma non riesco a trovare buone pratiche.
