Gibt es eine gute Praxis, zu sagen, dass RMSE (oder welcher Modellparameter) über die drei Sätze hinweg "stabil" ist. Gibt es irgendeine Faustregel? Innerhalb von 10% voneinander usw.?
Momentan nehme ich nur einen anderen RMSE-Wert gegenüber dem Mittelwert für die Punkte, weiß aber nicht, ob dies eine gültige Metrik wäre oder ob es bereits irgendetwas gibt, das dies schafft. Dies setzt den gleichen Datensatz voraus.
Names default to here(1);
//Training, Validation, Testing Respectively
RMSE1 = [12.23434, 15.1546, 10.6572];
RMSE2 = [12.23434, 12.526, 12.0000];
RMSE3 = [12.23434, 12.23434, 12.23434];
stable1 = sqrt(mean((mean(RMSE1)-RMSE1)^2));
stable2 = sqrt(mean((mean(RMSE2)-RMSE2)^2));
stable3 = sqrt(mean((mean(RMSE3)-RMSE3)^2));
show(stable1, stable2, stable3);
Was ich letztendlich versuche, ist die Auswahl eines Modells mit "guter" Stabilität und niedrigem RMSE. Ich denke, dass dies eine gewöhnliche Sache sein muss, aber ich kann keine guten Praktiken finden.
