107817_zh-CN

liliconcom

RMSE在验证/培训/测试集中的“稳定性”

是否有一个很好的通用做法，即RMSE（或任何模型参数）在三组中都是“稳定的”。  有没有经验法则？在10％以内，等等？

 

目前我只是采取另一个RMSE与积分的平均值，但不知道这是否是一个有效的指标，或者是否已经有一些可以实现这一目标。这假设相同的数据集。 

 

Names default to here(1);
//Training, Validation, Testing Respectively
RMSE1 = [12.23434, 15.1546, 10.6572];
RMSE2 = [12.23434, 12.526, 12.0000];
RMSE3 = [12.23434, 12.23434, 12.23434];


stable1 = sqrt(mean((mean(RMSE1)-RMSE1)^2));
stable2 = sqrt(mean((mean(RMSE2)-RMSE2)^2));
stable3 = sqrt(mean((mean(RMSE3)-RMSE3)^2));

show(stable1, stable2, stable3);

我最终要做的就是选择一个具有“良好”稳定性和低RMSE的模型。  我觉得这必须是常见的事情，但我找不到好的做法。 

Re：RMSE跨验证/训练/测试集的“稳定性”对不起，文斯。我不知道有任何常见的做法。我同意这似乎是一个非常好的主意。但是，我认为这将取决于很多变量。例如，数据大小：随着数据大小的增加，我希望“最佳”模型在验证集中更加稳定。听起来这可能是一个有趣的MSc项目，有人可以做一些模拟，看看他们是否找到了有用的东西。