107817_zh-TW

liliconcom

RMSE在驗證/培訓/測試集中的“穩定性”

是否有一個很好的通用做法，即RMSE（或任何模型參數）在三組中都是“穩定的”。  有沒有經驗法則？在10％以內，等等？

 

目前我只是採用另一個RMSE與點數的平均值，但不知道這是否是一個有效的指標，或者是否已經有一些可以實現這一目標。這假設相同的數據集。 

 

Names default to here(1);
//Training, Validation, Testing Respectively
RMSE1 = [12.23434, 15.1546, 10.6572];
RMSE2 = [12.23434, 12.526, 12.0000];
RMSE3 = [12.23434, 12.23434, 12.23434];


stable1 = sqrt(mean((mean(RMSE1)-RMSE1)^2));
stable2 = sqrt(mean((mean(RMSE2)-RMSE2)^2));
stable3 = sqrt(mean((mean(RMSE3)-RMSE3)^2));

show(stable1, stable2, stable3);

我最終要做的就是選擇一個具有“良好”穩定性和低RMSE的模型。  我覺得這必須是常見的事情，但我找不到好的做法。 

Re：RMSE跨驗證/訓練/測試集的“穩定性”對不起，文斯。我不知道有任何常見的做法。我同意這似乎是一個非常好的主意。但是，我認為這將取決於很多變量。例如，數據大小：隨著數據大小的增加，我希望“最佳”模型在驗證集中更加穩定。聽起來這可能是一個有趣的MSc項目，有人可以做一些模擬，看看他們是否找到了有用的東西。