107817_ja-JP

liliconcom

検証/訓練/テストセットにわたるRMSEの「安定性」

RMSE（またはどんなモデルパラメータでも）は3つのセットにわたって「安定している」と言っているという一般的な慣例はありますか。  経験則に何かありますか？互いの10％以内など

 

現在、RMSEとポイントの平均の比較を行っていますが、それが有効な測定基準であるかどうか、またはこれを達成するための他の方法があるかどうかはわかりません。これは同じデータセットを想定しています。 

 

Names default to here(1);
//Training, Validation, Testing Respectively
RMSE1 = [12.23434, 15.1546, 10.6572];
RMSE2 = [12.23434, 12.526, 12.0000];
RMSE3 = [12.23434, 12.23434, 12.23434];


stable1 = sqrt(mean((mean(RMSE1)-RMSE1)^2));
stable2 = sqrt(mean((mean(RMSE2)-RMSE2)^2));
stable3 = sqrt(mean((mean(RMSE3)-RMSE3)^2));

show(stable1, stable2, stable3);

私が最終的にやろうとしているのは、"良い"安定性と低いRMSEを持つモデルを選ぶことです。  これは一般的なことである必要があるように私は感じます、しかし私は良い習慣を見つけることができません。 

検証/トレーニング/テストセットにわたるRMSEの「安定性」についてすみません、ヴィンス。私はこれに関する一般的な慣習を知りません。私はそれが本当に良い考えのように思えることに同意します。しかし、それは多くの変数に左右されると思います。たとえば、データサイズ：データサイズが大きくなるにつれて、「最善の」モデルが検証セット全体でより安定することが期待されます。これは、誰かがシミュレーションをしたり、何か役に立つものがあるかどうかを確認したりするための興味深いMScプロジェクトになる可能性があるようです。