予測R2乗予測された R2 乗を使用して、モデルが過剰適合しているかどうかをテストしたいと思いました。私はこれについてあまり詳しくないので、予測 R2 乗に関していくつか質問があります。
1. 予測された R2 乗がどの程度小さくなると、過学習の兆候になりますか?調整済み R 二乗が 0.94、予測 R 二乗が 0.84 の場合、問題ありませんか?
2. 予測された R2 乗がどのように計算されたのか完全に理解できません。毎回 1 つのデータ ポイントが必要になり、回帰モデルを取得し、そのデータ ポイントを元に戻して R2 乗を取得することはわかっています。 これをすべてのデータ点に対して繰り返し、得られた R 二乗値を平均します。しかし、それらの回帰モデルを取得するにはどうすればよいでしょうか? JMP はモデルを取得するために機械学習アプローチを使用しますか? それらの回帰モデルは私が選択したモデルとは異なりますか?
3. モデル内の因子が多いほど、予測される R 二乗がさらに低下するというのは必ずしも真実ではないことがわかりました。 たとえば、因子が 2 つのモデルは、因子が 3 つのモデルよりも予測 R 二乗値が低くなる可能性があることがわかりました (ただし、3 番目の因子の p 値は 0.05 より (はるかに) 大きくなります)。この場合、モデルに 2 つまたは 3 つの要素を含めるべきでしょうか?
Re: 予測R2乗Mark のコメントに付け加えると、モデルの仕様超過を判断する方法の 1 つは、R 2 乗と調整された R 2 乗の間のデルタを使用することです。 モデルの自由度の数が増加するにつれて、(それらの DF が重要かどうかに関係なく) R-quares が増加します。 調整された R 2 乗では、モデル内の DF の「重要性」が考慮されるため、重要でない自由度をモデルに追加すると、デルタが増加します (調整された R 2 乗は、R 2 乗の割合で増加しません)。 。
Re: 予測R2乗モデルの選択に R 平方を使用しないでください。 モデルをより複雑にすると (回帰の線形予測子に項を追加するなど)、常に増加します。 モデルの複雑さを軽減すると、常に減少します。
ただし、相互検証を使用すると、R 2 乗がモデル選択にさらに役立つ可能性があります。 データをオーバーフィットしても検証 R 二乗は増加しないと予想されるかもしれません。 具体的には：
- トレーニング R スクエアと検証 R スクエアの差がどの程度過学習を示しているかを確認する方法はありません。 それは主観的な決定です。 2 つの R 二乗推定が行われるモデルは、すべての候補モデルの中で最も過適合度が低いと言えます。
- 「ハット」または「射影」行列を使用した「1 つ抜き」統計の効率的な計算があります。
- Rスクエアの変更をモデルの選択に使用することはありません。 他の情報も考慮しますが、主に AICc や BIC などの基準に注目します。
