預測 R 方我想使用預測的 Rsquare 來測試我的模型是否過度擬合。我對此不太熟悉，所以我有一些關於預測 Rsquare 的問題。
1. 預測的 Rsquare 小多少是過度擬合的標誌？如果調整後的 R 方為 0.94，預測的 R 方為 0.84，可以嗎？
2.我不太明白預測的Rsquare是如何計算的。我知道每次都會取出一個數據點，得到一個回歸模型，然後將該數據點放回去並獲得一個 R 方。 它對所有數據點重複並平均獲得的 R 方。但如何得到這些迴歸模型呢？ JMP是否使用機器學習方法來取得模型？ 這些迴歸模型與我選擇的模型不同嗎？
3. 我發現，如果模型中的因素越多，預測的 R 方就會下降得越多，這並不總是正確的。 例如，我發現，具有 2 個因子的模型比具有 3 個因子的模型具有更低的預測 R 方（儘管第三個因子的 p 值（遠）大於 0.05）。在這種情況下，我應該在模型中包含 2 或 3 個因素嗎？
回覆：預測 R 方只是為了補充 Mark 的評論，確定模型超過規範的方法之一是使用 R 平方和調整後的 R 平方之間的增量。 R 方隨著模型中自由度數的增加而增加（無論這些 DF 是否重要）。 調整後的 R 方考慮了模型中 DF 的“重要性”，因此向模型添加不重要的自由度，增量將會增加（調整後的 R 方不會以 R 方的速率增加） 。
回覆：預測 R 方您不應該使用 R 方來選擇模型。 當您使模型變得更加複雜時（例如，在迴歸中向線性預測變數添加一項），它總是會增加。 當模型變得不那麼複雜時，它總是會減少。
不過，使用交叉驗證可以使 R 平方對於模型選擇更有用。 您可能會期望驗證 R 方不會隨著資料的過度擬合而增加。 具體來說：
- 無法確定訓練 R 方和驗證 R 方之間的差異有多大表示過度擬合。 這是一個主觀決定。 可以說，兩個 R 方估計的模型是所有候選模型中過度擬合程度最小的。
- 使用“帽子”或“投影”矩陣可以有效計算“留一”統計資料。
- 我不會使用 R 方的變化來選擇模型。 我會考慮其他信息，但主要關注 AICc 或 BIC 等標準。
