預測 Rsquare我想使用預測的 Rsquare 來測試我的模型是否過度擬合。我對此不是很熟悉，所以我對預測的 Rsquare 有幾個問題。
1. 預測的 Rsquare 小多少是過擬合的標誌？如果調整後的 R 平方為 0.94，預測的 R 平方為 0.84，可以嗎？
2. 我不完全理解預測的 Rsquare 是如何計算的。我知道每次都需要一個數據點，得到一個回歸模型，然後把那個數據點放回去，得到一個 R 平方。 它對所有數據點重複並平均獲得的 R 平方。但是如何獲得這些回歸模型呢？ JMP 是否使用機器學習方法來獲取模型？ 這些回歸模型與我選擇的模型不同嗎？
3. 我發現，如果模型中的因子越多，預測的 R 平方就會下降得越多，這並不總是正確的。 我發現，例如，具有 2 個因素的模型比具有 3 個因素的模型具有更低的預測 R 平方（儘管第三個因素的 p 值（遠大於 0.05））。在這種情況下，我應該在模型中包含 2 個還是 3 個因素？
回复：預測的 Rsquare只是添加到 Mark 的評論中，確定模型超過規格的方法之一是使用 R 平方和 R 平方調整後的增量。 R-quares 隨著模型中自由度數量的增加而增加（無論這些 DF 是否重要）。 R-squareadjusted考慮了模型中DF的“重要性”，所以給模型添加不重要的自由度，delta會增加（R-squareadjusted不會以R-square的速度增加） .
回复：預測的 Rsquare您不應該使用 R 方塊來選擇模型。 當您使模型更複雜時（例如，在回歸中向線性預測變量添加一項），它總是會增加。 當您使模型不那麼複雜時，它總是會減小。
但是，使用交叉驗證可以使 R 方對模型選擇更有用。 您可能期望驗證 R 平方不會隨著您過度擬合數據而增加。 具體來說：
- 無法確定訓練 R 平方和驗證 R 平方之間的差異有多大表明過度擬合。 這是一個主觀的決定。 可以說，兩個 R 平方估計過擬合的模型是所有候選模型中最少的。
- 使用“帽子”或“投影”矩陣可以有效地計算“留一”統計數據。
- 我不會使用 R 平方的變化來選擇模型。 我會考慮其他信息，但主要關注 AICc 或 BIC 等標準。
