预测 R 方我想使用预测的 Rsquare 来测试我的模型是否过度拟合。我不太熟悉这个，所以我有几个关于预测 Rsquare 的问题。
1. 预测的 Rsquare 小多少是过度拟合的标志？如果 Adjusted R-square 是 0.94，预测的 R-square 是 0.84，可以吗？
2. 我不完全理解预测的 Rsquare 是如何计算的。我知道它每次都取出一个数据点，得到一个回归模型，然后把那个数据点放回去得到一个 R 方。 它对所有数据点重复并平均获得的 R 方。但是如何获得那些回归模型呢？ JMP 是否使用机器学习方法来获取模型？ 这些回归模型是否与我选择的模型不同？
3.我发现如果模型中有更多的因素，预测的R-square会下降更多并不总是正确的。 我发现，例如，具有 2 个因子的模型的预测 R 平方可能低于具有 3 个因子的模型（尽管第三个因子的 p 值（远）大于 0.05）。在这种情况下，我应该在模型中包含 2 个还是 3 个因子？
回复：预测 Rsquare只是添加到 Mark 的评论中，确定模型超过规格的方法之一是使用 R 方和调整后的 R 方之间的增量。 R-quares 随着模型中自由度数的增加而增加（无论这些 DF 是否重要）。 调整后的 R 方考虑了模型中 DF 的“重要性”，因此向模型添加不重要的自由度，delta 将增加（调整后的 R 方不会以 R 方的速率增加） .
回复：预测 Rsquare您不应该使用 R 方来选择模型。 当您使模型更复杂时（例如，向回归中的线性预测变量添加一个项），它总是会增加。 当您使模型不那么复杂时，它总是会减少。
但是，使用交叉验证可以使 R 方对模型选择更有用。 您可能期望验证 R 方不会随着数据过度拟合而增加。 具体来说：
- 无法确定训练 R 方和验证 R 方之间的差异有多大表示过度拟合。 这是一个主观决定。 可以说，两个 R 平方估计过拟合的模型是所有候选模型中最少的。
- 使用“帽子”或“投影”矩阵可以有效计算“留一法”统计数据。
- 我不会使用 R 方的变化来选择模型。 我会考虑其他信息，但主要关注 AICc 或 BIC 等标准。
