广义 R 方和 R 方结果之间的差异大家好，
我尝试在社区或 JMP 帮助中找到问题的答案，但找不到。 因此，如果有人能在这里为我指明正确的方向，或者让我知道我缺少的基本概念是什么，我将非常感激。
我正在根据我的响应（因变量 - DV）拟合一个模型，该模型是连续的，使用 3 个自变量 (IV) [2 个分类变量和 1 个连续变量] 以及其中 2 个变量之间的交互作用（另一个我只是使用主变量）影响）。 我首先使用最小二乘法来实现这一点，如下面的屏幕截图所示。
然而，我的预测图残差看起来不太好（我有一些异常值）。无论我尝试将哪些其他因素添加到模型或转换中，我都无法改善我的残差图。 我能得到的最好结果就是改变我的回应，这就是我上面已经展示的。
接下来，我考虑通过广义回归使用惩罚回归方法（更具体地说岭）。 我读到它对异常值更加稳健（尽管它会引入一些偏差）。
我开始使用标准最小二乘法运行广义回归。
根据我看过的一些视频，这应该产生与最小二乘回归相同的结果。
另外，根据JMP帮助（ https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ）提供的广义 R 方应介于 0 和 1 之间，并且它将简化为标准最小二乘设置中连续正态响应的传统 R 方。 然而，正如您从下面的屏幕截图中看到的，虽然广义 R 方与训练集的 R 方匹配，但它与验证集不匹配（并且为负）。 其他统计数据（例如 RASE）确实与两组（训练和验证）相匹配。
关于这里可能发生的事情有什么想法吗？
预先感谢您的任何想法和提示！
PS：对于我在这篇文章中所做的一切，我使用了 JMP 中的 FitModel 平台。
数据混合和清理回复：广义 R 方和 R 方结果之间的差异谢谢你，马克！ 我刚刚开了一张关于它的票。
当我得到答案时，我会将答案发布在这里。回复：广义 R 方和 R 方结果之间的差异我无法从这次讨论中说出什么可能会导致差异。 我建议您联系 JMP 技术支持（ support@jmp.com ）关于此事。
回复：广义 R 方和 R 方结果之间的差异感谢您提供所有详细信息并让我了解有关 GenReg 的更多信息。
但在这种情况下我仍然感到困惑（假设响应呈正态分布），如何解释两个“平台”（拟合最小二乘法和 GenReg）之间验证集之间的广义 Rsquare 值的差异？
抱歉，如果我误解了你所说的话。
谢谢你！
回复：广义 R 方和 R 方结果之间的差异你是对的，整个模型的指标不应该随着不同的参数化而改变。 当然，个别术语或参数的指标将会改变。
因此，不同参数化的系数并不相同，因此它们的估计也必定不同。
OLS 解和 MLE 优化应该在具有正态分布响应的相同参数化下产生相同的估计。
我误导了你：GenReg 中的标准最小二乘结果是 OLS。 看这一页更多细节。
回复：广义 R 方和 R 方结果之间的差异谢谢你！
我不知道我们能够在 JMP 中引导估计值。 谢谢你教我这个！
也感谢您提供的所有其他见解。 很有帮助！
回复：广义 R 方和 R 方结果之间的差异你好@马克贝利，非常感谢您再次回复我。 我非常感谢您对我的问题的所有帮助和耐心。
是的，对于这个特定的响应，我的所有异常值都在验证集中。 但对于我正在调查的其他响应，情况并非如此（异常值同时出现在验证集和训练集中）。
就我正在建模的内容而言：我使用离散事件模拟进行了一些实验（使用不同的种子，以便我拥有不同的数据）。 在此基础上，我计算了我感兴趣的四种反应（这里我只展示了一种）。
现在，我正在尝试将回归模型拟合到这些响应，因为我的下一步将是使用优化模型来找到我感兴趣的响应的最佳设置。
据我所知，参数化/编码不应影响模型统计数据。 我在这里错过了什么吗？ (编码）
此外，对于线性回归且当残差呈正态分布时，OLS 和 MLE 会产生相同的系数。 不是吗？ (最小二乘法和最大似然估计）
根据这个广义回归教程发布者@gail_massari ，时间8:35左右，我的理解是@brady_brady还表示 MLE 和 OLS 之间的结果应该匹配。
最后，您介意向我指出 JMP 帮助页面吗？该页面指示当分布呈正态分布时，广义回归使用 MLE 而不是 OLS？
由于下图（取自 JMP），我有一种错误的印象：如果选择的分布是正态分布，广义回归仍将使用 OLS：
谢谢你！
回复：广义 R 方和 R 方结果之间的差异你好@安娜保拉,
我不确定我是否完全理解您如何使用计算的种子来生成验证列的分层。 但是，如果您使用 JMP Pro 中的验证列平台（如果您可以访问 GenReg，则拥有该平台），那么您可以对您拟合的响应（Y 变量）进行分层。 如果所有异常值都在验证集中，您可能需要重新考虑它如何生成这两个集合。
您可能会考虑的另一点是将不用于拟合数据的测试数据集完全拆分到另一个数据表中。 如果您在训练/验证集上运行多个模型，则可以使用测试数据集来查看哪个模型确实最适合预测，您可以使用模型比较平台来执行此操作。 据推测，您的目标是拥有最佳的预测能力，并且您需要以某种方式对其进行测试。 看起来你有一个足够大的集合，你可以做类似的事情。 例如，制作一个验证列，例如 60% 训练、20% 验证、20% 测试。 将测试数据集子集到一个完全不同的表中，然后使用剩余的训练/验证子集来构建模型。
对于您关于 R^2 的其他问题以及它是否为负或不完全匹配，我会参考马克所说的。
如果您的数据是对数正态分布的，您将需要在模型规范中选择该选项，因为这会更改其拟合方式背后的一些底层过程。
当您在 SLS 或 GenReg 或 PLS 中创建模型时，您可以通过右键单击“估计”列并选择“引导”来引导估计。 您需要运行数千次，然后查看分布，看看该项系数的原始估计值是否接近许多估计值的全局平均值。 JMP 将以稍微不同的起点运行一些计算，从而生成几个不同的估计值，然后您可以查看该分布并确定总体上 1) 第一次尝试的估计值是否准确，以及 2) 效果系数是否真正起作用很多或没有。 例如，在 SLS 平台中，为效应赋予 FDR LogWorth 值，以估计该效应的错误发现率。 如果该值 >2（蓝线），则有重要证据表明该效应确实对模型有贡献。 另一方面，它可能更小，或者接近值 2。 如果您引导这些 FDR 值，您可以找到平均值和范围来确定效果是否有意义。 我曾经遇到过这样的情况：效果看起来可能处于临界状态，并且在引导 FDR 后，大多数时间实际上并未超过 2，因此实际上并不是模型中的全局重要因素。
最后一点，我强烈建议运行多种不同类型的建模平台：提升树、引导森林、神经网络等，看看另一个平台是否最适合您的数据/情况。
希望这可以帮助！，
DS
回复：广义 R 方和 R 方结果之间的差异我注意到在你原来的残差图中，异常值似乎都在验证保留集中。
广义回归使用与拟合最小二乘不同的参数化。 请参阅此页统计细节。 它还使用不同的估计方法（MLE 与 OLS）。
回复：广义 R 方和 R 方结果之间的差异你好@SDF1
非常感谢您的回复和您的见解。 他们非常有帮助，并且与我正在思考的一些事情是一致的。
如果您有更多见解可以提供，我将在这里提供一些额外的信息（我将非常感激）。
1. 基于验证列的分层响应确实具有（非常）相似的分布。 正如我向马克解释的那样，响应是根据使用不同种子生成的计算机实验计算的（我使用种子分层为训练集和验证集）。
2.假设我过度拟合，我的主要问题是：
为什么我的训练集 R 方为 0.9995，直接使用 FitModel 中的 LeastSquares 或通过广义回归，而我的验证集 R 方为0.9791直接使用 FitModel 中的 LeastSquares 和-1.24e+12通过广义回归使用最小二乘法。
我不明白验证集的 R 方值之间的差异。 这些值不应该相同吗（即使存在过度拟合）？
3. 我确实认为我有理由将这些术语包含在我的模型中。 首先，我的响应是使用基于不同重复次数（一个分类 IV）的不同数据和基于不同数量的聚类（第二个分类 IV）的不同“公式/数据”来计算的。 计算响应的已知理论公式考虑了到达率（连续 IV），因为该值会影响生成的数据。
我不确定如何在 JMP 中进行引导。 但我确实手动尝试了不同的模型（带或不带术语），并且我还尝试使用向前逐步。 在这两种情况下，结果最终都显示两个分类 IV + 它们的交互作用 + 连续 IV 是最好的模型。
4. 你的最后一点实际上是我希望有人能带入这次讨论的。
我的反应实际上不是正常的（事实上，它是 LogNormal）。
因此，当我尝试 Ridge 或 ElasticNet 时，我将对此进行调整。
但即使我的响应不正常，我上传的两个图像中验证集的 R 方值不应该匹配吗？
非常感谢您的见解！
回复：广义 R 方和 R 方结果之间的差异对不起@马克贝利，我想我的问题不是很清楚。
正如你所说，我没有使用 Ridge（那将是我的下一步）。 但首先，我再次使用最小二乘法（通过广义回归模型）来检查结果是否与直接从 FitModel 窗口使用 LeastSquares 得到的结果相匹配。 因为我的结果不匹配，所以我什至最终没有尝试 Ridge（这将是我的下一步）。
但我很好奇为什么通过广义回归得到的 LeastSquares 结果与直接从 FitModel 通过 LeastSquares 得到的结果不匹配。 你有什么想法？
回答您的问题：
1. 连续预测变量不参与交互项。
2.我使用了逐步的方法，也使用了自己的估计来确定是否应该去除交互作用
3.我尝试了Log、Logistic、Logit和Reciprocal。 如果是倒数，模型会恶化很多。 使用 Logistic，统计数据（R 方、RASE）略有改善，但残差图没有改善。 因此，在我看来，没有什么可以证明使用转换的合理性。
4. 训练和验证是根据我所拥有的组来定义的（这些是使用不同随机种子的计算机实验）。 我使用种子将数据分组，并使用该列作为我的保留验证列。
5. 我与否定相关的问题是为了广义R方，因为当我第一次阅读 JMP 帮助时，我认为它只能在 0 和 1 之间。 但是，是的，我找到了该公式，正如我们所见，它也可以低于 0：
| Nagelkerke / Cragg & Uhler's（广义 R 方） | 
|
谢谢你！
回复：广义 R 方和 R 方结果之间的差异你好@安娜保拉,
如果我理解正确的话，您有一个根据某种验证列分割的数据集。 需要考虑的一件事是您是否根据响应对验证列进行分层，以确保训练列和验证列具有相似的分布。
由于 R^2 为负，对我来说这表明您过度拟合了数据。 您是否对估计进行了一些引导，以查看模型中的项是否真的重要？ 您有包含混合项的理论基础吗？
另外，您可能想尝试 Elastic Net，因为它是 Ridge 和 Lasso 的组合。 另一件需要考虑的事情是您的响应分布是否确实是正态的，或者不同的分布是否更适合您的数据。
DS
回复：广义 R 方和 R 方结果之间的差异交互项中是否涉及连续预测变量？ 您是否使用对省略的交互的估计来确定应将其删除，还是一开始就将其遗漏？
您尝试了哪些响应转变？
惩罚回归和最小二乘回归通常不会导致模型参数的相同估计，因此 R 平方不会相同。 您的图片显示的是 OLS 结果，而不是岭回归。
训练和验证结果应该与最佳无偏模型相似，但又不相同。 您如何确定用于验证的保留集？
负 R 平方是可能的。
