广义RSquare和RSquare之间的结果差异嗨，大家好，
我试图在社区或JMP帮助中找到问题的答案，但是没有找到答案。 因此，如果有人能在正确的方向指我或让我知道我所缺少的基本概念，我将不胜感激。
我正在对模型进行拟合（因变量-DV），该模型是连续的，使用3个自变量（IV）[2个分类变量和1个连续变量]以及其中2个之间的相互作用（另一个我只是使用主变量影响）。 我首先使用最小二乘，如下面的屏幕截图所示。
但是，我通过预测图得出的残差看起来不太好（我有一些异常值）。无论我试图添加到模型中的其他因素（还是转换），我都无法改善残差图。 我所能得到的最好的就是改变我的回答，这就是我上面已经显示的回答。
接下来，我考虑了通过广义回归使用惩罚回归方法（更具体地说是里奇）。 我读到它可以比异常值更健壮（尽管它会带来一些偏差）。
我开始使用标准最小二乘法运行广义回归。
根据我看过的一些视频，这应该产生与最小二乘回归相同的结果。
另外，根据JMP帮助（ https://www.jmp.com/support/help/zh-CN/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ）提供的广义RSquare应该在0到1之间，并且它将简化为传统RSquare，以在标准最小二乘法设置中获得连续的法向响应。 但是，从下面的屏幕快照中可以看到，尽管Generalized RSquare与Training set的RSquare匹配，但与Validation set的RSquare不匹配（并且为负）。 其他统计信息（例如，RASE）确实匹配两组（训练和验证）。
Any ideas about what may be happening here?
预先感谢您的任何想法和提示！
PS：对于本文中我所做的一切，我都在JMP中使用了FitModel平台。
分析工具回复：广义RSquare和RSquare之间的结果差异交互项中是否包含连续预测变量？ 您是使用忽略互动的估算值来确定应将其删除还是将其排除在外？
您尝试了哪种响应转换？
惩罚回归和最小二乘回归通常不会导致对模型参数的相同估计，因此R平方将不会相同。 您的图片显示了OLS结果，而不是Ridge回归。
最佳无偏模型的训练和验证结果应相似，但不相同。 您如何确定验证的保留集？
负R平方是可能的。
回复：广义RSquare和RSquare之间的结果差异你好@AnnaPaula ，
如果我理解正确，那么您已经根据某种验证列拆分了一个数据集。 要考虑的一件事是，是否对响应中的验证列进行分层，以确保训练列和验证列具有相似的分布。
由于R ^ 2为负，对我来说这表明您过度拟合了数据。 您是否对估算值进行了一些引导，以查看模型中的术语是否真的很重要？ 您是否有包含混合术语的理论基础？
另外，您可能想尝试一下Elastic Net，因为它是Ridge和Lasso的组合。 要考虑的另一件事是，您的响应分布是否真的很正常，或者其他分布是否更适合您的数据。
DS
回复：广义RSquare和RSquare之间的结果差异抱歉@markbailey ，我想我的问题不太清楚。
如您所说，我没有使用Ridge（这将是我的下一步）。 但是首先，我只是再次使用了最小二乘法（通过广义回归模型），以直接使用FitModel窗口中的LeastSquares来检查结果是否与结果相匹配。 因为我的结果不匹配，所以我什至没有尝试使用Ridge（这是我的下一步）。
但是我很好奇为什么LeastSquares通过广义回归得到的结果与FitModel直接通过LeastSquares得到的结果不匹配。 你有什么想法？
回答您的问题：
1.连续预测变量不参与交互项。
2.我逐步地使用了估计值，并自己确定了是否应消除交互作用
3.我尝试了Log，Logistic，Logit和Reciprocal。 随着互惠，模型恶化很多。 使用Logistic，统计量（R平方，RASE）略有改善，但残差图没有改善。 因此，在我看来，没有任何理由证明使用该转换是合理的。
4.训练和验证是根据我所拥有的小组（这些是具有不同随机种子的计算机实验）定义的。 我使用种子将数据分组，然后将该列用作我的坚持验证列。
5.我与否定性有关的问题是广义R平方，因为当我第一次阅读JMP帮助时，我认为它只能在0到1之间。 但是，是的，我找到了该公式的公式，并且我们可以看到它也可以低于0：
| Nagelkerke / Cragg＆Uhler（广义RSquare） | 
|
谢谢！
回复：广义RSquare和RSquare之间的结果差异你好@DS
非常感谢您的答复和见解。 他们非常有帮助，并且与我在想的一些事情保持一致。
如果您有更多的见解，我将在此处提供一些额外的信息（我将不胜感激）。
1.基于验证列的分层响应确实具有（非常）相似的分布。 正如我向Mark解释的那样，响应是根据使用不同种子生成的计算机实验计算得出的（并且我使用种子将其分层为训练和验证集）。
2.假设我过度拟合，我的主要问题是：
为什么我的训练集的RSquare使用直接来自FitModel或通过广义回归的LeastSquares为0.9995，而我的验证集的RSquare是0.9791直接从FitModel使用LeastSquares和-1.24e + 12通过广义回归使用最小二乘。
我不了解验证集的RSquare值的差异。 值是否应该相同（即使存在过度拟合）？
3.我确实认为我有理由在模型中包括这些术语。 首先，我的响应是基于不同数量的重复数据（一个分类IV）和不同的“公式/数据”（基于不同数量的簇）（第二分类IV）计算得出的。 计算响应的已知理论公式考虑了到达率（连续IV），因为该值会影响所生成的数据。
我不确定如何在JMP中进行引导。 但是我确实手动尝试了不同的模型（带有或不带有术语），并且还尝试使用Forward Stepwise。 在这两种情况下，结果最终表明两个类别IV及其相互作用+连续IV是最佳模型。
4.您的最后一点实际上是我希望有人能带入此讨论的内容。
我的回答实际上不是正常的（实际上是LogNormal）。
所以，当我尝试Ridge或ElasticNet时，我将对其进行调整。
但是，即使我的回答不是“正常”，我上传的两个图像中的“验证集”的RSquare值也不匹配吗？
非常感谢您的见解！
回复：广义RSquare和RSquare之间的结果差异我注意到在您的原始残差图中，异常值似乎都在验证保留集中。
广义回归使用的参数与最小二乘拟合不同。 参见此页统计细节。 它还使用了不同的估算方法（MLE与OLS）。
回复：广义RSquare和RSquare之间的结果差异你好@AnnaPaula ，
我不确定我是否完全遵循您如何使用计算的种子来生成验证列的分层。 但是，如果您使用JMP Pro中的验证列平台（如果您可以访问GenReg，则可以使用该平台），那么您就可以对要匹配的响应（Y变量）进行分层。 如果所有异常值都在验证集中，则您可能需要重新考虑其如何生成两个验证集。
您可能会考虑的另一点是将其完全分割-另一个测试数据集用于另一个数据表，该测试数据集不适合数据。 如果您在训练/验证集上运行多个模型，则可以使用测试数据集查看哪个模型确实最适合预测，您可以使用“模型比较”平台来执行此操作。 大概，您的目标是拥有最佳的预测能力，并且您需要以某种方式进行测试。 看起来您有足够大的集合，可以执行类似的操作。 例如，创建一个验证列，例如60％的训练，20％的验证，20％的测试。 将测试数据集细分为一个完全不同的表，然后使用其余的训练/验证子集来构建模型。
对于您关于R ^ 2的其他问题，它是否为负数或不完全匹配，我将参考Mark所说的。
如果您的数据是对数正态分布的，则需要在模型规范中选择该选项，因为这会更改其拟合方式后的一些基础过程。
在SLS或GenReg或PLS中创建模型后，可以通过右键单击“估计”列并选择引导来引导估计。 您将要运行几千次，然后查看分布，以查看该项系数的原始估算值是否接近许多估算值的全局平均值。 JMP将以一些稍有不同的起点进行一些计算，因此会生成一些不同的估计值，然后您可以查看该分布并确定总体是否1）第一次尝试的估计值是准确的，以及2）效果系数是否确实起作用很多还是没有。 例如，在SLS平台中，为效果赋予FDR LogWorth值，以估计该效果的错误发现率。 如果该值> 2（蓝线），则有充分的证据表明效果确实对模型有所贡献。 另一方面，它可能更小或接近值2。 如果您引导这些FDR值，则可以找到平均值和范围来确定效果是否有意义。 我曾经有过一些看起来像是临界点的效果，并且在引导FDR之后，大部分时间实际上并没有超过2，因此在模型中并不是真正重要的全局因素。
最后一点，我强烈建议运行多种不同的建模平台：增强树，引导林，NN等，以查看另一个平台是否可能最适合您的数据/情况。
希望这可以帮助！，
DS
回复：广义RSquare和RSquare之间的结果差异你好@马克贝利，非常感谢您再次与我联系。 我非常感谢您对我的问题所给予的帮助和耐心。
是的，对于这个特定的响应，我所有的异常值都在验证集中。 但是对于我正在调查的其他响应，这是不正确的（异常值同时属于验证和训练集）。
关于我正在建模的内容：我使用离散事件模拟（使用不同的种子，因此我将拥有不同的数据）进行了一些实验。 基于此，我计算了我感兴趣的四个响应（此处仅显示了一个）。
现在，我正在尝试将回归模型拟合到这些响应中，因为下一步是使用优化模型为感兴趣的响应找到最佳设置。
据我所知，参数化/编码不应影响模型统计信息。 我在这里想念什么吗？ （编码）
同样，对于线性回归以及当残差呈正态分布时，OLS和MLE得出相同的系数。 不是吗 （ OLS和MLE ）
根据这个广义回归教程张贴者@gail_massari ，在8:35左右，我的理解是@brady_brady还说MLE和OLS之间的结果应该匹配。
最后，您介意将我指向JMP帮助页面，该页面指示正常分布时，广义回归使用MLE而非OLS吗？
由于下面的图片（取自JMP），我有一种错误的印象：如果选择的分布为正态，则广义回归仍然会使用OLS：
谢谢！
回复：广义RSquare和RSquare之间的结果差异谢谢！
我不知道我们能够引导JMP中的估计值。 谢谢您教我！
也感谢您提供所有其他见解。 很有帮助！
回复：广义RSquare和RSquare之间的结果差异您是正确的，整个模型的指标不应随着不同的参数设置而改变。 当然，各个术语或参数的度量标准将发生变化。
因此，对于不同的参数设置，系数并不相同，因此它们的估计也必须不同。
OLS解决方案和MLE优化应在具有正态分布响应的相同参数设置下得出相同的估计值。
我误导了您：GenReg中的标准最小二乘结果是OLS。 看这一页更多细节。
