评估性能线性拟合与对数拟合大家好，
我想知道您对如何评估线性模型和对数模型（即仅对响应进行对数变换）的性能有什么建议。我想评估哪个模型在可预测性和准确性方面更好。
我的第一个猜测是比较 R 平方值和 RMSE 值，但是似乎两个模型有不同的单位，因此无法直接比较。
谨致问候，Janneman
高级统计建模基础数据分析与建模预测模型和机器学习可靠性分析回复：评估性能线性拟合与对数拟合你好@Janneman ，
为了更好地理解模型的目的及其适用性/覆盖率/泛化能力，可能需要回答大量问题：
- 建模背后的目标是什么：解释、预测、还是两者兼而有之……？
- 数据是如何收集的？数据收集过程中是否有任何设计？
- 更多问题有助于思考模型的预期“性能”： 最佳模型
除了可以用来比较模型解释性能（R²/R²调整后、无量纲）、预测性能（RMSE、MAE等）、统计显著性（模型p值、单个项的p值等）、模型复杂度/调整（通过AICc、BIC等）的评估指标外，我认为首先通过残差可视化和分析来评估和“调试”模型可能也很重要。有关模型比较和选择的更多想法，请参阅模型降阶。
转换响应意味着您将转换平均响应和方差响应。然后，您可以查看转换后的响应模型的残差是否比原始响应模型更好地遵守回归模型假设。如果情况似乎没有改善，您或许可以使用广义回归模型，因为它们可以独立处理平均响应和方差响应：这种类型的模型使用链接函数将平均值转换为预测变量的线性函数，并使用方差函数来允许分析中的方差异质性，而不是尝试转换所有内容（例如通过对数变换）。通过完全转换响应（通过对数变换或Box-Cox Y 变换）或使用广义回归模型，您应该拥有一个与原始模型相同或更简单的模型（模型中的项更少，因此 AICc/BIC 更低）。
我不会转换响应，除非我有强烈的迹象表明可能需要这样做（通过转换响应来简化模型并获得更好的残差模式）。
有关这两种模型之间的差异的更多信息，请参阅： 拟合模型中“最小二乘”和“广义线性方法”之间的差异。
一旦完成统计评估并且模型可以保留，那么您可以使用标准化和/或无单位预测指标来比较模型并避免由于转换而导致的任何有偏差的比较。
希望这个答案能对你有所帮助，
回复：评估性能线性拟合与对数拟合你好@Victor_G ，
首先感谢您的详细回答。
该模型的目标是兼具预测性和解释性。数据是通过执行多因素CCD收集的。
从响应的分布来看，无法明确看出数据是正态分布还是对数正态分布。因此，我同时使用两种数据（一个是线性的，另一个是对数变换的）来评估哪一个更具预测性和解释性。
我使用逐步过程来拟合模型，其中在迭代过程中选择 p < 0.05 的因子。
您认为这样的统计评估足以保留这两个模型吗？此外，线性和对数线性模型的 R 平方和调整后的 R 平方非常相似，但对 RMSE 的影响却很大。因此，我正在寻找一种公平地比较这两个模型的方法，并选择了最佳模型。
我可以使用哪些其他标准化和/或无量纲的预测指标来比较模型，并避免由于变换而导致的偏差？您已经提到了 R2/R2adj。
回复：评估性能线性拟合与对数拟合我赞同@Victor_G在他的帖子中所说的一切。我唯一想补充的是有关均方根误差（RMSE）的比较。对数变换模型的RMSE显然与未变换模型的RMSE不在同一量级。
您可以执行以下操作来纠正此问题：
- 获取每个观察结果的对数尺度预测。
- 通过指数运算对这些预测进行反向变换。
- 这里需要注意的是，要仔细研究一下模糊重变换 (Duan)（维基百科上有一个不错的条目）。这本质上是将变换后的预测结果乘以一个模糊常数，以修正你正在进行的变换（参考 Jensen 不等式）；否则，你的预测结果就会有偏差。
- 使用这些反向变换的预测值和未变换的观测值来计算残差。
- 最后，使用这些残差计算 RMSE。
然后，您可以将此 RMSE 与常规线性模型的 RMSE 进行比较。
回复：评估性能线性拟合与对数拟合首先，您只能预期响应服从回归模型在零假设下的假设，呈正态分布。任何预测变量的影响都会导致响应服从非正态分布。残差的条件响应是评估这一假设的更好方法。
其次，您还可以将这两个模型视为对响应的影响的兴趣，将另一个模型视为对响应数量级的影响的兴趣。
回复：评估性能线性拟合与对数拟合首先，正如@Mark_Bailey所解释的那样，正态分布是对残差的假设，而不是数据本身。其背后的想法是，建模后数据中不再存在任何模式，只有正态分布的随机误差，所有模式都被回归模型捕获。
其次，对于设计的实验数据，逐步选择方法可能不够充分（尤其是在有 p 值阈值的情况下），因为您是使用假定模型（与中心复合设计相关的响应面模型）收集数据的。根据所使用的平台和应用的规则，您可能会创建一个不强制执行“效应遗传”的模型，因此您最终可能会得到一个看似令人满意且性能高的模型，但不能很好地概括这些性能（不稳健）。在规则中强制执行“遗传”或使用剪枝方法（在 GenReg 模型中）可能会更好（或者干脆从完整的假定模型开始）。逐步回归的其他缺陷：
- 该模型的 R² 值偏高
- 用于确定效应显著性的 F 和卡方检验统计数据并不具有所宣传的分布
- 模型系数置信区间太小（标准误差缩小）且模型系数被高估
- 模型系数的 P 值甚至不再有意义，因为它们基于隐式多重比较
- 模型预测变量的共线性会严重影响所选变量，导致选择变得武断。而且，我们甚至没有妥善处理共线性问题。
参见逐步选择算法几乎总是破坏统计估计
如果您的目标主要在于预测性能，那么评估指标的选择应该优先考虑并执行此目标。在逐步选择中使用 AICc 或 BIC 作为停止规则可能更适合模型构建，因为统计显著性可能并非优先考虑的因素（即使重要/高效应项的 p 值较低（显著）。为了进行比较和选择，您可以按照此公式从模型残差计算 MAPE（平均绝对百分比误差），或使用此公式计算 RMSPE（均方根百分比误差）。
还有其他可用的指标，但这些“百分比”版本应该可以帮助您在相同的百分比范围内比较两个模型。
希望这个补充答案能对你有所帮助，
