可疑的高R^2下午好,
我拟合了一个最小二乘模型 (LMM),其固定效应包括应变、浓度、它们之间的相互作用、实验天数(天数不足,不足以将其视为随机效应),随机效应包括96孔板内嵌套的重复实验和一天内嵌套的板实验。我使用标准最小二乘平台运行了LMM,并将“随机”属性归因于我的随机效应。我得到的R^2为0.99,这似乎高得可疑,我怀疑这是模型过度拟合,但我认为我的观测数据足够了。这正常吗?



基础数据分析与建模回复:R^2 值高得可疑你好@blip555555
一些想法——首先是检查模型中是否需要Day,因为从模型报告顶部的LogWorth图来看,它似乎并不显著。另一个想法是应用验证集来测试模型的准确性以确定其影响。您是否也查看过学生化残差,看看是否有任何值是异常值?
谢谢,
本
回复:R^2 值高得可疑亲爱的本,
谢谢。我查看了学生化残差,这些异常值对我来说似乎很正常,因为我正在测试不同抗生素浓度对多个重复样品荧光水平的影响,所以从生物学角度来看,并非所有重复样品在特定浓度下的表现都相同是有道理的。我从模型中移除了日期,但较高的R^2仍然保留。我有大约900个观测值,所以这应该可以排除模型过拟合吗?
谢谢!
回复:R^2 值高得可疑首先,我不是您特定情况的专家。我不知道您建模的响应是什么?我对报告的分析结果没有任何背景信息。参数估计看起来合理吗?报告的所有统计数据都取决于您输入的模型以及数据获取方式。如果其中任何一个因素发生变化,统计数据也可能会发生变化。
在评估模型的适用性时,需要考虑许多统计数据(R平方只是其中之一)。例如,您可以评估:
1. R 平方 - 调整后的 R 平方,用于评估过度拟合。delta 值越小,模型中出现不显著项的可能性就越小。
2. R平方调整优于R平方,越大越好
3. RMSE(模型的标准差)。越小越好。这是以响应变量为单位的,那么 33 合理吗?
4. p值(当你理解MSE的构成时最有用)。显著性是一个条件语句。
5. 残差(各种图)。你可以评估异常值、多重共线性以及假设违反情况(独立性、随机性、均值为 0、方差为常数)。
我注意到您提到了“ 96 孔板内嵌套重复实验,以及板在一天内嵌套实验”。我在您的模型中没有看到任何嵌套项(例如,板[一天]、重复[板])?