关于名义Logistic回归的问题:保存概率公式考虑到与每棵树相关的一些环境属性,我正在尝试开发一种模型来预测一棵树在25年内将生存还是死亡。我运行了名义Logistic回归模型,该模型显示每个属性的Prob> ChiSq <0.0001,这似乎暗示着环境属性可以用作良好的预测指标。要查看预测的效果如何,我选择了“保存概率公式”选项。这将几列添加到表中,其中包括最后一列,该列提供了预测(最有可能),有效或无效。这些预测是可怕的。该模型预测,在25年后,总共将有140棵树存活,而实际上,大约有1000棵。不仅如此,实际上140棵预测的活树中有许多已经死亡。所以,我的问题是,为什么预测结果甚至与实际的“生死数据”不符?
分析工具数据表回复:名义Logistic回归问题回复:保存概率公式您可以使用具有统计意义的模型来进行预测工作。 统计显着性告诉您,那些重要术语可以帮助您解释响应,但不能保证很好的拟合。
例如,在连续响应的情况下,请查看以下图片:

该模型具有统计意义,但显然不能很好地预测。
名义上的逻辑回归很难确定为什么模型拟合得不好。 一些可以帮助您确定预测能力的事情,而不是“盯着桌子”。
*您可以要求ROC曲线。 曲线下面积(AUC)表示预测能力。 AUC为0.5是“基准”。 这就像使用硬币来确定树是否会存活。 任何高于0.5的值都会开始提供预测能力的证据。 高于0.7的AUC开始达到不错的预测能力。 高于0.9太棒了。
*您还可以要求输入混淆矩阵。 这是观察结果与预测结果的表。 该表实质上就是您通过保存预测公式考虑的内容。 这可以帮助您确定模型在哪里开始出现问题。 分类死树是否有困难? 还是只活着的树木有麻烦? 或两者?
不要忘记评估模型所基于的数据。 活树和枯树之间的数据如何“平衡”? 例如,如果只有1%的树木死亡,那么一个很好的预测模型就是说所有树木都还活着。 99%的准确性! 虽然不是很有帮助。 因此,响应非常接近于平衡可能会有所帮助。
该模型仅包含主要效果吗? 互动会有所帮助吗? 二次项呢? 数据是否足够“丰富”以支持具有这些高阶项的模型(如果模型中已经存在这些高阶项,这是一个很大的问题!)。
我确信其他人可以添加更多帮助,但这就是您真正开始玩的地方! 祝你好运!
回复:名义Logistic回归问题回复:保存概率公式我有点困惑...您从哪里获得了用于创建模型的数据? 大多数模型不能很好地预测的原因是,用于创建模型的数据不能代表未来的情况。 这就是为什么计划数据收集比数据分析更重要的原因。 尽管我会说这是一个困难的局面。 25年内许多事情可能会发生变化,这是无法预期的。
回复:名义Logistic回归问题回复:保存概率公式Dan,我运行了Confusion Matrix,它显示模型正在合理地预测死树,正确地将其中的3/4预测为死树。但是,它对活树的预测非常糟糕,预测其中63%的树木已经死亡。活树和枯树的分布大约为45%,55%,因此非常平衡。该模型为什么要对死树而不是活树做出不错的预测?-马克
回复:名义Logistic回归问题回复:保存概率公式Dan的评论是相关的,但是您应该检查的一件事是,预测(有效或无效)基于对树进行分类的50%阈值。如果AUC(根据ROC曲线)较高(接近于1而不是接近0.5),则可能使用不同的阈值对树进行分类将产生更好的预测。如果数据非常不平衡,则尤其如此(即,如果死树很少,那么从逻辑回归估计的大多数概率很可能会很低,从而导致默认预测为“未死” )。您可以使用(只需搜索)一个不错的加载项,该加载项会产生混淆矩阵,以提供替代的截止分类概率。
在另一方面,我对您的描述感到震惊。听起来好像是经过审查的数据-25年后,活着的树木可能并非全部健康。如果环境条件导致树木死亡,那么幸存的树木可能也会受到影响,但尚未死亡。如果您可以衡量树木的死亡时间,则可以尝试进行生存分析,其中因变量是死亡时间,并且可以在分析中使用审查数据。
回复:名义Logistic回归问题回复:保存概率公式戴尔可能是正确的。 但是,假设临界值不起作用很大,则您的模型倾向于预测Dead。 这似乎表明您的模型中可能缺少某些指示活动树的东西。 我不能告诉你那是什么。 我也不完全相信我的说法是正确的。 在这里,需要查看数据并具有该领域的知识。
回复:名义Logistic回归问题回复:保存概率公式丹,谢谢您回到我身边。 首先,非常感谢ROC和混淆矩阵(奇数名称)的建议。 他们非常有帮助。 我最好的模型产生的ROC为0.798,这相当不错。 当然,这是在预测25年后活树和枯树的总数,而不是单个树的死树或活树的预测,如下所述,这大约占63%。 在25年期间,2020年的树木大约有1/3棵活着,而2/3棵死了。 虽然没有达到50/50的平衡,但仍然不太偏斜。 我接受了Dale的建议,并尝试调整用于将单个树分类为生死的预测阈值(设置为0.5)。 通过将阈值调整为0.5 +在0.284的情况下,我能够将活树和枯树的正确预测百分比平衡为63%,尽管正确预测的数量实际上从最初的高度偏斜向由0.5预测阈值导致的死亡预测略微下降了(4%)。 您可能会认为25年内67%的树木死亡率确实很高。 它将是在正常情况下。 高死亡率是因为我跟踪的大约10,000棵树的区域在25年中被烧了8次。 - 标记