Boosted Trees 的“估计”代表什么?你好
Predictive Modeling 平台下的 Boosted Trees 问题:
1-“估计”在数学上代表什么? 它是参数(即.. 灵敏度)每单位变化的预期响应变化吗?
2-假设例如 200 层提升树模型,最终预测模型是否等于第 200 个模型,即最后一层模型或所有 200 个模型的平均值? 我不太确定哪一个作为提升树从前一个的残差中学习......所以我倾向于认为它可能是最后一个模型但集成方法是加法方法(反论点)。
3-是否有一种实用的方法来估计增强树模型中的置信区间? 也许,获取每一层的结果然后创建一个分布?
感谢支持。谢谢。
分析回复:对于 Boosted Trees,“估计”代表什么?谢谢维克多。 谢谢。
回复:对于 Boosted Trees,“估计”代表什么?你好@altug_bayram ,
1- 由于提升树模型的每一棵树都是根据前一棵树的残差(错误)构建的,我想说的是一个估计是一个数字,要添加到你的结果的平均值(你试图建模/预测的)取决于在类别/分裂你是。 基于树的方法提供了“步骤分析器”(见屏幕截图),您可以在其中清楚地看到改变一个因子的值可能会如何突然增加响应,具体取决于拆分位置。
2- 在基于装袋树的方法(如随机森林)中,最终结果将是单个树的平均/平均结果。 在提升树算法中,您必须总结不同树的所有“估计”(并将平均结果添加到它)以获得预测结果(取决于所选拆分的“路径”):“这棵树是基于前几层的残差来拟合的,这使得每一层都可以纠正前几层拟合不好的数据的拟合。 观察的最终预测是该观察在所有层上的预测残差之和”(来源:增强树 - JMP 13 预测和专业建模 [书籍] (oreilly.com) ).
3- 不确定这个。 使用模型的残差,或者我会尝试对模型的 RASE 结果进行 boostrapping,以便为 RASE 建立 95% 的引导间隔,以便更好地评估模型的(均方根)预测误差,或者使用 K-折叠“模型筛选”平台的交叉验证,以更好地估计模型的 RASE。
希望第一个回答对你有帮助