带重量的模型你好
我试图找到一些 X 预测变量和右侧严重倾斜的连续响应变量之间的相关性。
该数据库仅包含 140 个实例。
首先，我使用函数 lnx+1 转换响应变量。
然后，我将所有 x 归一化到 0 到 1 之间，使用筛选选项降低维度，然后删除相关预测因子 X。在所有这些过程结束时，我只剩下 4 个预测因子。通过运行没有任何权重的随机森林，训练数据的 R2 非常低（见下面的第一个图）。然后，我使用类似抛物线权重函数（见第二个图）重新运行随机森林。结果更好，如最后一个图所示。看起来数据围绕图中心旋转。有人可以解释为什么吗？
权重函数应该如何选择？
数据混合和清理预测模型和机器学习回复：有重量的模型我不认为这是合法的。听起来您觉得极值在您的数据中可能没有得到充分体现。如果是这种情况，那么我认为正确的做法是采用不同的方式进行采样——过度采样可能的极值。那么加权可能是合理的。但是在收集数据后对极值进行加权听起来像是在发明数据，这些数据可能会告诉你你希望得到什么。我还没有听到为什么应该更重视这些价值的充分理由。
还有其他选择。分位数回归是一种旨在估计特定分位数（例如极端分位数）而不是平均响应的技术。但这与更重地加权这些极端值不同。
回复：有重量的模型嗨戴尔
由于样本量小，我的想法是使用权重函数。 我试图更加重视低值和高值的响应。回复：有重量的模型我认为提供有关数据特征的更多详细信息以及可能的一些数据样本会对您有所帮助。总的来说，我认为除非权重明显合适，否则对分析进行加权是很奇怪的，例如在调查中，抽样是专门为代表被抽样人口的权重而设计的。另一个适合权重的地方是您正在运行回归分析并且存在异方差性。但我认为在随机森林中使用权重是一件奇怪的事情。就此而言，我不确定为什么需要使用随机森林来减少特征数量——验证应该防止过度拟合，并且该技术应该关注最相关的特征。如果没有更多关于为什么使用权重的上下文，我对应用加权函数持怀疑态度，因为它提供了更好的拟合模型。
