最近关于如何从分析器解释标准错误的讨论还没有收敛到一个解决方案,所以我将重新开始 - 用一个不同的例子和更清晰的(我希望)我的问题。我附上了著名的 Anscombe quartet 数据集之一 - 适合使用线性回归模型的数据集。我拟合了一个多元回归模型并保存了平均预测标准误差和单个预测标准误差——正如预期的那样,前者比后者窄得多。我还使用了分析器并保存了袋装预测——这给了我袋装平均值的标准误差(我将其解释为类似于回归模型的平均预测标准误差)和袋装标准开发(我将其解释为类似)回归的个体预测标准误差)。当我说我将这些解释为类似时,我意识到模型的标准误差来自回归模型,而袋装标准误差来自非参数引导程序(在这种情况下,有 100 个引导程序样本)。
在这种情况下(与我的上一个示例不同),单个标准误差很接近,尽管袋装预测比模型预测要小一些。但是袋装均值的标准误差大约是模型预测均值的标准误差的 10%。事实上,这可以通过文档来验证,即袋装标准误差 = 袋装预测的标准偏差除以 (M-1) 的平方根,其中 M 是袋装样本的数量(此处为 100)。
我的问题涉及如何使用袋装均值和袋装标准差的标准误差。如果我查看分析器中显示的置信区间,在我看来,它与回归模型的平均预测标准误差一致 - 而不是袋装平均值的标准误差(大 10%)。如果是这种情况,那么袋装样本的标准误差有什么好处?
我认为(至少对我而言)重要性在于 JMP 为所有机器学习模型提供了分析器。这允许保存袋装均值和这两种类型的标准误差。如果这些标准误差可以用来构建置信区间,那么我们就会从神经网络、随机森林等中获得类似于统计意义的东西。我认为这将是一个重要特征,因为这些模型中的大多数都不容易提供任何推理信息。这将适用于分类模型和回归模型。
但我不确定袋装标准错误是否有意义。在我提供的示例中,它们看起来太小了。而且,我不清楚分析器中显示的置信区间是否基于袋装平均值的标准误差(在这个例子中看起来不是这样)。所以,请帮助阐明我的问题。
似乎没有人能够阐明这个问题。基于更多的探索,让我提出一个“解决方案”,也许有人可以权衡一下。在我看来,它就像是在保存袋装预测后从分析器生成的置信区间,使用袋装平均值的标准误差而不是袋装标准偏差。我开始相信这是不正确的——应该使用后者而不是前者。区别在于前者是后者除以bagged样本数的平方根(-1)。Bagged Mean 的标准误差确实衡量了一些东西——我认为这是 bagging 过程的稳定性(换句话说,平均预测对 bootstrap 样本有多敏感)。但我认为我们从置信区间中想要的是预测的可靠性以及模型中每个因素对该预测的影响程度的置信度。我认为衡量这一点的是袋装标准偏差。