最近关于如何解释分析器中的标准错误的讨论尚未收敛到解决方案,因此我将再次开始 - 用一个不同的示例和一些更清晰的(我希望)我的问题。我附上了著名的 Anscombe 四重奏数据集之一 - 线性回归模型适用的数据集。我拟合了多元回归模型并保存了平均预测标准误差和个体预测标准误差 - 正如预期的那样,前者比后者窄得多。我还使用了探查器并保存了 bagged 预测 - 这给了我 bagged 平均值的标准误差(我将其解释为类似于回归模型的平均预测标准误差)和 Bagged Std dev(我将其解释为类似)到回归中的个体预测标准误差)。当我说我将它们解释为类似时,我意识到模型的标准误差源自回归模型,而袋装标准误差源自非参数引导程序(在本例中,有 100 个引导程序样本)。
在这种情况下(与我的上一个示例不同),各个标准误差很接近,尽管袋装预测的标准误差比模型预测的要小一些。但袋装平均值的标准误差大约是模型预测平均值的标准误差的 10%。事实上,这可以通过文档进行验证,该文档说 bagged 标准误差 = bagged 预测的标准偏差除以 (M-1) 的平方根,其中 M 是 bagged 样本的数量(此处为 100)。
我的问题涉及如何使用袋装平均值和袋装标准差的标准误差。如果我查看分析器中显示的置信区间,在我看来,它与回归模型的平均预测标准误差一致,而不是与袋装平均值的标准误差(大 10%)一致。如果是这样,那么袋装样品的标准误有什么用呢?
我认为(至少对我来说)重要性在于 JMP 为所有机器学习模型提供了分析器。这允许保存袋装均值和这两种类型的标准误差。如果这些标准误差可以用来构建置信区间,那么我们就会从神经网络、随机森林等中得到类似于统计显着性的感觉。我认为这将是一个重要的功能,因为大多数模型都不容易提供任何推理信息。这适用于分类模型和回归模型。
但我不确定袋装标准错误有多大意义。在我提供的示例中,它们看起来太小了。而且,我不清楚分析器中显示的置信区间是否基于袋装平均值的标准误差(在本示例中看起来并非如此)。所以,请帮助阐明我的问题。
似乎没有人能够阐明这个问题。基于更多的探索,让我提出一个“解决方案”,也许有人可以权衡一下。在我看来,就像保存袋装预测后从分析器生成的置信区间,使用袋装平均值的标准误差而不是袋装标准差。我开始相信这是不正确的——应该使用后者而不是前者。不同的是前者是后者除以装袋样品数的平方根(-1)。确实,装袋均值的标准误差衡量了一些东西 - 我认为它是装袋过程的稳定性(换句话说,均值预测对引导样本的敏感程度)。但我认为我们想要从置信区间得到的是预测的可靠性以及模型中每个因素对预测的影响程度的置信度。我认为衡量这一点的是袋装标准差。