关于袋装预测的概念问题我一直在努力从机器学习模型中寻找与您通常从回归模型中获得的标准误差相媲美的不确定性度量。直到最近我才意识到分析器的一些功能——特别是袋装预测。但我真的不明白如何（或者如果我应该）解释这些袋装预测。当我运行机器学习模型（例如，神经网络）并保存分析器中的袋装预测时，我得到袋装均值、袋装均值的标准误差和袋装标准差。将这些与回归模型（例如多元回归）进行比较，我观察到以下关系：
- NN 预测的 bagged mean 与多元回归的预测公式非常相似。
- 多元回归模型的平均预测区间比预期的单个预测区间窄得多（在我正在查看的示例中，平均预测的标准误差约为单个预测的标准误差大小的 1/10） .
- 来自 NN 的袋装平均值的标准误差远小于袋装标准差（大约是我正在查看的示例中大小的 1/10）。
这些观察促使我将 NN 的袋装均值的标准误差与回归模型的均值预测的标准误差类似。类似地，袋装标准差可能类似于回归模型中各个预测的标准误差。
但是，NN 和回归模型的标准误差完全不相似！所以，我的问题是我的解释是否有意义——或者，究竟如何解释或使用来自袋装平均值的标准误差。
提前感谢您的任何见解。我附上了一个具体的例子，以防它对我的问题有所帮助（这是我的建模示例中的验证数据集 - 包括来自多元回归模型和 NN 的预测）。
分析回复：关于袋装预测的概念问题附录 - 在我附加的文件中，我（过度）估计了多元回归的标准误差。我使用保存的 95% 置信区间来估计它们。附件是我直接保存标准错误的修订版。我的问题仍然存在，因为来自 NN 的标准误差似乎不到多元回归（平均）的一半，在验证集中几乎没有明显的相关性。两种模型都非常适合数据。所以，我想知道袋装平均值的标准误差的解释是否被适当地解释为与预测相关的标准误差，就像解释多元回归预测的标准误差一样。
回复：关于袋装预测的概念问题是的。
神经平台使用复杂的模型，即使只有少数隐藏节点。 想象一下在回归模型中添加很多项。 RMSE 会发生什么？ 反过来，SE 会发生什么？ 您的回归模型复杂性是否与 NN 相当？
我并不是说您在滥用 NN 或其他 ML 方法。 请记住，它们都是关于预测的，而不是关于推理的。 因此，估计的不确定性并不重要，准确性/可重复性/概括性就是一切。 因此，预测模型（不是解释模型）使用总 MSE（偏差 + 方差）的度量来选择模型，并使用“诚实评估”或交叉验证来确认选择的模型。
但主要的一点是，来自不同模型的 SE 没有理由相同，即使它们的平均响应预测相似。 这种差异可能使一个模型在您的应用程序中具有优势。
回复：关于袋装预测的概念问题马克，谢谢。这有点帮助。它可以解释为什么 NN 给出的标准误差更小（尽管当两个模型都非常适合数据时，我仍然对差异的大小感到惊讶）。但这似乎并不能解释为什么与每个预测相关的标准误差几乎没有相关性。我发布的数据显示，两个模型之间每个观察值的预测标准误差之间几乎没有任何有意义的关系。现在，对于多元回归模型，我对什么决定了与不同观察相关的标准误差有所了解——但对于 NN，我真的不知道。也许这就是他们彼此不相关的原因？这是与 NN 模型缺乏可解释性有关的维度吗？
回复：关于袋装预测的概念问题NN 是一个高度非线性的集成模型。 将其与可能具有二阶项的回归模型进行比较。 这两种模型的标准误差非常不同。
我个人不同意 NN 不可解释或线性回归模型可解释的观点。 （我认为这很愚蠢。）预测变量 X 的效果是包含它的所有术语的线性组合。 例如，谈论“二次效应”是无稽之谈。 模型中只有一个二次项。 那么当X在模型中出现为X + X*X2 + X*X + X*X*X时，我们如何解释它的效果呢？ 我们只是习惯于用这些术语来思考——我们已经接触了很多年，也有时间去思考它。 通过非线性激活函数，NN 更相同（线性预测器），并为每个节点添加更多相同的值。 我们只需要更加努力地思考。
不，我们没有。 我们有一个适用于任何类型函数（模型）的分析器。
回复：关于袋装预测的概念问题我正在听你说什么 - 但我认为我的问题已经变得不同了。让我们把 NN 排除在外。由于分析器也可从多元回归平台获得，因此我做了一些实验，以查看袋装预测的标准误差与从回归模型中保存的标准误差如何比较。它们是相关的，尽管远非完美。个体预测标准差远大于平均预测标准差，这是应该的，这也适用于保存袋装均值时获得的两个标准误差。然而，令我惊讶且我不明白的是，为什么保存袋装预测（个人或平均版本）的标准误差比回归模型的标准误差小一个数量级。我的理解（这可能是错误的）是预测的标准误差在理论上是在回归模型中得出的，并且是袋装预测中自举的结果。从理论上讲，这些应该是相似的（至少有足够的引导样本——我使用了 100 和 1000 并且都给出了相似的结果）——但事实并非如此。
因此，分析器的标准误差似乎与回归模型的标准误差在质量上有所不同。为什么会这样？
回复：关于袋装预测的概念问题为了更完整，附件是一个带有单个预测器的简单小文件。我建立了回归模型并保存了预测和标准误差（均值和个体）。我使用分析器来保存袋装预测。有 3 个 xy 图显示了来自模型和分析器的预测值的等价性（在这种情况下是完美的）。标准误差图显示出很强的相关性，但也表明分析器的标准误差远小于模型的标准误差。我强烈怀疑装袋程序的标准错误意味着不同的东西。我希望你能为我澄清这一点。
回复：关于袋装预测的概念问题"我的理解（这可能是错误的）是预测的标准误差在理论上是在回归模型中得出的，并且是袋装预测中自举的结果。从理论上讲，这些应该是相似的（至少有足够的引导样本——我使用了 100 和 1000 并且都给出了相似的结果）——但事实并非如此。 "
你指的是哪个理论？
回复：关于袋装预测的概念问题我相信多元回归的预测置信区间是通过公式推导出来的，这些公式来自关于误差结构和随机抽样的假设（最终来自中心极限定理的基础逻辑）。另一方面，我相信袋装预测来自自举——一种推导置信区间的非参数经验方法。我也相信这两种方法通常很接近，除非基础数据具有不寻常的分布和/或用于引导的样本量不足。
在我附加的文件中，我认为不会出现任何这些问题。两种方法的平均预测值几乎相同，但分析器的标准误差远小于理论推导值。这就是让我认为我误解了探查器标准错误的含义的原因。否则，为什么有人会使用理论上得出的标准误差？
回复：关于袋装预测的概念问题"我相信多元回归的预测置信区间是通过公式推导出来的，这些公式来自关于误差结构和随机抽样的假设（最终来自中心极限定理的基础逻辑）。另一方面，我相信袋装预测来自自举——一种推导置信区间的非参数经验方法。我也相信这两种方法通常很接近，除非基础数据具有不寻常的分布和/或用于引导的样本量不足。 "
是的！ 也就是说，如果您使用 CI 的理论表达式和 SAME 线性回归模型的 bootstrap CI，则 CI ESTIMATES 应该一致。
回复：关于袋装预测的概念问题标记
然后我会请你看一下我发布的最后一个示例数据集。置信区间（标准误差）甚至不接近一致。这是一个简单的线性回归，并将预测标准误差与来自分析器的袋装预测进行比较。后者比前者小得多。这就是为什么我很困惑。
