预测筛选非常感兴趣地听了关于预测模型的讲座，以及将预测公式保存到数据集然后重新运行预测筛选的建议，初始变量为 X，并将预测公式添加为新的 X。
使用 JMP Pro 构建更好的预测模型 - 模型筛选
今天和一个同事讨论，他的反应是“谈论过度拟合模型！”
这种方法是否会更多地过度拟合模型（即使我们使用与创建模型的数据不同的验证数据）。 我同事的意见是我们两次使用相同的数据。
我们正在研究二项式 Y（健康或生病），该方法确实改善了预测，但我们是否刚刚引入了更多的过度拟合，以至于验证现在不正确/过度拟合？ #预测，#过度拟合，#筛选
分析视窗回复：预测筛选我还没有看过这个，我很想看看这些回应，但我确实有一个初步的反应。使用来自 Model Screen 平台的预测公式，并使用预测公式和其他预测变量重新运行该平台，听起来确实有点像过度拟合。但是，我认为这是构建集成模型的一种方法——如果预测公式来自一个模型，而新模型使用该输出（以及其他预测变量）来创建新模型，那么它是一个可能更优的集成模型到第一个模型而不会过度拟合。使用什么验证数据的问题对我来说似乎更微妙。我会使用相同的验证数据，否则你真的无法判断新模型是否比旧模型好。也许您可以保存两个预测公式，然后将它们应用于不同的验证集，以查看性能是否得到增强。
回复：预测筛选你好@克里斯特马尔姆,
昨天关于预测建模的会议非常有用。 我不记得关于该主题的确切讨论，但我会谨慎使用结果的预测公式作为相同结果的输入之一。 我对集成建模的理解是构建不同的模型，例如神经网络、增强树、XGBoost 等，然后将它们平均在一起。 您可以使用红色热按钮通过模型比较平台执行此操作，或者您可以编写一个列公式为您执行此操作。 集成模型本身应该比任何一个模型都更适合数据，但情况并非总是如此。 要记住的一件事，它实际上取决于最终目标是什么以及可解释性对模型的重要性。 如果理解模型方程以及输入如何转化为输出，那么模型集成和复杂的非线性模型可能不是最好的方法。
我认为 Russ Wolfinger 所说的非常重要的一件事是为您的数据找到正确的验证方案。 如果选择了错误的训练和验证数据集，那么即使数据很好，也可能会出现糟糕的拟合，就像他谈到的 Nature 论文示例一样。 最好花更多时间来确定最佳验证方案，然后再生成模型。
听起来您可能有一个不平衡的数据集，这意味着一个事件比另一个事件多得多。 在这种情况下，您肯定会想要探索更改逻辑概率阈值，看看这是否有助于您的预测。 此外，也许可以考虑使用利润矩阵方法来为误报和漏报的成本赋值。 Chris Gotwalt 还展示了一种有趣的方法，即使用决策树来帮助更好地理解数据不平衡的截止点。
希望这可以帮助，
DS
回复：预测筛选你好@dale_lehman .安德里亚·库姆斯@andreacoombs1介绍了有关预测建模的会议，并且可能对此有一些想法。
回复：预测筛选@克里斯特马尔姆和@dale_lehman .我在录音中展示的集成模型可能是过拟合的，因为集成模型是使用与构建原始模型相同的数据构建的。（我将继续使用“原始模型”和“集成模型”术语以在我的解释中保持直截了当）。防止这种过度拟合的一种策略是将整个数据集分成两组：A 组用于构建原始模型，B 组用于构建集成模型。您可以在构建原始模型时隐藏和排除 B 组。将 A 组拆分为训练、验证和测试以构建候选模型并选择冠军模型。现在将 B 组重新加入组合并使用整个 B 组进行训练。您可以使用 B 组作为验证或将其拆分为验证和测试。这应该可以防止过度拟合。
回复：预测筛选直到现在我才真正看过视频。看完后，你的回答让我有点困惑。似乎有两件事混在一起了——这很难解开。当然，如果您创建潜在的预测模型并将它们暴露给新数据（例如，您的 B 组），您可能会发现这些原始候选模型是否仍然是最好的，或者在面对新数据时，额外的调整或不同的模型是否可以改进预测- 避免过度拟合的经典方法。但是，如果您在相同的数据上运行集成模型以及原始预测器，我认为过度拟合不是唯一的问题。我完全不确定这个过程的意义是什么 - 通过将原始预测变量与筛选中的一些选定模型一起包括在内，您是否只是确认是否应该从最初选择的模型开始？而且，如果目的是查看您的模型如何处理新数据，那么这真的与集成建模有任何关系吗？提供一个测试数据集（甚至可能是第二个测试数据集）来查看您的模型在样本外的表现的想法不是 - 无论它是否是集成模型。换句话说，样本外测试似乎与模型筛选平台或集成建模几乎没有或根本没有关系——它始终是任何预测模型的问题。
