预测筛选饶有兴趣地聆听了有关预测模型的讲座，以及将预测公式保存到数据集，然后使用初始变量作为 X 重新运行预测筛选，并将预测公式添加为新的 X 的建议。
使用 JMP Pro 构建更好的预测模型 - 模型筛选
今天我和一位同事讨论，他的反应是“谈论模型过拟合！”
这种方法是否会更加过度拟合模型（即使我们使用与创建模型的数据不同的验证数据）。 我同事的意见是我们使用相同的数据两次。
我们正在研究二项式 Y（健康或生病），该方法确实改进了预测，但我们是否刚刚引入了更多的过度拟合，以致于现在的验证也是不正确/过度拟合的？ #预测、#过拟合、#筛选
预测建模和机器学习视窗回复：预测筛选我不确定我是否理解你的意思。当你说数据集 B 是“盲目的”时，你的意思是你不知道哪些受试者被掺杂了（或者至少你假装你不知道）？如果是这样，那么 B 似乎是您的测试数据集。通常，如果您有足够的数据，您可以将 A 拆分为训练数据和验证数据，训练您的模型（包括集成模型），然后将其应用到 B。然后，根据它们在 B 上的表现，返回并更改模型的想法似乎会导致过度拟合。这类似于对 A 进行训练并使用 B 作为验证集。但是你根本就没有测试数据——我所说的测试数据是指与建模过程完全分开的数据。
回复：预测筛选感谢大家对我的问题的反馈！
作为对您的问题的评论@dale_lehman - 该项目是在新的数据集（可能或现在可能从兴奋剂受试者中抽取的盲血样本）上验证一组选定的兴奋剂生物标志物。 因此，我们需要使用已知样本中的数据集 A 来修复模型，而集成方法似乎是一种方法，然后将模型应用于数据集 B（盲法），并根据使用数据集 A 创建的公式研究数据集 B 的预测结果。
如果需要，我们可以返回并交换一些生物标志物并再次执行此过程，直到我们达到预设的预测能力。
现在我（希望）已经更好地解释了该项目，我可以看到如何使用 B 组进行验证，但不确定我是否理解如何（再次）使用 B 训练模型，（记住我不是统计学家） ）按照建议@andreacoombs1 。
我不知道这是否会改变您的回答，只是想澄清一下。
回复：预测筛选直到现在我才真正看过这个视频。看到你的回答后，我有点困惑。似乎有两件事混在一起——很难分开。当然，如果您创建潜在的预测模型并将其暴露给新数据（例如，您的 B 组），您可能会发现那些原始候选模型是否仍然是最好的，或者在面对新数据时进行额外的调整或不同的模型是否可以改善预测- 避免过度拟合的经典方法。但是，如果您在相同的数据上运行集成模型以及原始预测变量，我认为过度拟合并不是唯一的问题。我根本不确定这个过程的意义是什么 - 通过将原始预测变量与筛选中选择的一些模型一起包括在内，您不只是确认最初选择的模型是否应该被选择？而且，如果目的是了解您的模型如何处理新数据，那么这真的与集成建模有任何关系吗？提供测试数据集（甚至可能是第二个测试数据集）来查看模型在样本外的表现不是一个想法 - 无论它是否是集成模型。换句话说，样本外测试似乎与模型筛选平台或集成建模几乎没有关系或完全没有关系——这始终是任何预测模型的问题。
回复：预测筛选@ChristerMalm和@dale_lehman 。我在该记录中呈现的集成模型可能过度拟合，因为集成模型是使用与构建原始模型相同的数据构建的。（我将继续使用“原始模型”和“集成模型”术语，以便在解释中保持清晰）。防止这种过度拟合的一种策略是将整个数据集分为两组：A 组用于构建原始模型，B 组用于构建集成模型。您可以在构建原始模型时隐藏和排除 B 组。将 A 组分为训练、验证和测试，以构建候选模型并选择冠军模型。现在将 B 组重新纳入其中，并使用整个 B 组进行训练。您可以使用 B 组作为验证或将其分为验证和测试。这应该可以防止过度拟合。
回复：预测筛选你好@dale_lehman 。安德里亚·库姆斯@andreacoombs1介绍了有关预测建模的会议，并可能对此有一些想法。
回复：预测筛选你好@ChristerMalm ,
昨天关于预测建模的会议内容非常丰富。 我不记得关于该主题的确切讨论，但我会谨慎使用结果的预测公式作为相同结果的输入之一。 我对集成建模的理解是建立不同的模型，例如NN、boosted tree、XGBoost等，然后将它们一起平均。 您可以使用红色热按钮通过模型比较平台来执行此操作，也可以编写一个列公式来执行此操作。 集成模型应该比任何一个模型本身都更适合数据，但情况并非总是如此。 需要记住的一件事是，这实际上取决于最终目标是什么以及可解释性对于模型的重要性。 如果了解模型方程以及输入如何转换为输出，那么模型集成和复杂的非线性模型可能不是最好的方法。
我认为 Russ Wolfinger 所说的非常重要的事情之一就是为您的数据找到正确的验证方案。 如果选择了错误的训练和验证数据集，那么即使数据很好，你也可能会得到糟糕的结果，就像他提到的《自然》论文示例一样。 最好花更多时间来确定最佳验证方案，然后致力于生成模型。
听起来您的数据集可能不平衡，这意味着一次发生的情况比另一次发生的情况要多得多。 在这种情况下，您肯定会想要探索更改逻辑概率阈值，看看这是否有助于您的预测。 另外，也许可以考虑利润矩阵方法来为误报和漏报的成本分配价值。 Chris Gotwalt 还演示了一种有趣的方法，即使用决策树来帮助更好地理解不平衡数据的截止值。
希望这可以帮助，
DS
回复：预测筛选我还没有看过这个，我有兴趣看看大家的反应，但我确实有一个初步的反应。使用模型屏幕平台中的预测公式，并使用预测公式以及其他预测变量重新运行该平台，听起来确实有点像过度拟合。然而，我认为这是构建集成模型的一种方法 - 如果预测公式来自一个模型，并且新模型使用该输出（以及其他预测变量）来创建新模型，那么它是一个可能更优越的集成模型到第一个模型而不会过度拟合。对我来说，使用什么验证数据的问题似乎更微妙。我会使用相同的验证数据，否则你真的无法判断新模型是否比旧模型更好。也许您可以保存两个预测公式，然后将它们应用到不同的验证集，以查看性能是否得到增强。
