一个或多个验证列在附加的 JMP 文件中,我为每个响应变量重量、转弯半径和马力建立了三个单独的回归模型,并设置了三个单独的验证列(训练集 = 70%,验证集 = 15%,训练集 = 15%)。
是否有必要为每个响应变量创建验证列来建立回归模型,或者只需一个具有任何一个响应变量的验证列就足够了?
基础数据分析与建模预测模型和机器学习回复:一个或多个验证列嗨@madhu ,
2025 年新年快乐!
您的问题没有正确或错误的答案。
由于您正在以机器学习(又称数据驱动)的方式为不同的响应构建预测模型,因此这里使用了不同的集合:
- 训练集 :用于 模型的实际训练,
- 验证集 :用于模型优化(例如超参数微调、特征/阈值选择等)和模型选择,
- 测试集 :用于对所选模型在新/未见数据上的泛化和预测性能评估。在此阶段,您不应该有多个模型相互竞争。
我认为对“调试”所有三个响应使用一个验证列更加有用,以了解可以从数据中提取多少信息,并使用相同的训练和验证数据,根据响应对预测任务的难度进行更好的评估/比较。
如果使用不同的验证列更改训练、验证和测试集中观测值的重新划分,则可能更难弄清楚为什么某个响应无法正确/精确地预测:是因为用于拟合模型的点的分层/重新划分吗?还是因为这种响应的预测更难实现?
顺便提一下,即使您使用一个验证列,我也建议您创建一个分层验证列公式:特征的分层有助于确保您的训练、验证和测试集的分布相似,从而防止集合之间出现任何数据分布偏移,这可能会损害算法的学习/模型拟合的泛化。使用公式验证列类型,您可以创建模拟并使用各种类似的数据分割来评估算法的稳健性。
请参阅已解决:如何自动化并将许多重复验证汇总到一个输出表中? - JMP 用户社区
并解决:提升树 - 调整表设计 - JMP 用户社区
您还可以使用具有固定随机种子的K 折交叉验证列(以确保模型结果的可重复性)来评估算法对几个响应的稳健性和预测性能。
希望这个答案能帮助你,
回复:一个或多个验证列你好@Victor_G
感谢您对我的查询的评论。它们很有道理。问候