调整设计表后 Bootstrap Forest 出现故障?大家好,
我有一个案例,我想将 Bootstrap Forest 方法与调整设计表结合应用。 在按照 JMP-Help 中的说明进行操作时,我遇到了一个问题:调整表中描述的六个超参数中只有两个进入了根据调整表的运行编号构建的模型数量。
这个问题也被其他人发现了吗?
我已经和大家讨论过这个问题@乔纳斯_林内我们并没有想出一个令人满意的解决方案。 或者这是一个错误?
预测建模和机器学习回复:调整设计表后 Bootstrap Forest 出现故障?你好@乔纳斯_林内和@Egon_Gross1 ,
去年,我使用了调整设计表来微调该主题的提升树(类似的超参数): https://community.jmp.com/t5/Discussions/Boosted-Tree-Tuning-TABLE-DESIGN/mp/609591/highlight/true#M81062
我不在我的计算机后面,所以这是我现在能做的最好的事情,但如果有帮助的话我明天可以做一些测试(如果其他人之前没有找到解决方案)。 列的命名非常敏感,因此这可以解释为什么使用某些超参数列而不使用其他列。
我希望这会有所帮助回复:调整设计表后 Bootstrap Forest 出现故障?你好@Egon_Gross1和@乔纳斯_林内,
我一直使用调优表进行模型调优,甚至为 NN、提升树、引导森林和 XGBoost 制作模板。
我从来没有遇到过超参数不被带入调优表的问题,除非它们是恒定的。 我通常使用空间填充设计 DOE 平台以及我的调整模板表来生成包含所有运行的更大调整表。
一种可能是名称,另一种可能是您可能需要确保列在其元数据中也具有关联的正确设计角色。 如果某个列缺少该角色,那么 DOE 平台可能无法正常运行。
JMP 帮助页面似乎具有与调整表的角色关联的正确列名称。 附上我的模板数据表,希望对大家有所帮助。
DS
回复:调整设计表后 Bootstrap Forest 出现故障?帮助页面和脚本索引之间似乎存在一些不一致。 以下是帮助页面建议的调整表中不同超参数的列名称:

在脚本索引中,列的命名略有不同(拆分/拆分):

以前有人遇到过同样的问题吗? 我们是否使用了错误的列名或者是其他原因? 前两个超参数工作得很好。
回复:调整设计表后 Bootstrap Forest 出现故障?@Egon_Gross1和@乔纳斯_林内- 感谢您的提问,我现在也在 JMP 技术支持方面对此进行调查。 看来您在示例中与我们分享的调整表与如何一致@SDF1指定它,唯一的区别是他们似乎没有为每个列指定编码列属性。我用您提供的示例在相同的随机种子(= 1234)上尝试了两种方法,似乎没有什么区别。我将继续调查,并在收集到更多有用信息后立即提供更新。干杯, @帕特里克朱利亚诺
回复:调整设计表后 Bootstrap Forest 出现故障?你好@SDF1和@帕特里克朱利亚诺和@乔纳斯_林内和@Victor_G ,
非常感谢您的所有贡献和支持。
尝试不同的方法 - 除了 NN 尝试(到目前为止) - 提供的 Tunung 表有效,但 RF 程序的表除外。 我对示例文件夹中的几个表进行了尝试。 使用调整表后,模型验证集摘要部分仅包含“N 个项、N 个树、指定的 N 个树和 R 方”列。 其他调整参数没有显示,我怀疑它们是否被使用。
问候
埃贡
回复:调整设计表后 Bootstrap Forest 出现故障?你好@Egon_Gross1 ,
我在使用之前上传的模板表时从未遇到过问题。 您究竟如何使用调优表或从模板表生成调优表? 同样,如果调整参数恒定,DOE 平台将忽略该参数并且不将其包含在调整表中。 我不清楚为什么你会遇到问题,因为这些模板每次我使用它们时都对我来说工作得很好。 如果您可以提供在此过程中执行的每个步骤的屏幕截图,这可能有助于找出根本问题是什么。
谢谢!,
DS
回复:调整设计表后 Bootstrap Forest 出现故障?你好@SDF1 ,
不幸的是,我可以重现结果。 为了让您能够回顾一下,我添加了一份 pdf 文件,显示了常规引导程序和使用调整表的引导程序的步骤。 如果有任何可疑之处,我感谢您的帮助。
韩国
埃贡1
回复:调整设计表后 Bootstrap Forest 出现故障?你好@Egon_Gross1 ,
调整表和 Bootstrap Forest 平台按预期运行并且使用得比较正确。
因此,首先,您为模型拟合显示的输出是引导森林平台的标准输出,它在模型验证集摘要表中仅列出 N 个术语、N 个树、指定的 N 个树和 R 方。 其他参数列于下面的“规格”轮廓框中。 您可以在此处找到每棵树的最小分割数和最小大小分割参数。最佳的仅型号。 JMP 不会保存调整表每次运行的所有数据。 如果您想这样做,则必须编写自己的 JSL 代码。 我已经做到了这一点,并在 JMP 中制作了一个通用的自动调整程序,以便我可以使用不同的平台运行模型,并记录模型每次运行的拟合优度值,然后您可以实际可视化结果,然后缩小范围拟合实际上可能会更好——具有超高 R^2 值并不总是最好的模型,因为它可能无法适应变化。 有时查看其他指标会更好。
不管怎样,我确实提到了调音台的使用“在某种程度上”是正确的。 我的意思是,您确实应该使用我发送的调整表作为因子来加载到空间填充设计中。 转到 DOE > 特殊用途 > 空间填充设计,然后单击红色三角形并选择载荷系数。 指定您想要执行的运行次数,然后单击“快速灵活填充”,您将获得一个已填充空间的新数据表,以探索超参数空间。 请注意,在我发送的模板中,第一行是 DOE 的较低设置,第二行是 DOE 的较高设置。 然后,当您运行建模平台(NN 或引导森林)时,您将选择这种新的快速灵活填充设计作为调整表。
顺便说一句,如果您愿意,我很乐意与您分享 JSL 通用调优代码。请告诉我。 不久前我为 JSL 脚本编写者俱乐部做了一个关于它的演示。 它有其局限性,但也非常有用。
祝你好运!,
DS
回复:调整设计表后 Bootstrap Forest 出现故障?你好@SDF1 ,
感谢您的澄清和评论,这对我帮助很大!
我认为结果的呈现与其他平台有些相似,这显然是错误的。 使用您的调整表也效果很好,我得到了一个“模型验证集摘要”表,用于调整表的所有定义的运行。
也许这很有趣@帕特里克朱利亚诺和@乔纳斯_林内根据您的 JSL 脚本在相应的表中实现所有质量测量结果的“完整版本”。
根据您提出的获得 JSL 的要求,我将非常感激 - 提前致谢。
感谢所有的支持和想法。
韩国
埃贡1
回复:调整设计表后 Bootstrap Forest 出现故障?你好@Egon_Gross1 ,
附件是 JSL 代码,用于运行几个 JMP 建模平台的通用调整。
谢谢!,
DS
回复:调整设计表后 Bootstrap Forest 出现故障?哇,这是一个非常好的工具来微调不同的模型参数。 感谢分享!
回复:调整设计表后 Bootstrap Forest 出现故障?您好@Egon_Gross1事实上,我与平台开发人员进行了核实,他们确认 BF 实际上正在使用所有指定的调整表列,正如@SDF1在这里评论的那样,但它只是没有报告它们。我们正在努力解决此问题,并且应将其纳入 JMP 18 开发周期中(在 2024 年第一季度晚些时候首次发布 JMP 18.0 之后)。干杯, @PatrickGiuliano (JMP 技术支持)