获取 K 折交叉验证的折叠外指标在使用 K 折交叉验证（例如使用神经网络和支持向量机）时，有没有办法获取折叠外指标？据我所知，JMP 只报告性能最佳折叠的指标，这没什么用。
高级统计建模预测建模和机器学习回复：获取 K 折交叉验证的折叠外指标你好@CentroidError56 ，
是的，请使用平台模型筛选功能，勾选您想要测试的模型，以便在报告中查看验证折叠结果。
训练、验证和测试拟合度指标
在模型筛选平台选项中，您可以保存 K 折交叉验证结果表。
希望这个方法对您有所帮助。
回复：获取 K 折交叉验证的折叠外指标嗨，维克多，
感谢您的回复。据我所知，这似乎只适用于每种方法的默认设置。我有一些来自调优设计的配置，想用折叠数据进行比较。看起来除非我手动运行每个折叠，否则无法实现，但这会非常耗时。是不是我遗漏了什么？
回复：获取 K 折交叉验证的折叠外指标你好@CentroidError56 ，
你说得对，这个选项只能在默认超参数设置下使用。
以下是我针对相同折叠数据测试特定超参数配置的方法：
- 使用“创建验证列”平台创建 K 折交叉验证列。指定分层列（X 轴）和目标列（Y 轴）。然后，您可以定义折数并设置随机种子。
- 启动您选择的建模平台，并在验证角色中使用此 K 折交叉验证列。
在这个例子中，我使用了 JMP 糖尿病数据集和 SVM 平台。我设计了一个调优方案，找到了 3 个合适的超参数设置（模型 2、3 和 20）：
-
然后我按住 CTRL 键并点击“发布预测公式”选项（位于任何模型旁边的红色三角形中）。此时会创建一个新的“公式库”窗口，其中包含之前看到的三个模型的公式：
-
在 Formula Depot 旁边的红色三角形中，我点击“模型比较”选项，然后选择我的三个模型：
JMP 注意到我的 5 折验证列用于所有模型，并询问是否可以将其用作分组列，所以我点击“是”，以便获得每个折叠的单独模型结果。
- 我现在可以获取这三个模型各自的折叠性能指标：
无论使用何种建模平台，此方法都应该有效，因为它只使用模型的预测公式，因此您可以组合不同的模型类型。
希望这个答案能解决你的问题。
回复：获取 K 折交叉验证的折叠外指标嗨，维克多，
成功了！非常感谢！
