如何对ML模型（例如神经网络和随机森林）进行k折交叉验证并在固定测试数据上检查模型性能？我有分类数据集，我想在其上拟合神经网络和随机森林模型。 我正在执行 k 折交叉验证来选择最佳模型。
我有单独的数据（固定测试数据），我想在其上测试模型性能。 如何将该数据传递给 JMP 并获取分类报告？
预测建模和机器学习回复：如何对 ML 模型（例如神经网络和随机森林）进行 k 折交叉验证并在固定测试数据上检查模型性能？你好@abhinavsharma91 ,
为了在多个机器学习模型上使用 K 折交叉验证，您可以使用“模型筛选”平台（可在“分析”、“预测建模”、“模型筛选”中访问），然后选择您想要尝试的算法（在您的示例神经网络和随机森林中），以及用于交叉验证的折叠数（此处的示例是玩具数据集“钻石数据”，具有 5 折叠交叉验证）：
对于您的测试数据，有多种选择：
- 如果您的数据分为两个数据集（一个用于训练，一个用于测试），您可以通过交叉验证在训练数据表上运行模型，保存性能最佳模型的公式，然后复制并粘贴模型的公式列在您的测试数据表上，以便在测试数据上对模型性能进行公正的评估时不会发生数据泄漏。
- 您还可以将所有数据放在同一个数据表中，但“隐藏并排除”将用于测试的行；这样，模型不会使用您的测试数据进行训练和交叉验证，但通过保存公式，您仍然可以对隐藏和排除的行（并且在同一个表上）进行预测。
希望这个回答对你有帮助
