用于将数据子集划分为用于构建模型的数据集（训练集）和用于评估模型预测性能的数据集（验证集）。如果拟合多个模型，通常会选择在验证集上表现最佳的模型。有时，还会使用第三个数据集（测试集）来评估所选模型在新数据上的预测性能。由于测试集既未用于模型构建，也未用于模型选择，因此这种方法被认为是评估模型未来性能的更准确方法。使用验证列对于构建容易过拟合数据的模型尤其有用。JMP 中的某些建模平台提供了在拟合模型时指定验证部分的选项，因此无需创建验证列。
在 JMP Pro 中创建验证列（训练集、验证集、测试集）
- 从打开的 JMP 数据表中，选择“分析”>“预测建模”>“创建验证列” 。
- 可以使用分层、分组和分割点列来定制分区。如果需要简单的验证列，请单击“确定” 。
- 在弹出的窗口中，输入数值（计数或比例），以指示数据将如何分配到训练集、验证集和测试集。如果需要，可以选择一个随机种子来重复相同的随机分配。单击“确定”。此时将创建一个新列，其中填充了指定比例（或计数）对应的值 0、1 和 2。
• 3,576 (60%) 个观测值（训练集）将用于构建（训练）模型。
• 将使用 1,758 (30%) 个观测值（验证集）来验证和选择最佳模型。
• 将使用 596 个（10%）观测值（测试集）来测试所选模型在新数据上的性能。
在 JMP 中创建验证列
- 在打开的 JMP 数据表中，从“列”菜单中选择“新建列” 。
- 在生成的新列窗口中，将列名称更改为验证。
- 在“初始化数据”旁边，单击箭头并选择“随机” 。
- 选择随机指标。输入所需的比例。这里我们选择 50% 的 0（训练集），30% 的 1（验证集）和 20% 的 2（测试集）。
- 要显示“训练”、“验证”和“测试”标签而不是 0、1 和 2，请右键单击该列，然后选择“列属性”>“值标签” 。输入值和所需的标签，然后单击“添加”，一次添加一个值。
- 点击“应用”按钮可在数据表中查看新列（以确认列是否按预期创建）。然后点击“创建”按钮创建列。
访问JMP 帮助中的“预测和专用模型”>“创建验证列”了解更多信息。
