机器学习的一大风险是过拟合。John Elder 的目标值随机化方法可以非常直观地评估模型的准确性。这方面的资料很多，以下仅列举其中一篇： http://www.kdnuggets.com/2014/02/3-ways-to-test-accuracy-your-predictive-models.html 。如果 JMP 也具备这种功能就太好了。
Xiaojie Zhou zhou.x.1@pg.com- 辛辛那提莎伦伍兹创新中心
根据@chris_gotwalt1的描述，我认为我们可以认为这项功能已经实现。如果还需要其他功能，请添加新的愿望清单，我们会予以考虑。
@SamGardner看起来开发团队正在调查此事，我们是否应该更改状态？
使用 JMP Pro 的模拟功能，按照以下简单步骤即可实现此功能。例如，要对名为 :Y 的目标进行目标重排：
1) 右键单击 Y，选择“新建公式列”->“随机”->“不放回抽样”。这将创建一个名为“Shuffle”的新公式列。随机打乱 Y 的行。
2）在原始响应列上运行模型。
3) 找到您感兴趣的模型诊断指标（例如 R 平方、AIC、误分类率等），然后在报告中右键单击它。
4）在弹出的窗口中，选择选项列表底部附近的“模拟”选项。
5) 在出现的“模拟”对话框中，选择“Y”作为“要切换的列”和“随机排列”。用于“切换列”。然后单击“确定”。如果您希望结果可复现，可以在单击“确定”之前选择设置随机种子，或者将样本数量更改为 2500 以外的其他值。如果模型拟合需要很长时间，则可能需要较少的样本数量。您也可以直接使用默认值。
然后，模拟程序会自动执行目标随机化操作，并创建一个新表格，其中包含随机化的 R 平方值或其他您选择使用目标随机化进行评估的诊断指标。点击新表格中的“分布脚本”，即可将报告中的值与“随机化”后的 R 平方值的分布进行比较。
我要指出的是，虽然约翰·埃尔德 (John Elder) 大力提倡目标值随机化，但目标值随机化的真正目的是为了防止使用过度拟合数据的模型。如果采用适当的验证方法选择模型，并结合 JMP 的 Neural、GenReg、PLS 和 Partition 平台中的过拟合预防算法，那么目标值随机化的必要性通常低于其他通用统计软件，例如 R 、SPSS 或 Statistica，因为在这些软件中，目标值随机化是模型评估过程中必不可少的组成部分。
