回复:拆分不打算用作验证列的数据我已经在内部记录了这一点,并在上面添加了缺陷 ID。
@reese_sj ,您能否为此请求的第二部分输入一个新项目(即模型验证的袋外估计)? 这是两个不同的请求。
谢谢!
拆分不打算用作验证列的数据验证列:我们经常需要将数据拆分为训练和测试集中,而不是拆分为用于模型选择的验证集。 这在 JMP 中不起作用。 例如,对于我们可以使用交叉验证的建模方法,如 NN 或 GLR,并希望根据训练数据进行模型选择/验证,并且仅使用测试数据来测试模型。 此外,当排除测试数据时,增强树和随机森林使用排除的数据来验证模型(可能用于 NN)。 这需要额外的步骤来删除用于建模的测试数据并稍后再次添加它们以进行模型比较。
统计和分析回复:拆分不打算用作验证列的数据 - 状态更改为:暂时未计划@reese_sj是否担心验证数据作弊?您如何建议模型决定何时最适合数据?我们经常看到没有测试集的验证数据,反之则看不到。如果没有某种形式的验证或保留,JMP 无法拟合 NN。如果您让算法尽可能地拟合训练数据,那么您很可能最终会得到一个过拟合模型。我会创建模型并将其发布到公式库,然后在测试数据集上运行它,如果您想查看它的适合程度。