培训规模与测试数据集之间的比例嗨，我有一个相对较小的数据集，其中包含95个观察值/记录，每个记录约有70个变量。目的是检测哪些变量会影响响应并找到这些变量的最佳设置。由于观察次数少，我决定将数据仅分为两类：训练数据集和测试数据集（省略验证数据集）。我的策略是在分区平台上应用决策树，然后使用看起来似乎最重要的变量进行最小二乘回归。我的问题是，关于培训和测试数据集的大小比例是否存在一般性建议？我曾尝试过一个部门，其中75％的观察值包含在训练数据中，而25％的观察结果包含在测试数据集中，但是我不确定这是否是最佳比例。
我也想知道是否可以将某些引导程序用于划分训练和测试数据集。想法是进行大量的除法并以某种方式平均结果。我不确定这是否有意义。我正在运行JMP 15。
分析工具回复：培训规模与测试数据集之间的比例您可以使用k折交叉验证，即对小数据集进行CV调整。
同样，在JMP Pro中，您可以将LASSO广义回归用于变量选择。
回复：培训规模与测试数据集之间的比例谢谢，应用k折交叉验证很有意义。我想我应该使用逐步回归，因为 k折交叉验证不是带有标准最小二乘法的选项。不幸的是，我还不是专业版用户，因此我无法访问广义回归。
我想您仍然会保留一部分数据以测试最终模型的预测能力吗？
回复：培训规模与测试数据集之间的比例测试支持集的作用在通过交叉验证进行诚实评估中很有用，但需要权衡取舍。您使用K折CV，因为您的数据集很小。拿出一部分进行测试可能会损害培训和选择最佳模型。交叉验证方法基于对模型的未来数据确认，但使用了一些现有数据。您打算用新的观察结果评估模型吗？这样，测试集可能无法提供独特的好处。
