机器学习的样本量要求JMP 对机器学习方法有样本量要求吗?
JMP有很多机器学习方法来拟合合适的模型,如果我们想用机器学习方法来拟合模型,我们应该得到多少样本?
或者是否有样本大小除以因子大小的值的规则?
比如样本量至少是分类数据类型因子大小的 10 倍。
谢谢你的任何建议。
Re: 机器学习的样本量要求嗨,埃里克,
这是另一个我认为无法给出明确答案的问题。
首先,并不是每个人都同意“机器学习”的相同定义。
对我来说,机器学习的一个重要部分是抑制验证。 我告诉用户您可能需要至少 100 行才能使用保留验证。
如果您只有 2 或 3 个预测变量,您可能可以使用较少行的保留。 但由于预测变量数量如此之少,可能不需要机器学习。
我认为您可以根据预测变量的数量轻松说出多少行。 因为所需的行数也将是系统中行为复杂性的函数,在您拟合模型之前您不知道。
当然,您可以使用其他验证方法来应用具有较少行的机器学习方法(k-fold,SVEM)。
看看可能有用这个演示案例研究。完整的数据集有 4608 行。 只有 5 个预测变量,但它们是多级分类的,所以它是一个相当复杂的系统。 您可以随机抽取样本,看看机器学习方法与传统统计建模相比有多好。 我没有进行严格的研究,但我惊讶地发现 ML 似乎比具有相当小样本(约 150 行)的标准模型做得更好。
我希望这会有所帮助,
菲尔
Re: 机器学习的样本量要求我同意@Phil_Kay . 请记住,ML 和 AI 方法适用于预测模型,而不是解释模型。 推理不是目标,因此样本量不是考虑因素。 此外,几乎所有案例都涉及大数据,因此推理也没有实际意义。 使用开发的指标来比较预测性能与交叉验证。 例如,AICc 可能在不止一种意义上是最好的。
Re: 机器学习的样本量要求我当然同意菲尔和马克的说法。 另一个想法是,如果通过机器学习,您的客户实际上是指一个多元回归模型(有或没有更高阶项),那么他们可以使用 DOE 菜单中的评估设计选项,这将为模型项提供功率估计,前提是它们可以指示真实误差变化。 否则,请遵循 Phil 和 Mark 的指导。