在普通 JMP 中测试模型的预测能力您好，我已经开发了一个基于训练数据集的模型，并且想在测试数据集上测试该模型的预测能力。 有什么办法可以在普通 JMP 中做到这一点吗？ 我的模型由连续效应和分类效应组成。我想我必须能够修复模型的参数。 或者这也许是购买 JMP Pro 的另一个好理由？
高级统计建模数据探索和可视化质量和工艺工程回复：在普通 JMP 中测试模型的预测能力我同意，我的模型中至少有一个变量在训练数据集中遵循与测试数据集中完全不同的分布（请参阅附件，其中 test=0 等于训练数据，test=1 等于测试数据）。 趋势分析表明该变量的水平已向上移动。 我不知道为什么，但这是值得调查的事情。
回复：在普通 JMP 中测试模型的预测能力只是添加到@P_巴特尔的评论...如果您的原始数据集不能代表未来的情况，那么从所述数据集创建的模型的能力对于预测来说不是很有用。 这并不意味着您没有学到任何东西，但您需要扩展推理空间以提高模型的可预测性（并且模型可能需要随着时间的推移进行修改）。
回复：在普通 JMP 中测试模型的预测能力当你说“后期”时......我从随机选择观察结果放入训练集中是基于我的前提，即基本上整个数据集合代表单个研究群体。 你愿意承担这个模型评估的问题。 现在，当你说“稍后”时......你有多愿意假设这个单一人口的想法是正确的？ 假设您在两个数据集中都有少量的观察结果......但是使用 K 折叠是交叉验证的一种形式，可以帮助使用相对少量的观察结果来创建和评估过度拟合的模型。
IMO，即使你的测试数据集中有少量的观察结果......如果你的测试集没有很好地拟合预测/实际结果，那么这会告诉你一些事情......你的模型在预测未来方面并不是特别有效表现。 所以从某种意义上说，你的测试集并没有让你失望……它只是在尖叫着让你谨慎地采用训练模型作为福音。
此外，您还没有共享任何训练模型诊断...也许模型存在一些问题，导致拟合未来的观察结果出现问题。 您能分享数据或诊断吗？ 这些结果中可能隐藏着一些线索。
回复：在普通 JMP 中测试模型的预测能力谢谢。
我的训练数据集由 95 个观察值组成，我应用了带有 k 倍选择的逐步回归。 然后，我使用普通最小二乘法进一步缩小模型，并应用 5% 的显着性限制。 这个想法是使用一组新的观察结果（来自较晚的时间段）作为测试数据集，这意味着数据不会随机分配给训练和测试数据集。 您认为这个程序有问题吗？
应用你的程序，我得到了一个非常差的 R 平方来进行测试数据测试。我认为问题在于我的测试数据集太小（只有 20 个观察值），而且解释变量的值的范围也比训练数据集的范围小。 我发现实际上不可能用这个测试数据集来评估我的模型的预测能力。
回复：在普通 JMP 中测试模型的预测能力使用哪个平台来创建模型？
回复：在普通 JMP 中测试模型的预测能力有一个问题要问您......希望您随机选择观察结果以包含在您的“训练”集中？ 如果没有，我会回溯并从那开始。 假设你做了...
嗯，是的，如果您想使用训练/验证/测试结构来评估模型（这通常是预测建模工作的最佳实践），那么 JMP Pro 就是您的最佳选择。 许多非常有用的功能，例如模型比较和公式库平台，专门针对非常有效的多模型评估。
但是，由于缺少 JMP Pro，这里有两个简单的想法供您考虑。 将您使用训练数据集构建的模型保存到包含“测试”数据集的数据表中的新列公式，称为“预测值”或类似构造。 您现在应该可以预测该列中的响应。 现在绘制“预测值”和响应的实际值的“Y × X 拟合”图，并检查两组响应的“拟合优度”。 我会强制图表上的 x 轴和 y 轴限制相等，但复制拟合模型平台报告的实际与预测图。 用您的眼睛找到那条 45 度线...或者只是在图形生成器中覆盖一条线。
另一种变化是从实际值中减去预测值并以直方图格式绘制残差。
这些技术不会做任何事情来评估过度拟合......但如果你的重点是严格预测......那么这是一个开始。
