比较结果你好，
在获得各种结果后，如何在JMP中进行统计检验，以确保不同的分类方法得到的结果不是由于随机性造成的？
高级统计建模数据探索与可视化预测模型和机器学习回复：比较结果我不知道有任何统计测试可以确定这些不同的模型是否存在“显著”差异，但我认为这不是正确的做法。您需要比较许多相关内容。使用验证数据（或测试数据，如果您有足够大的数据集来创建它），您可以查看 ROC、错误分类率、熵和广义 R 平方测量，并详细查看每个模型的错误分类 - 并对分类的截止概率进行适当调整。我倾向于仔细查看每个模型给出的预测概率分布，并评估每个模型对于当前问题的有用性。假阳性和假阴性很少具有同等重要性，因此您确实需要一个能够“很好地”解决您正在建模的决策问题的模型。并且预测的概率分布通常会提供丰富的证据来用于进行评估。
回复：比较结果我如何将 r2 结果保存在 Windows 表中？因为我想对其进行方差分析
回复：比较结果右键单击表格框，然后选择制作成数据表或制作组合数据表
回复：比较结果你好@maryam_nourmand ，
如果您的目标是评估模型性能的稳健性，我只能推荐并强调@dlehman1带来的选项。
有几种方法可以评估模型的稳健性：
- 通过测量各种随机种子下的模型性能（因为随机性是 ML 模型学习的一部分： “没有随机性就没有学习” ），
- 通过测量不同训练和验证集下的模型性能。
在第二个选项中，使用验证公式列和“模拟”选项可以在大量不同的训练条件/集合下尝试模型。您可以在以下帖子中阅读有关如何在 JMP 中执行此操作的更多信息：
如何自动化并将许多重复验证汇总到一个输出表中？
提升树 - 调优表设计
利用这些模拟的结果，您可以可视化和比较不同模型之间的性能分布，并最终根据需要进行一些统计测试，例如比较不同模型之间预测模拟的平均值/中位数/方差性能。
正如@dlehman1所说，默认指标很有趣，但您可能需要对其进行微调，因为分类错误可能不具有相同的“重要性”。
如果您打算将 ML 模型显示的概率用作“置信度”，也请注意这些概率，它们并非全部经过校准，并且根据所选模型和样本大小，可能会产生不同的影响和后果。有关校准主题的更多信息：
https://scikit-learn.org/stable/auto_examples/calibration/plot_compare_calibration.html
https://ploomber.io/blog/calibration-curve/
希望这个答案和一些考虑能有所帮助，
