替代截止混淆矩阵我曾多次使用替代截止概率混淆矩阵插件。突然间，它在某些数据集上产生了无意义的结果。我验证了它在旧数据集上仍然按预期工作。附件是最近的一个数据集，它似乎在其中不起作用。目标变量是中风，我有一个验证列和一些预测模型概率，这些概率标有中风概率，并给出了建模方法的名称（例如，查看标记为提升树或逻辑回归的列，其中有 2 个示例无法正常工作）。中风在数据集中非常罕见（约 5%），因此从预测模型得出的概率也相应较小。但是当我使用插件和从 0.1 到 0.9 的一系列截止概率时，我一直得到零中风预测 - 这与这些模型的概率分布不匹配（正如我所说，概率很低，但不为零）。有人能解释一下为什么会发生这种情况吗？
谢谢。
数据探索与可视化预测模型和机器学习回复：替代截止混淆矩阵你好， @dale_lehman .
我很高兴得知您发现备用截止混淆矩阵插件很有用。它是几年前开发的，仅基于从分区、神经（仅限 JMP Pro）或拟合模型报告中保存的预测（或概率）列。 这在预测值列的描述中有注明这里.我很乐意调查您在其他类型的预测中看到的行为，并将用我的发现更新此页面。
回复：替代截止混淆矩阵我怀疑是否@Wendy_Murphrey可能对备用截止混淆矩阵插件这里。
回复：替代截止混淆矩阵我不知道为什么它停止工作，如果有人能弄清楚那部分就好了。 我能够使用您提供的数据表验证您描述的相同行为。 不确定为什么它在重新运行模型时起作用。 我找不到与公式有任何差异或任何会使它表现得有趣的地方。回复：替代截止混淆矩阵迪德里希
谢谢 - 我会将您的回复标记为解决方案，但我真的很想听听是否有人可以解释为什么会这样。事实上，如果我重新运行这些模型，加载项会按预期工作，但它不会在我提交的原始文件上运行——即使这些模型产生的概率应该产生正确的混淆矩阵。所以，我不知道为什么加载项突然停止正常工作然后再次工作。我也在运行 JMP Pro15.2.1。
我同意你关于对验证集进行分层的其他观点，因为它非常不平衡。这次我没有这样做，但我很清楚这样做是有意义的。
回复：替代截止混淆矩阵你好@dale_lehman ,
我可以确认替代截止混淆矩阵加载项不适用于您在帖子中提到的预测列。 但是，我按照您使用的相同预测变量和响应重新运行了 Boosted Tree 平台，甚至验证了方程是相同的，但替代的截止矩阵插件在这个新公式上工作正常。 我发现 fit nominal logistic 也是一样的。 如果我重新运行它（我最终得到一个不同的方程式），我可以运行替代截止值并且它按预期工作。 我正在运行 JMP Pro 15.2.1。 你的两次发作可能有点不对劲。 您是否检查过拟合的 ROC 曲线，看它们是否在对角线上方。 您的表中没有为这两个模型公式保存的脚本，因此很难评估拟合效果如何。 您是否尝试过再次重新拟合 logistic 和 boosted 树模型以查看新方程是否有效？ 当我第二次运行它们时，它与加载项一起工作。
另一方面，我注意到您在生成验证列时使用了随机种子。 由于您的 stroke==1 实例很少，您可能会考虑制作一个根据 stroke 分层的验证列，以便它可以考虑到这一点。 此外，在执行名义逻辑拟合时，建模目标水平可能更好：1 而不是 0，因为您可能试图预测中风的可能性（中风 ==1）与无中风的可能性（行程==0）。
只是一些想法。 希望这可以帮助。
祝你好运！，
DS
