替代截止混淆矩阵我已经多次使用替代截止概率混淆矩阵插件。突然，它在某些数据集上产生了荒谬的结果。我确认它仍然可以在旧数据集上正常工作。随附的是其中似乎无效的最新数据集之一。目标变量为Stroke，我有一个Validation列，并在给定建模方法名称的情况下，用中风概率标记了许多预测模型概率（例如，查看标记为boosted tree或logistic回归的列中的两个示例，无法正常工作）。笔划在数据集中非常罕见（大约5％），并且从预测模型得出的概率相应较小。但是，当我使用外接程序以及从0.1到0.9的一系列截断概率时，我总是得到零的笔画预测-这与这些模型中的概率分布不符（正如我所说的那样，但不为零）。谁能说明为什么会这样？
谢谢。
分析工具回复：替代截止混淆矩阵你好@dale_lehman ，
我可以确认替代的截止混淆矩阵加载项不适用于您在帖子中提到的预测列。 但是，我按照与您使用的相同的预测变量和响应重新运行Boosted Tree平台，甚至验证了方程式是相同的，但是替代截止矩阵插件在此新公式上正常工作。 我发现适合的名义物流也是一样。 如果我重新运行它（最终得到一个不同的方程式），则可以运行替代截止值，并且它可以按预期运行。 我正在运行JMP Pro 15.2.1。 您的两种配合可能有点问题。 您是否检查了ROC曲线的拟合度，看它们是否在对角线上方。 表中没有保存这两个模型公式的脚本，因此很难评估拟合的效果。 您是否尝试过重新拟合逻辑模型和增强树模型以查看更新的方程式是否有效？ 当我第二次运行它们时，它可以与外接程序一起使用。
另一方面，我注意到您在生成验证列时使用了随机种子。 由于笔划= 1的实例很少，因此您可以考虑制作一个按笔划分层的验证列，以便可以将其考虑在内。 另外，在执行名义对数拟合时，最好对目标水平建模：1而不是0，因为您可能正在尝试预测中风的可能性（stroke == 1）与无中风的可能性（笔画== 0）。
只是一些想法。 希望这可以帮助。
祝你好运！，
DS
回复：替代截止混淆矩阵迪德里奇
谢谢-我会将您的回复标记为解决方案，但我真的很想听听是否有人可以解释为什么会这样。的确，如果我重新运行这些模型，则该加载项将按预期工作，但它不会在我提交的原始文件中显示-即使这些模型产生的概率本应产生正确的混淆矩阵。因此，我不知道为什么该加载项突然停止正常工作，然后又重新工作。我也在运行JMP Pro15.2.1。
我同意您关于分层验证集的其他观点，因为它太不平衡了。这次我没有这样做，但是我很清楚这样做的合理性。
回复：替代截止混淆矩阵我不知道为什么它停止工作，如果有人能弄清楚那部分会很好。 我能够验证您使用提供的数据表描述的相同行为。 不知道为什么在重新运行模型时它可以工作。 我找不到与公式有任何出入，也没有发现任何可笑之处。回复：替代截止混淆矩阵我怀疑是否@温迪·墨菲可能对备用截止混淆矩阵加载项这里。
