模型筛选平台:决策阈值刻画器下的“记住设置”选项我非常喜欢 JMP 中分析 > 预测建模 > 模型筛选下的新模型筛选平台选项,如下所示: JMP Pro 16 中的模型筛选
https://community.jmp.com/t5/JMP-Blog/Model-Screening-in-JMP-Pro-16/bc-p/384039#M4078 。

我认为对我来说特别有用的一个功能 - 在此示例或其他情况下 - 当我在 JMP 中的某些平台(如分析 > 拟合模型)中指定拟合模型时,类似于预测刻画器的选项 - 到“记住设置”,以便我可以有效地在误报率和漏报率的不同权衡场景之间进行“切换”。
我特别感兴趣的场景是“分析”决策阈值概率的级别设置,以便调整模型以专注于最大限度地减少误报,但可能会增加误报。从质量风险的角度来看(以更高的制造废品为代价保护最终用户),可以容忍更高的误报。
这是一张图片,说明了我正在谈论的内容(只是在 X 的输入设置的各种组合中选择“记住设置”后,从预测刻画器下的拟合模型平台输出的普通“记住设置”(相同)糖尿病.jmp样本数据集示例):

谢谢!
数据探索和可视化回复:模型筛选平台:决策阈值刻画器下的“记住设置”选项我要求澄清这个愿望:您是否希望将相同的阈值概率应用于所有模型,或者您是否要求为每个模型提供一些“最佳”阈值以供记住和比较?如果是前者,我认为这是一个坏主意。不同模型的概率分布差异很大,因此可能为不同的模型选择不同的阈值。如果是后者,那么我不确定这将如何实现(但我喜欢这个想法)。它不能是自动的,例如最小化假阴性,因为这只会将阈值概率设置为 0。因此,它需要允许您根据您如何看待权衡为每个模型选择不同的阈值 - 也许是这样可以与利润矩阵结合使用(尽管我发现利润矩阵很难使用)。
有一个简单的滑块来改变所有模型的阈值并显示混淆矩阵对我来说并不是很有用。 我认为这会提供相对模型性能的错觉 - 我并不真正关心一个模型是否需要 0.15 的阈值而另一个模型是否需要 0.30 - 我关心的是每个模型如何用于进行预测。