探索模型分类阈值这些是有关如何下载和运行模型分类浏览器加载项今年夏天,我作为 JMP 实习生创建了@KarenC和@mia_stephens .这个插件提供了一个统一的仪表板来同时可视化模型截断和错误权衡。 您可以以交互方式更改模型阈值,并立即查看在性能度量、混淆矩阵和 ROC 曲线中传播的结果。
注意:对于非常大的数据集,这可能会很慢或冻结。
第 1 步:下载随附的 .jmpadin 文件和示例数据表。
Data Selection DialogData Selection Dialog数据选择对话框
第 1 步:将 Prob[Donut] 转换为 X,将 Consumption 转换为 Y。 这两列是必需的。
第 2 步:将目标级别设置为“甜甜圈”,因为这就是模型所预测的。
第 3 步:设置统计分析的 alpha 水平,默认为 0.05。
第 4 步:您可以在右上角选择基于给定应用领域的性能术语,这是不同度量标签的纯可视选项。 在这种情况下,我们将其保留为“常规”。
第 5 步:视觉可访问性复选框是一项更改图形输出的功能,以便能够解释结果,而无需区分图形上的颜色,我们现在将不再讨论。
第 6 步:设置所有这些初始参数后,单击“确定”启动平台。 根据数据集的大小以及是否使用了验证列,这可能需要几秒钟才能启动。
Interactively Exploring CutoffsInteractively Exploring Cutoffs交互式探索截止
如果您有任何意见或建议,请告诉我!
数据可视化生命科学预测建模和数据挖掘统计数据回复:探索模型分类阈值亲爱的凯伦,
我重新检查了 2x2 表,它们是正确的。 没错,我可以改用 IVD 性能插件,但这意味着我必须将所有数据标记为正(低于阈值)或负(高于)并分析标签结果而不是原始数字,所以我没有得到这个脚本漂亮的“状态与分数”视觉效果。

但我会使用 IVD 性能插件,它确实给了我最需要的数字。
非常感谢您的帮助!
回复:探索模型分类阈值嗨,安妮,我不太确定……如果你有正确的 TP、TN 等,那么你应该有正确的 Se 和 Sp。仔细查看 2x2 表格,确保您正确阅读标签。 同意该工具将使用右侧(大于)阈值的值作为正值。 你也可以看看我的体外诊断性能加载项将根据两个名义列(测试和真相)提供性能,您可以在其中定义每个列的积极因素。 一旦您的阈值固定(也运行得更快),也许这会更好。 如果您仍有疑问,请继续提问。
凯伦
回复:探索模型分类阈值我翻转了目标,但因为我的样本符合阳性以下某个阈值,结果是,例如,在特异性真正为 96.3 % 的情况下,我得到 3.7 % 的结果。
在目标翻转之前的版本中,我所有的值都被正确分类为真阳性、假阴性等,只是灵敏度和特异性值被颠倒了。 翻转后,每个真阳性都被归类为假阳性,每个假阴性都被归类为真阴性,依此类推……
回复:探索模型分类阈值在启动窗口中有设置目标级别的选项。
回复:探索模型分类阈值有那个按钮就好了。 在我的插件版本中,我发现没有“最小化错误分类阈值”。 我应该更改一些布局设置吗?
回复:探索模型分类阈值翻转你所谓的“目标”。
回复:探索模型分类阈值亲爱的凯伦,
感谢有用的插件! 我正在尝试用它来计算灵敏度、特异性、PPV 和 NPV。
虽然我得到的数字是正确的(与我拥有的参考灵敏度/特异性数据相比),但它可以将灵敏度与特异性以及 PPV 与 NPV 互换。
我怀疑这可能与我在响应栏中指定为阳性的结果低于定义的阈值而不高于一个这一事实有关。 你对如何解决这个问题有什么建议吗?
回复:探索模型分类阈值希望您注意到“最小化错误分类”按钮......它位于“设置概率阈值”大纲中。
回复:探索模型分类阈值插件中有没有方法自动地优化分类阈值(= 最小化误分类率)?
回复:探索模型分类阈值如果您的“真相”列不是字符,请尝试将其更改为字符类型。
回复:探索模型分类阈值是的,我可以毫无问题地运行甜甜圈示例。
回复:探索模型分类阈值@鲁
我不确定您为什么会收到该错误。 我单击加载项中的“帮助”按钮(右侧),您将获得用户手册。 否则,如果没有更多信息,很难知道您遇到问题的原因。 你能运行甜甜圈示例数据吗?
凯伦
回复:探索模型分类阈值在我的数据上尝试了插件,但总是收到此错误消息:访问或评估测定中的下标范围。
回复:探索模型分类阈值谢谢凯伦! 这是成功的! 再次,非常感谢!
回复:探索模型分类阈值嗨tsnow,
我的猜测是该应用程序在数据量方面存在问题。 我们观察到大量行的问题,具体多少行可能取决于机器配置。 然而,一切都没有丢失。 使用这种大小的数据表,我认为您可以随机抽取一个样本(将其子集到另一个表中),然后运行该应用程序。 我会从 10% 开始,看看应用程序是否运行。 如果是这样,那么我会查看 4 - 5 个 10% 的不同随机样本,看看您是否“降落在相似的位置”,而不管样本如何。 如果是这样,您可能可以回答您的实际问题。 如果不是,那么我会再运行几个样本和/或尝试更大的样本 20%、30%,直到您再次遇到尺寸问题。
希望这可以帮助。 您还可以使用 Graph Builder 中的所有数据构建分数与状态图,作为了解分布以及切点可能对您的问题有意义的起点。
凯伦
回复:探索模型分类阈值嗨,凯伦 C。 我正在使用 JMP 14。 我正在使用窗户。 我有 11,221 行。 弹出一条显示“未响应”的消息。 请协助。
谢谢
回复:探索模型分类阈值你好,
我不知道你为什么遇到问题,你能提供更多信息吗? 您使用的是什么版本的 JMP? Mac还是windows? 是崩溃还是挂起? 您的数据表中有多少行?
谢谢
回复:探索模型分类阈值这个我试了好几次,每次都崩溃。 有什么选择吗?
回复:探索模型分类阈值精彩的! 我经常在寻找一种离开屏幕的方法,所以我会听从你的建议并在我让它旋转一会儿的时候四处游荡。
非常感谢,马克思
回复:探索模型分类阈值马克思,
如果您想在更大的数据集上尝试它,请尝试在您离开计算机一段时间时运行它,然后在您返回时查看是否已运行。 我发现如果我等待,它就会运行。 它只是有一些初始的“工作”要做。
凯伦
回复:探索模型分类阈值感谢分享 Tarik 和后续的 Karen,如果可用,我也会对使用更大的数据集感兴趣。
谢谢,马克思
回复:探索模型分类阈值嗨史蒂夫,
是的,事实证明,如果您的数据集太大(尝试 N < 1000),则加载项可能会“冻结”JMP。 我没有发生崩溃,只是 JMP 像您所经历的那样锁定了。 我们正在研究这个性能问题。 同时,尝试随机抽取感兴趣的数据子集,至少开始探索阈值。 敬请关注!
谢谢,
凯伦
回复:探索模型分类阈值这个插件是 JMP 的一个很好的补充。 我正在运行 14.1,它在甜甜圈数据上运行良好。 但是,它会锁定 JMP,然后在我选择的几乎所有其他数据集上崩溃。 关于可能出现什么问题的任何建议?
谢谢。
史蒂夫鲍威尔