置信曲线在题为“置信曲线:用于分类器比较的零假设显着性检验的替代方法”,Daniel Berrar 详细介绍了与使用零假设显着性检验来比较分类器相关的问题,并建议使用置信曲线作为替代方案。 安装插件后,您可以通过以下方式生成用于将各种分类器与参考分类器进行比较的置信曲线:
- 在 JMP Pro 的菜单栏中,选择“分析 => 预测建模 => 建模筛选”。
- 为“Y,响应”和“X,因子”字段选择适当的参数。
- 在对话框的“Folded Crossvalidation”部分,启用“K Fold Crossvalidation”选项,并在“K”输入框中设置折叠次数,在“Repeated K Fold”输入框中设置重复次数。
- 选择“确定”运行模型筛选平台。
- 显示结果对话框时,单击红色小三角菜单。
- 选择“保存结果表”

- 在 JMP Pro 的菜单栏中,选择“加载项 => 置信曲线”。
- 按照显示的说明选择步骤 6 中生成的结果表、参考模型和要用于比较的指标。
- 之后,应生成类似于下图所示的 Graph Builder 报告:

在题为“置信曲线:用于分类器比较的零假设显着性检验的替代方法”,Daniel Berrar 建议使用置信曲线来替代使用零假设显着性检验来比较分类器。
统计数据实用程序