置信曲線在題為“置信曲線:用於比較分類器的零假設顯著性檢驗的替代方法”,Daniel Berrar 詳細介紹了與使用零假設顯著性檢驗來比較分類器相關的問題,並建議使用置信曲線作為替代方案。 安裝插件後,您可以通過以下方式生成用於將各種分類器與參考分類器進行比較的置信曲線:
- 在 JMP Pro 的菜單欄中,選擇“分析 => 預測建模 => 建模篩選”。
- 為“Y,響應”和“X,因子”字段選擇適當的參數。
- 在對話框的“Folded Crossvalidation”部分,啟用“K Fold Crossvalidation”選項,並在“K”輸入框中設置折疊次數,在“Repeated K Fold”輸入框中設置重複次數。
- 選擇“確定”運行模型篩選平台。
- 顯示結果對話框時,單擊紅色小三角菜單。
- 選擇“保存結果表”

- 在 JMP Pro 的菜單欄中,選擇“加載項 => 置信曲線”。
- 按照顯示的說明選擇步驟 6 中生成的結果表、參考模型和要用於比較的指標。
- 之後,應生成類似於下圖所示的 Graph Builder 報告:

在題為“置信曲線:用於比較分類器的零假設顯著性檢驗的替代方法”,Daniel Berrar 建議使用置信曲線來替代使用零假設顯著性檢驗來比較分類器。
統計數據實用程序