將預測模型性能與置信曲線進行比較 (2022-US-45MP-1141)Bryan Fricke,JMP 首席軟件開發人員,SAS
Russ Wolfinger,JMP 研發總監
重複 k 折交叉驗證通常用於評估預測模型的性能。 問題是,你怎麼知道性能差異何時足夠大以聲明一個模型比另一個模型更好? 通常,無效假設顯著性檢驗 (NHST) 用於確定預測模型之間的差異是否“顯著”,儘管近年來統計文獻中已經廣泛討論了 NHST 的有用性。 在本文中,我們討論了與 NHST 相關的問題,並提出了一種稱為置信曲線的替代方案,它已被開發為一種新的 JMP 插件,可直接對 JMP Pro 的模型篩選平台生成的結果進行操作。
爆發數據可視化統計和建模