Bryan Fricke, sviluppatore software principale JMP, SAS
Russ Wolfinger, Direttore, Ricerca e Sviluppo, JMP
La convalida incrociata k-fold ripetuta viene comunemente utilizzata per valutare le prestazioni dei modelli predittivi. Il problema è: come fai a sapere quando una differenza di prestazioni è sufficientemente grande da dichiarare un modello migliore di un altro? Tipicamente, il test di significatività dell'ipotesi nulla (NHST) viene utilizzato per determinare se le differenze tra i modelli predittivi sono "significative", sebbene l'utilità dell'NHST sia stata ampiamente dibattuta nella letteratura statistica negli ultimi anni. In questo documento, discutiamo dei problemi associati a NHST e presentiamo un'alternativa nota come curve di confidenza, che è stata sviluppata come un nuovo componente aggiuntivo JMP che opera direttamente sui risultati generati dalla piattaforma Model Screening di JMP Pro.
