Bryan Fricke, développeur principal de logiciels JMP, SAS
Russ Wolfinger, directeur, Recherche et développement, JMP
La validation croisée répétée k-fold est couramment utilisée pour évaluer les performances des modèles prédictifs. Le problème est de savoir comment savoir si une différence de performances est suffisamment importante pour déclarer qu'un modèle est meilleur qu'un autre ? En règle générale, le test de signification de l'hypothèse nulle (NHST) est utilisé pour déterminer si les différences entre les modèles prédictifs sont «significatives», bien que l'utilité du NHST ait été largement débattue dans la littérature statistique ces dernières années. Dans cet article, nous abordons les problèmes associés au NHST et présentons une alternative connue sous le nom de courbes de confiance, qui a été développée en tant que nouveau complément JMP qui fonctionne directement sur les résultats générés à partir de la plate-forme Model Screening de JMP Pro.
