Pour les modèles prédictifs à variable binaire Y permettant la validation croisée (par exemple, la validation croisée à k plis ou la validation croisée « leave-one-out »), la matrice de confusion ne reflète que la dernière itération de la classification croisée. Par exemple, dans une validation croisée à 5 plis, l'ensemble d'entraînement représente 80 % des données et l'ensemble de validation 20 %. L'ensemble de validation devrait combiner les données des 5 plis pour représenter 100 %. Dans le cas de la validation croisée « leave-one-out », cette matrice est encore moins pertinente, car l'ensemble de validation ne contient qu'une seule observation.
