Bei prädiktiven Modellen mit binärem Y, die Kreuzvalidierung ermöglichen (z. B. k-fache Kreuzvalidierung oder Leave-One-Out-Kreuzvalidierung), spiegelt die Konfusionsmatrix nur die letzte Iteration der Kreuzklassifizierung wider. Beispielsweise umfasst der Trainingsdatensatz bei 5-facher Kreuzvalidierung 80 % der Daten, der Validierungsdatensatz hingegen nur 20 %. Der Validierungsdatensatz sollte alle fünf Datenteile kombinieren, um 100 % abzubilden. Bei Leave-One-Out-Kreuzvalidierung ist die Konfusionsmatrix noch weniger aussagekräftig, da der Validierungsdatensatz nur eine einzige Beobachtung enthält.
