Niveau: Mittelstufe
Robert Anderson, JMP Senior Statistical Consultant, SAS
Die korrekte Identifizierung des bestmöglichen Modells und die Bestimmung der wirklich wichtigen Faktoren sind stets von entscheidender Bedeutung, aber nie einfach. Holdback-Validierung wird häufig eingesetzt, um Overfitting zu vermeiden und die Aufnahme nicht-authentischer Terme in ein Modell auszuschließen. Sie ist jedoch keine narrensichere Methode, insbesondere bei kleinen Datensätzen. Das resultierende Modell hängt oft davon ab, wie die Trainings- und Validierungszeilen zugeordnet sind. Eine einzelne Validierungsspalte allein reicht nicht aus, um das „beste“ Modell zu identifizieren. Durch die Verwendung mehrerer Validierungsspalten ergibt sich jedoch ein klareres Bild. Anhand der Simulationsfunktion in JMP Pro und einiger simulierter Datensätze zeigt diese Präsentation, wie die erneute Anpassung von Modellen mit mehreren Validierungsspalten die Identifizierung des am häufigsten auftretenden und wahrscheinlichsten Modells ermöglicht. Es wird außerdem gezeigt, dass dieser Ansatz selbst bei Datensätzen mit nur 30 Zeilen funktioniert.
