Level: Mittelstufe
Robert Anderson, Senior Statistical Consultant bei JMP, SAS
Das bestmögliche Modell richtig zu identifizieren und zu bestimmen, welche Faktoren wirklich wichtig sind, sind immer lebenswichtige Aufgaben, aber niemals einfach. Die Holdback-Validierung wird häufig verwendet, um eine Überanpassung zu unterdrücken und zu vermeiden, dass nicht echte Ausdrücke in ein Modell aufgenommen werden. Es ist jedoch keine narrensichere Methode, besonders wenn mit kleinen Datensätzen gearbeitet wird. Das Modell, das Sie erhalten, hängt häufig davon ab, wie die Trainings- und Validierungszeilen zugewiesen werden. Es kann nicht davon ausgegangen werden, dass eine einzelne Validierungsspalte auf das „beste“ Modell verweist. Durch die Verwendung vieler verschiedener Validierungsspalten entsteht jedoch ein klareres Bild. Mit der Simulate-Funktion in JMP Pro und einigen simulierten Datensätzen wird in dieser Präsentation gezeigt, wie durch das Umrüsten von Modellen mit mehreren Validierungsspalten das am häufigsten auftretende und wahrscheinlichste Modell identifiziert werden kann. Es wird auch zeigen, dass dieser Ansatz auch für Datensätze mit nur 30 Zeilen geeignet ist.
