Die Validierungsspalte dient dazu, die Daten in einen Trainingsdatensatz (zum Erstellen eines Modells) und einen Validierungsdatensatz (zur Bewertung der Vorhersageleistung des Modells) aufzuteilen. Werden mehrere Modelle trainiert, wird häufig das Modell mit der besten Leistung auf den Validierungsdaten ausgewählt. Manchmal wird ein dritter Datensatz (Testdatensatz) verwendet, um die Vorhersageleistung des ausgewählten Modells auf neuen Daten zu bewerten. Dies gilt als genauere Methode zur Bewertung der zukünftigen Leistung eines Modells, da der Testdatensatz weder beim Erstellen noch beim Auswählen des Modells verwendet wurde. Die Verwendung einer Validierungsspalte ist besonders hilfreich beim Erstellen von Modellen, die zur Überanpassung an die Daten neigen. Einige Modellierungsplattformen in JMP bieten die Möglichkeit, den Validierungsteil beim Trainieren des Modells festzulegen, sodass das Erstellen einer Validierungsspalte nicht erforderlich ist.
Erstellen einer Validierungsspalte (Trainieren, Validieren, Testen) in JMP Pro
- Wählen Sie in einer geöffneten JMP-Datentabelle „Analysieren“ > „Vorhersagemodellierung“ > „Validierungsspalte erstellen“ .
- Mithilfe von Spalten für Stratifizierung, Gruppierung und Trennpunkte können Sie die Partitionierung anpassen. Wenn Sie eine einfache Validierungsspalte wünschen, klicken Sie auf OK .
- Geben Sie im sich öffnenden Fenster Werte (Anzahlen oder Anteile) ein, die festlegen, wie die Daten auf die Trainings-, Validierungs- und Testdatensätze verteilt werden. Wählen Sie bei Bedarf einen Zufallswert, um die zufällige Zuordnung zu wiederholen. Klicken Sie auf OK. Es wird eine neue Spalte erstellt, die mit den Werten 0, 1 und 2 in den angegebenen Anteilen (oder Anzahlen) gefüllt wird.
• 3.576 (60%) der Beobachtungen (Trainingsdatensatz) werden zum Aufbau (Trainieren) des Modells verwendet.
• 1.758 (30%) der Beobachtungen (Validierungsset) werden zur Validierung und Auswahl des besten Modells verwendet.
• 596 (10%) der Beobachtungen (Testdatensatz) werden verwendet, um die Leistung des gewählten Modells an neuen Daten zu testen.
Erstellen einer Validierungsspalte in JMP
- Wählen Sie in einer geöffneten JMP-Datentabelle im Menü „Spalten“ die Option „Neue Spalte“ .
- Ändern Sie im daraufhin angezeigten Fenster „Neue Spalte“ den Spaltennamen in „Validierung“ .
- Klicken Sie neben „Daten initialisieren“ auf den Pfeil und wählen Sie „Zufällig“ aus.
- Wählen Sie den Zufallsindikator . Geben Sie die gewünschten Anteile ein. Hier haben wir 50 % 0 (Training), 30 % 1 (Validierung) und 20 % 2 (Test) gewählt.
- Um anstelle von 0, 1 und 2 die Bezeichnungen Train, Validate und Test anzuzeigen, klicken Sie mit der rechten Maustaste auf die Spalte und wählen Sie Spalteneigenschaften > Wertbezeichnungen. Geben Sie den Wert und die gewünschte Bezeichnung ein und klicken Sie auf Hinzufügen . Fügen Sie jeweils einen Wert hinzu.
- Klicken Sie auf „Anwenden“ , um die neue Spalte in der Datentabelle anzuzeigen (und zu überprüfen, ob die Spalte wie gewünscht erstellt wird). Klicken Sie anschließend auf „OK“ , um die Spalte zu erstellen.
Besuchen Sie „Vorhersage- und Spezialmodelle > Validierungsspalte in JMP erstellen“, um mehr zu erfahren.
