Verwenden Sie diese Option, um die Daten in einen Satz zum Erstellen eines Modells (Training) und einen Satz zum Bewerten der Vorhersageleistung eines Modells (Validierung) zu unterteilen. Wenn mehrere Modelle geeignet sind, wird häufig das Modell mit der besten Leistung auf der Grundlage der Validierungsdaten ausgewählt. Gelegentlich wird ein dritter Satz (Test) verwendet, um die Vorhersageleistung des ausgewählten Modells anhand neuer Daten zu bewerten. Dies gilt als genauere Methode zur Bewertung der zukünftigen Leistung eines Modells, da der Testsatz weder beim Erstellen noch beim Auswählen des Modells verwendet wurde. Die Verwendung einer Validierungsspalte ist besonders nützlich beim Erstellen von Modellen, die dazu neigen, die Daten zu überanzupassen. Einige Modellierungsplattformen in JMP bieten die Möglichkeit, den Validierungsanteil beim Anpassen des Modells anzugeben. Daher ist das Erstellen einer Validierungsspalte nicht erforderlich.
Erstellen einer Validierungsspalte (Trainieren, Validieren, Testen) in JMP Pro
- Wählen Sie in einer geöffneten JMP-Datentabelle „Analysieren > Prädiktive Modellierung > Validierungsspalte erstellen“ aus .
- Mithilfe der Spalten „Schichtung“, „Gruppierung“ und „Grenzwert“ können Sie die Partitionierung anpassen. Wenn Sie eine einfache Validierungsspalte wünschen, klicken Sie auf „OK“ .
- Geben Sie im angezeigten Fenster Werte (Anzahl oder Anteile) ein, die angeben, wie die Daten auf die Trainings-, Validierungs- und Testdatensätze verteilt werden. Wählen Sie einen Zufallsstartwert, um die gleiche Zufallszuweisung bei Bedarf zu reproduzieren. Klicken Sie auf OK. Eine neue Spalte wird erstellt und mit den Werten 0, 1 und 2 in den angegebenen Anteilen (oder Anzahlen) gefüllt.
• 3.576 (60 %) der Beobachtungen (Trainingssatz) werden zum Erstellen (Trainieren) des Modells verwendet.
• 1.758 (30 %) der Beobachtungen (Validierungssatz) werden zur Validierung und Auswahl des besten Modells verwendet.
• 596 (10 %) der Beobachtungen (Testsatz) werden verwendet, um die Leistung des ausgewählten Modells anhand neuer Daten zu testen.
Erstellen einer Validierungsspalte in JMP
- Wählen Sie in einer geöffneten JMP-Datentabelle im Menü „Spalten“ die Option „Neue Spalte“ aus.
- Ändern Sie im daraufhin angezeigten Fenster „Neue Spalte“ den Spaltennamen in „Validierung“ .
- Klicken Sie neben „Daten initialisieren“ auf den Pfeil und wählen Sie „Zufällig“ aus.
- Wählen Sie „Zufallsindikator“ . Geben Sie die gewünschten Anteile ein. Hier haben wir 50 % 0 (trainieren), 30 % 1 (validieren) und 20 % 2 (testen) gewählt.
- Um die Beschriftungen Trainieren, Validieren und Testen anstelle von 0, 1 und 2 anzuzeigen, klicken Sie mit der rechten Maustaste auf die Spalte und wählen Sie Spalteneigenschaften > Wertbeschriftungen . Geben Sie den Wert und die gewünschte Beschriftung ein und klicken Sie auf „Wert nach dem anderen hinzufügen “.
- Klicken Sie auf „Übernehmen“ , um die neue Spalte in der Datentabelle anzuzeigen (um zu überprüfen, ob die Spalte wie gewünscht erstellt wird). Klicken Sie anschließend auf „OK“ , um die Spalte zu erstellen.
Weitere Informationen finden Sie unter „Vorhersage- und Spezialmodelle“ > „Validierungsspalte erstellen“ in der JMP-Hilfe .
