752105_de-DE

liliconcom

Modellscreening

Hallo.
Meine Frage ist, dass ich einen Datensatz habe und 30 % dieses Datensatzes zum Testen abtrennen möchte. Ich möchte verschiedene Modelle mithilfe von Modellscreening ausprobieren, aber für den Validierungsteil meiner Modelle möchte ich, dass alle meine Modelle genau denselben Testdatensatz zur Validierung verwenden.
Was muss ich hierfür tun?

Prädiktive Modellierung und maschinelles LernenBetreff: Modellscreening

Hallo @maryam_nourmand ,

Der einfachste Weg, reproduzierbare Ergebnisse bei festen Trainings-/Validierungs-/Testdatensätzen zu erzielen, besteht in der Erstellung einer Validierungsspalte.

1. Gehen Sie zunächst in das entsprechende Menü zum Erstellen einer Validierungsspalte:
   
2. Anschließend können Sie Gruppen oder Schichtungen (falls erforderlich) angeben:
   

   Für die Methode stehen Ihnen mehrere Optionen zur Verfügung: Hier habe ich die Ihren Anforderungen entsprechende Standardmethode „Validierungsspalte erstellen“ verwendet und einige Variablen als Schichtungsspalten verwendet, um sicherzustellen, dass alle meine Trainings-, Validierungs- und Testsätze eine ähnliche Verteilung/Aufteilung der Werte für diese Spalten aufweisen.

3. Anschließend können Sie das Verhältnis der Daten für jeden Ihrer Sätze angeben und einen Zufallsstartwert festlegen, um eine perfekte Reproduzierbarkeit Ihrer Analyse zu erreichen. Hier habe ich einen festen Validierungstyp gewählt, aber Sie können auch eine Formelvalidierungsspalte erstellen, die es ermöglicht, verschiedene Trainings-, Validierungs- und Testsätze mit denselben Einstellungen (Gruppierung, Schichtung usw.) wie in Schritt 2 angegeben zu simulieren. Hier sind meine Datenverhältnisse 70 % für das Training, 20 % für die Validierung und 10 % für den Test (übliche Werte, für weitere Informationen und Recherchen zu diesem Thema können Sie das Papier „Optimal Ratio for Data Splitting“ von V. Roshan Joseph lesen: https://arxiv.org/pdf/2202.03326 ). Es ist wichtig, einen guten Kompromiss für die Verhältnisse zu finden, abhängig von der erforderlichen Bewertungsgenauigkeit und Modellauswahl sowie der Anzahl der verfügbaren Daten/Zeilen. Wenn Sie fertig sind, klicken Sie auf „Los“, um diese neue Validierungsspalte in Ihrer Tabelle zu erstellen:

   

4. Starten Sie abschließend die Model-Screening-Plattform und verwenden Sie Ihre neu erstellte „Validierungsspalte“ im „Validierungs“-Bereich. Sie können in dieser Phase auch einen Zufallsstartwert festlegen, um reproduzierbare Ergebnisse für die verschiedenen verwendeten Modelle und Sets zu erhalten:

   

Nur einige Klarstellungen zu den Begriffen Validierung und Test, da diese sehr oft alternativ verwendet werden und dadurch eine gewisse Verwirrung entsteht:

• Trainingsset: Wird für das eigentliche Training des/der Modells/Modelle verwendet.
• Validierungssatz: Wird für die Modelloptimierung (z. B. Feinabstimmung der Hyperparameter, Auswahl von Merkmalen/Schwellenwerten usw.) und die Modellauswahl verwendet.
• Testsatz: Wird zur Generalisierung und prädiktiven Leistungsbewertung des ausgewählten Modells anhand neuer/ungesehener Daten verwendet.

Sie können mit dem Validierungssatz also mehrere Modelle evaluieren, der Testsatz sollte jedoch nur einmal für das in der Validierungsphase ausgewählte Modell verwendet werden.

Hoffe, diese Antwort wird Ihnen helfen,

 

Betreff: Modellscreening

Danke

Betreff: Modell-Screening

Wenn Sie über JMP Pro verfügen, verfügt es über eine Plattform zum Erstellen einer Validierungsspalte. Innerhalb der verschiedenen Modellierungsplattformen können Sie die Spalte angeben, die angibt, welche Zeilen Trainingszeilen und welche Validierungszeilen sind.

Wenn Sie über Standard-JMP verfügen, können Sie ganz einfach eine Validierungsspalte erstellen, indem Sie die Funktion Random Uniform() in der Formel für die zu erstellende Validierungsspalte verwenden. (Stellen Sie sicher, dass die Spalte als Zeichenspalte angegeben ist.)

If(randome uniform()>=.7, "Validation", "Training")

Nachdem die Spalte erstellt wurde, sollten Sie zum Bildschirm „Spalteninformationen“ gehen und die Formel entfernen, die die Werte der Spalte statisch macht. So stellen Sie sicher, dass die Formel nicht ein zweites Mal ausgeführt wird und die Werte ändert.

Sie können dann die Validierungszeilen ausschließen und ausblenden, während Sie Ihr Modell erstellen. Wenn Sie dann den Modus validieren möchten, heben Sie die Ausblendung und den Ausschluss der Validierungszeilen sowie die Ausblendung und den Ausschluss der Trainingszeilen auf und führen Sie das Modell anschließend erneut aus.