In der angehängten JMP-Datei habe ich drei separate Regressionsmodelle für jede Antwortvariable – Gewicht, Wendekreis und PS – mit drei separaten Validierungsspalten erstellt (Trainingssatz = 70 %, Validierungssatz = 15 %, Trainingssatz = 15 %).
Ist es zum Erstellen von Regressionsmodellen erforderlich, für jede Antwortvariable eine Validierungsspalte zu erstellen, oder reicht eine Validierungsspalte mit einer beliebigen Antwortvariablen aus?
Hallo @madhu ,
Frohes neues Jahr 2025!
Es gibt keine richtigen oder falschen Lösungen für Ihre Frage.
Da Sie mithilfe des maschinellen Lernens (d. h. datengesteuert) ein Vorhersagemodell für verschiedene Antworten erstellen, finden Sie hier die Verwendung der verschiedenen Sets:
- Trainingsset : Wird verwendet für das eigentliche Training des/der Modell(s),
- Validierungssatz : Wird für die Modelloptimierung (z. B. Feinabstimmung der Hyperparameter, Auswahl von Features/Schwellenwerten usw.) und die Modellauswahl verwendet.
- Test-Set : Wird zur Generalisierung und zur Beurteilung der prädiktiven Leistung des ausgewählten Modells anhand neuer/unbekannter Daten verwendet. Zu diesem Zeitpunkt sollten nicht mehrere Modelle miteinander konkurrieren.
Ich halte es zum „Debuggen“ für sinnvoller, eine Validierungsspalte für alle drei Antworten zu verwenden, um zu verstehen, wie viele Informationen aus den Daten extrahiert werden können, und um unter Verwendung derselben Trainings- und Validierungsdaten eine bessere Bewertung/einen besseren Vergleich der Schwierigkeit der Vorhersageaufgabe in Abhängigkeit von der Antwort zu ermöglichen.
Wenn Sie die Verteilung der Beobachtungen in Ihren Trainings-, Validierungs- und Testsätzen mit unterschiedlichen Validierungsspalten ändern, kann es schwieriger sein, herauszufinden, warum eine bestimmte Antwort nicht richtig/präzise vorhergesagt wird: Liegt es an der Schichtung/Verteilung der Punkte, die zur Anpassung des Modells verwendet wurden? Oder liegt es daran, dass die Vorhersage dieser Antwort schwieriger zu erreichen ist?
Nebenbei bemerkt, selbst wenn Sie nur eine Validierungsspalte verwenden, würde ich empfehlen, eine geschichtete Validierungsspaltenformel zu erstellen: Die Schichtung der Merkmale trägt dazu bei, sicherzustellen, dass die Verteilungen Ihrer Trainings-, Validierungs- und Testsätze ähnlich sind, und verhindert jegliche Datenverteilungsverschiebungen zwischen den Sätzen, die die Verallgemeinerung der Lern-/Modellanpassung Ihres Algorithmus beeinträchtigen könnten. Die Verwendung eines Validierungsspaltentyps mit Formel ermöglicht es Ihnen, Simulationen zu erstellen und die Robustheit Ihres Algorithmus mit verschiedenen ähnlichen Aufteilungen Ihrer Daten zu bewerten.
Siehe „Gelöst“: Wie kann ich viele wiederholte Validierungen automatisieren und in einer Ausgabetabelle zusammenfassen? – JMP-Benutzergemeinschaft
und gelöst: Boosted Tree - Tuning TABLE DESIGN - JMP-Benutzer-Community
Sie können auch eine K-fach -Kreuzvalidierungsspalte mit einem festen Zufallsstartwert verwenden (um die Reproduzierbarkeit der Modellergebnisse sicherzustellen), um die Robustheit und Vorhersageleistung Ihres Algorithmus anhand der verschiedenen Antworten zu bewerten.
Hoffe, diese Antwort wird Ihnen helfen,
Hallo @Victor_G
Vielen Dank für die Kommentare zu meiner Anfrage. Sie sind sinnvoll. Grüße
