Verhältnis zwischen Trainingsgröße und TestdatensatzHallo, ich habe einen relativ kleinen Datensatz mit 95 Beobachtungen / Aufzeichnungen und ungefähr 70 Variablen für jede Aufzeichnung. Ziel ist es, festzustellen, welche Variablen die Reaktion beeinflussen, und die optimalen Einstellungen dieser Variablen zu finden. Aufgrund der geringen Anzahl von Beobachtungen habe ich beschlossen, die Daten nur in zwei Kategorien zu unterteilen: Trainings- und Testdatensatz (ohne Validierungsdatensatz). Meine Strategie besteht darin, einen Entscheidungsbaum auf die Partitionsplattform anzuwenden, gefolgt von einer Regression der kleinsten Quadrate mit den Variablen, die am wichtigsten erscheinen. Meine Frage ist, ob es einen allgemeinen Rat bezüglich der Proportionen der Größe des Trainings- und Testdatensatzes gibt. Ich habe es mit einer Abteilung versucht, bei der 75% der Beobachtungen in den Trainingsdaten und 25% im Testdatensatz enthalten sind, bin mir aber nicht sicher, ob dies der optimale Anteil ist.
Ich frage mich auch, ob ein Bootstrap-Verfahren für die Unterteilung in Trainings- und Testdatensätze angewendet werden könnte. Die Idee ist, eine große Anzahl von Divisionen durchzuführen und die Ergebnisse irgendwie zu mitteln. Ich bin mir nicht sicher, ob dies sinnvoll ist. Ich verwende JMP 15.
AnalytikBetreff: Verhältnis zwischen Trainingsgröße und TestdatensatzSie können die k-fache Kreuzvalidierung verwenden, die Anpassung des Lebenslaufs für kleine Datensätze.
Mit JMP Pro können Sie auch die allgemeine Regression mit LASSO für die Variablenauswahl verwenden.
Betreff: Verhältnis zwischen Trainingsgröße und TestdatensatzVielen Dank, es ist sinnvoll, eine k-fache Kreuzvalidierung anzuwenden. Ich nehme an, ich sollte dann schrittweise Regression verwenden, da k-fache Kreuzvalidierung ist keine Option mit standardmäßigen kleinsten Quadraten. Leider bin ich (noch) kein Pro-Benutzer, daher habe ich keinen Zugriff auf Generalized Regression.
Ich nehme an, Sie würden immer noch einen Teil der Daten reservieren, um die Vorhersagefähigkeit des endgültigen Modells zu testen.
Betreff: Verhältnis zwischen Trainingsgröße und TestdatensatzDie Rolle des Test-Hold-Out-Sets ist nützlich für eine ehrliche Bewertung durch Kreuzvalidierung, es gibt jedoch Kompromisse. Sie verwenden K-fach CV, weil Sie einen kleinen Datensatz haben. Wenn Sie einen Teil zum Testen heraushalten, kann dies sowohl das Training als auch die Auswahl des besten Modells beeinträchtigen. Die Kreuzvalidierungsmethode basiert auf der Bestätigung des Modells mit zukünftigen Daten, verwendet jedoch stattdessen einige der vorhandenen Daten. Beabsichtigen Sie, das Modell mit neuen Beobachtungen zu bewerten? Dann bietet der Testsatz möglicherweise keinen eindeutigen Vorteil.
