Data Mining sucht nach Mustern und Beziehungen in (manchmal großen) Datenmengen. Viele Methoden, wie z. B. die rekursive Partitionierung und neuronale Netze, sind äußerst empfindlich für die Auswahl der zu extrahierenden Daten. Woher wissen Sie, ob Sie ein Modell erstellen, das für die Vorhersage zukünftiger Ergebnisse hilfreich ist?
Wir wollen ein Modell, das wiederholbar ist. Das heißt, wenn Sie für zukünftige Daten verwendet werden, haben Sie einen ähnlichen Erfolg bei der Vorhersage des Ergebnisses. Data Miner unterteilen ihre Daten in drei verschiedene Teilmengen, um die Genauigkeit des Modells sicherzustellen. Sie sind Trainingsdaten, Validierungsdaten und Testdaten. Es gibt keine feste Regel für den Anteil der Daten in jedem Datensatz, aber eine gute Daumenregel ist 40/40/20.
Erstellen wir zwei neue Variablen. Die erste Variable weist Werte aus einer zufälligen Gleichverteilung zu, die zufällig einen Wert zwischen 0 und 1 (einschließlich) zuweisen. Als Nächstes erstellen Sie eine neue Variable mit dem Namen "Subset". Verwenden Sie dazu den Formeleditor, der unsere Daten in die drei Subsets gruppiert. Wenn der Wert unter 0,40 liegt, werden diese Daten zum Trainieren verwendet. Die Daten zwischen 0,40 und 0,80 werden zur Validierung verwendet. Daten über 0,80 werden zum Testen verwendet. Siehe den Formeleditor weiter unten. Bleiben Sie dran für einen einfacheren Weg in der nächsten Version von JMP .
Die Trainingsdaten werden zum Erstellen Ihres Modells verwendet. Wenn Sie das Gefühl haben, dass Sie das Muster und nicht das Rauschen modelliert haben, führen Sie das Modell mit Ihrem Validierungsdatensatz aus. Die Ergebnisse, insbesondere wenn die Datensätze groß sind, sollten ähnlich sein. Wenn die Ergebnisse unterschiedlich sind, passt das von Ihnen erstellte Modell zu den Daten (dh das Rauschen wird modelliert). Es wird einiges hin und her in diesem Prozess geben. Sobald die Trainings- und Validierungsergebnisse ähnlich sind, haben Sie ein gutes Modell gefunden, von dem Sie erwarten würden, dass es wiederholbar ist. Dieses Modell wird mit dem Testdatensatz getestet. Alle drei Modelle sollten eine ähnliche Passform haben. Andernfalls haben Sie das zugrunde liegende Muster in den Daten nicht aufgedeckt.
Trainieren Sie Ihr Modell anhand der Trainingsdaten, indem Sie die Validierungs- und Testdaten mithilfe des Datenfilters in JMP ausblenden und ausschließen. Führen Sie das Modell erneut mit der Validierung aus und testen Sie dann die Datensätze, indem Sie mit dem Datenfilter zwischen den Validierungs- und Testdaten wechseln.
Die Verwendung der Train-Validate-Test-Methode ist besonders wichtig, wenn Sie Modelle aus verschiedenen Methoden vergleichen. Wenn Sie feststellen, dass die Modelle beispielsweise für neuronale Netze wiederholbar sind, jedoch keine rekursive Partitionierung, haben Sie das Modell und die beste Methode für die zukünftige Vorhersage des Ergebnisses entdeckt.
Anmerkung des Herausgebers: Dieser Beitrag wurde ursprünglich von einem anderen Blogger gepostet.
Mit JMP schnell bessere Vorhersagemodelle erstellen schrieb:
[...] In diesem Blog wurde vor kurzem ein großartiger Beitrag zum Konzept der Trainings-, Validierungs- und Testsets zum Erstellen Ihrer Modelle vorgestellt. Zur Erstellung eines Modells, das nicht nur beschreibend, sondern auch prädiktiv ist, [...]
Michael Joner schrieb:
In dem Screenshot des Formel-Editors gibt es tatsächlich zwei "Random Uniform ()" - Aufrufe. Dies führt dazu, dass 40% im Zug erzielt werden, aber dann die verbleibenden 60% der Daten (ohne Zug) zu 40/60 aufgeteilt werden. So erhalten Sie einen 40/24/36 Split mit diesem Code. Sie können dies direkt sehen, indem Sie die Formelspalte wie beschrieben erstellen und dann die Verteilungsplattform für diese Formelspalte ausführen. Es gibt einige Lösungen für dieses Problem. Eine Möglichkeit besteht darin, zwei Spalten zu erstellen: eine Spalte mit Zufallszahlen () und die zweite zu kategorisierende Spalte.
