JMP Pro ist ein großartiges Werkzeug, um schnell mehrere Modelle mit Ihren Daten zu erstellen, und zwar unter Verwendung verschiedener Techniken, nämlich baumbasierter Methoden (Boostrap Forest, Boosted Tree - Optionen in der Partition - Plattform), neuronalen Netzwerken und bestrafter Regression (unter Verwendung der Generalisierte Regression Persönlichkeit in Fit Model).
Wenn Sie Vorhersagemodelle erstellen, benötigen Sie fundierte Methoden zur Validierung Ihres Modells. Andernfalls kann es zu Problemen bei der Überanpassung kommen. Viele Modellierungsplattformen in JMP Pro unterstützen eine Validierungsspalte. In der Validierungsspalte werden Ihre Daten in Schulungs- und Validierungsabschnitte aufgeteilt. Ausbildung Daten werden verwendet, um das Modell zu erstellen, und Validierung Daten werden zur Abstimmung des Modells verwendet. Manchmal ein dritter Split - Prüfung - wird verwendet, um neu eingegangene Daten zu simulieren, so dass Sie sehen können, wie das Modell mit Daten arbeitet, die zuvor vom Modell nicht gesehen wurden.
Angenommen, Sie möchten 70 Prozent Ihrer Daten für die Erstellung des Modells verwenden und 30 Prozent sparen, um das Modell zu überprüfen oder zu optimieren. Vielleicht denken Sie, dass die Stichprobe aller Ihrer Zeilen der beste Weg ist - aber das kann leicht zu Problemen führen, wenn Sie mit vielen Ausreißern oder einem seltenen Ereignis zu tun haben. Bei einer einfachen Stichprobe könnten alle wichtigen Datenpunkte (wie die seltenen Ereignisse) problemlos in den Trainingssatz oder den Validierungssatz eingefügt werden. Dies führt zu suboptimalen Modellierungsbedingungen und kann dazu führen, dass Modelle erstellt werden, die nicht sehr nützlich sind.
Mit der Neural-Plattform in JMP Pro können Sie in wenigen Schritten automatisch eine neutrale und ausgewogene Validierungsspalte erstellen. Ich verwende den Boston Housing-Datensatz, der sich in den Beispieldaten in JMP befindet (Hilfe> Beispieldaten). Für diese Daten möchte ich ein Haus vorhersagen mvalue basierend auf einer Reihe von möglichen Prädiktoren. Die folgende Verteilung zeigt, dass die Antwort eine Reihe von Hochs hat mWerte dass wir sicherstellen möchten, dass sie gleichermaßen in unsere Schulungs- und Validierungssets unterteilt sind.
Beim Neural Model Launch kann ich einen Holdback-Anteil für die Validierungsmethode angeben. Da ich einen 70/30-Split haben möchte, stelle ich .3 ins Feld. Die neuronale Plattform sortiert die Antwort automatisch vom niedrigsten zum höchsten Wert und ordnet den Datensatz dann zufällig entweder dem Trainings- oder dem Validierungssatz zu, basierend auf meinem gewünschten Anteil.
Das eigentliche Neural-Modell interessiert mich hier nicht besonders, also kann ich einfach die Standardeinstellungen akzeptieren und auf "Los" klicken. Dann wähle ich im roten Dreieck-Menü die Option "Gültigkeit speichern" aus.
Dadurch wird automatisch eine neue Validierungsspalte in meiner Datentabelle erstellt, wobei jede Zeile mit "Training" oder "Validation" gekennzeichnet ist.
Wenn wir wieder eine Distribution an die Antwort mit Validierung als anpassen Durch können Sie sehen, dass die Eigenschaften der Trainings- und Validierungssätze sehr nahe beieinander liegen. Die Neural-Plattform hat es sehr gut geschafft, meine Daten auf intelligente Art und Weise aufzuteilen - automatisch.
Nun bin ich bereit, den Prozess des Modellierens von Modellen zu beginnen - in dem Wissen, dass ich ein solides Datenaufteilungsschema habe, mit dem ich das informativste und nützlichste Modell mit meinen Daten erstellen kann. Dank an Chris Gotwalt , der Entwickler der Neural Platform, der mir diese mächtige Fähigkeit gezeigt hat. Es war sicherlich der schnellste und zuverlässigste Weg, eine Validierungssäule in JMP Pro zu erstellen, die ich bisher gefunden habe.
Daniel Valente schrieb:
Danke, Scott, ich bin froh, dass es Ihnen gefallen hat! Sie haben Recht, Sie können mit dieser Methode nur ein Schulungs- und Validierungsset erstellen. Das Test-Set ist nur verfügbar, wenn eine Validierungsspalte verwendet wird (beim Starten der Plattform).
Scott Wise schrieb:
Großer Blog Dan! Können wir mit dieser Methode auch einen Test-, Train- und Validate-Split durchführen ... oder nur einen Test- und Train-Split? Ich glaube, ich kenne die Antwort (nein), wollte es aber überprüfen!
