Verwendung von Validierungsdaten für den verstärkten BaumIch habe ein Vorhersagemodell mit Boosted Tree entwickelt. Ich hatte 30.000 Zeilen Trainingsdaten. Ich habe 10.000 Tonnen „Validierungsdaten“. Wie lasse ich den Validierungsdatensatz durch das Modell laufen (ich habe über 800 Variablen in meinem Modell, daher war es nicht praktikabel, eine „Formel“ zu erhalten). Bitte stellen Sie eine interaktive Lösung (kein Skript) bereit.VersuchsplanungBetreff: Verwendung von Validierungsdaten für einen verstärkten BaumIch würde es vorziehen, die Testdaten anzuhängen (mithilfe von „Verketten“ – nachdem ich die Spalte mit der Vorhersageformel gespeichert und das Kontrollkästchen zum Auswerten von Formeln aktiviert habe).Sie möchten die Testdaten nicht zu einem Validierungssatz machen, da sie bei der Entwicklung der Modelle verwendet werden.JMP trennt die Leistung Ihres Modells automatisch zwischen Trainings-, Validierungs- und Testdaten.
Ich bin immer noch besorgt über Ihre wiederholten Hinweise auf die Komplexität Ihres Modells.Normalerweise kann JMP recht komplexe Formelspalten verarbeiten.Wenn es komplex genug ist, um Probleme bei der Auswertung durch JMP zu verursachen, mache ich mir Sorgen, ob Sie dieses Modell verwenden sollten.Wenn Sie Millionen von Zeilen hätten, könnte es sich um eine Hardwarebeschränkung handeln – aber bei 30.000 Zeilen sollte es kein Problem geben, es sei denn, Sie haben zu viele Variablen in Ihrem Modell.Wie Sie vermuten, enthält Ihr Modell möglicherweise etwa 800 Variablen, und ich vermute, dass dies bei einigen Vorhersagemodellen zu Problemen führen könnte.Meine erste Reaktion wäre jedoch, dass Sie wirklich kein Modell mit 800 Faktoren und nur 30.000 Datenpunkten wollen (weniger, wenn Sie Validierungs- und Testdatensätze verwenden).Sicherlich können Sie mit weniger Faktoren ein Modell mit nahezu der gleichen Leistung erhalten.Daher denke ich, dass der erste Schritt darin bestehen würde, ein handlicheres Modell zu bekommen.
Betreff: Verwendung von Validierungsdaten für einen verstärkten BaumHier ist meine Meinung zu diesem Zeitpunkt. Wenn Sie ein Modell in einer JMP-Datentabelle haben, das Sie auswerten möchten, hängen Sie einfach den neuen Satz von „Test“-Prädiktoren und die Antwort an die Datentabelle an, die das Modell enthält. Ich würde dem neuen Satz von Zeilen ein eindeutiges Plotsymbol geben, damit Sie in allen Plots, die Sie erstellen, wissen, dass es sich um die „neuen“ Zeilen handelt. Die Spalte „Vorhergesagt“ wird mit Werten für die „Test“-Prädiktoren gefüllt und dann würde ich einfach Graph Builder für tatsächliche und vorhergesagte Werte verwenden und sehen, was Sie sehen. Vielleicht einen lokalen Datenfilter für Zeilen einrichten, die in „Training“ und „Test“ verwendet werden?
Betreff: Verwendung von Validierungsdaten für einen verstärkten BaumDas klingt etwas verwirrend, aber ich werde es nächste Woche versuchen, wenn ich wieder online bin.
Danke.
Betreff: Verwendung von Validierungsdaten für einen verstärkten BaumAha!
Betreff: Verwendung von Validierungsdaten für einen verstärkten BaumKurze Frage: Ich habe einen vollständig separaten Testdatensatz. Kombiniere ich es mit
den ursprünglichen Datensatz (dh anhängen) – um ihn dann durch mein Modell laufen zu lassen?
Wenn ich das mache, muss ich eine Validierungsspalte mit Einsen für den Test fest codieren/erstellen
und 0 für das Training (oder die Validierung), damit das Modell es ausführen kann? Ich auch nicht
Ich bin sehr daran interessiert, die „Formel“ zu erstellen – weil sie zu groß für die zu sein scheint
Programm zu verwalten. Ist dieses Denken sinnvoll?
Ich möchte wirklich nur in der Lage sein, das TEST-Set vom Modell aus auszuführen, und das tue ich nicht
Ich weiß ziemlich genau, wie. (Außerdem werde ich nächste Woche daran arbeiten (nicht diese Woche,
leider) - da ich Familie zu Besuch habe.
Meinen Dank
Betreff: Verwendung von Validierungsdaten für einen verstärkten BaumEine kleine weitere Klarstellung als Ergänzung @dale_lehman 's zweite Antwort. Er hat Recht, wenn er angibt, dass, wenn Sie eine Spalte erstellen, die für die Spezifikation der Zeilenvalidierungskategorie verwendet wird, d. h. eine Validierungsspalte, alles automatisch von der Analyseplattform verarbeitet wird, wenn Sie die Plattform ausführen. Die Ergebnisse werden in die verschiedenen Plattformberichtselemente für die Trainings-, Validierungs- und Test-Teildatensätze aufgenommen. Der Teil, den Dale ausgelassen hat, war, dass Sie beim Erstellen der Validierungsspalte im Dialogfeld angeben müssen, dass Sie alle drei Kategorien erstellen möchten: Training, Validierung und Test sowie die Methode, mit der jede Zeile zugewiesen wird. Hört sich an, als hätten Sie eine ziemlich große Anzahl an Beobachtungen, daher ist eine rein zufällige Zuordnung wahrscheinlich ein guter Ausgangspunkt.
Betreff: Verwendung von Validierungsdaten für einen verstärkten BaumIhre Antwort hilft nicht weiter, aber danke.
Betreff: Verwendung von Validierungsdaten für einen verstärkten BaumDas Prädiktor-Screening ist ein guter erster Schritt, um zu verstehen, welche Variablen wichtig sind. Sehen Sie sich das Skript im Skriptindex an, um zu verstehen, wie es funktioniert.
Ich würde zuerst eine Stichprobe der Originaltabelle erstellen, um die Anzahl der Zeilen zu reduzieren (Hauptmenü: Tabellen->Teilmenge …)
Mit dieser Teilmenge können Sie in kurzer Zeit mehrere Dinge ausprobieren, die Skripte für die vielversprechenden Ideen speichern und sie später auf den großen Datensatz anwenden.
Names Default To Here( 1 );
dt = Open( "$SAMPLE_DATA/Boston Housing.jmp" );
obj = dt << Predictor Screening( Y( :chas ), X( :crim, :indus, :nox, :rooms, :age, :distance, :radial ) );
Betreff: Verwendung von Validierungsdaten für einen verstärkten BaumWenn Sie die Validierungsspalte mithilfe der Funktion in der Predictive Modeling Platform erstellen, führt JMP Ihr Modell automatisch anhand der Trainings-, Validierungs- und Testdaten aus.Sie müssen also nichts weiter tun.Nun sind Ihre Anmerkungen zu Problemen bei der Ausführung Ihres Modells eine andere Sache – es hört sich so an, als gäbe es Probleme mit dem Modell, und ich vermute, dass die 800 Variablen in Ihrem Modell etwas widerspiegeln, das korrigiert werden muss.Ich würde nach Möglichkeiten suchen, die Anzahl der Funktionen zu reduzieren.
Betreff: Verwendung von Validierungsdaten für einen verstärkten BaumIch werde das versuchen.
Da das Modell jedoch so groß ist, schien es, als würde die Vorhersageformel überhaupt nicht funktionieren – sie scheint das Programm zum Stillstand zu bringen. Wenn ich die Testdaten wirklich ausführen möchte, wie führe ich sie aus? Vielen Dank – ksfire1
Betreff: Verwendung von Validierungsdaten für einen verstärkten BaumIch verstehe deine Frage nicht.Wenn Sie über eine Validierungsspalte verfügen und diese in das Feld „Validierung“ einfügen, werden die Modellergebnisse für die Validierungsdaten gemeldet.Ich teile die Meinung, dass Sie vielleicht ein einfacheres Modell wünschen und verschiedene Modelle ausprobieren sollten.Ich möchte hinzufügen, dass Sie möglicherweise 10 % der Daten als Testdaten reservieren möchten, da die Validierungsdaten beim Aufbau des Modells verwendet werden und die Gefahr einer Überanpassung besteht, insbesondere bei 800 Variablen in Ihrem Modell.Daher würde ich vorschlagen, Ihre Daten in Trainings-, Validierungs- und Testdatensätze aufzuteilen, verschiedene Modelle auszuführen und die Modellvergleichsfunktion zu verwenden, um zu sehen, wie die Modelle mit den Testdaten umgehen.Dieser Vergleich sollte automatisiert werden, sobald Sie die Vorhersageformeln aller Ihrer Modelle gespeichert haben.
Betreff: Verwendung von Validierungsdaten für einen verstärkten BaumMit der Formel wäre alles einfach. Hast du versucht? Was ist passiert?
Ich gehe davon aus, dass Sie JMP Pro verwenden.
Haben Sie versucht, ein weniger komplexes Modell zu erstellen? Haben Sie Predictor Screening oder andere Techniken zur Variablenreduktion ausprobiert? Oder andere Modellierungstechniken?
Um das beste Modell zu erhalten, sollte man verschiedene Techniken/Variablensätze verglichen haben.
