Testen der Vorhersagefähigkeit des Modells in normalem JMPHallo, ich habe ein Modell basierend auf einem Trainingsdatensatz entwickelt und möchte die Vorhersagefähigkeit des Modells anhand eines Testdatensatzes testen. Gibt es eine Möglichkeit, dies in normalem JMP zu tun? Mein Modell besteht sowohl aus kontinuierlichen als auch aus kategorialen Effekten.Ich schätze, ich müsste in der Lage sein, die Parameter des Modells zu korrigieren. Oder ist das vielleicht ein weiterer guter Grund, sich JMP Pro zuzulegen?
Erweiterte statistische ModellierungDatenexploration und -visualisierungQualitäts- und VerfahrenstechnikBetreff: Testen der Vorhersagefähigkeit des Modells in normalem JMPIch stimme zu, dass mindestens eine der Variablen in meinem Modell im Trainingsdatensatz einer völlig anderen Verteilung folgt als im Testdatensatz (siehe angehängte Datei mit test=0 gleich Trainingsdaten und test=1 gleich Testdaten). Eine Trendanalyse zeigt, dass sich das Niveau dieser Variable nach oben verschoben hat. Ich bin mir nicht sicher, warum, aber das ist etwas, das es zu untersuchen gilt.
Betreff: Testen der Vorhersagefähigkeit des Modells in normalem JMPNur als Ergänzung @P_Bartell 's Kommentare...Wenn Ihr Originaldatensatz nicht repräsentativ für zukünftige Bedingungen ist, ist die Fähigkeit eines Modells, das aus diesem Datensatz erstellt wird, für die Vorhersage nicht sehr nützlich. Das bedeutet nicht, dass Sie nichts gelernt haben, aber Sie müssen Ihren Inferenzraum erweitern, um die Vorhersagbarkeit des Modells zu verbessern (und das Modell muss möglicherweise im Laufe der Zeit geändert werden).
Betreff: Testen der Vorhersagefähigkeit des Modells in normalem JMPWenn Sie „spätere Periode“ sagen ... Als ich von der Zufallsauswahl der Beobachtungen zur Platzierung im Trainingssatz kam, basierte ich auf meiner Annahme, dass im Wesentlichen die gesamte Datensammlung repräsentativ für eine einzelne Studienpopulation war. Und Sie waren bereit, dies im Hinblick auf die Modellbewertung zu übernehmen. Wenn Sie nun „später“ sagen, wie bereit sind Sie dann anzunehmen, dass diese Idee einer einzelnen Population wahr ist? Zugegeben, Sie haben eine kleine Anzahl von Beobachtungen in beiden Datensätzen ... aber die Verwendung der K-Faltung ist eine Form der Kreuzvalidierung, die bei einer relativ kleinen Anzahl von Beobachtungen bei der Erstellung und Bewertung eines Modells auf Überanpassung hilfreich sein kann.
Meiner Meinung nach, selbst mit einer kleinen Anzahl von Beobachtungen in Ihrem Testdatensatz ... wenn Ihr Testsatz nicht gut zu den Vorhersagen/tatsächlichen Ergebnissen passt, dann sagt Ihnen das etwas ... dass Ihr Modell NICHT besonders effektiv bei der Vorhersage der Zukunft ist Leistung. In gewisser Weise lässt Ihr Testsatz Sie also nicht im Stich, sondern fordert Sie dazu auf, bei der Übernahme des Trainingsmodells als Evangelium vorsichtig vorzugehen.
Darüber hinaus haben Sie keine der Trainingsmodelldiagnosen geteilt. Vielleicht gibt es einige Probleme mit dem Modell, die die Anpassung zukünftiger Beobachtungen problematisch machen würden. Können Sie die Daten oder Diagnosen weitergeben? Möglicherweise sind in diesen Ergebnissen einige Hinweise verborgen.
Betreff: Testen der Vorhersagefähigkeit des Modells in normalem JMPDanke schön.
Mein Trainingsdatensatz besteht aus 95 Beobachtungen und ich habe eine schrittweise Regression mit k-facher Auswahl angewendet. Dann habe ich das Modell mit gewöhnlichen kleinsten Quadraten unter Anwendung einer Signifikanzgrenze von 5 % weiter reduziert. Die Idee bestand darin, einen neuen Satz von Beobachtungen (aus einem späteren Zeitraum) als Testdatensatz zu verwenden, was bedeutet, dass die Daten nicht zufällig dem Trainings- und Testdatensatz zugeordnet werden. Glauben Sie, dass es bei diesem Verfahren ein Problem gibt?
Durch die Anwendung Ihres Verfahrens habe ich für den Testdatentest ein sehr schlechtes R-Quadrat erhalten.Ich denke, das Problem ist, dass mein Testdatensatz zu klein ist (er enthält nur 20 Beobachtungen) und die Werte der erklärenden Variablen einen kleineren Bereich haben als im Trainingsdatensatz. Ich finde, dass es mit diesem Testdatensatz nicht wirklich möglich ist, die Vorhersagefähigkeit meines Modells zu bewerten.
Betreff: Testen der Vorhersagefähigkeit des Modells in normalem JMPAuf welcher Plattform wurde das Modell erstellt?
Betreff: Testen der Vorhersagefähigkeit des Modells in normalem JMPEine Frage an Sie: Hoffentlich haben Sie die Beobachtungen, die Sie in Ihr „Trainings“-Set aufnehmen möchten, zufällig ausgewählt? Wenn nicht, würde ich einen Rückzieher machen und damit beginnen. Vorausgesetzt, Sie haben es getan...
Nun ja, wenn Sie Modelle mithilfe eines Trainings-/Validierungs-/Testkonstrukts bewerten möchten, was im Allgemeinen eine bewährte Methode für prädiktive Modellierungsarbeiten ist, dann ist JMP Pro die richtige Wahl. Viele sehr nützliche Funktionen wie die Modellvergleichs- und Formeldepot-Plattformen, die speziell auf eine sehr effiziente Bewertung mehrerer Modelle ausgerichtet sind.
Da JMP Pro jedoch fehlt, sind hier zwei einfache Ideen, die Sie berücksichtigen sollten. Speichern Sie das Modell, das Sie mit Ihrem Trainingsdatensatz erstellt haben, in einer neuen Spaltenformel mit der Bezeichnung „Vorhergesagte Werte“ oder einem ähnlichen Konstrukt in einer Datentabelle, die Ihren „Test“-Datensatz enthält. Sie sollten nun Vorhersagen für die Antwort in der Spalte haben. Zeichnen Sie nun eine Y-x-Anpassungsdarstellung der „vorhergesagten Werte“ und der tatsächlichen Werte für die Antworten und prüfen Sie die „Anpassungsgüte“ der beiden Antwortsätze. Ich würde gleiche Grenzwerte für die x- und y-Achse im Diagramm für alle erzwingen, aber das tatsächliche Diagramm im Vergleich zum vorhergesagten Diagramm des Plattformberichts „Fit Model“ replizieren. Verwenden Sie Ihr Auge, um diese 45-Grad-Linie zu finden ... oder überlagern Sie sie einfach im Graph Builder.
Eine andere Variante wäre, die vorhergesagten Werte von den tatsächlichen Werten zu subtrahieren und die Residuen in einem Histogrammformat darzustellen.
Diese Techniken tragen nicht dazu bei, die Überanpassung zu bewerten. Aber wenn Ihr Schwerpunkt ausschließlich auf der Vorhersage liegt, ist das ein Anfang.
