Bewertung von Modellen in GenRegHi,
Wenn ich beim Erstellen eines Modells mit Generalized Regression Standard Least Squares – mit oder ohne Validierungsspalte – verwende, gibt JMP eine Reihe nützlicher Metriken unter der Gliederung der Modellzusammenfassung aus. Wenn ich jedoch eine andere Methode verwende – Vorwärtsauswahl oder Lasso oder was auch immer –, um andere Validierungsmethoden neben der Validierungsspalte zu erhalten, gibt es keine einzelnen Metriken, die ich vergleichen kann. Wenn ich also eine Validierungsspalte habe, kann ich so etwas wie ein R^2 des Trainingssatzes und des Validierungssatzes erhalten. Aber wenn ich Leave-One-Out oder AICc oder einen Holdback-Satz oder irgendetwas anderes verwende, kann ich keine guten Gesamtmodell-Zusammenfassungsstatistiken erhalten. Ich gehe davon aus, dass die Lösungspfaddiagramme ungefähr das Beste sind, was ich bekommen kann.
Die Lösungspfaddiagramme sind jedoch nicht besonders hilfreich, wenn ich versuche, mehrere Ansätze zu vergleichen. Wenn ich schrittweise zum traditionellen zurückkehre, kann ich denselben Satz von Kandidatenbegriffen durch die AICc-Auswahl und die BIC-Auswahl laufen lassen, sehen, dass ich unterschiedliche Modelle erhalte, und den R^2 oder den RMSE oder den AICc oder den BIC oder ein anderes Modell vergleichen zusammenfassende Statistik, um zu sehen, welches Modell "besser" ist. Wenn ich traditionell schrittweise eine K-Fold-Kreuzvalidierung auswähle, kann ich eine „RSquare K-Fold“-Statistik erhalten.
Was sind die Analoga für diese Werkzeuge in der generalisierten Regression? Ich freue mich wirklich darauf, die Flexibilität zu nutzen, die GenReg bieten kann, aber ich weiß nicht, wie ich zwischen verschiedenen Optionen wählen soll. Ich bin mir sicher, dass es etwas Einfaches gibt, aber da ich relativ neu bei GenReg bin, bin ich mir einfach nicht sicher, was es ist.
Vielen Dank,
Michael
Betreff: Bewertung von Modellen in GenRegVielen Dank, dass Sie mit uns daran gearbeitet haben, und stellen Sie bitte sicher, dass Sie das, was Sie sehen möchten, zur Wunschliste hinzufügen.
Am besten,
Rechnung
Betreff: Bewertung von Modellen in GenRegJa... Ich arbeite mit einigen kleineren Datensätzen, weshalb ich zum Leave-one-out tendiere, aber das bringt mich zurück zu meiner Frustration bei dem Versuch, das Modell zu bewerten. Ich hätte gerne etwas Quantitativeres, das erklärt, warum JMP zu einem bestimmten Modell kommt, anstatt nur eine Go-Taste zu drücken und auf das Beste zu hoffen.
Betreff: Bewertung von Modellen in GenRegMichael,
Ich glaube, Sie können mit einer 3-Level-Validierungssäule erreichen, was Sie wollen.Training, Validierung und Test.Die Testdaten werden bei der Modellanpassung nicht verwendet und der RSquare aus dem Test-Set wird dann mit dem RSquare für Ihre Trainings- und Validierungs-Sets verglichen.Je näher, desto besser.Dies ist mit einem kleineren Datensatz (< 100 Zeilen) etwas schwieriger zu bewerkstelligen, aber ich habe festgestellt, dass dies eine sehr gute Möglichkeit ist, um zu bestimmen, wie gut Ihr „All-in-Modell“ zukünftige Daten vorhersagen wird.
Zu Ihrem letzten Punkt glaube ich, dass Leave-one-out K-fold eine der besten Kreuzvalidierungstechniken ist, die Sie für kleinere Datensätze auswählen können.
Betreff: Bewertung von Modellen in GenRegOk Bill,
Vielen Dank. Ich lerne immer noch, aber ich glaube, ich verstehe jetzt ein bisschen mehr.
Ich denke, worauf ich hinaus will, ist, dass ein All-in-R ^ 2 (in allen Zeilen der Daten) nützlich ist, aber ich suche nach etwas Ähnlichem:
Der Unterschied zwischen den Modellanpassungsstatistiken für den Trainingssatz und den Validierungssatz gibt Aufschluss darüber, wie robust das Modell gegenüber Beobachtungen ist, die vom Anpassungsprozess zurückgehalten werden. Eines der Dinge, nach denen ich beim Erstellen von Modellen gerne Ausschau halte, ist eine Statistik, die mir sagt, dass mein Modell immer noch angemessen wäre, wenn ich mehr Beobachtungen erhalten würde.
Vielleicht besteht die einzige Möglichkeit, dies zu tun, darin, eine Validierungsspalte zu erstellen und zufällig einen Satz von Beobachtungen zu identifizieren, die zurückgehalten werden sollen, anstatt zu versuchen, eine mehrfache Validierung durchzuführen (Identifizierung mehrerer Sätze von Beobachtungen, die zurückgehalten werden sollen). Ich denke, dass eine mehrfache Validierung zu einem robusteren Modell führen würde, aber vielleicht stimmt das nicht?
Michael
Betreff: Bewertung von Modellen in GenRegMichael,
Ich hatte weitere Korrespondenz mit dem Entwickler basierend auf Ihrer Antwort und unten ist, was er zurückgeschickt hat;
„... was er vergleicht, ist das R^2 im Modellvergleich (für ein vorwärtsgerichtetes Selektionsmodell, das in Genreg eingebaut ist) mit dem R^2 eines vorwärtsgerichteten Selektionsmodells, das in der schrittweisen Plattform eingebaut ist. Das R^2 in seinem Modellvergleich (0,8704) wird anhand der gesamten Daten berechnet. Die schrittweise Ausgabe enthält diese Informationen auch, ich habe sie unten rot eingekreist. Der Wert, den er im Stepwise-Bericht eingekreist hat (0,8514), ist das k-fache R^2. Das Problem ist also, dass er ein R^2 für die gesamten Daten mit einem R^2 für das k-fache vergleicht." 
Der Entwickler spricht weiter über Unterschiede zwischen den beiden Plattformen;
"....(wenn) die Vorwärtsauswahl in Genreg mit der Vorwärtsauswahl in Stepwise verglichen wird. Es gibt ein paar subtile Unterschiede in der Art und Weise, wie die beiden Plattformen die Vorwärtsauswahl durchführen. Genreg betrachtet Score-Tests, um zu entscheiden, welcher Effekt als nächstes eingeführt werden soll, Stepwise betrachtet Wald-Tests.
Und schließlich die Berechnung für K-fold RSquare in Stepwise von Fang Chen in der Entwicklungsgruppe:
„Der K-Fold RSquare in Stepwise wird berechnet, indem der allgemeinen Definition von RSquare = 1 – SSE/SST gefolgt wird, wobei SSE basierend auf Residuen aus jeder der K Holdout-Stichproben berechnet wird.
K-Fold RSquare = 1 - ResV`*ResV / ( (Y-YMean)`*(Y-YMean)"
Dieses letzte Bit könnte der Kern dessen sein, wonach Sie gesucht haben, warum die RSquare-Werte unterschiedlich sind.Ich habe die anderen Bits in der Hoffnung hinzugefügt, eine vollständigere Antwort zu geben.
HTH
Betreff: Bewertung von Modellen in GenRegRechnung,
Ich bin immer noch verwirrt. Der GenReg-Entwickler sagt, dass GenReg einen Vergleich des Modells durchführt (R^2? etwas anderes?), aber ich weiß nicht, wo ich es finden kann, siehe meinen ursprünglichen Beitrag, der besagt, dass ich keine Metriken finden konnte. Auch interessant, dass er sagt, dass schrittweise und Modellvergleich R ^ 2 auf die gleiche Weise berechnen. Das ist seltsam, da ich eindeutig zwei verschiedene Werte für R ^ 2 erhalten habe.
Vielen Dank,
Michael
Betreff: Bewertung von Modellen in GenRegMichael,
Bitte lesen Sie die Erklärung unten von einem der Entwickler der GenReg-Plattform.
„Wenn wir R^2 berechnen, vergleichen wir, wie gut unser Modell im Vergleich zu einem Nullmodell (nur Schnittpunkt) passt. Auf dem Trainingsdatensatz ist es offensichtlich, wie wir dies tun sollten – wir vergleichen unsere Anpassung mit dem auf dem Trainingsdatensatz geschätzten reinen Intercept-Modell. Auf dem Validierungssatz gibt es einige Mehrdeutigkeiten. In genreg vergleichen wir das Modell, das wir anpassen, mit dem Intercept-Only-Modell auf dem Trainingsset aufgebaut . Beim schrittweisen Vergleich und beim Modellvergleich wird R^2 berechnet, indem das angepasste Modell mit dem Nur-Schnittpunkt-Modell verglichen wird baut auf dem Validierungssatz auf ."
Der Entwickler sagte weiter, dass er der Meinung sei, dass „eine Antwort nicht unbedingt richtig oder falsch ist“.Trotzdem bevorzugt er stark die Art und Weise, wie es in GenReg gemacht wird. 
Betreff: Bewertung von Modellen in GenReg@Bill_Worley Vielen Dank! An der Oberfläche ist dies ein nützlicher Ansatz. Es stimmt nicht mit dem überein, was ich in Stepwise bekomme. Welcher Plattform soll ich glauben? (GenReg mit Vorwärtsauswahl, eine auslassen, 38 Datenzeilen in der Tabelle, vs. Schrittweise, k-Faltung aus rotem Dreieck mit 38 angegebenen Faltungen.) Siehe Screenshots. Ziemlich wahrnehmbare Unterschiede bei R^2 und geringfügige Unterschiede bei der Koeffizientenschätzung.
Betreff: Bewertung von Modellen in GenRegHallo Michael,
Meine erste Reaktion auf Ihre Frage ist, vorzuschlagen, den Modellvergleich zu verwenden.Veröffentlichen Sie die Vorhersageformeln, die Sie vergleichen möchten, im Formeldepot und gehen Sie von dort oder direkt vom Gen Reg-Bericht zu Analysieren > Vorhersagemodellierung > Modellvergleich.Sie müssen Ihre Vorhersageformeln jedoch zuerst in der Datentabelle speichern, um diese Option verwenden zu können.
HTH
Am besten,
Rechnung
