Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareHallo allerseits,
Ich habe versucht, in der Community oder in der JMP-Hilfe eine Antwort auf meine Frage zu finden, aber es gelang mir nicht. Daher würde ich mich wirklich freuen, wenn mir hier jemand den richtigen Weg weisen oder mir mitteilen könnte, welches Grundkonzept mir fehlt.
Ich passe ein Modell an meine Antwort an (abhängige Variable – DV), das kontinuierlich ist, indem ich 3 unabhängige Variablen (IV) [2 kategoriale und 1 kontinuierliche] und die Interaktion zwischen 2 von ihnen (die andere verwende ich nur als Hauptvariable) verwende Wirkung). Ich habe dafür zunächst die Methode der kleinsten Quadrate verwendet, wie Sie im Screenshot unten sehen können.
Mein Diagramm „Residuum nach Vorhersage“ sieht jedoch nicht sehr gut aus (ich habe einige Ausreißer).Unabhängig davon, welche anderen Faktoren ich zum Modell – oder zur Transformation – hinzuzufügen versuchte, konnte ich mein Residuendiagramm nicht verbessern. Das Beste, was ich erreichen konnte, war eine Änderung meiner Antwort, die ich oben bereits zeige.
Als nächstes dachte ich darüber nach, die Methode der bestraften Regression (genauer gesagt Ridge) durch die generalisierte Regression zu verwenden. Ich habe gelesen, dass es gegenüber Ausreißern robuster sein kann (obwohl es zu einer gewissen Verzerrung führt).
Ich begann mit der Durchführung der Generalisierten Regression mit Standard-Kleinstquadraten.
Laut einigen Videos, die ich gesehen habe, sollte dies zu denselben Ergebnissen führen wie die Regression der kleinsten Quadrate.
Laut JMP-Hilfe ( https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ) sollte der bereitgestellte verallgemeinerte RS-Quadrat zwischen 0 und 1 liegen und wird für kontinuierliche normale Antworten in der Standardeinstellung der kleinsten Quadrate auf den traditionellen RS-Quadrat vereinfacht. Wie Sie jedoch im folgenden Screenshot sehen können, stimmt der generalisierte RSquare zwar mit dem RSquare für den Trainingssatz überein, nicht jedoch mit dem Validierungssatz (und ist negativ). Die anderen Statistiken (z. B. RASE) stimmen mit beiden Sätzen (Training und Validierung) überein.
Irgendwelche Ideen, was hier passieren könnte?
Vielen Dank im Voraus für alle Ideen und Hinweise!
PS: Für alles, was ich in diesem Beitrag mache, habe ich die FitModel-Plattform in JMP verwendet.
Datenmischung und -bereinigungBetreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareDanke, Mark! Ich habe gerade ein Ticket dazu eröffnet.
Ich werde die Antwort hier posten, sobald ich sie habe.Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareIch kann aus dieser Diskussion nicht sagen, was einen Unterschied verursachen könnte. Ich schlage vor, dass Sie sich an den technischen Support von JMP wenden ( support@jmp.com ) über die Sache.
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareVielen Dank für alle Details und dafür, dass Sie mich auf weitere Informationen zum GenReg hingewiesen haben.
Aber ich bin in diesem Fall immer noch verwirrt (unter der Annahme einer Normalverteilung für die Antwort): Was würde die Unterschiede in den verallgemeinerten Rsquare-Werten zwischen den Validierungssätzen zwischen den beiden „Plattformen“ (Fit Least Squares und GenReg) erklären?
Tut mir leid, wenn ich etwas, was Sie gesagt haben, falsch verstanden habe.
Danke schön!
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareSie haben Recht, die Metriken für das gesamte Modell sollten sich bei unterschiedlichen Parametrisierungen nicht ändern. Natürlich ändern sich die Kennzahlen für einzelne Begriffe oder Parameter.
Da die Koeffizienten bei unterschiedlichen Parametrisierungen nicht gleich sind, müssen auch ihre Schätzungen unterschiedlich sein.
Die OLS-Lösung und die MLE-Optimierung sollten unter derselben Parametrisierung und einer normalverteilten Antwort zu denselben Schätzungen führen.
Ich habe Sie in die Irre geführt: Das Standardergebnis der kleinsten Quadrate in GenReg ist OLS. Sehen diese Seite für mehr Details.
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareDanke schön!
Ich hatte keine Ahnung, dass wir die Schätzung in JMP booten konnten. Danke, dass du mir das beigebracht hast!
Vielen Dank auch für alle anderen Einblicke. Sehr hilfreich!
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareHallo @Mark_Bailey , vielen Dank, dass Sie sich noch einmal bei mir gemeldet haben. Ich schätze Ihre Hilfe und Geduld bei meinen Fragen sehr.
Ja, für diese spezielle Antwort sind alle meine Ausreißer im Validierungssatz. Für andere Antworten, die ich untersuche, trifft dies jedoch nicht zu (die Ausreißer fallen sowohl in den Validierungs- als auch in den Trainingssatz).
In Bezug auf das, was ich modelliere: Ich habe einige Experimente mit diskreter Ereignissimulation durchgeführt (mit unterschiedlichen Startwerten, damit ich unterschiedliche Daten hätte). Darauf aufbauend habe ich meine vier interessanten Antworten berechnet (hier habe ich nur eine angezeigt).
Jetzt versuche ich, ein Regressionsmodell an diese Antworten anzupassen, denn mein nächster Schritt wird darin bestehen, ein Optimierungsmodell zu verwenden, um die beste Einstellung für meine interessierenden Antworten zu finden.
Soweit ich weiß, sollte die Parametrisierung/Codierung keinen Einfluss auf die Modellstatistiken haben. Vermisse ich hier etwas? ( Codierung )
Auch bei linearer Regression und bei normalverteilten Residuen führen OLS und MLE zu denselben Koeffizienten. Nicht wahr? ( OLS und MLE )
Demzufolge Tutorial zur verallgemeinerten Regression Geschrieben von @gail_massari , etwa um 8:35 Uhr, soweit ich das verstanden habe @brady_brady sagt auch, dass die Ergebnisse zwischen MLE und OLS übereinstimmen sollten.
Könnten Sie mich abschließend auf die JMP-Hilfeseite verweisen, die darauf hinweist, dass die Generalisierte Regression MLE anstelle von OLS verwendet, wenn die Verteilung normal ist?
Aufgrund des Bildes unten (von JMP) hatte ich den falschen Eindruck, dass die Generalisierte Regression immer noch OLS verwenden würde, wenn die gewählte Verteilung Normal wäre:
Danke schön!
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareHallo @AnnaPaula ,
Ich bin mir nicht sicher, ob ich ganz nachvollziehen kann, wie Sie die berechneten Startwerte verwendet haben, um eine Schichtung der Validierungsspalte zu erzeugen. Wenn Sie jedoch die Validierungsspaltenplattform in JMP Pro verwenden (die Sie haben, wenn Sie auf GenReg zugreifen können), können Sie einfach nach der Antwort (Y-Variable) stratifizieren, die Sie anpassen. Wenn sich alle Ihre Ausreißer im Validierungssatz befinden, möchten Sie möglicherweise noch einmal darüber nachdenken, wie die beiden Sätze generiert wurden.
Ein weiterer Punkt, den Sie in diesem Zusammenhang in Betracht ziehen könnten, ist die vollständige Abspaltung eines Testdatensatzes, der nicht zur Anpassung an die Daten verwendet wird, in eine andere Datentabelle. Wenn Sie mehrere Modelle auf dem Trainings-/Validierungssatz ausführen, können Sie dann anhand des Testdatensatzes feststellen, welches Modell wirklich das beste Vorhersageergebnis liefert. Dies können Sie mithilfe der Modellvergleichsplattform tun. Vermutlich besteht Ihr Ziel darin, über die beste Vorhersagefähigkeit zu verfügen, und das müssen Sie irgendwie testen. Es sieht so aus, als hätten Sie ein ausreichend großes Set, um so etwas tun zu können. Erstellen Sie beispielsweise eine Validierungsspalte mit z. B. 60 % Training, 20 % Validierung, 20 % Test. Unterteilen Sie den Testdatensatz in eine völlig andere Tabelle und verwenden Sie dann den verbleibenden Teilsatz zum Trainieren/Validieren, um Modelle zu erstellen.
Bei Ihren anderen Fragen zu R^2 und ob es negativ ist oder nicht ganz übereinstimmt, verweise ich auf das, was Mark gesagt hat.
Wenn Ihre Daten logarithmisch normalverteilt sind, sollten Sie diese Option in der Modellspezifikation auswählen, da sich dadurch einige der zugrunde liegenden Prozesse ändern, die der Anpassung zugrunde liegen.
Wenn Sie ein Modell in SLS, GenReg oder PLS erstellt haben, können Sie die Schätzungen booten, indem Sie mit der rechten Maustaste auf die Spalte „Schätzung“ klicken und „Bootstrap“ auswählen. Sie möchten mehrere Tausend berechnen und dann die Verteilungen betrachten, um zu sehen, ob die ursprüngliche Schätzung für den Koeffizienten dieses Termes nahe an einem globalen Mittelwert vieler Schätzungen liegt. JMP führt einige Berechnungen mit leicht unterschiedlichen Startpunkten durch und generiert daher mehrere unterschiedliche Schätzungen. Sie können dann diese Verteilung sehen und feststellen, ob insgesamt 1) die Schätzung aus dem ersten Versuch korrekt war und 2) ob der Koeffizient für den Effekt tatsächlich einen Beitrag leistet viel oder nicht. In der SLS-Plattform erhalten die Effekte beispielsweise einen FDR-LogWorth-Wert, um die Falscherkennungsrate für diesen Effekt abzuschätzen. Wenn der Wert > 2 ist (blaue Linie), gibt es deutliche Hinweise darauf, dass der Effekt tatsächlich zum Modell beiträgt. Andererseits könnte er kleiner sein oder nahe dem Wert 2 liegen. Wenn Sie diese FDR-Werte booten, können Sie den Mittelwert und den Bereich ermitteln, um zu bestimmen, ob der Effekt sinnvoll ist oder nicht. Ich hatte Zeiten, in denen ein Effekt so aussah, als ob er grenzwertig sein könnte, und nach dem Bootstrapping des FDR überschritt er in den meisten Fällen tatsächlich nicht mehr als 2 und war daher kein wirklich global wichtiger Faktor im Modell.
Als letzte Anmerkung empfehle ich dringend, mehrere verschiedene Arten von Modellierungsplattformen auszuführen: Boosted Tree, Bootstrap Forest, NN usw., um zu sehen, ob eine andere Plattform für Ihre Daten/Situation am besten geeignet ist.
Hoffe das hilft!,
DS
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareMir ist in Ihrem ursprünglichen Residuendiagramm aufgefallen, dass die Ausreißer anscheinend alle im Validierungs-Holdout-Satz enthalten sind.
Die generalisierte Regression verwendet eine andere Parametrisierung als die Methode der kleinsten Quadrate anpassen. Siehe diese Seite von statistische Angaben . Es verwendet auch eine andere Schätzmethode (MLE vs. OLS).
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareHallo @SDF1
Vielen Dank für Ihre Antwort und Ihre Erkenntnisse. Sie sind sehr hilfreich und stimmen mit einigen Dingen überein, über die ich nachgedacht habe.
Ich werde hier einige zusätzliche Informationen bereitstellen, falls Sie weitere Einblicke geben möchten (ich würde mich sehr darüber freuen).
1. Die auf den Validierungsspalten basierende geschichtete Antwort weist (sehr) ähnliche Verteilungen auf. Wie ich Mark erklärte, wurde die Reaktion auf der Grundlage von Computerexperimenten berechnet, die mit verschiedenen Seeds erstellt wurden (und ich habe die Seeds zur Schichtung in Trainings- und Validierungssätze verwendet).
2. Nehmen wir an, dass ich überpasse. Meine Hauptfrage lautet:
Warum mein RSquare für den Trainingssatz 0,9995 beträgt, wenn ich LeastSquares direkt aus FitModel oder durch generalisierte Regression verwende, während mein RSquare für den Validierungssatz 0,9995 beträgt 0,9791 Verwenden von LeastSquares direkt aus dem FitModel und -1,24e+12 Verwendung der kleinsten Quadrate durch generalisierte Regression .
Ich verstehe die Unterschiede in den RSquare-Werten für den Validierungssatz nicht. Sollten die Werte nicht gleich sein (auch wenn eine Überanpassung vorliegt)?
3. Ich denke, ich habe Grund, die Begriffe in mein Modell aufzunehmen. Erstens wurde meine Antwort mit unterschiedlichen Daten basierend auf der unterschiedlichen Anzahl von Replikationen (eine kategoriale IV) und unterschiedlichen „Formeln/Daten“ basierend auf der unterschiedlichen Anzahl von Clustern (zweite kategorische IV) berechnet. Die bekannte theoretische Formel zur Berechnung der Antwort berücksichtigt die Ankunftsrate (kontinuierliche IV), da dieser Wert die generierten Daten beeinflusst.
Ich bin mir nicht sicher, wie ich das Bootstrapping in JMP durchführen soll. Aber ich habe verschiedene Modelle manuell ausprobiert (mit und ohne die Bedingungen) und auch Forward Stepwise ausprobiert. In beiden Fällen zeigten die Ergebnisse, dass die beiden kategorialen IV + ihre Interaktion + die kontinuierliche IV das beste Modell waren.
4. Ich hatte eigentlich gehofft, dass jemand Ihren letzten Punkt in diese Diskussion einbringen würde.
Meine Antwort ist eigentlich nicht Normal (eigentlich ist sie LogNormal).
Ich werde das also anpassen, wenn ich Ridge oder ElasticNet ausprobiere.
Aber selbst wenn meine Antwort nicht „Normal“ ist, sollten die RSquare-Werte für die Validierungssätze in beiden Bildern, die ich hochgeladen habe, nicht übereinstimmen?
Vielen Dank für Ihre Einblicke!
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareEntschuldigung @Mark_Bailey Ich glaube, ich war in meiner Frage nicht ganz klar.
Wie Sie sagten, habe ich Ridge nicht verwendet (das sollte mein nächster Schritt sein). Aber zuerst habe ich einfach wieder die Methode der kleinsten Quadrate (durch das Modell der generalisierten Regression) verwendet, um zu prüfen, ob die Ergebnisse mit den Ergebnissen übereinstimmen, die LeastSquares direkt aus dem FitModel-Fenster verwenden. Da meine Ergebnisse nicht übereinstimmten, habe ich es am Ende gar nicht erst mit Ridge versucht (was mein nächster Schritt wäre).
Aber ich bin neugierig Warum stimmen die Ergebnisse von LeastSquares durch die generalisierte Regression nicht mit den Ergebnissen von LeastSquares direkt von FitModel überein? . Hast du eine Idee?
Beantwortung Ihrer Fragen:
1. Der kontinuierliche Prädiktor ist nicht am Interaktionsterm beteiligt.
2. Ich habe schrittweise vorgegangen und die Schätzungen auch selbst verwendet, um zu bestimmen, ob der Interaktionseffekt entfernt werden sollte
3. Ich habe Log, Logistic, Logit und Reciprocal ausprobiert. Bei der Umkehrung verschlechtert sich das Modell erheblich. Bei Logistic gibt es eine leichte Verbesserung bei den Statistiken (R-Quadrat, RASE), nicht jedoch bei den Residuendiagrammen. Meiner Meinung nach gibt es also keinen Grund, den Einsatz der Transformation zu rechtfertigen.
4. Das Training und die Validierung wurden basierend auf den Gruppen definiert, die ich habe (das sind Computerexperimente mit verschiedenen Zufallsstartwerten). Ich habe die Seeds verwendet, um die Daten in Gruppen zu unterteilen, und diese Spalte als meine Holdout-Validierungsspalte verwendet.
5. Meine negative Frage war für Verallgemeinertes R-Quadrat , denn als ich zum ersten Mal die JMP-Hilfe las, dachte ich, es könne nur zwischen 0 und 1 gehen. Aber ja, ich habe die Formel dafür gefunden und wie wir sehen, kann sie auch unter 0 gehen:
| Nagelkerke / Cragg & Uhler's (Generalized RSquare) | 
|
Danke schön!
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareHallo @AnnaPaula ,
Wenn ich das richtig verstehe, haben Sie einen Datensatz, den Sie nach einer Art Validierungsspalte aufgeteilt haben. Eine Sache, die Sie berücksichtigen sollten, ist, ob Sie die Validierungsspalte Ihrer Antwort geschichtet haben oder nicht, um sicherzustellen, dass sowohl die Trainings- als auch die Validierungsspalte ähnliche Verteilungen aufweisen.
Da R^2 negativ ist, würde das für mich darauf hinweisen, dass Sie Ihre Daten überanpassen. Haben Sie bei den Schätzungen ein paar Bootstrapping-Vorgänge durchgeführt, um zu sehen, ob die Begriffe, die Sie in Ihrem Modell haben, wirklich wichtig sind? Haben Sie eine theoretische Grundlage für die Einbeziehung gemischter Begriffe?
Vielleicht möchten Sie auch Elastic Net ausprobieren, da es eine Kombination aus Ridge und Lasso ist. Sie sollten außerdem berücksichtigen, ob Ihre Antwortverteilung wirklich normal ist oder ob eine andere Verteilung besser für Ihre Daten geeignet ist.
DS
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareIst der kontinuierliche Prädiktor am Interaktionsterm beteiligt? Haben Sie die Schätzung für die ausgelassene Interaktion verwendet, um zu entscheiden, dass sie entfernt werden sollte, oder haben Sie sie von vornherein weggelassen?
Welche Transformationen der Antwort haben Sie versucht?
Die bestrafte Regression und die Regression der kleinsten Quadrate führen normalerweise nicht zu denselben Schätzungen der Modellparameter, sodass das R-Quadrat nicht dasselbe wäre. Ihr Bild zeigt das OLS-Ergebnis, nicht die Ridge-Regression.
Die Trainings- und Validierungsergebnisse sollten beim besten unvoreingenommenen Modell ähnlich, aber nicht gleich sein. Wie haben Sie den Holdout-Satz für die Validierung bestimmt?
Das negative R-Quadrat ist möglich.
