Ergebnisunterschied zwischen Generalized RSquare und RSquareHallo allerseits,
Ich habe versucht, eine Antwort auf meine Frage in der Community oder in der JMP-Hilfe zu finden, konnte dies aber nicht. Ich würde mich sehr freuen, wenn mich jemand hier in die richtige Richtung weisen oder mich wissen lassen könnte, welches Grundkonzept mir fehlt.
Ich passe ein Modell an meine Antwort (abhängige Variable - DV) an, das kontinuierlich ist, indem ich 3 unabhängige Variablen (IV) [2 kategorial und 1 kontinuierlich] und die Interaktion zwischen 2 von ihnen (die andere verwende ich nur die Hauptvariable) verwende bewirken). Ich habe dafür zuerst die kleinsten Quadrate verwendet, wie Sie im folgenden Screenshot sehen können.
Mein Residuum nach vorhergesagtem Diagramm sieht jedoch nicht sehr gut aus (ich habe einige Ausreißer).Unabhängig davon, welche anderen Faktoren ich dem Modell oder der Transformation hinzufügen wollte, konnte ich mein Residuendiagramm nicht verbessern. Das Beste, was ich bekommen konnte, war eine Änderung meiner Antwort, die ich oben bereits gezeigt habe.
Als nächstes dachte ich darüber nach, die Methode der bestraften Regression (genauer gesagt Ridge) durch die generalisierte Regression zu verwenden. Ich habe gelesen, dass es für Ausreißer robuster sein kann (obwohl es eine gewisse Verzerrung mit sich bringt).
Ich habe begonnen, die allgemeine Regression mit den kleinsten Standardquadraten auszuführen.
Nach einigen Videos, die ich gesehen habe, sollte dies zu den gleichen Ergebnissen führen wie die Regression am kleinsten Quadrat.
Auch laut JMP-Hilfe ( https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ) Das bereitgestellte verallgemeinerte RS-Quadrat sollte zwischen 0 und 1 liegen und vereinfacht sich gegenüber dem herkömmlichen RS-Quadrat für kontinuierliche normale Antworten in der Standardeinstellung der kleinsten Quadrate. Wie Sie dem folgenden Screenshot entnehmen können, stimmt das verallgemeinerte RS-Quadrat zwar mit dem RS-Quadrat für den Trainingssatz überein, jedoch nicht mit dem Validierungssatz (und ist negativ). Die anderen Statistiken (z. B. RASE) stimmen mit beiden Sätzen überein (Training und Validierung).
Irgendwelche Ideen, was hier passieren könnte?
Vielen Dank im Voraus für alle Ideen und Hinweise!
PS: Für alles, was ich in diesem Beitrag mache, habe ich die FitModel-Plattform in JMP verwendet.
AnalytikBetreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareIst der kontinuierliche Prädiktor am Interaktionsterm beteiligt? Haben Sie die Schätzung für die ausgelassene Interaktion verwendet, um zu bestimmen, dass sie entfernt werden soll, oder haben Sie sie zunächst weggelassen?
Welche Transformationen der Antwort haben Sie versucht?
Die bestrafte Regression und die Regression der kleinsten Quadrate führen normalerweise nicht zu denselben Schätzungen der Modellparameter, sodass das R-Quadrat nicht dasselbe wäre. Ihr Bild zeigt das OLS-Ergebnis, nicht die Ridge-Regression.
Die Trainings- und Validierungsergebnisse sollten mit dem besten unvoreingenommenen Modell ähnlich sein, aber nicht dasselbe. Wie haben Sie den Hold-Out-Satz für die Validierung ermittelt?
Das negative R-Quadrat ist möglich.
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareHallo @ AnnaPaula ,
Wenn ich das richtig verstehe, haben Sie einen Datensatz, den Sie gemäß einer Validierungsspalte aufgeteilt haben. Eine zu berücksichtigende Sache ist, ob Sie die Validierungsspalte in Ihrer Antwort geschichtet haben oder nicht, um sicherzustellen, dass sowohl die Trainings- als auch die Validierungsspalte ähnliche Verteilungen aufweisen.
Da das R ^ 2 negativ ist, würde dies für mich bedeuten, dass Sie Ihre Daten überanpassen. Haben Sie die Schätzungen auf den neuesten Stand gebracht, um festzustellen, ob die Begriffe in Ihrem Modell wirklich wichtig sind? Haben Sie eine theoretische Grundlage für die Einbeziehung gemischter Begriffe?
Vielleicht möchten Sie auch Elastic Net ausprobieren, da es eine Kombination aus Ridge und Lasso ist. Eine andere zu berücksichtigende Sache ist, ob Ihre Antwortverteilung wirklich normal ist oder ob eine andere Verteilung besser für Ihre Daten geeignet ist.
DS
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareEs tut uns leid @markbailey Ich glaube, ich war in meiner Frage nicht sehr klar.
Wie Sie sagten, habe ich Ridge nicht benutzt (das würde mein nächster Schritt sein). Aber zuerst habe ich einfach wieder die Methode der kleinsten Quadrate (über das Modell der verallgemeinerten Regression) verwendet, um zu überprüfen, ob die Ergebnisse mit den Ergebnissen übereinstimmen, indem ich LeastSquares direkt aus dem FitModel-Fenster verwende. Da meine Ergebnisse nicht übereinstimmten, versuchte ich es nicht einmal mit Ridge (was mein nächster Schritt sein würde).
Aber ich bin neugierig Warum die Ergebnisse von LeastSquares durch Generalized Regression nicht mit den Ergebnissen von LeastSquares direkt von FitModel übereinstimmen . Hast du eine Idee?
Beantwortung Ihrer Fragen:
1. Der kontinuierliche Prädiktor ist nicht am Interaktionsterm beteiligt.
2. Ich habe schrittweise und auch die Schätzungen selbst verwendet, um zu bestimmen, ob der Interaktionseffekt entfernt werden soll
3. Ich habe Log, Logistic, Logit und Reciprocal ausprobiert. Mit dem Wechsel verschlechtert sich das Modell erheblich. Bei Logistic gibt es eine leichte Verbesserung in der Statistik (R-Quadrat, RASE), jedoch nicht in den Restdiagrammen. Also nichts, was meiner Meinung nach die Verwendung der Transformation rechtfertigt.
4. Das Training und die Validierung wurden basierend auf den Gruppen definiert, die ich habe (dies sind Computerexperimente mit verschiedenen zufälligen Samen). Ich habe die Seeds verwendet, um die Daten in Gruppen zu trennen, und diese Spalte als meine Holdout-Validierungsspalte verwendet.
5. Meine Frage in Bezug auf Negativ war für Verallgemeinertes R-Quadrat Als ich die JMP-Hilfe zum ersten Mal las, dachte ich, sie könnte nur zwischen 0 und 1 liegen. Aber ja, ich habe die Formel für diese gefunden und wie wir sehen können, kann sie auch unter 0 fallen:
| Nagelkerke / Cragg & Uhler (Generalized RSquare) | 
|
Vielen Dank!
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareHallo @DS
Vielen Dank für Ihre Antwort und Ihre Erkenntnisse. Sie sind sehr hilfreich und stimmen mit einigen Dingen überein, die ich gedacht habe.
Ich werde hier einige zusätzliche Informationen bereitstellen, falls Sie weitere Einblicke haben (ich würde es wirklich begrüßen).
1. Die auf den Validierungsspalten basierende geschichtete Antwort weist (sehr) ähnliche Verteilungen auf. Wie ich Mark erklärte, wurde die Antwort basierend auf Computerexperimenten berechnet, die mit verschiedenen Samen generiert wurden (und ich verwendete die Samen, um sie in Trainings- und Validierungssätze zu schichten).
2. Nehmen wir an, ich bin überpassend. Meine Hauptfrage lautet:
Warum mein RSquare für den Trainingssatz 0,9995 ist, wenn LeastSquares direkt von FitModel oder über Generalized Regression verwendet wird, während mein RSquare für den Validierungssatz ist 0,9791 Verwenden von LeastSquares direkt aus dem FitModel und -1,24e + 12 Verwenden der kleinsten Quadrate durch generalisierte Regression .
Ich verstehe die Unterschiede in den RSquare-Werten für den Validierungssatz nicht. Sollten die Werte nicht gleich sein (auch wenn es eine Überanpassung gibt)?
3. Ich glaube, ich habe Grund, die Begriffe in mein Modell aufzunehmen. Erstens wurde meine Antwort mit unterschiedlichen Daten basierend auf der unterschiedlichen Anzahl von Replikationen (eine kategoriale IV) und unterschiedlichen "Formeln / Daten" basierend auf der unterschiedlichen Anzahl von Clustern (zweite kategoriale IV) berechnet. Die bekannte theoretische Formel zur Berechnung der Antwort berücksichtigt die Ankunftsrate (kontinuierliche IV), da dieser Wert die generierten Daten beeinflusst.
Ich bin nicht sicher, wie ich Bootstrapping in JMP durchführen soll. Aber ich habe verschiedene Modelle manuell ausprobiert (mit und ohne Begriffe) und auch Forward Stepwise verwendet. In beiden Fällen zeigten die Ergebnisse, dass die beiden kategorialen IV + ihre Wechselwirkung + die kontinuierliche IV das beste Modell war.
4. Ihr letzter Punkt ist eigentlich etwas, von dem ich gehofft hatte, dass jemand ihn zu dieser Diskussion bringen würde.
Meine Antwort ist eigentlich nicht normal (es ist tatsächlich LogNormal).
Also werde ich das anpassen, wenn ich Ridge oder ElasticNet versuche.
Aber sollten die RSquare-Werte für die Validierungssätze in beiden von mir hochgeladenen Bildern nicht übereinstimmen, auch wenn meine Antwort nicht "Normal" lautet?
Vielen Dank für Ihre Erkenntnisse!
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareIch habe in Ihrem ursprünglichen Restdiagramm festgestellt, dass die Ausreißer alle im Validierungs-Hold-Out-Set zu sein scheinen.
Die generalisierte Regression verwendet eine andere Parametrisierung als die kleinsten Quadrate anpassen. Siehe diese Seite von statistische Details . Es wird auch eine andere Schätzmethode verwendet (MLE vs OLS).
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareHallo @ AnnaPaula ,
Ich bin mir nicht sicher, ob ich genau verfolge, wie Sie die berechneten Seeds verwendet haben, um eine Schichtung der Validierungsspalte zu generieren. Wenn Sie jedoch die Validierungsspaltenplattform in JMP Pro verwenden (die Sie haben, wenn Sie auf GenReg zugreifen können), können Sie nur die Antwort (Y-Variable) schichten, die Sie anpassen. Wenn sich alle Ihre Ausreißer im Validierungssatz befinden, sollten Sie sich überlegen, wie die beiden Sätze generiert wurden.
Ein weiterer Punkt, den Sie in Betracht ziehen könnten, ist die vollständige Aufteilung eines Testdatensatzes in eine andere Datentabelle, der nicht zum Anpassen der Daten verwendet wird. Wenn Sie mehrere Modelle auf dem Trainings- / Validierungssatz ausführen, können Sie anhand des Testdatensatzes feststellen, welches Modell für die Vorhersage am besten geeignet ist. Dies können Sie mithilfe der Modellvergleichsplattform tun. Vermutlich ist es Ihr Ziel, die beste Vorhersagefähigkeit zu haben, und Sie müssen das irgendwie testen. Es sieht so aus, als hätten Sie ein Set, das groß genug ist, um so etwas zu tun. Erstellen Sie beispielsweise eine Validierungsspalte mit z. B. 60% Zug, 20% Validierung, 20% Test. Setzen Sie den Testdatensatz in eine völlig andere Tabelle und verwenden Sie dann die verbleibende Zug- / Validierungs-Teilmenge, um Modelle zu erstellen.
Bei Ihren anderen Fragen zu R ^ 2, die negativ sind oder nicht ganz übereinstimmen, verweise ich auf das, was Mark gesagt hat.
Wenn Ihre Daten logarithmisch normal verteilt sind, sollten Sie diese Option in der Modellspezifikation auswählen, da dies einige der zugrunde liegenden Prozesse ändert, die hinter der Anpassung stehen.
Wenn Sie ein Modell in SLS oder GenReg oder PLS erstellt haben, können Sie die Schätzungen booten, indem Sie mit der rechten Maustaste auf die Spalte Schätzung klicken und Bootstrap auswählen. Sie sollten mehrere Tausend ausführen und dann die Verteilungen überprüfen, um festzustellen, ob die ursprüngliche Schätzung für den Koeffizienten dieses Terms nahe an einem globalen Mittelwert vieler Schätzungen liegt. JMP führt einige Berechnungen mit leicht unterschiedlichen Ausgangspunkten durch und generiert daher mehrere unterschiedliche Schätzungen. Sie können dann diese Verteilung sehen und feststellen, ob insgesamt 1) die Schätzung aus dem ersten Versuch korrekt war und 2) ob der Koeffizient für den Effekt tatsächlich dazu beiträgt viel oder nicht. In der SLS-Plattform erhalten die Effekte beispielsweise einen FDR-LogWorth-Wert, um die Falscherkennungsrate für diesen Effekt abzuschätzen. Wenn der Wert> 2 ist (die blaue Linie), gibt es signifikante Hinweise darauf, dass der Effekt tatsächlich zum Modell beiträgt. Andererseits könnte es kleiner sein oder nahe dem Wert 2 liegen. Wenn Sie diese FDR-Werte booten, können Sie den Mittelwert und den Bereich ermitteln, um festzustellen, ob der Effekt sinnvoll ist oder nicht. Ich hatte Zeiten, in denen ein Effekt grenzwertig aussah, und nach dem Bootstrapping des FDR war die meiste Zeit tatsächlich nicht über 2 und daher kein wirklich global wichtiger Faktor im Modell.
Als letzten Hinweis empfehle ich dringend, mehrere verschiedene Arten von Modellierungsplattformen auszuführen: Boosted Tree, Bootstrap Forest, NN usw., um festzustellen, ob eine andere Plattform für Ihre Daten / Situation am besten geeignet ist.
Hoffe das hilft!,
DS
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareHallo @markbailey Vielen Dank, dass Sie sich wieder bei mir gemeldet haben. Ich freue mich sehr über Ihre Hilfe und Geduld bei meinen Fragen.
Ja, für diese spezielle Antwort befinden sich alle meine Ausreißer im Validierungssatz. Bei anderen Antworten, die ich untersuche, trifft dies jedoch nicht zu (die Ausreißer fallen sowohl in die Validierungs- als auch in die Trainingssätze).
In Bezug auf das, was ich modelliere: Ich hatte einige Experimente mit diskreter Ereignissimulation durchgeführt (mit unterschiedlichen Startwerten, damit ich unterschiedliche Daten hätte). Darauf basierend berechnete ich meine vier interessierenden Antworten (hier zeigte ich nur eine).
Jetzt versuche ich, ein Regressionsmodell an diese Antworten anzupassen, da mein nächster Schritt darin besteht, ein Optimierungsmodell zu verwenden, um die beste Einstellung für meine interessierenden Antworten zu finden.
Soweit ich weiß, sollte die Parametrisierung / Codierung keinen Einfluss auf die Modellstatistik haben. Vermisse ich hier etwas? (( Codierung )
Bei linearer Regression und bei normaler Verteilung der Residuen führen OLS und MLE zu denselben Koeffizienten. Nicht wahr? (( OLS und MLE )
Demzufolge Allgemeines Regressions-Tutorial Geschrieben von @ gail_massari Gegen 8:35 Uhr verstehe ich das so @brady_brady sagt auch, dass die Ergebnisse zwischen dem MLE und dem OLS übereinstimmen sollten.
Würde es Ihnen etwas ausmachen, mich auf die JMP-Hilfeseite zu verweisen, auf der angegeben ist, dass die generalisierte Regression MLE anstelle von OLS verwendet, wenn die Verteilung normal ist?
Aufgrund des folgenden Bildes (aus JMP) hatte ich den falschen Eindruck, dass die generalisierte Regression weiterhin OLS verwenden würde, wenn die gewählte Verteilung Normal wäre:
Vielen Dank!
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareVielen Dank!
Ich hatte keine Ahnung, dass wir die in JMP geschätzten Werte booten konnten. Danke, dass du mir das beigebracht hast!
Vielen Dank auch für all die anderen Erkenntnisse. Sehr hilfreich!
Betreff: Unterschied in den Ergebnissen zwischen Generalized RSquare und RSquareSie haben Recht, die Metriken für das gesamte Modell sollten sich bei unterschiedlichen Parametrisierungen nicht ändern. Natürlich ändern sich die Metriken für einzelne Begriffe oder Parameter.
Die Koeffizienten sind also bei unterschiedlichen Parametrisierungen nicht gleich, daher müssen auch ihre Schätzungen unterschiedlich sein.
Die OLS-Lösung und die MLE-Optimierung sollten zu denselben Schätzungen unter derselben Parametrisierung mit einer normalverteilten Antwort führen.
Ich habe Sie in die Irre geführt: Das Standardergebnis der kleinsten Quadrate in GenReg ist OLS. Sehen diese Seite für mehr Details.
