Loglikelihood für normales OLSHallo JMP-Community!
Ich möchte die Loglikelihood meines linearen Modells anzeigen (Modell anpassen -> Persönlichkeit: Standard-Kleinste-Quadrate). Ich erhalte den AICc mit der entsprechenden Option in „Regressionsberichte“. Aber wie kann ich die Loglikelihood extrahieren?
Ich habe auch diesen Thread gefunden: https://community.jmp.com/t5/Discussions/AICc-log-likelihood-where-is-it-reported/td-p/272033?trMode=source
Allerdings konnte ich den AICc mit dieser -2LL-Formel nicht reproduzieren.
Vielen Dank für Ihre Hilfe!
Grundlegende Datenanalyse und ModellierungBetreff: Loglikelihood für normales OLSHallo @Halbvoll : Wenn Sie AICc oder BIC haben, Algebra (über die Formeln hier https://www.jmp.com/support/help/en/15.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml#ww293087 ) ergibt die Loglikelihood:
LL=(kln(n) - BIC)/2
oder
LL= (2k+2k(k+1)/(nk-1) - AICc)/2
Betreff: Loglikelihood für normales OLSHallo @MRB3855 ,
Danke für deine Antwort! Tatsächlich habe ich den LL bereits so berechnet. Allerdings habe ich die LL mit anderen Software-/Python-Paketen noch einmal überprüft (mit genau denselben Daten und Modellparametern) und andere LLs erhalten, obwohl R2, SSE, RMSE usw. genau gleich sind. Insbesondere bei einer höheren Anzahl von k weist der LL tendenziell einen größeren Unterschied zwischen JMP und beispielsweise Python-Paket-Statistikmodellen (PpS) auf.
Das ist es, was mich verwirrt: PpS und JMP sollten die gleiche Formel für den AICc verwenden, aber ich erhalte unterschiedliche Ergebnisse (da der LL wahrscheinlich unterschiedlich ist).
Betreff: Loglikelihood für normales OLS@Halbvoll Sie verwenden möglicherweise nicht dieselbe Formel. Die Version von JMP ist die modifizierte Version, um sie an kleine Stichprobengrößen anzupassen. Und da Sie sagen: „Besonders bei einer höheren Anzahl von k weist das LL tendenziell einen größeren Unterschied zwischen JMP und dem Python-Paket Statsmodels (PpS) auf“, vermute ich, dass Python die unveränderte Version verwendet; Überprüfen Sie daher möglicherweise Ihre Annahme, dass sie dieselbe Formel verwenden.
Betreff: Loglikelihood für normales OLSHi @MRB3855 ! Wenn Sie von Formel sprechen, meinen Sie die Formel für den AIC C, Rechts? Das habe ich auch überprüft. Ich habe die AICc-Formel von JMP in Python mithilfe der LL, die ich von statsmodels erhalte, neu implementiert. Allerdings erhalte ich den gleichen AICc wie mit der AICc-Funktion von statsmodels. Das Problem ist also, dass die LL zwischen Statistikmodellen und JMP unterschiedlich ist und ich würde gerne wissen, warum.
Oder sprechen Sie von der LL-Formel? Wenn ja, könnte ich nicht herausfinden, wie JMP den LL berechnet, aber das wäre der Schlüssel zu meinen Fragen.
Vielen Dank für Ihre Hilfe!
Betreff: Loglikelihood für normales OLS@Halbvoll , haben Sie das Fit-Modell ausprobiert -> Persönlichkeit: Verallgemeinertes lineares Modell, Verteilung: Normal, Verknüpfungsfunktion: Identität?
Der Ausgabebericht enthält -(LL) für das vollständige und reduzierte Modell.
Hoffentlich ist das hilfreich für Sie.
Aufrichtig,
MG
Betreff: Loglikelihood für normales OLSWie berechnen Sie -2LL für Ihr Modell?
JMP verwendet häufig die Kerndichtefunktion, wenn die Parameterschätzungen optimiert werden. Dieser Ansatz ist gerechtfertigt, da -2LL und AICc keine absolute Bedeutung oder Interpretation haben. Sie werden relativ zum Vergleich von Modellen verwendet, sodass der Kernel ausreicht. Versuchen Sie stattdessen, die Kerndichte zu verwenden.
Betreff: Loglikelihood für normales OLSVielleicht kann diese Seite helfen: https://www.jmp.com/support/help/en/15.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml#ww293087
Scrollen Sie nach unten, um die Formel für die kleinsten Quadrate anzuzeigen.
Beachten Sie die Beziehungen zwischen den Teilen in drei Formelsätzen:
(1) aus der oberen Hälfte dieser Seite
(2) aus der unteren Hälfte dieser Seite
(3) aus dem Thread, auf den Sie verweisen
Die -2Loglikelihood in (1) entspricht also den beiden hervorgehobenen Teilen in (2).
Und die -2Log-Likelihood in (1) und (2) unterscheidet sich von (3) um eine Konstante N.
In anderer Literatur finden Sie möglicherweise -2Loglikelihood = N*log(SSE/N). Ich freue mich, dass Sie den Unterschied bemerken. In der Literatur ist es üblich, dass Konstanten in der Log-Likelihood weggelassen werden.
Betreff: Loglikelihood für normales OLSVielen Dank an alle für eure Unterstützung!
Danke für den Hinweis @modelFit ! Das war die Option, nach der ich gesucht habe. Für meine Daten erhalte ich den gleichen LL wie bei Statistikmodellen – was mich noch mehr verwirrt. Vielleicht wird mein Problem durch einen Screenshot (ich hoffe, die Auflösung ist hoch genug) meines Problems klarer:
Daher habe ich folgende Ergebnisse basierend auf JMP 16.2.0:
- -LL = 8,3501
- k = 3
- n = 18
- AICc = 27,7869
Wenn ich jedoch -LL, k und n verwende, um den AICc manuell zu berechnen (Formel (1)), erhalte ich 24.4243 -> Ich erhalte das gleiche Ergebnis mit Statistikmodellen.
Wenn ich JMPs AICc verwende und die Formel auf LL= (2k+2k(k+1)/(nk-1) - AICc)/2 umformuliere, erhalte ich einen -LL von 10,036.
Irgendetwas stimmt nicht, oder übersehe ich etwas?
Betreff: Loglikelihood für normales OLSrmse = 0.421637;
k = 3;
n = 18;
mse = rmse^2;
SSE = mse * (n - k);
//all above uses k=3, for 3 regression coefficients.
k = k+1;
//the above increases the number of parameters by 1, which is the sigma.
AICc = n * log(SSE/n) + 2*k + 2*k*(k+1)/(n-k-1) + n*log(2*pi()) + n;
Betreff: Loglikelihood für normales OLSDanke @peng_liu !! Dies sind die fehlenden Informationen, die mein Problem lösen! Wäre es sinnvoll, die JMP-Dokumentation in diesem Punkt zu erweitern? Denn in der Dokumentation wird k wie folgt beschrieben: „wo k ist die Anzahl der geschätzten Parameter im Modell " ( https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml ), was zu meiner Verwirrung führte.
Außerdem habe ich in den Veröffentlichungen, auf die in der Dokumentation verwiesen wird, k immer als die Anzahl der Parameter verstanden. Woher kommt dieses k+1 vor der eigentlichen AICc-Berechnung? Gibt es eine spezielle Veröffentlichung, die dieses Verfahren beschreibt?
Edit: Könnte es sein, dass die Formel auf dieser Veröffentlichung basiert? https://sites.warnercnr.colostate.edu/wp-content/uploads/sites/73/2017/05/Anderson-et-al-1994-Ecology.pdf
Betreff: Loglikelihood für normales OLSHallo @Halbvoll : Betrachten Sie das vollständige Modell; Zusätzlich zu den Regressionskoeffizienten gibt es Sigma (denken Sie daran, ein Teil des Modells ist der Fehlerterm, verteilt Normal[mean=0, Sigma] ). Daher ist Sigma (geschätzt durch RMSE) der zusätzliche Parameter im Modell.
Betreff: Loglikelihood für normales OLS@Halbvoll Und @MRB3855 Vielen Dank für die anschließende Diskussion.
@Halbvoll Ich hatte die gleichen Bedenken, als ich meine Antwort veröffentlichte. @MRB3855 Das Sigma im AICc für kleinste Quadrate ist nicht RMSE, was mich anfangs ebenfalls verwirrte. Nachdem ich mit einem Entwickler gesprochen habe, der sich mit dem Thema besser auskennt, kann ich nun wie folgt erklären, was vor sich geht.
- Die Methode der kleinsten Quadrate schätzt Sigma nicht als freien Parameter. Die Anzahl der Parameter in der Methode der kleinsten Quadrate ist also dieselbe wie die Anzahl der Regressionskoeffizienten.
- Die Kleinste-Quadrate-Schätzung von Sigma ist RMSE, also sqrt(SSE/DF), wobei DF = Anzahl der Beobachtungen – Anzahl der Koeffizienten. Dieses Sigma ist kein freier Parameter im Sinne einer statistischen Schätzung.
- Die AICc-Formel verwendet die Wahrscheinlichkeit, die auf der Normaldichtefunktion mit Sigma basiert, deren MLE sqrt(SSE/N) ist. Der erste Begriff im folgenden Screenshot ist der Beitrag von Sigmas MLE. In diesem Sinne muss bei der Berechnung von AICc auf diese Weise die Anzahl der Parameter zusätzlich zu den Regressionskoeffizienten Sigma zählen.
Ich wurde auf den folgenden Artikel verwiesen, um den vollständigen Beweis und die vollständige Ableitung zu sehen. Wenn Sie interessiert sind, sehen Sie sich alle Ableitungen bis zu Gleichung 6 an.
https://www.sciencedirect.com/science/article/pii/S0893965917301623?ref=cra_js_challenge&fr=RR-1
HT Banks und ML Joyner, 2017, AIC im Rahmen der Kleinste-Quadrate-Schätzung, Applied Mathematics Letters, Band 74.
Um die Klärung werden wir uns in einer zukünftigen Version der Dokumentation kümmern. Danke noch einmal!
Betreff: Loglikelihood für normales OLSHallo @peng_liu Vielen Dank für die ausführliche Erklärung und diese Veröffentlichung, ich kannte dieses Papier bisher nicht. Und vielen Dank für die zukünftige Aktualisierung der Dokumentation!!
