Warum unterscheiden sich die AICc- und BIC-Werte unter der Std Least Squares-Persönlichkeit von denen unter dem Mixed Model One?Wenn ich genau dieselben Daten und gemischte Modelle verwende, erhalte ich unterschiedliche AICc- und BIC-Werte, je nachdem, ob ich die Std Least Squares (SLS) - oder die Mixed Model-Persönlichkeiten verwende. Gibt es eine Vereinfachung dieser Kriterien für den SLS-Fall? Wenn ja, was ist das? Und was ist mit der Persönlichkeit der Generalisierten Regression der Fall?
Betreff: Warum unterscheiden sich die AICc- und BIC-Werte unter der Std Least Squares-Persönlichkeit von denen unter dem Mixed Model One?Zeitreihen- und gemischte Modellplattformen in JMP verwenden nicht dieselben Schätzalgorithmen. ARIMA führt einen Initialisierungsschritt aus, um den Kalman-Filter zu starten, Mixed Model jedoch nicht. Der Unterschied ist jedoch gering und vernachlässigbar.
Vielen Dank für Ihre Fragen.
Betreff: Warum unterscheiden sich die AICc- und BIC-Werte unter der Std Least Squares-Persönlichkeit von denen unter dem Mixed Model One?Hallo @phersh und @ Jiancao ,
Im Anhang dieser Nachricht finden Sie einen simulierten Datensatz, den ich zusammengestellt habe, um meinen vorherigen Punkt zu veranschaulichen. Die Formeln für die Simulation werden angezeigt.
Die Antwort ist "y", was durch t (Zeit) beobachtet wird. Es gibt keinen festen Effekt, nur ein Intercept-Modell. Die gespeicherten Skripte zeigen (1) Diagramm t gegen y, (2) ARIMA-Lösung, (3) gemischte Modelllösung mit AR (1) Kovarianz, (3) gemischte Modelllösung mit zufälligem Effekt, (4) gemischte Modelllösung mit AR (1) Kovarianz und zufälliger Effekt. Angesichts der Art und Weise, wie ich die Daten simuliert habe, ist Lösung (4) die richtige und tatsächlich die mit dem niedrigsten AICc & BIC.
Dies soll zeigen, was ich in meinem vorherigen Beitrag gemeint habe. Wenn ich verschiedene Kovarianzstrukturen mit derselben Festeffektspezifikation vergleichen möchte (hier keine, nur abfangen), muss ich die Persönlichkeit des gemischten Modells verwenden (d. H. ML). Außerdem gibt die AR (1) -Zeitreihenlösung (auch ML) nicht dieselben AICc / BIC / -2-LogLikelihood-Werte aus, die mit der Mixed Model AR (1) -Lösung gefunden wurden - obwohl ich festgestellt habe, dass ihr Unterschied mit der Datengröße tendenziell verschwindet wächst, was hier nicht gezeigt wird.
Betreff: Warum unterscheiden sich die AICc- und BIC-Werte unter der Std Least Squares-Persönlichkeit von denen unter dem Mixed Model One? @fdottaviano gute Nachrichten! Sie können verschiedene Zufallseffektspezifikationen in der gemischten Modellplattform vergleichen.
Nochmals vielen Dank an @ Jiancao ,
Sie können AICc oder BIC aus gemischten Modellen verwenden, um verschiedene Zufallseffektspezifikationen mit denselben oder verschiedenen Sätzen fester Effekte zu vergleichen.
Was die Spezifikation der Kovariatenstruktur in wiederholten Messungen betrifft, weiß ich nicht, ob Sie AICs oder BIC verwenden können, um dies mit einem Zufallseffektmodell in gemischten Modellen zu vergleichen. Haben Sie einen Anwendungsfall, in dem Sie diese vergleichen möchten? Die oben beschriebene Vergleichstechnik kann für jedes von Ihnen erstellte Modell verwendet werden.
@ Jiancao Ich wollte betonen, dass die von SLS verwendeten REMLs für Modelle mit unterschiedlichen Sätzen fester Effekte auch bei gleichen Kovarianzstrukturen unterschiedlich sind (die Spezifikation der Zufallseffekte entspricht der CS-Struktur). Aber ich denke, das hat Verwirrung gestiftet:
„Der Hauptunterschied besteht darin, dass es in REML LL einen Strafbegriff (1/2) log | X`VinvX | gibt, der die festen Effekte X im Modell beinhaltet. Wenn also der Teil mit festem Effekt zweier Modelle unterschiedlich ist (z. B. Haupteffekte vs. Haupteffekte + Wechselwirkungen mit beiden mit derselben Kovarianzstruktur), ist REML LL, also AICc und BIC, unterschiedlich. Dies macht den Modellvergleich ungültig. “
Betreff: Warum unterscheiden sich die AICc- und BIC-Werte unter der Std Least Squares-Persönlichkeit von denen unter dem Mixed Model One? @fdottaviano ,
Eine weitere gute Frage.
Eine Möglichkeit, ML mit SLS oder Modellen aller Arten von festen Effekten und zufälligen Effekten zu vergleichen, besteht darin, die Vorhersageformeln aus den Modellen unter Spalten und Vorhersageformel zu speichern. Verwenden Sie dann die Modellvergleichsplattform unter dem Analysemenü / Vorhersagemodellierung. Dies führt nicht zu AICc oder BIC, da die verschiedenen Modellierungsplattformen die Protokollwahrscheinlichkeit unterschiedlich berechnen. Ein weiterer Grund für das Fehlen von AICc oder BIC besteht darin, den Vergleich von baumbasierten Modellen mit linearer Modellierung zu ermöglichen. Der Modellvergleich ergibt RSquare, RASE, AAE. Außerdem können Sie Residuen für jedes Modell vergleichen
Dies ist nur in JMP Pro verfügbar.
Betreff: Warum unterscheiden sich die AICc- und BIC-Werte unter der Std Least Squares-Persönlichkeit von denen unter dem Mixed Model One?Vielen Dank @phersh ,
Lassen Sie mich sehen, ob ich es richtig verstanden habe.
Was ich gelernt habe ist, dass "SLS" - und "Generalized Regression" -Persönlichkeiten beide REML verwenden und die "Mixed Model" -Persönlichkeit ML verwendet.
Da bei der generalisierten Regression nur Modelle mit festen Effekten ausgeführt werden können, besteht kein Risiko für ungültige Vergleiche zwischen Modellen - in AICc- oder BIC-Begriffen -, da sie alle aus festen Effekten bestehen.
Wenn Sie ein gemischtes Modell anpassen möchten (feste + zufällige Effekte), haben Sie zwei Alternativen in Bezug auf die Persönlichkeit: SLS und gemischtes Modell.
Wenn ich SLS verwende, kann ich Modelle vergleichen - in AICc- oder BIC-Begriffen - mit unterschiedlichen Zufallseffektspezifikationen - z. B. zwei Zufallseffekte gegen einen Zufallseffekt gegen keinen Zufallseffekt - vorausgesetzt, alle Modelle haben die gleiche Festeffektspezifikation.
Wenn ich ein gemischtes Modell verwende, kann ich Modelle - in AICc- oder BIC-Begriffen - mit verschiedenen festen Effektspezifikationen vergleichen - z. B. Antwortfläche vs. Haupt bewirken + Interaktionen nur gegen Haupteffekte - vorausgesetzt, alle Modelle haben die gleiche Spezifikation für zufällige Effekte.
Um zu sehen, wie mein SAS PROC MIXED-Schulungsmaterial in JMP passt, sollten wir zuerst mit einer vollständigen Spezifikation für feste Effekte beginnen und verschiedene Zufallseffektspezifikationen mit REML testen - dh mit der SLS-Persönlichkeit. Sobald wir die beste Zufallseffektspezifikation ausgewählt haben - z. B. den niedrigsten AICc oder BIC -, testen wir verschiedene feste Effektspezifikationen unter Verwendung von ML - dh unter Verwendung der Persönlichkeit des gemischten Modells. Sobald wir die beste Spezifikation für feste Effekte ausgewählt haben - z. B. niedrigste AICc oder BIC -, kehren wir zur SLS-Persönlichkeit zurück und schätzen das endgültige Modell, das sowohl die besten festen als auch die zufälligen Spezifikationen umfasst. So weit, ist es gut.
Was ist jedoch, wenn ich zwischen zwei Modellen mit einer bestimmten festen Effektspezifikation und unterschiedlichen Kovarianzstrukturen Zweifel habe - z. B. zufälliger Effekt vs. räumlicher Effekt? Kovarianz? In JMP kann ich die Persönlichkeit des gemischten Modells nur verwenden, um sie an das räumliche Modell anzupassen. Daher kann das räumliche Modell nur über ML angepasst werden, was mich dazu zwingt, dieselbe Persönlichkeit des gemischten Modells zu verwenden, um das Modell mit einem zufälligen Effekt anzupassen, sodass beide nach derselben Methode angepasst werden können: ML. Wenn ich nun eine basierend auf AICc oder BIC auswählen möchte, wäre sie dann nicht ungültig? Wie könnte ich in dieser Situation Äpfel mit Äpfeln vergleichen?
Betreff: Warum unterscheiden sich die AICc- und BIC-Werte unter der Std Least Squares-Persönlichkeit von denen unter dem Mixed Model One?Dank an @ Jiancao für die Antwort darauf. Zunächst einmal wirklich gute Frage. Dies kommt von verschiedenen Modellierungsplattformen mit unterschiedlichen Log-Wahrscheinlichkeiten.
Die von Mixed Model und SLS mit zufälligen Effekten verwendeten ML LL und REML LL sind nachstehend aufgeführt @ Jiancao hat sie aus der SAS-Dokumentation erfasst https://support.sas.com/documentation/cdl/en/statug/63962/HTML/default/viewer.htm#statug_mixed_sect025.htm )
Der Hauptunterschied besteht darin, dass es in REML LL eine Strafzeit gibt. (1/2) log | X`VinvX | Dies beinhaltet die festen Effekte X im Modell. Wenn also der Teil mit festem Effekt zweier Modelle unterschiedlich ist (z. B. Haupteffekte vs. Haupteffekte + Wechselwirkungen mit beiden mit derselben Kovarianzstruktur), ist REML LL, also AICc und BIC, unterschiedlich. Dies macht den Modellvergleich ungültig.
Dies ist der Grund für die Entscheidung von JMP, ML LL und nicht REML zu verwenden. Mit anderen Worten, in der Persönlichkeit eines gemischten Modells können Sie AICs oder BIC verwenden, um verschiedene Modelle mit unterschiedlichen Spezifikationen fester Effekte zu vergleichen. (Ich sage, JMP entscheidet sich dafür, dass SAS Proc Mixed REML als Standardschätzmethode verwendet, aber ML als Option anbietet:cara_que_sonríe_con_ojos_sonrientes:)
Ein zusätzlicher Hinweis: Die "-2 Restprotokollwahrscheinlichkeit" im Anpassungsstatistikbericht des gemischten Modells folgt dem REML LL (dh enthält den Strafzeitraum) und stimmt mit der im Abschnitt REML-Varianzkomponentenschätzungen des SLS angegebenen -2 Protokollwahrscheinlichkeit überein.
Für die generalisierte Regressionsplattform unterstützen wir derzeit keine zufälligen Effekte, daher würde dies in diesem Fall nicht helfen.
GenReg verfügt über viele verschiedene Techniken wie Lasso und elastisches Netz, die eine variable Auswahl und Modellanpassung in einem Schritt ermöglichen. Die Ridge-Regression ist nützlich, wenn Sie korrelierte Faktoren haben. Hier ist eine schöne Übersicht.
https://www.jmp.com/support/help/en/15.1/?os=win&source=application#page/jmp/overview-of-the-generalized-regression-personality.shtml
