Logistische Regression und Modellreduktion – Diskrepanz zwischen ModellanpassungsergebnissenIch benutze die Verallgemeinerte Regression Plattform mit Binomialverteilung um ein Logistikmodell anzupassen und dann zu tun Modellauswahl (z. B. Best Subset – AIC), um die Modellkomplexität zu reduzieren.
Sobald das Modell reduziert ist, I Starten Sie es mit Only Active Terms neu , unter Verwendung derselben exakten Plattform – Generalisierte Regression mit Binomialverteilung, sodass ich genau dasselbe angepasste Modell wie das reduzierte mit denselben Koeffizienten und Vorhersagen erhalten sollte.
Wenn ich die beiden Profiler vergleiche, erhalte ich dennoch leicht unterschiedliche vorhergesagte Werte, und extrem unterschiedliche Vorhersageintervalle .
Können Sie erklären, warum dies geschieht?
Und welcher der beiden Passungen sollte ich vertrauen?
Danke schön!
Betreff: Logistische Regression und Modellreduktion - Diskrepanz zwischen ModellanpassungsergebnissenHallo Mikol,
Der Grund für diese Diskrepanz liegt darin, dass die beiden Modelle unterschiedliche Schätzer für die Kovarianz der Parameterschätzungen verwenden (was sich auf die Standardfehler auswirkt). Wann immer wir eine Variablenauswahl durchführen (Lasso, FS, …), verwendet sie eine Sandwich-Matrix, wie in Zou 2006 und Huber und Ronchetti 2009 beschrieben:
Zou, H. (2006). "Das adaptive Lasso und seine Oracle-Eigenschaften." Zeitschrift der American Statistical Association 101: 1418–1429.
Huber, PJ, und Ronchetti, EM (2009). Robuste Statistiken. 2. Aufl. John Wiley & Söhne.
Wann immer wir eine MLE wie bei der logistischen/binomialen Anpassung durchführen, verwendet sie die übliche Fisher-Informationsmatrix. Für ein reduziertes Modell, das Sie mit schrittweiser Regression erhalten und dann neu angepasst haben, halten wir es für in Ordnung, die sekundären Ergebnisse (mit kleineren Konfidenzintervallen) zu verwenden.
Ich hoffe das hilft!
Danke,
Adam Morris
Technischer JMP-Support
