Warum hängen Achsenkoeffizienten in verallgemeinerten linearen Modellen von der Entwurfsmatrix ab?Ich habe viel über die Intercept-Begriffe in glm nachgedacht.Insbesondere die logistische Regression.Bei der standardmäßigen linearen Regression können wir den Achsenabschnittsterm schätzen, ohne die Designmatrix zu kennen.Es ist nur der Mittelwert der Antworten.Ich ging davon aus, dass dieses Prinzip bei anderen Modellen gleich bleiben würde.Das Prinzip ist
- Sobald Sie die Antworten und die Verknüpfungsfunktion kennen, können Sie den Intercept-Term bestimmen.Es sollte dasselbe sein wie das Ausführen des GLM-Dialogs ohne Prädiktoren (NULL-Modell).
Das ist nicht der Fall.Die Abschnitte liegen sehr nahe am NULL-Modell.Ich erhalte auch andere Schnittpunktwerte, wenn ich die Designmatrix ändere.Möglicherweise liegt es daran, dass die Koeffizienten von einem Suchalgorithmus generiert werden.Ich habe das Gleiche auch für Poisson glm gemacht und das Gleiche gefunden ... der Achsenabschnitt liegt nahe am NULL-Modell, ist aber nicht dasselbe.
Wenn Sie LASSO ausführen und die Strafe weiter erhöhen, konvergiert der Schnittpunkt interessanterweise zum NULL-Modell (schrumpft in Richtung desselben).Dieses Ergebnis ist unabhängig von der Designmatrix.
Ich denke, es wäre cool, wenn Sie einfach den Intercept-Term aus den Antworten und der Verknüpfungsfunktion berechnen könnten, bevor Sie die Kovariatenkoeffizienten schätzen.Wäre das Modell besser?
Betreff: Warum hängen Achsenkoeffizienten in verallgemeinerten linearen Modellen von der Entwurfsmatrix ab?Danke Mark,
Das Konzept der Zentrierung der Antwort ist in Fällen, in denen die Antworten numerisch sind, leicht zu verstehen.Angenommen, wir haben eine binäre Antwort wie {T, F} und ich behalte sie absichtlich in der uncodierten Form.Es gibt keinen natürlichen Weg, der Zentrierung der Antwort einen Sinn zu geben.Selbst wenn wir es als {0, 1} codieren und die Antwort zentrieren, erhalten wir im Allgemeinen einen Vektor mit Werten zwischen 0 und 1. Diese zentrierte Antwort befindet sich nicht in der Menge der realisierbaren Antwortvektoren, die ein Vektor aus Nullen und Einsen sein müssen.In diesem Fall scheint es also sehr wichtig zu sein, den Intercept-Term beizubehalten, da er über die Verknüpfungsfunktion den Bruchteil der Einsen in der Antwort in Beziehung setzt.Wenn es die gleiche Anzahl von Ts und Fs gibt, ist der Schnittpunkt 0 ... aber nicht anders.Wir können also den Achsenabschnitt aus dem Antwortvektor berechnen (so ähnlich wie das Zentrieren der Antwort) und dann Lasso oder einen anderen Lernalgorithmus verwenden und uns einfach auf die anderen Spalten konzentrieren.
Obwohl mir gesagt wurde, dass die Zentrierung binärer Antworten keine gute Idee ist, denke ich, dass es tiefer geht.Es ist wichtig, den Achsenabschnitt mit dem Modell zu tragen, auch wenn er für das Verständnis der Koeffizienten der anderen Prädiktoren nicht von zentraler Bedeutung ist.
Betreff: Warum hängen Achsenkoeffizienten in verallgemeinerten linearen Modellen von der Entwurfsmatrix ab?Hallo Mark,
Ich dachte, ich würde eine schnelle und aufschlussreiche Antwort von Ihnen bekommen.Danke.Ich hatte nicht über den Aspekt der Zentrierung der X nachgedacht.Ich habe explizit eine Zentrierung (und Skalierungsnormalisierung) durchgeführt, weil ich LASSO auf ein logistisches Regressionsproblem zur Feature-Auswahl anwende.Ich sehe jetzt, dass ich eine andere Antwort bekomme, wenn ich die Designmatrix nicht zentriere.Wenn es zentriert ist, entspricht der Achsenabschnitt fast genau der Verknüpfungsfunktion, die auf die mittlere Antwort (Anteil der positiven Ergebnisse) angewendet wird.Sehr cool.Das Problem brachte mich dazu, über das Bild nachzudenken, das ich für die LASSO-Schrumpfung präsentieren würde, da der Antwortraum jetzt die Ecken des Einheitswürfels sind.Hinzu kommt, dass die optimale Lösung mit zunehmender Strafe zu einem Punkt im Inneren hin schrumpft, der genau der mittleren Antwort (Zeiten (1, 1, 1, ...)) entspricht.
Diese ganze Sache führte zu einer weiteren Frage.Eines, das Ihnen gefallen könnte.Es gibt einige Ecken des Einheitswürfels, in denen es keine Maximum-Likelihood-Lösung gibt.Dies sind Antworten, bei denen JMP uns mitteilt, dass die Koeffizienten instabil sind, weil wir über eine lineare Kombination der Spalten der Entwurfsmatrix verfügen, die die Antworten perfekt klassifizieren kann.Die Frage, die ich hatte, war ... wie hoch ist die maximale Anzahl instabiler Ecken als Funktion der Anzahl der Beobachtungen, N?Offensichtlich muss die Zahl kleiner als 2^N sein, da wir selten auf instabile Lösungen stoßen (vielleicht versuchen Sie es immer zuerst mit dem linearen Klassifikator, um dies zu verhindern).Die Antwort ist ziemlich cool.Es hängt mit der Zahlenfolge des Kuchens zusammen ... im Fall von 3 Prädiktoren ist es Kuchen(N -1).Bei mehr als 3 Prädiktoren wird es wirklich schwierig.
Betreff: Warum hängen Achsenkoeffizienten in verallgemeinerten linearen Modellen von der Entwurfsmatrix ab?Denken Sie nur an den y-Achsenabschnitt in diesem Fall der OLS-Regression, bei der die erste Analyse X als Regressor und die zweite Analyse X nach der Zentrierung verwendet:
Daher ist der Achsenabschnitt im Allgemeinen nicht gleich der mittleren Antwort. Dies ist jedoch der Fall, wenn Sie die Prädiktorvariablen zentrieren und die Identitätsverknüpfungsfunktion verwenden.
Betreff: Warum hängen Achsenkoeffizienten in verallgemeinerten linearen Modellen von der Entwurfsmatrix ab?Der Achsenabschnitt (insbesondere der y-Achsenabschnitt) ist der konstante Term im linearen Prädiktor (Linearkombination), der in der gewöhnlichen Regression der kleinsten Quadrate, in verallgemeinerten linearen Modellen und in der verallgemeinerten Regression (JMP) verwendet wird. Dies ist im Allgemeinen der Wert des linearen Prädiktors, wenn alle Prädiktorvariablen auf Null gesetzt sind. Es handelt sich im Allgemeinen nicht um die mittlere Antwort. Dieses Ergebnis hängt bei der OLS-Regression von Prädiktorwerten ab. Bei GLM kommt es auch auf die Linkfunktion an. Wenn der Achsenabschnitt die mittlere Antwort sein soll, müssen Sie Ihre Prädiktorvariablen zentrieren und den Identitätslink verwenden.
