Pourquoi les coefficients d'interception dans les modèles linéaires généralisés dépendent-ils de la matrice de conceptionJ'ai beaucoup réfléchi aux termes d'interception dans glm.Régression logistique notamment.Dans la régression linéaire standard, nous pouvons estimer le terme d'interception sans aucune connaissance de la matrice de conception.C'est juste la moyenne des réponses.Je pensais que ce principe resterait le même dans d'autres modèles.Le principe est
- Une fois que vous connaissez les réponses et la fonction de lien, vous pouvez déterminer le terme d'interception.Cela devrait être identique à l'exécution de la boîte de dialogue glm sans aucun prédicteur (modèle NULL).
Ce n'est pas le cas.Les interceptions sont très proches du modèle NULL.J'obtiens également des valeurs d'interception différentes si je modifie la matrice de conception.Peut-être est-ce dû au fait que les coefficients sont générés par un algorithme de recherche.J'ai aussi fait la même chose pour Poisson glm et j'ai trouvé la même chose... l'interception est proche du modèle NULL mais pas la même.
Fait intéressant, si vous exécutez LASSO et continuez à augmenter la pénalité, l'interception converge vers (rétrécit vers) le modèle NULL.Ce résultat est indépendant de la matrice de conception.
Je suppose que ce serait cool si vous pouviez simplement calculer le terme d'interception à partir des réponses et de la fonction de lien avant d'estimer les coefficients de covariable.Le modèle serait-il meilleur ?
Re : Pourquoi les coefficients d'interception dans les modèles linéaires généralisés dépendent-ils de la matrice de conception ?Merci Marc,
Le concept de centrage de la réponse est facile à comprendre dans les cas où les réponses sont numériques.Supposons que nous ayons une réponse binaire telle que {T, F} et que je la garde intentionnellement sous forme non codée.Il n'existe aucun moyen naturel de donner un sens au centrage de la réponse.Même si nous le codons comme {0, 1} et centrons la réponse, nous aboutirions généralement à un vecteur de valeurs comprises entre 0 et 1. Cette réponse centrée ne fait pas partie de l'ensemble des vecteurs de réponse réalisables qui doivent être un vecteur de 0 et de 1.Donc, dans ce cas, le terme d'interception semble être assez important à retenir car il concerne, via la fonction de lien, la fraction de 1 dans la réponse.S'il y a le même nombre de T et de F, alors l'interception est 0... mais pas autrement.Nous pouvons donc calculer l'interception à partir du vecteur de réponse (un peu comme centrer la réponse), puis faire un lasso ou n'importe quel algorithme d'apprentissage et nous concentrer uniquement sur les autres colonnes.
Donc, même si on m'a dit que centrer les réponses binaires n'est pas une bonne idée, je pense que c'est plus profond que cela.L'ordonnée à l'origine est importante à transporter avec le modèle, même si elle n'est pas essentielle pour comprendre les coefficients des autres prédicteurs.
Re : Pourquoi les coefficients d'interception dans les modèles linéaires généralisés dépendent-ils de la matrice de conception ?Bonjour Mark,
J'ai pensé que j'obtiendrais une réponse rapide et perspicace de votre part.Merci.Je n'avais pas pensé à l'aspect du centrage des X.Je faisais explicitement le centrage (et la normalisation d'échelle) parce que j'applique LASSO à un problème de régression logistique pour la sélection d'entités.Je peux voir que maintenant si je ne centre pas la matrice de conception, j'obtiens une réponse différente.Lorsqu'elle est centrée, l'interception est presque exactement la fonction de lien appliquée à la réponse moyenne (fraction des positifs).Très cool.Le problème m'a fait penser à l'image que je présenterais pour le rétrécissement LASSO car l'espace de réponse correspond maintenant aux coins du cube unitaire.Ajoutez à cela que la solution optimale se rétrécit vers un certain point à l'intérieur exactement égal à la réponse moyenne (fois (1, 1, 1, ...)) à mesure que la pénalité augmente.
Tout cela a conduit à une autre question.Celui que vous pourriez apprécier.Il y a certains coins du cube unité où une solution de maximum de vraisemblance n'existe pas.Ce sont des réponses pour lesquelles JMP nous dira que les coefficients sont instables parce que nous avons une combinaison linéaire des colonnes de la matrice de conception qui peut parfaitement classer les réponses.La question que j'avais était ... quel est le nombre maximum de coins instables en fonction du nombre d'observations, N.Il est clair que le nombre doit être inférieur à 2 ^ N car nous rencontrons rarement des solutions instables (essayez peut-être toujours d'abord le classificateur linéaire pour éviter cela).La réponse est plutôt cool.Il est lié à la séquence de numéros de gâteau... c'est Cake(N -1) dans le cas de 3 prédicteurs.Cela devient vraiment difficile pour plus de 3 prédicteurs.
Re : Pourquoi les coefficients d'interception dans les modèles linéaires généralisés dépendent-ils de la matrice de conception ?Pensez simplement à l'ordonnée à l'origine dans ce cas de régression OLS où la première analyse utilise X pour le régresseur et la deuxième analyse utilise X après centrage :
Ainsi, l'interception n'est généralement pas égale à la réponse moyenne, mais elle le sera si vous centrez les variables prédictives et utilisez la fonction de lien d'identité.
Re : Pourquoi les coefficients d'interception dans les modèles linéaires généralisés dépendent-ils de la matrice de conception ?L'ordonnée à l'origine (en particulier l'ordonnée à l'origine) est le terme constant du prédicteur linéaire (combinaison linéaire) utilisé dans la régression des moindres carrés ordinaires, les modèles linéaires généralisés et la régression généralisée (JMP). Il s'agit généralement de la valeur du prédicteur linéaire lorsque toutes les variables prédictives sont définies sur zéro. Ce n'est généralement pas la réponse moyenne. Ce résultat dépend des valeurs des prédicteurs dans le cas de la régression OLS. Dans le cas de GLM, cela dépend aussi de la fonction de liaison. Si vous voulez que l'ordonnée à l'origine soit la réponse moyenne, vous devez centrer vos variables prédictives et utiliser le lien d'identité.
