¿Por qué los coeficientes de intercepción en modelos lineales generalizados dependen de la matriz de diseño?He pensado mucho sobre los términos de intercepción en glm. Regresión logística en particular. En la regresión lineal estándar podemos estimar el término de intercepción sin ningún conocimiento de la matriz de diseño. Es solo el medio de las respuestas. Pensé que ese principio se mantendría igual en otros modelos. El principio es
- Una vez que conozca las respuestas y la función de enlace, podrá determinar el término de intercepción. Debe ser lo mismo que ejecutar el cuadro de diálogo glm sin ningún predictor (modelo NULL).
Este no es el caso. Las interceptaciones son muy cercanas al modelo NULL. También obtengo diferentes valores de intercepción si cambio la matriz de diseño. Tal vez se deba al hecho de que los coeficientes son generados por un algoritmo de búsqueda. También hice lo mismo para Poisson glm y encontré lo mismo ... la intersección está cerca del modelo NULL pero no es lo mismo.
Curiosamente, si ejecuta LASSO y continúa aumentando la penalización, la intersección converge (se contrae) hacia el modelo NULL. Este resultado es independiente de la matriz de diseño.
Supongo que sería genial si simplemente pudiera calcular el término de intercepción a partir de las respuestas y la función de enlace antes de estimar los coeficientes de covariables. ¿Sería el modelo mejor?
Re: ¿Por qué los coeficientes de intercepción en modelos lineales generalizados dependen de la matriz de diseño?Gracias mark
El concepto de centrar la respuesta es fácil de entender en los casos en que las respuestas son numéricas. Supongamos que tenemos una respuesta binaria como {T, F} y la mantengo intencionalmente en forma no codificada. No hay una forma natural de dar sentido a centrar la respuesta. Incluso si lo codificamos como {0, 1} y centramos la respuesta, generalmente terminaríamos con un vector de valores entre 0 y 1. Esta respuesta centrada no está en el conjunto de vectores de respuesta realizables, que deben ser un vector de 0 y 1. Entonces, en este caso, el término de intercepción parece ser muy importante de retener, ya que se relaciona, a través del enlace, la fracción de 1 en la respuesta. Si hay el mismo número de T y F, entonces la intersección es 0 ... pero no de otra manera. Así que podemos calcular la intercepción a partir del vector de respuesta (algo así como centrar la respuesta) y luego hacer un lazo o cualquier algoritmo de aprendizaje y solo enfocarnos en las otras columnas.
Entonces, aunque me han dicho que centrar las respuestas binarias no es una buena idea, creo que es más profundo que eso. La intercepción es importante llevar con el modelo, incluso si no es fundamental para entender los coeficientes de los otros predictores.
Re: ¿Por qué los coeficientes de intercepción en modelos lineales generalizados dependen de la matriz de diseño?Hola Mark,
Pensé que obtendría una respuesta rápida y perspicaz de parte tuya. Gracias. No había pensado en el aspecto de centrar las X. Estaba haciendo explícitamente el centrado (y la normalización de la escala) porque estoy aplicando LASSO a un problema de regresión logística para la selección de características. Puedo ver que ahora, si no centro la matriz de diseño, obtengo una respuesta diferente. Cuando está centrado, la intersección es casi exactamente la función de enlace aplicada a la respuesta media (fracción de positivos). Muy genial. El problema me hizo pensar en la imagen que presentaría para el encogimiento de LASSO porque el espacio de respuesta ahora es la esquina del cubo de la unidad. Agregue a esto que la solución óptima se contrae hacia algún punto en el interior exactamente igual a la respuesta media (tiempos (1, 1, 1, ...)) a medida que aumenta la penalización.
Todo esto llevó a una pregunta más. Uno que podría disfrutar. Hay algunas esquinas del cubo de la unidad donde no existe una solución de máxima probabilidad. Estas son respuestas donde JMP nos dirá que los coeficientes son inestables porque tenemos una combinación lineal de las columnas de la matriz de diseño que puede clasificar las respuestas perfectamente. La pregunta que tuve fue ... ¿Cuál es el número máximo de esquinas inestables en función de la cantidad de observaciones, N. Claramente, el número debe ser menor que 2 ^ N porque rara vez encontramos soluciones inestables (quizás siempre intente con el clasificador lineal primero) Para prevenir esto). La respuesta es muy buena. Se relaciona con la secuencia del número de pastel ... es Cake (N -1) en el caso de 3 predictores. Se pone muy difícil para más de 3 predictores.
Re: ¿Por qué los coeficientes de intercepción en modelos lineales generalizados dependen de la matriz de diseño?Solo piense en la intersección con y en este caso de regresión OLS donde el primer análisis usa X para el regresor y el segundo análisis usa X después del centrado:
Por lo tanto, la intersección generalmente no es igual a la respuesta promedio, pero lo será si centra las variables predictoras y usa la función de enlace de identidad.
Re: ¿Por qué los coeficientes de intercepción en modelos lineales generalizados dependen de la matriz de diseño?La intersección (específicamente, la intersección con y) es el término constante en el predictor lineal (combinación lineal) utilizado en la regresión de mínimos cuadrados ordinarios, modelos lineales generalizados y regresión generalizada (JMP). Generalmente es el valor del predictor lineal cuando todas las variables del predictor se establecen en cero. No es generalmente la respuesta media. Ese resultado depende de los valores del predictor en el caso de la regresión OLS. En el caso de GLM, también depende de la función de enlace. Si desea que la intercepción sea la respuesta promedio, entonces debe centrar sus variables predictoras y usar el enlace de identidad.
