为什么广义线性模型中的截距系数取决于设计矩阵我对 glm 中的截距项思考了很多。特别是逻辑回归。在标准线性回归中，我们可以在不了解设计矩阵的情况下估计截距项。这只是响应的平均值。我认为这一原则在其他模型中也将保持不变。原理是
- 一旦知道响应和链接函数，您就可以确定截距项。它应该与运行不带任何预测变量的 glm 对话框相同（NULL 模型）。
不是这种情况。截距非常接近 NULL 模型。如果更改设计矩阵，我也会得到不同的截距值。也许这是因为系数是由搜索算法生成的。我也对 Poisson glm 做了同样的事情，发现了同样的事情......截距接近 NULL 模型，但不一样。
有趣的是，如果运行 LASSO 并继续增加惩罚，截距确实会收敛到（缩小）NULL 模型。该结果与设计矩阵无关。
我想如果您可以在估计协变量系数之前简单地根据响应和链接函数计算截距项，那就太酷了。模型会更好吗？
回复：为什么广义线性模型中的截距系数取决于设计矩阵谢谢马克，
在响应是数值的情况下，将响应居中的概念很容易理解。假设我们有一个二进制响应，例如 {T, F}，我故意将其保留为未编码形式。没有自然的方法可以赋予集中响应的意义。即使我们将其编码为 {0, 1} 并将响应居中，我们通常也会得到一个介于 0 和 1 之间的值向量。此居中响应不在可实现的响应向量集中，而可实现的响应向量必须是由 0 和 1 组成的向量。因此，在这种情况下，保留截距项似乎非常重要，因为它通过链接函数与响应中 1 的分数相关。如果 T 和 F 的数量相同，则截距为 0...但反之则不然。因此，我们可以计算响应向量的截距（有点像将响应居中），然后执行套索或任何学习算法，只关注其他列。
因此，尽管有人建议我将二元响应居中不是一个好主意，但我认为它比这更深入。截距对于模型来说很重要，即使它对于理解其他预测变量的系数并不重要。
回复：为什么广义线性模型中的截距系数取决于设计矩阵你好马克，
我想我会得到你快速而富有洞察力的答复。谢谢。我没有考虑过将 X 居中的问题。我明确地进行了居中（和尺度标准化），因为我将 LASSO 应用于逻辑回归问题以进行特征选择。我现在可以看到，如果我不将设计矩阵居中，我会得到不同的答案。当它居中时，截距几乎完全是应用于平均响应（正值的分数）的链接函数。很酷。这个问题让我思考了 LASSO 收缩的图片，因为响应空间现在是单位立方体的角。此外，随着惩罚的增加，最优解会向内部某个点收缩，恰好等于平均响应（乘以 (1, 1, 1, ...)）。
这整件事引出了一个进一步的问题。您可能会喜欢的一款。单位立方体的某些角不存在最大似然解。JMP 会告诉我们这些响应的系数不稳定，因为我们对设计矩阵的列进行了某种线性组合，可以完美地对响应进行分类。我的问题是……作为观测数量 N 的函数，不稳定角的最大数量是多少。显然，这个数字必须小于 2^N，因为我们很少遇到不稳定的解决方案（也许总是先尝试线性分类器来防止这种情况）。答案很酷。它与蛋糕编号序列有关......在 3 个预测变量的情况下是 Cake(N -1)。对于超过 3 个预测变量来说，这就变得非常困难。
回复：为什么广义线性模型中的截距系数取决于设计矩阵只需考虑一下 OLS 回归中的 y 截距，其中第一个分析使用 X 作为回归量，第二个分析在居中后使用 X：
因此，截距通常不等于平均响应，但如果将预测变量居中并使用恒等链接函数，则截距将等于平均响应。
回复：为什么广义线性模型中的截距系数取决于设计矩阵截距（具体而言，y 截距）是普通最小二乘回归、广义线性模型和广义回归 (JMP) 中使用的线性预测变量（线性组合）中的常数项。 当所有预测变量设置为零时，它通常是线性预测变量的值。 它通常不是平均响应。 该结果取决于 OLS 回归情况下的预测变量值。 对于 GLM，它还取决于链接函数。 如果您希望截距为平均响应，则必须将预测变量居中并使用恒等链接。
