為什麼廣義線性模型中的截距係數取決於設計矩陣我對 glm 中的截距項思考了很多。特別是邏輯回歸。在標準線性回歸中，我們可以在不了解設計矩陣的情況下估計截距項。這只是響應的平均值。我認為這一原則在其他模型中也將保持不變。原理是
- 一旦知道響應和鏈接函數，您就可以確定截距項。它應該與運行不帶任何預測變量的 glm 對話框相同（NULL 模型）。
不是這種情況。截距非常接近 NULL 模型。如果更改設計矩陣，我也會得到不同的截距值。也許這是因為係數是由搜索算法生成的。我也對 Poisson glm 做了同樣的事情，發現了同樣的事情......截距接近 NULL 模型，但不一樣。
有趣的是，如果運行 LASSO 並繼續增加懲罰，截距確實會收斂到（縮小）NULL 模型。該結果與設計矩陣無關。
我想如果您可以在估計協變量係數之前簡單地根據響應和鏈接函數計算截距項，那就太酷了。模型會更好嗎？
回复：為什麼廣義線性模型中的截距係數取決於設計矩陣謝謝馬克，
在響應是數值的情況下，將響應居中的概念很容易理解。假設我們有一個二進制響應，例如 {T, F}，我故意將其保留為未編碼形式。沒有自然的方法可以賦予集中響應的意義。即使我們將其編碼為 {0, 1} 並將響應居中，我們通常也會得到一個介於 0 和 1 之間的值向量。此居中響應不在可實現的響應向量集中，而可實現的響應向量必須是由 0 和 1 組成的向量。因此，在這種情況下，保留截距項似乎非常重要，因為它通過鏈接函數與響應中 1 的分數相關。如果 T 和 F 的數量相同，則截距為 0...但反之則不然。因此，我們可以計算響應向量的截距（有點像將響應居中），然後執行套索或任何學習算法，只關注其他列。
因此，儘管有人建議我將二元響應居中不是一個好主意，但我認為它比這更深入。截距對於模型來說很重要，即使它對於理解其他預測變量的係數並不重要。
回复：為什麼廣義線性模型中的截距係數取決於設計矩陣你好馬克，
我想我會得到你快速而富有洞察力的答复。謝謝。我沒有考慮過將 X 居中的問題。我明確地進行了居中（和尺度標準化），因為我將 LASSO 應用於邏輯回歸問題以進行特徵選擇。我現在可以看到，如果我不將設計矩陣居中，我會得到不同的答案。當它居中時，截距幾乎完全是應用於平均響應（正值的分數）的鏈接函數。很酷。這個問題讓我思考了 LASSO 收縮的圖片，因為響應空間現在是單位立方體的角。此外，隨著懲罰的增加，最優解會向內部某個點收縮，恰好等於平均響應（乘以 (1, 1, 1, ...)）。
這整件事引出了一個進一步的問題。您可能會喜歡的一款。單位立方體的某些角不存在最大似然解。JMP 會告訴我們這些響應的係數不穩定，因為我們對設計矩陣的列進行了某種線性組合，可以完美地對響應進行分類。我的問題是……作為觀測數量 N 的函數，不穩定角的最大數量是多少。顯然，這個數字必須小於 2^N，因為我們很少遇到不穩定的解決方案（也許總是先嘗試線性分類器來防止這種情況）。答案很酷。它與蛋糕編號序列有關......在 3 個預測變量的情況下是 Cake(N -1)。對於超過 3 個預測變量來說，這就變得非常困難。
回复：為什麼廣義線性模型中的截距係數取決於設計矩陣只需考慮一下 OLS 回歸中的 y 截距，其中第一個分析使用 X 作為回歸量，第二個分析在居中後使用 X：
因此，截距通常不等於平均響應，但如果將預測變量居中並使用恆等鏈接函數，則截距將等於平均響應。
回复：為什麼廣義線性模型中的截距係數取決於設計矩陣截距（具體而言，y 截距）是普通最小二乘回歸、廣義線性模型和廣義回歸 (JMP) 中使用的線性預測器（線性組合）中的常數項。 當所有預測變量設置為零時，它通常是線性預測變量的值。 它通常不是平均響應。 該結果取決於 OLS 回歸情況下的預測變量值。 對於 GLM，它還取決於鏈接函數。 如果您希望截距為平均響應，則必須將預測變量居中並使用恆等鏈接。
