我與Peter Bartell進行過對話,他建議我開始討論這個概念。
我希望一些非常聰明的人如果已經發表,就會看到這個結果。 我正準備一個關於邏輯回歸的短期課程。 作為一名數學家,我可以很容易地想像出最小化設計矩陣的跨度與OLS中使用的響應向量(向量空間方法)之間的距離的概念。 在邏輯回歸中,我正在尋找概率向量與由真和假組成的響應之間的距離的類似概念......而不將響應編碼為0和1。 我有一個偉大的ahaaa時刻,想出了一個重述問題的方法。 我可以最小化距離,而不是最大化可能性。 但是設計矩陣的“跨度”現在是概率質量函數的空間,而不是向量空間,並且響應是另一個pmf,並且該空間具有自然度量。 有趣的是,最小化設計矩陣跨度之間距離的pmf與MLE pmf相同。 我由一些優秀的數學家運行這個命題,數學看起來很健全,而且非常普遍。 但他們不是統計學家,也不能說結果是否新穎。 就我而言,我已經搜索並蒐索了文章,並沒有看到glm / MLE以這種方式統一。
當我們在度量空間設置中構建glm / MLE時,我們現在具有為騎行提供的附加結構。 即開放和封閉集合以及收斂的概念。 特別是,我們現在可以確切地看到為什麼在邏輯回歸中,某些響應會產生具有不穩定係數的解。 問題是設計矩陣的跨度是此度量空間中的開集,響應是該集合邊緣上的一個點。 因此,儘管有一系列pmf會聚到響應pmf,但它們無法實現。
我附上了一份簡短的說明文件,我歡迎任何反饋意見。