我与Peter Bartell进行过对话,他建议我开始讨论这个概念。
我希望一些非常聪明的人如果已经发表,就会看到这个结果。 我正准备一个关于逻辑回归的短期课程。 作为一名数学家,我可以很容易地想象出最小化设计矩阵的跨度与OLS中使用的响应向量(向量空间方法)之间的距离的概念。 在逻辑回归中,我正在寻找概率向量与由真和假组成的响应之间的距离的类似概念......而不将响应编码为0和1。 我有一个伟大的ahaaa时刻,想出了一个重述问题的方法。 我可以最小化距离,而不是最大化可能性。 但是设计矩阵的“跨度”现在是概率质量函数的空间,而不是向量空间,并且响应是另一个pmf,并且该空间具有自然度量。 有趣的是,最小化设计矩阵跨度之间距离的pmf与MLE pmf相同。 我由一些优秀的数学家运行这个命题,数学看起来很健全,而且非常普遍。 但他们不是统计学家,也不能说结果是否新颖。 就我而言,我已经搜索并搜索了文章,并没有看到glm / MLE以这种方式统一。
当我们在度量空间设置中构建glm / MLE时,我们现在具有为骑行提供的附加结构。 即开放和封闭集合以及收敛的概念。 特别是,我们现在可以确切地看到为什么在逻辑回归中,某些响应会产生具有不稳定系数的解。 问题是设计矩阵的跨度是此度量空间中的开集,响应是该集合边缘上的一个点。 因此,尽管有一系列pmf会聚到响应pmf,但它们无法实现。
我附上了一份简短的说明文件,我欢迎任何反馈意见。