Logistic Regression and Model Reduction - 模型擬合結果之間的差異我正在使用廣義回歸平台與二項分佈適合邏輯模型,然後做選型(例如,最佳子集 - AIC)以降低模型的複雜性。
一旦模型減少,我僅使用有效條款重新啟動它,使用完全相同的平台——具有二項分佈的廣義回歸,這樣我應該得到與減少的模型完全相同的擬合模型,具有相同的係數和預測。
然而,當我比較這兩個分析器時,我得到的預測值略有不同,並且極其不同的預測區間.
你能解釋為什麼會這樣嗎?
另外,我應該相信這兩種配合中的哪一種?
謝謝你!
回复:邏輯回歸和模型縮減 - 模型擬合結果之間的差異嗨米科爾,
造成這種差異的原因是這兩個模型對參數估計的協方差使用不同的估計量(這會影響標準誤差)。 每當我們進行變量選擇(Lasso、FS 等)時,它都會使用三明治矩陣,如 Zou 2006 和 Huber 和 Ronchetti 2009 中所述:
鄒 H. (2006)。 “自適應套索及其 Oracle 屬性。”美國統計學會雜誌 101:1418–1429。
Huber, PJ 和 Ronchetti, EM (2009)。 穩健的統計數據。 第二版。約翰·威利父子公司。
每當我們在邏輯/二項式擬合中進行 MLE 時,它都會使用通常的 Fisher 信息矩陣。 對於您使用逐步回歸然後重新擬合的簡化模型,我們認為使用次要結果(具有更小的置信區間)是可以的。
我希望這有幫助!
謝謝,
亞當·莫里斯
JMP 技術支持