你好,
我有一個簡單的問題,我想知道有更多經驗的人是否可以提供一些線索。
我知道 OLS 不一定需要常態性假設,但殘差的常態性會導致方差最小的無偏估計。
我嘗試使用“擬合模型”平台中的最小二乘法來擬合具有三個自變量的連續響應的模型。此模型的 Radj 約為 0.45,殘差圖顯示出清晰的模式。
接下來,我檢查連續響應的分佈,發現它與正常情況相差甚遠。
使用廣義迴歸 (Lasso) 和常態響應分佈,該模型仍得出約 0.45 的廣義 R 方。然而,當我切換到指數響應分佈時,Rsquare 增加到 0.84。
如果最小平方法不需要回應的常態性,那麼如何解釋這種差異?
謝謝你!
普通最小二乘回歸通常被視為關於響應分佈的特例。 作為@Thierry_S解釋說,我們通常假設誤差服從正態分佈來處理殘差(估計誤差)。 您也可以將其描述為條件分佈:Y ~ Normal( mean = predicted Y = f(X), variance )。 因此,如線性回歸模型所述,均值 Y 隨 X 變化,但 Y 的方差不變,或與響應無關。 換句話說,對於任何給定的平均響應(預測),響應都呈現出正態分佈的誤差。
我不會說“ OLS 不一定要求正態性。 “
如果條件分佈不正態,則正態性假設和 OLS 會導致模型不佳。 因此,在您的情況下,指數分佈似乎是方差模型,而不是正態分佈。
順便說一句,我找到了這個材料( https://community.jmp.com/kvoqx44227/attachments/kvoqx44227/discovery-2019-content/28/1/glmTalkTucson.pdf)它說假設錯誤(和響應)是正常的會使生活變得容易得多。 但是,在此鏈接中( https://www.jmp.com/en_us/statistics-knowledge-portal/what-is-regression/simple-linear-regression-assumptions.html) ,它僅討論錯誤的正態性。
所以我不確定 JMP 中是否假定響應是正態的?
如果是,為什麼正常的反應會“讓生活變得更輕鬆”?