你好,
我有一個簡單的問題,我想知道是否有更多經驗的人可以對此有所了解。
我知道OLS不一定需要正態性假設,但是殘差的正態性會導致偏差最小的無偏估計。
我嘗試使用Fit Model平台中的最小二乘擬合具有三個自變量的連續響應模型。 該模型的Radj約為0.45,殘差圖顯示出清晰的圖案。
接下來,我檢查了連續響應的分佈,發現它與正常值相差很遠。
使用廣義回歸(Lasso)和正態響應分佈,該模型仍然得出約0.45的廣義Rsquare。 但是,當我切換到指數響應分佈時,Rsquare增加到0.84。
如果最小二乘不需要正常響應,那麼怎麼解釋這種差異呢?
謝謝!
順便說一句,我發現了這種材料( https://community.jmp.com/kvoqx44227/attachments/kvoqx44227/discovery-2019-content/28/1/glmTalkTucson.pdf)它說假設錯誤(和響應)是正常的,那么生活就容易了許多。 但是,在此鏈接中( https://www.jmp.com/en_us/statistics-knowledge-portal/what-is-regression/simple-linear-regression-assumptions.html) ,僅討論錯誤的正常性。
因此,我不確定JMP是否假定響應的正常性?
如果是的話,為什麼正常的回應會“使生活更加輕鬆”?
就響應的分佈而言,普通最小二乘回歸通常被視為特殊情況。 作為@Thierry_S解釋了一下,我們通常假設誤差是正態分佈的,然後處理殘差(估計誤差)。 您也可以將其描述為條件分佈:Y〜正態(均值=預測Y = f(X),方差)。 因此,均值Y如線性回歸模型所述隨X變化,但Y的方差是恆定的,或與響應無關。 換句話說,對於任何給定的平均響應(預測的),響應均顯示誤差的正態分佈。
我不會說“ OLS不一定需要正常性。 ”
如果條件分佈不是正態的,則正態性假設和OLS會導致模型較差。 因此,在您的情況下,指數分佈似乎是方差的模型,而不是正態分佈。