帶重量的型號你好
我試圖找到一些 X 預測變數與右側強烈偏斜的連續反應變數之間的相關性。
此資料庫僅包含 140 個實例。
首先，我使用函數 lnx+1 轉換反應變數。
然後我對 0 和 1 範圍內的所有 x 進行歸一化，使用篩選選項降低維度，然後刪除相關預測變數 X。透過運行沒有任何權重的隨機森林，訓練資料的 R2 非常低（請參閱下面的第一張圖）。然後我使用類似的拋物線權重函數（請參閱第二個圖）重新運行隨機森林。如上圖所示，結果更好。看起來數據圍繞著繪圖中心旋轉。有人可以解釋為什麼嗎？
權重函數該如何選擇？
資料混合與清理預測建模和機器學習回复：有重量的模型我不認為這是合法的。聽起來您覺得極值在您的數據中可能沒有得到充分體現。如果是這種情況，那麼我認為正確的做法是採用不同的方式進行採樣——過度採樣可能的極值。那麼加權可能是合理的。但是在收集數據後對極值進行加權聽起來像是在發明數據，這些數據可能會告訴你你希望得到什麼。我還沒有聽到為什麼應該更重視這些價值的充分理由。
還有其他選擇。分位數回歸是一種旨在估計特定分位數（例如極端分位數）而不是平均響應的技術。但這與更重地加權這些極端值不同。
回复：有重量的模型嗨戴爾
由於樣本量小，我的想法是使用權重函數。 我試圖更加重視低值和高值的響應。回复：有重量的模型我認為提供有關數據特徵的更多詳細信息以及可能的一些數據樣本會對您有所幫助。總的來說，我認為除非權重明顯合適，否則對分析進行加權是很奇怪的，例如在調查中，抽樣是專門為代表被抽樣人口的權重而設計的。另一個適合權重的地方是您正在運行回歸分析並且存在異方差性。但我認為在隨機森林中使用權重是一件奇怪的事情。就此而言，我不確定為什麼需要使用隨機森林來減少特徵數量——驗證應該防止過度擬合，並且該技術應該關注最相關的特徵。如果沒有更多關於為什麼使用權重的上下文，我對應用加權函數持懷疑態度，因為它提供了更好的擬合模型。
