用於變量選擇問題的 GenReg我的一位客戶正在使用 GenReg 進行變量選擇,並且一直在嘗試使用 Lasso 和 Elastic Net。
他們的模型有 14 個主效應,以及相關的二次項和交互項(要檢查的變量很多)。
在運行 Lasso 或 Elastic Net 之後,創建的最終模型包含所有項,沒有項被清零。結果很奇怪,尤其是考慮到當他們使用逐步運行相同的分析時,模型中省略了一些項。
在使用 Lasso 或 Elastic Net 之前,有沒有人遇到過這種行為?
回复:用於變量選擇問題的 GenReg謝謝大家的建議。 在與客戶進行調試會話後@劍草我們終於能夠理解他們的問題,這在很大程度上與使用過多數據(25 萬行)來訓練模型有關。 獨特的特徵和數據量將模型誤差降低到非常小的水平,從而導致每個項都開始顯示出一定程度的重要性(沒有項被歸零)。
通過使用較小的、同樣具有代表性的數據集(15K 行),我們能夠讓 Lasso 和 Elastic-Net 執行變量選擇並為其應用程序構建有用的模型。
回复:用於變量選擇問題的 GenReg嘿尼克,
儘管他們可能已經徹底考慮過驗證,但對他們的數據進行隨機驗證是一件好事嗎? 他們可能有分類值,您可能希望通過這些分類值之一對驗證進行分層。
接下來的事情是按照 Pete 在 GenReg 中建議的向前選擇進行嘗試,看看這是否對 Lasso 在選擇變量方面產生影響。 您可能還想使用兩階段套索和兩階段前向選擇。
解決方案路徑看起來如何,是否有模型效應縮小到零(只是沒有達到 0)或根本沒有(更多水平線)?
最後,你能否要求客戶檢查 Bootstrap Forest 運行多次並檢查變量是否仍然全部重要,或者如果其中一些曾經重要,則其他運行不重要。 所以順序不一致(前幾名內的小變化是可以的,但巨大的變化是至關重要的)。 這將告訴您數據中正在發生某些事情,必須在進一步建模之前找出這些事情。
最後但同樣重要的是,你是否使用自適應套索? 當您的數據高度共線時(BF 會看到瘋狂地更改訂單;) ),Lasso 和 Elastic Net 的自適應版本可能無法提供好的解決方案。 這是因為自適應版本假定 MLE 提供了良好的估計。 在這種情況下取消選中自適應選項。
最好的,
馬丁
回复:用於變量選擇問題的 GenReg嘿尼克,
他們是否嘗試過從 GenReg 中向前選擇或向後淘汰?如果他們看到逐步消除變量,他們應該會在 GenReg 中看到這種情況。
該模型是否包含具有高 p 值的效應?
他們在 Elastic Net 中檢查的其他東西是 Elastic Net Alpha,如果它更接近 0 而不是 1,它將更像嶺回歸,而不是實際執行變量選擇。至於套索,我只是檢查以確保它們不會強制將術語包含在高級控件中。
回复:用於變量選擇問題的 GenReg15 萬行
回复:用於變量選擇問題的 GenReg幾行?回复:用於變量選擇問題的 GenReg是的,他們正在使用驗證列。
回复:用於變量選擇問題的 GenReg他們在 Genreg 中進行交叉驗證嗎?