變量選擇和 Bootstrap 森林你好，
我進行了 Bootstrap 森林分析，得到了 230 個特徵的分類結果，其中許多特徵高度相關。 我的訓練集（AUC 0.98）和驗證集（0.68）之間的性能存在巨大差異。 由於數據是高維度的並且許多變量是相關的，因此需要減少變量。 我可以為此目的將 GenReg 與 Lasso 或其他懲罰技術結合使用嗎？ 我的數據並不是真正的正態分佈。 這就是我更喜歡使用樹模型的原因之一。
提前致謝，
魯
預測建模和機器學習回复：變量選擇和 Bootstrap 森林對我來說，擁有 1050 個案例和 230 個特徵會導致過度擬合。訓練數據和驗證數據的性能之間的巨大差異符合我對過度擬合的預期。根據我的經驗，JMP 模型平台中的默認設置通常可以很好地避免該問題，但也許您的數據是一個極端情況。您可以嘗試以某種方式強制樹模型以避免過度擬合（例如，您可以提高最小分割大小以強制使用更簡單的樹）。最後，我確實認為您需要以某種方式減少功能集 - 關鍵是找到可能是最重要的功能 - 並且對您擁有正確的功能集（之間的相關性）有一定的信心230 個功能可能會讓這變得困難）。您還可以嘗試一些主成分分析來減少特徵數量。
回复：變量選擇和 Bootstrap 森林@魯：當我談到對分類響應級別的響應進行分層時，我並不是指訓練、驗證、測試數據集大小的百分比分割。 我建議的是，當您選擇響應列作為分層列時，然後在“選擇方法”窗口下，選擇“分層驗證列”。 這迫使您在訓練、驗證和可選的測試集中盡可能接近每個級別的分類響應的比例。 有時，純隨機選擇的小魔怪會在整個響應的水平上產生顯著的不平衡，從而使模型驗證可能更加困難。 這是更多文檔：
https://www.jmp.com/support/help/en/15.2/#page/jmp/launch-the-make-validation-column-platform.shtml
至於偏最小二乘法的優點，我不確定是否有任何明顯的優點。 但 PLS 非常擅長的一件事是為多重共線性預測變量創建潛在變量，這些變量又可用於建模目的。 因此，與套索、彈性網絡或任何基於樹的方法相比，這只是對預測變量的不同數學處理。 請參閱 JMP 文檔了解此方法：
https://www.jmp.com/support/help/en/15.2/#page/jmp/partial-least-squares-models.shtml
我的一般建議是嘗試許多不同的建模方法......線性和非線性類型，包括提到的那些@馬克貝利，然後將每個模型的結果導出到 Formula Depot 或模型比較平台，看看哪個模型效果最好。
沒有任何一種方法可以解決所有問題。 所以嘗試很多，希望你能找到有效的方法。
回复：變量選擇和 Bootstrap 森林您還可以使用 Predictor Screening 平台。 它使用引導森林來收集變量貢獻，這可用於為模型選擇變量。 引導森林在很大程度上應該避免共線性。
回复：變量選擇和 Bootstrap 森林感謝您的回复，
數據集的大小為 1050 個案例，其中有 1 個分類 Y（稍微不平衡的 45/55）。我提到的 230 個特徵是變量 (X)，而不是響應。 其中一些是絕對的，大多數是數字的。 我使用分層訓練/驗證/測試方法（60/20/20）方法進行模型訓練和驗證。
與 Lasso 和 Elastic Net 相比，PLS 的優勢是什麼？
問候，
魯
回复：變量選擇和 Bootstrap 森林當預測變量之間存在多重共線性時，套索和彈性網絡方法可能會很有用。 我不是 100% 清楚的是，當您說“...230 個功能...”時，這些是響應的分類級別嗎？ 或者你的預測變量集？
您可能需要閱讀有關這些方法的 JMP Pro 文檔：
https://www.jmp.com/support/help/en/15.2/#page/jmp/overview-of-the-generalized-regression-personality.shtml#ww349714
您可能還想嘗試偏最小二乘法。
您沒有提及數據集的大小。 對於分類響應，有時小數據集可能對訓練、驗證和可選的測試數據集的結構非常敏感。 您是否根據響應的級別對每個人進行了分層？ 這是普遍認可的創建訓練、驗證和測試數據集的最佳實踐。
