培訓規模與測試數據集之間的比例嗨，我有一個相對較小的數據集，其中包含95個觀察值/記錄，每個記錄約有70個變量。目的是檢測哪些變量會影響響應並找到這些變量的最佳設置。由於觀察次數少，我決定將數據僅分為兩類：訓練數據集和測試數據集（省略驗證數據集）。我的策略是在分區平台上應用決策樹，然後使用看起來似乎最重要的變量進行最小二乘回歸。我的問題是，關於培訓和測試數據集的大小比例是否有一般性建議？我曾嘗試過一個部門，其中75％的觀察值包含在訓練數據中，而25％的觀察結果包含在測試數據集中，但是我不確定這是否是最佳比例。
我也想知道是否可以將某些引導程序用於劃分訓練和測試數據集。想法是進行大量的除法並以某種方式平均結果。我不確定這是否有意義。我正在運行JMP 15。
分析工具回复：培訓規模與測試數據集之間的比例您可以使用k折交叉驗證，即對小數據集進行CV調整。
另外，在JMP Pro中，您可以將LASSO與廣義回歸一起用於變量選擇。
回复：培訓規模與測試數據集之間的比例謝謝，應用k折交叉驗證很有意義。我想我應該使用逐步回歸，因為 k折交叉驗證不是帶有標準最小二乘法的選項。不幸的是，我還不是專業版用戶，因此我無法訪問廣義回歸。
我想您仍然會保留一部分數據以測試最終模型的預測能力嗎？
回复：培訓規模與測試數據集之間的比例測試支持集的作用在通過交叉驗證進行誠實評估中很有用，但需要權衡取捨。您使用K折CV，因為您的數據集很小。拿出一部分進行測試可能會損害培訓和選擇最佳模型。交叉驗證方法基於對模型的未來數據確認，但使用了一些現有數據。您打算用新的觀察結果評估模型嗎？這樣，測試集可能無法提供獨特的好處。
