K 折交叉驗證對於小資料集有多好？我有一個包含 154 個分子的小資料集（附後）。 我正在嘗試使用 6 個因素來預測 KV40。 透過查看文獻中的類似研究，許多人使用留一驗證方法為此類較小的資料集建立模型，因此為了在 JMP 中複製這一點，我執行了以下操作：
擬合模型：逐步迴歸
- 使用因子的響應面
- 使用的 k（k 倍交叉驗證）= 樣本數 = 154
- 將其他一切保留為預設值
結果：
r2=0.84； r2（k 倍）= 0.72
box-cox 轉換後：r2 = 0.87 (r2_adj = 0.86)
我嘗試使用驗證列 (70:30) 執行此操作，但沒有得到如此好的結果。 我有 JMP 專業版。 我擔心的是，當我進行這種類型的交叉驗證時，我是否創建了一個虛假或過度擬合的模型？ 有一個更好的方法嗎？ 有什麼我應該觀察或測試的嗎？ 謝謝。
回覆：K 折交叉驗證對於小資料集有多好？你好@tnad我剛剛看到這篇文章，希望您不介意 3.5 年後再次回覆！
我認為在這種情況下，不建議為逐步設定 K = 154，因為演算法會搜尋最佳折疊，在這種情況下，該折疊僅包含單一觀察結果。一般來說，在每個折疊內執行逐步嵌套以避免過度擬合非常重要，這在模型篩選中的「嵌套 K 折疊」選項中可用。另外，我認為 154 個觀察值對於 k 折疊來說已經足夠了，並且重複嵌套的 k 折疊是比較模型的好方法。
模型篩選表明，對於這些數據，神經增強法比逐步法效果更好，測試 R2 = 0.87 與使用 Log10(KV40) 作為 Y、K = 5 和 L= 4 的 0.77 相比。我還嘗試了新的 Torch 深度學習插件（可透過要求取得JMP 早期採用者）並且經過一點調整，我通過 5 倍交叉驗證獲得了相似的結果（如果不是更好的話）。
一般來說，JMP 中的 Neural、Torch、XGBoost 和其他平台對於 QSAR 預測建模非常有價值。
回覆：K 折交叉驗證對於小資料集有多好？是的，K = N 產生「留一」交叉驗證。
回覆：K 折交叉驗證對於小資料集有多好？我剛剛想通了這一點...
烹飪：將雞蛋拌入混合物中
地質學：地函的強烈褶皺
生意：俱樂部一年後倒閉
運動：跑者在一英里後折疊
牌：知道何時棄牌
地理：該鎮位於山丘中
網頁設計：首屏文字不需要滾動
變化：事故增加10倍
紙：摺紙折成鴨子
成語: 雙手合十
農業：把羊放在羊圈裡
一定是農耕版！ 就是筆的意思！ 數據被分為 K 筆/子集/折疊。
回覆：K 折交叉驗證對於小資料集有多好？哇！ 這對我來說非常令人驚訝，因為 K 折交叉驗證的想法取決於將資料集劃分為 K 折，其中 K-1 用於訓練，1 - 用於驗證。 不過，我可能會感到困惑。 從你的帖子來看，這種策略更多地歸因於“離開”，不是嗎？回覆：K 折交叉驗證對於小資料集有多好？透過交叉驗證進行誠實評估通常透過以下三種方式之一來實現：保留集合（訓練、驗證、測試）、k 折或留出一組。 使用 k = N（樣本大小）是使用 k 倍 CV 來實現最後一種方法的一種方法。
回覆：K 折交叉驗證對於小資料集有多好？你好！ 我可以問你為什麼 k = 154 用於交叉驗證嗎？
通常，我根據資料集為 k 設定 5（20% 用於驗證），儘管它們對於正常的訓練-驗證-測試來說都足夠小。
謝謝！
將來，JMP Pro 希望在以這種方式處理資料時實現一個視覺化折疊分佈的選項。
回覆：K 折交叉驗證對於小資料集有多好？過度擬合是令人擔憂的問題，但我的陳述的原因是基於「誠實評估」的整個方案。 人們使用一些資料來訓練模型，並分離全新的資料來驗證或選擇模型（兩個保留集）。 這種方法是有效的，但仍然僅限於透過學習和選擇已經看到的數據。 它不能說明新資料的概括。 需要新的數據來測試模型的選擇。 該資料可以是第三保留集或未來資料。 等待未來資料的風險取決於具體情況，因此如果有大量資料可用，則首選第三個保留集。
回覆：K 折交叉驗證對於小資料集有多好？@馬克貝利當您提到「您已使用交叉驗證來選擇模型。 您將需要新數據來測試所選模型，看看訓練是否可以推廣到更大的人群。”
這是因為交叉驗證往往會過度擬合嗎？
回覆：K 折交叉驗證對於小資料集有多好？透過交叉驗證對模型選擇進行正確、誠實的評估總是有效的，但是只有當您擁有大量數據集時，使用保留集進行驗證和測試才實用且有益。（即使有大量數據，也存在稀有目標的問題集。）這就是發明 K 折交叉驗證的原因。 留一法只是將 K 次折疊發揮到極致。 我不認為 70:30 的方法在如此小的樣本量下能很好地發揮作用。
您已使用交叉驗證來選擇模型。 您將需要新數據來測試所選模型，以查看訓練是否適用於更大的人群。
