一個或多個驗證列在隨附的JMP 檔案中,我為每個反應變數權重、轉彎半徑和馬力建立了三個單獨的回歸模型,並具有三個單獨的驗證列(訓練集= 70%、驗證集= 15%、訓練集= 15%)。
是否有必要為每個回應變數建立驗證列來建立迴歸模型,或者一個包含任何一個回應變數的驗證列就足夠了?
基礎資料分析與建模預測建模和機器學習回覆:一個或多個驗證列嗨@madhu ,
2025 新年快樂!
您的問題沒有正確或錯誤的解決方案。
由於您正在以機器學習(又稱數據驅動)方式為不同的響應建立預測模型,因此以下是不同集合的使用:
- 訓練集 :用於 模型的實際訓練,
- 驗證集 :用於模型最佳化(例如超參數微調、特徵/閾值選擇…)和模型選擇,
- 測試集 :用於對新/未見資料的所選模型進行概括和預測性能評估。在這個階段,你不應該有多個模型參與競爭。
我認為對於“調試”對所有三個響應使用一個驗證列更有用,以了解可以從數據中提取多少信息,並根據響應提供對預測任務難度的更好評估/比較,使用相同的訓練和驗證數據。
如果您使用不同的驗證列來更改訓練、驗證和測試集中觀察值的重新分配,則可能會更難弄清楚為什麼某個回應未正確/精確地預測:是否是因為用於點的分層/重新分配適合模型嗎?還是因為這種反應的預測更難實現?
順便說一句,即使您使用驗證列,我也建議建立一個分層驗證列公式:特徵上的分層有助於確保訓練、驗證和測試集的分佈相似,從而防止資料分佈之間發生任何變化。使用公式驗證列類型可讓您建立模擬並透過各種類似的資料分割來評估演算法的穩健性。
請參閱已解決:如何將許多重複驗證自動化並彙總到一個輸出表中? - JMP 使用者社群
並解決:提升樹 - 調整表設計 - JMP 用戶社區
您還可以使用具有固定隨機種子的K 重交叉驗證列(以確保模型結果的可重複性)來評估演算法對多個響應的穩健性和預測性能。
希望這個回答對你有幫助
回覆:一個或多個驗證列你好@Victor_G
感謝您對我的查詢的評論。他們說得有道理。問候