使用 k 倍擬合品質進行交叉驗證我正在使用 Lasso 擬合並留一法或 K 折交叉驗證。請告知在輸出中查看 R 平方和其他擬合品質指標（例如 AIC）的最佳方法。對於訓練集和驗證集（所有保留的平均值）來說，擁有這個會很有幫助。
預測模型和機器學習回覆：使用 k 倍擬合品質進行交叉驗證你好@丹尼爾斯 ，
歡迎加入社群！
為了獲得 LASSO 回歸在各個折疊和平均值上的性能指標，我認為從模型篩選平台啟動廣義回歸更容易，只需選中「廣義回歸」和「附加方法」選項，指定可以進入模型的術語類型（例如引入交互作用和二次效應）、折疊數和可重複性的種子（如果需要）：
平台啟動後，您將打開一個新窗口，其中包含有關各個折疊和摘要的所有資訊：
希望這個答案能幫助你，
回覆：使用 k 倍擬合品質進行交叉驗證謝謝。這很有幫助。我了解到，然後我會選擇最佳折疊並“運行選擇”，然後您將獲得套索擬合結果，並使用最佳 K 折疊作為驗證
回覆：使用 k 倍擬合品質進行交叉驗證你好@丹尼爾斯 ，
在使用 K 折交叉驗證啟動 LASSO 模型後，確實有幾種方法可以處理結果：
- 在「最佳」驗證折疊上選擇表現最佳的 LASSO 模型：不推薦，因為這看起來像是「挑選」而不是「誠實的評估」和選擇程序：它更像是為模型選擇正確的數據，而不是將正確的模型擬合到您的數據中，所以您最終可能會過度擬合您的驗證數據。
- 在評估結果的一致性和穩健性之後，對所有資料重新訓練模型：這種方法看起來合乎邏輯，因為一旦您評估了您的模型是穩健的並且在所有方面都有類似的結果，您可能會傾向於使用所有資料來進一步改進您的模型。如果您確定模型的參數（例如，包含的術語和懲罰值）在擬合交叉驗證資料和擬合所有資料之間可以保持不變，那麼這可能是一個可行的選擇，以確保您的模型不會對整個資料集過度擬合。這種方法的缺點是忽略了模型驗證，因此如果測試資料出現任何問題，在沒有驗證資料的情況下很難調試模型。
- 創建 K 個模型的模型平均：這是我喜歡的方法（如果可能的話）。一旦您有了 K 個模型，您就可以運行每個模型並使用「發布預測公式」來儲存其預測公式，以將您的模型儲存在公式庫中：
一旦模型公式進入公式庫，您可以點擊“公式庫”旁邊的紅色三角形並選擇“ 模型比較”。這將建立模型效能的簡短摘要，如果按一下「模型比較」旁邊的紅色三角形，則可以建立模型平均：
此選項將在您的資料表中建立一個新公式，該公式對應於您的 K 個模型的平均方程式（在我的例子中，是我的 5 個單獨的交叉驗證模型的平均方程式/模型）：
然後，您可以使用相同的模型比較平台再次比較 K 個單獨模型和平均模型的表現。
請注意，如果您有大量折疊，和/或使用的模型很複雜（如神經網路），則這種方法可能不容易/不可行。對於像迴歸模型和機器學習「基礎模型」（如決策樹、SVM、kNN 等）這樣的簡單模型，這種方法有助於避免過度擬合並確保穩健性和泛化特性，而不會在驗證中「丟失」任何資料。
您可以在以下文章中閱讀有關交叉驗證的更多資訊：
交叉驗證-驗證列方法
k 倍 r2
我還強烈推薦 Cassie Kozyrkov 的播放清單“與機器學習交朋友”，以了解有關模型訓練、驗證和測試的更多信息： 與機器學習交朋友 - YouTube
希望這個回應能幫助你並回答你的問題，
回覆：使用 k 倍擬合品質進行交叉驗證謝謝你！您的見解剛好適合我所走的機器學習軌跡。
回覆：使用 k 倍擬合品質進行交叉驗證為了完成我的分析，如果我使用 K 折模型的平均模型，如上所述，我想回顧每個模型獨立變數的重要性。我通常會使用 VIF。請告知我該如何根據平均公式來做到這一點？
謝謝。
回覆：使用 k 倍擬合品質進行交叉驗證嗨@丹尼爾斯
我不確定是否明白您的意思， 風險因子值有助於評估變數之間的共線性程度，但它並不能反映這些變數對反應的重要性。
您可以比較平均模型公式中的參數估計值來比較因素的重要性。
您還可以在分析器中載入平均公式（在選單圖形中可用，選取「擴展中間公式」以確保您的回應將連結到您的原始預測變數），並使用「 評估變數重要性」選項根據Sobol 指數計算變數重要性（就主效應和整體效應而言）。
希望這個答案能幫助你，
回覆：使用 k 倍擬合品質進行交叉驗證謝謝！我還有很多東西要學習，您的回覆為我提供了一個繼續學習的平台。
