留一法交叉驗證有人可以幫助我理解下面來自Gen Reg平台的圖表,用於留一法驗證(或者可以幫助我更好地了解留一法驗證)嗎?我使用糖尿病並預測Y(連續)。為什麼在驗證圖中顯示一條特定記錄?據我了解,解決方案路徑驗證圖可繪製所有留一法的平均值。


下方附有腳本的數據集。
回复:一勞永逸的交叉驗證嗨,溫迪,
我想如果你看看K折幫助文檔這將有助於解釋這一點。 遺漏只是k倍的一種特殊情況,其中k =數據行數。
“為獲得最終模型,將為調整參數的最佳值導出的所有k個模型都適合整個數據集。 其中,具有最高驗證對數似然性的模型被選為最終模型。 用於該最終模型的訓練集被指定為訓練集,該模型的保留折疊為驗證集。 這些是繪圖和最終解決方案的報告結果中使用的訓練和驗證集。”
因此,您只會看到k個模型之一的圖:具有最高驗證對數可能性的模型。
我同意只看到一個數據點的驗證集的實際值與預測值有點奇怪。 但是希望這可以解釋為什麼現在。
乾杯,
菲爾
回复:一勞永逸的交叉驗證嗨,溫迪,
是的,對K折或留一法驗證方法中使用的Scaled -Loglikelihood(=對數似然率除以#個觀測值)進行了平均,但是診斷圖(例如Actual by Predicted)顯示了單個模型的結果。
拉索懲罰回歸的解決方案取決於單個調整參數。 當使用LOO驗證在網格上搜索最佳值時,將有N個模型(例如442)適合每車削參數值。很多型號都適合! 將為442個LOO觀測值中的每一個計算縮放後的-LL值,然後將它們的平均值與來自具有不同轉向參數值的模型的另一個平均縮放後的-LL進行比較。這就是驗證圖中顯示的內容。(請注意,比例參數估計的幅度值等於調整參數的值。)
然後從442個模型中選擇最終模型,如@phil_kay :在“所有ķ為調整參數的最佳值而導出的模型適合整個數據集。”實際通過預測在訓練集和LOO觀察上繪製最終模型的結果;在這種情況下,它是行305,因為當用作LOO驗證時,此數據點會產生最高的LL值。
如您所見,K折和LOO驗證方法在懲罰回歸中的操作與在Partition和NN中的操作有所不同。我希望這有幫助。
健