貝葉斯最佳化-匯出底層模型你好,
我一直很喜歡嘗試新的貝葉斯優化平台。不過,我想把結果和一些機器學習模型的結果做比較。我看到輸出結果中確實有「留一法」R²,但這真的是基於隨機選取的一行資料嗎?還是說在後台對資料集進行了訓練集和驗證集的分割?我能知道具體是哪一行(或哪些行)被選作了保留行嗎?
另外,能否查看實際的模型?我使用了“保存所有模型擬合”和“保存腳本以供下次迭代”功能,但我不確定這些是否是完整的模型。我想看看模型對新數據的預測效果如何,儘管我知道這可能不是平台的主要功能。
或者,我能否將最優高斯過程模型「載入」到高斯過程中?我目前還沒有找到簡單的方法,尤其是我有多個θ值,但如果我能在高斯過程平台運行產生的最優高斯過程,這或許就能解決所有這些問題!
進階統計建模回覆:貝葉斯優化-匯出底層模型你好@abmayfield ,
由於目前關於貝葉斯優化的文檔非常有限,因此可能很難回答您的問題。
經典高斯過程 (GP) 和基於貝葉斯優化的高斯過程 (GP-OB) 的 GP 的擬合/驗證策略似乎有所不同:前者是貝葉斯優化高斯過程,後者是獨立高斯過程。雖然兩個平台都使用了留一法交叉驗證 (Leave-One-Out) 策略,但結果的聚合方式可能不同:經典高斯過程使用刀切法 (Jackknife),而基於貝葉斯優化的高斯過程則使用經典的留一法交叉驗證。
我也覺得無法保存 OB 模型中的預測公式很令人沮喪。不過,我找到了一個近似 OB 平台模型的變通方法:由於可以從 OB 平台(在 Gaussian Process 模型報告中)存取參數值,我重新啟動了經典 Gaussian Process 平台,但強制使用 OB 模型中的 theta 值。這並不完美,因為兩個模型的截距會不同,但至少我能夠近似地得到 OB 平台中的預測模型。

希望第一個回答能對您有幫助。
回覆:貝葉斯優化-匯出底層模型感謝您的想法。雖然能看到底層模型仍然很有幫助,但我認為,只要我添加一些額外數據(作為驗證),重新運行模型(或生成一個新模型),並且擬合優度和最優解都沒有太大變化,我就可以得出結論,這個模型是好的。相反,如果我添加了一些新數據,而新的解完全不同,我會得出結論,舊模型存在問題,並接受新模型(無論如何都會產生新模型)。但我確實希望能夠保留多個樣本,或許如果我進行足夠多的迭代,我就能更了解實際的驗證 R² 值(?)。