貝葉斯優化 GP 與獨立 GP你好,
我正在嘗試了解高斯過程模型在「高斯過程」平台與「貝葉斯最佳化」平台(JMP Pro 19.0.1)中的行為。
擬合這些簡單的模擬(確定性)數據:

使用高斯過程:

利用貝葉斯優化

為什麼 BO 模型的置信區域在資料點沒有像 GP 模型那樣縮小到 0?
謝謝
馬修
附言
這是 Y 的計算公式:
4.3 + -2 * (:X - 1) ^ 2 + Exp( -3 * (:X + 3) ^ 2 ) + 3 * Sin( :X + 2 )
進階統計建模回覆:貝葉斯優化 GP 與獨立 GP嗨@matteo_patelmo ,
目前, 貝葉斯優化的技術文件相當有限,關於信賴區間/誤差區間的計算,一些技術細節尚不清楚。導致您在兩個平台之間看到差異的原因可能有很多:
使用者輸入:
- 針對您的資料集,合理使用連續相關類型(貝葉斯優化中可用的相關類型比高斯優化中更多(高斯和三次相關))。
- 高斯過程 (GP) 中使用「估計塊金參數」可以讓預測模型平滑噪聲,而不是進行完美插值。經典高斯過程預設不會啟用此選項,但目標最佳化 (OB) 似乎預設會估計區塊金參數,這可能會增加誤差(但在您提供的公式完全已知的範例中不會)。
JMP平台內部運作機制:
- 經典 GP 與 OB GP 的擬合(和驗證程序)。
- 在經典的 GP 中,擬合和驗證過程依賴 Jackknife 方法,其中有一個留一法程序,用於計算保留的樣本(訓練樣本)的指標,然後對每個 LOO 樣本的結果取平均值。
- 在 OB 的 GP 中,擬合和驗證過程似乎略有不同,並且似乎依賴經典的留一法交叉驗證 (LOO) 程序(並非完全確定),其中指標是在排除的樣本(測試樣本)上計算的。這可能會導致 Profiler 中顯示的不確定性增加以及預測值的變化。
你可以看出,這兩個平台之間的擬合結果不同,即使你使用相同的相關類型啟動資料集,並在兩個平台上估計塊金參數,theta、塊金參數和 GP 方差的值也會不同。
- 信賴區間的計算:
在經典高斯過程 (GP) 中,置信區間的顯示是利用高斯過程的變異數公式和分位數來實現的。如何保存高斯過程模型的預測/信賴區間?變異數公式使用θ值,以及範圍內每個點到最近測量點的距離。因此,在已測量點的位置上,「不確定性為零」。
OB 中的 GP 提供了一個「測量誤差」:「測量誤差計算為塊金參數τ與高斯過程方差σ²的乘積」 。似乎使用測量誤差也是為了避免在已採樣區域出現「零不確定度」的情況,從而反映實驗誤差。
當然,這些解釋需要 JMP 技術人員確認,這些只是我目前對這兩個平台的運作和結果的個人看法。
希望得到 JMP 技術人員的幫助,以便更好地回答您提出的這個有趣的問題!
回覆:貝葉斯優化 GP 與獨立 GP或許JMP公司有人可以回答這個問題?
置信區間用於預測後續測量的最佳位置。
不同的置信度會導致不同的預測結果,對嗎?
回覆:貝葉斯優化 GP 與獨立 GP事情並非那麼簡單,因為這兩個基於 GP 的平台在置信區間計算方面的行為有所不同。
在 OB 置信區間計算中總是存在一些誤差,而在經典的 GP 平台中,對於測量點的位置,誤差設定為 0(因此我最初回覆了關於誤差/區間計算和顯示差異的問題)。
根據所使用的擷取函數和信賴區間的計算方法,您可以獲得不同的「最佳」下一個取樣點建議:
最大化貝葉斯期望值:

最大化預期改進效果(優化針對目標的預測響應):

最大化貝葉斯標準差期望值(重點關注不確定性最高的地方):

回覆:貝葉斯優化 GP 與獨立 GP啊,對!
即使是測量位置,也必須從非零置信區間開始。
與擬合模擬結果有巨大差異。
很棘手——沒有模型——而且這個位置只有一個數據點。
回覆:貝葉斯優化 GP 與獨立 GP感謝@Victor_G的見解。我們再等等 JMP 工作人員的進一步解釋。
馬修
回覆:貝葉斯優化 GP 與獨立 GP高斯過程 + 塊金參數:
如何保存高斯過程模型的預測/信賴區間?
回覆:貝葉斯優化 GP 與獨立 GP@hogi ,請閱讀對話內容,這與我在第一個回答中提供的連結完全相同。
讓我們等待JMP技術人員( @chris_gotwalt1 ?)對貝葉斯優化進行官方解釋。
回覆:貝葉斯優化 GP 與獨立 GP啊,抱歉,我一開始沒有點擊連結——因為它被列在古典全科醫學(GP)下。
你說得對,是同一個連結。它也涵蓋了 Nugget 參數的部分。
回覆:貝葉斯優化 GP 與獨立 GP試著重新發起這個話題,希望有人能幫忙。
馬修