貝葉斯優化;全域最佳化的順序設計策略一位客戶問我有關貝葉斯優化的問題。 有沒有人向客戶提出類似的要求?
一般來說,貝葉斯最佳化是一種用於黑盒函數全域最佳化的順序設計策略,不假設任何函數形式。 此方法已用於調整機器學習模型。 貝葉斯優化最近也被應用於製造業(用於模擬實驗和實際實驗)。
我的客戶希望根據上一次實驗的數據為下一次運行選擇最佳候選實驗。
這是化學實驗的應用範例。
https://www.nature.com/articles/s41586-021-03213-y
我認為 JMP 可以建立高斯流程模型,以便客戶可以在 JMP 中執行貝葉斯最佳化中的一些步驟。
雄一
回覆:貝葉斯優化;全域最佳化的順序設計策略謝謝,佑一。
有趣的是,有一個專門用於此目的的商業軟體產品。
我看過很多關於這種方法的學術論文。 其中一些提供了基於R或Python的開源應用程式。 我在這些論文中看到的所有方法都是「機器人」或「演算法」。
使用 JMP 的一個優點是,科學家可以互動地探索每個步驟的數據,以他們對領域的理解來指導流程。
問候,
菲爾
回覆:貝葉斯優化;全域最佳化的順序設計策略我今天與一位客戶交談,他們覺得可以使用 JMP 進行實驗。 供您參考,以下產品也是用於此目的的候選軟體。
https://citrine.io/product/what-is-the-citrine-platform/
謝謝,
雄一
回覆:貝葉斯優化;全域最佳化的順序設計策略謝謝你,菲爾。 所有資訊對我都有幫助。
我了解空間填充設計和高斯過程模型的結合將是您客戶的解決方案。 這對我來說很有意義。
感謝您讓我了解您在 Discovery Europe 的演講。 據我了解,您和 Ryan 的方法是協變量/候選運行功能和 XGboost 的結合。 我認為這也適用於 JMP Pro 客戶。
我會向客戶建議這些方法。 如果客戶獲得良好結果,我會通知您。
謝謝,
雄一
回覆:貝葉斯優化;全域最佳化的順序設計策略是的, @yuichi_katsumur 。 我認為空間填充設計和高斯過程模型的結合將是您客戶的解決方案。
我認為客戶對這種方法越來越感興趣,尤其是在化學領域。 儘管我不知道目前有任何客戶為此使用 JMP。
我看過很多關於此的論文,包括您分享的論文。
一位客戶詢問使用這種方法來確定鹽濃度對洗髮精黏度的影響。
這是我建議的方法:
- 您需要一個起始資料集。 在我讀過的論文中,他們經常從因子空間中的一組隨機資料點開始。 但我認為小空間填充設計會更好。 進行此實驗並記錄每次運行的反應。
- 使用空間填充透過大量運作(例如 1000)來擴充起始資料集。 您不會運行所有這些,因此您可以選擇一個非常大的數字。 您現在擁有一個包含大量運行的資料表 - 您僅獲得其中少數的回應。
- 使用高斯過程模型對各因素的反應進行建模。 保存預測公式和保存變異數公式。 現在,您可以獲得少量運行的實際響應以及所有運行的方差和預測響應。
- 從尚未測試的運行中找出方差最大的運行。 記錄本次運行的實際響應。
- 重複步驟 3 和 4,直到實現目標。
那有意義嗎?
我附上了一張數據表,可能有助於說明。 它基於範例資料資料夾中的“2D Gaussian Process Examples.jmp”。
人們談論「利用」與「探索」。 上述方法是探索,因為我們選擇下一次運行來探索因子空間中最不確定的區域。 開發是指您選擇預計具有最佳反應(例如最高產量)的運作。 人們通常採用從探索開始,然後在某個點轉向利用的方法。
@Ryan_Lekivetz我自己給了在 Discovery Europe 的演講我們正在研究化學過程的順序優化,每個步驟都可以執行 48 次運行。 我們比較了勘探和開發方法。 我們研究了一種混合方法,在每個步驟(“回合”),從預測產量大於特定閾值的未經測試的運行中選擇一組最佳運行。 我們在每一步都增加閾值。 這似乎是一個有用的方法。
我希望一切都有幫助。 我有興趣知道您的客戶是否嘗試這種方法。
謝謝,
菲爾