從與 Chris G. 在海德堡舉辦的 JMP Pro 研討會的回饋中學習這裡我描述了我在海德堡研討會上與 Chris Gotwalt 一起學習貝葉斯優化的收穫:
一些簡短的事實:
- 48 位註冊者 - 房間內約有 40 人
- 主題貝葉斯優化
- 非常感興趣
- 約 60% 擁有 JMP Pro
- 大多數人都熟悉 DoE,並致力於以更快的速度和更低的成本優化流程
特殊情況的假設與確認:
- 多個回复,𝑦_𝑖 (𝑥)
- 所有人都舉手請求確認這對他們來說很重要並且他們需要它
- 多次運行的“批量”增強
- 幾乎所有情況下,都需要進行批量實驗,這意味著不僅僅是下一個,而是接下來的 4 個、6 個,或其他任何數量的實驗。大多數情況下,這樣做的原因是
- 實驗持續太長時間,無法等待下一個建議,
- 但缺乏材料(並非總是可用)也是另一個原因。
- 提到的期望:
- 如何縮短開發時間
- 分析部門(設計專家用戶)目標
- 說服同事更容易使用 DOE,因為他們說無法完成很多次運行。
- 為使用者提供 DOE 以外的其他選項,我為什麼要做那些沒有任何意義的實驗,我只想要一個好的結果
- 成本 -> 運行次數減少
- 您希望得到什麼?
觀眾提問:
- 如果因素不重要怎麼辦?
- 答案:它會忽略那些沒有影響的因素。變數重要性選項將有助於顯示冪級排序因素
回答可以加權嗎? (另一個「奇特」的案例)
- 答:是的,它將應用於分析器中的貝葉斯選擇可取性。它可以處理競爭目標或複雜的稀疏性,以及匹配目標/規格限制目標。
如何處理局部最小/最大問題?
- 答:與牛頓稍微比較一下,這可能會發生,但如果您不滿意,您可以輕鬆探索其他區域,例如方差較大的區域。
我可以使用分類回應/因素嗎? (另一個「奇特」的案例)
如果我知道回應會非常吵雜怎麼辦?該如何處理? (又一個「奇特」的情況)
- 答:你需要製定策略:先進行 MSA 來評估方差,然後使用重複來平均變異性
我可以增加新的因素嗎? (另一個「奇特」的案例)
用例:
- Chris G.:配方和混合物是首要的用例,因為所有混雜因素和限制都不再是問題。因為它只與距離有關,與設計空間無關!通貨膨脹因素根本不重要。
- 客戶提到:
- PID 控制器調整:一次運行需要 15-30 分鐘,但每次進出都很麻煩,因此批量運行對它們來說非常重要(與僅進行下一次運行的基本貝葉斯選擇解決方案相比)
- 超參數訓練與建模
- GMP 環境,您不能有太大的變化,並且僅限於運行 2 個批次
- 在研究(製藥)中可能具有巨大的影響,但在製程表徵中可能影響較小
- 說服同事使用 DOE,因為它更容易,而且你可以克服他們所說的無法完成的多次運行。
建議: @chris_gotwalt1 @DanielValente
- 寶潔/巴斯夫:如果能夠添加先驗資訊(例如來自已知的化學反應/公式,或者您確定它是一個線性模型)來影響可取性曲線,那就太好了
總結:
- 興趣濃厚
- 我們的平台似乎非常適合 Bofire(針對 Python 程式設計師)和自主開發的解決方案(讓商務人士非常容易使用)之間的環境
- 它比大多數貝葉斯優化工具所能做的要多得多——談論「奇特的」貝葉斯優化情況
進一步的評論:
- 人們想要它,並且看到它幫助了許多 JMP 用戶,並希望在 JMP 中實現它。這就是為什麼我們要討論如果所有用戶都使用它,並進行投資回報率 (ROI) 計算,看看 ELA/一定數量的 Pro 許可證如何比較,他們能獲得的價值。例如,讓倡議者展示與過去實驗的區別,以及如果我們在第一次實驗後就進行 BO 會有什麼不同。這是否引導了其他途徑/更早地找到了答案/我們什麼時候走錯了方向?這是為了說服其他人(那些一遍又一遍地用他們的假設進行實驗的工程師)。
回覆:從與 Chris G. 在海德堡舉辦的 JMP Pro 研討會的回饋中學習還有一點:有些組織可能已經在使用某種解決方案,例如 BoFire(Python 套件)或其他更簡單的方案。大多數組織的工具中並沒有涵蓋所有特殊情況,或只針對程式設計師。
我們將利用現有資源佔領大量市場。
回覆:從與 Chris G. 在海德堡舉辦的 JMP Pro 研討會的回饋中學習很好的回饋總結。只是我記下了一些問答。
如果這張桌子來自其他地方怎麼辦?
- 回答:不用擔心,您可以在分析器中新增所有約束
舉個例子來說明分析器是如何透過運作而演變的?
- 答:是的,那太好了! Chris 說他們以後可能會加入這個功能。在他的演示中,他設法用多張幻燈片手動展示了分析器的演變過程,但這需要大量的工作。
優化時也會賦予權重嗎?
- 答:是的,就像我們在分析器中所做的那樣,您可以隨時更改它們,並且如果您更改可取性(例如在磨損情況下最大化),那麼貝葉斯選擇的可取性將自動調整。
如果範圍不夠好或太窄怎麼辦?
- 答案:您只需更改分析器中的範圍,它就會將其考慮在內
我們可以保存公式/預測分析器嗎?
- 答:沒有直接的方法。必須返回資料表並打開「高斯過程」平台,在那裡你可以保存模型(請記住,這將與從貝葉斯優化平台創建的公式/模型不同)。
回覆:從與 Chris G. 在海德堡舉辦的 JMP Pro 研討會的回饋中學習感謝 Martin 的分享—您對研討會本身的流程有什麼想法嗎?您是先展示了一個例子,然後讓觀眾跟著您一起完成嗎?您覺得我們應該添加或修改其中一個例子,讓它一次運行 4 個樣本,而不是只運行一個樣本嗎?
回覆:從與 Chris G. 在海德堡舉辦的 JMP Pro 研討會的回饋中學習感謝大家分享關於 BayesOpt 的討論見解。我想分享一些倫敦研討會與會者表達的擔憂:我們有很多科學家希望嘗試貝葉斯優化,但我擔心他們在應用方法時會出錯。這讓我懷疑我們的一些高級用戶是否是統計守門人,可能會阻礙主流用戶的使用。
完美是一個崇高而難以實現的目標。幫助科學家和工程師擺脫反覆試驗的模式,或許才是我們追求的真正意義。幫助科學家和工程師完成更充實的工作,並交付更可預測、通常更優的業務成果(而非反覆試驗)。我們能否鼓勵統計守門人減少對統計實驗方法應用的完美追求,更多地支持科學家和工程師不斷變革,並以一種惠及大眾的方式進行改進?作為變革的一部分,科學家和工程師可能會發現他們需要DoE和BayesOpt,但起點應該由他們和他們的經理決定。
請留意統計守門人。試著幫助他們思考如何幫助科學家和工程師以最吸引他們的方式改進實驗方法。如果統計守門人不願意改進,那麼我們或許需要找到其他迫切需要改變試誤法的購買影響者。趁著科學界對貝葉斯優化的熱議不絕於耳,找到一種獲得動力的方法。
回覆:從與 Chris G. 在海德堡舉辦的 JMP Pro 研討會的回饋中學習@malcolm_moore1 - 你提到這一點很有趣。我的幾個客戶裡都有這樣的人。我們東岸的幾個人一直把BayesOpt定位為最適合SME(中小企業)自己進行實驗的工具,而不是統計團隊使用的技術。我們的想法是,它能提供一些可能的新實驗,幫助SME駕馭製造業數據的多維度。它似乎也非常適合使用DSD之類的種子集——這表明這是一種混合實驗設計策略,可能適合製造業團隊。因為它主要使用了JMP中的自動化技術。
回覆:從與 Chris G. 在海德堡舉辦的 JMP Pro 研討會的回饋中學習@MikeD_Anderson我覺得,當我們遇到統計「守門人」的阻力時,把重點放在中小企業身上非常有意義,因為統計「守門人」更有可能來自大型企業。請告訴我們,我們向中小企業推廣 BayesOpt 的進展如何。
在尋找確實需要 BayesOpt 的購買影響者之前,也許不要放棄大型企業,並且與使用 BayesOpt 之前的生活相比,他們對這種漸進式的改進感到滿意。
回覆:從與 Chris G. 在海德堡舉辦的 JMP Pro 研討會的回饋中學習嗨,皮特,
工作流程是 Chris 大致講述貝葉斯選擇,第一個例子,午餐,Chris 更詳細地講解,第二個例子實際操作,第三個例子簡要介紹,總結。
我認為第一個範例(簡單範例)對大多數人來說都是一個很好的切入點。他們處理的第二個案例更注重實踐,從回饋來看,大多數人都覺得它很好。我覺得沒有必要調整用例,只要提到了這個選項就好。 Chris 也在一些幻燈片中演示了這部分,所以涵蓋了它。
然而,對於我們的 SE 演示/啟發來說,最好將批次用例作為一個綜合範例來展示。
話雖如此,我仍然認為我們應該在平台上進行非常簡短的推介,並更多地討論客戶應用這些技術的潛在用例。主要還是按照 Malcolm 和 Mike 已經提到的方向。
回覆:從與 Chris G. 在海德堡舉辦的 JMP Pro 研討會的回饋中學習@malcolm_moore1 - 我也覺得很有趣。我懷疑這些守門人也擔心他們的DOE專業知識可能會被淘汰。我聽說有人已經在嘗試貝葉斯優化,但他們使用的是各種開源軟體,這讓守門人非常擔心。假設我們已經與守門人建立了信任和信譽,那麼在JMP Pro中為實驗者提供BayesOpt應該是一個更有吸引力的解決方案。
您希望什麼:
- 指導您的同事探索 JMP Pro 中這種令人興奮的新方法的可能性?
- 讓你的同事自己用 Python 來處理貝葉斯優化嗎?
我同意在其他情況下,找到繞過看門人的方法是正確的做法。
回覆:從與 Chris G. 在海德堡舉辦的 JMP Pro 研討會的回饋中學習很高興看到 BayesOpt 的蓬勃發展!如果有人對超參數優化的簡單演示方法感興趣,可以參考:
1. 執行 XGBoost 並選取 Autotune。
2. 輸出底部有一個表格,包含每次運行的統計資料。右鍵 > 將其製作成資料表。
3. 在此表上執行 BayesOpt 以確定下一個最佳候選超參數。
4. 手動將它們重新載入到 XGBoost 或使用「進階」下的設計表選項。
回覆:從與 Chris G. 在海德堡舉辦的 JMP Pro 研討會的回饋中學習謝謝@malcolm_moore1 。過去幾週我遇到過幾次這種情況。我發現有兩個原因(都得到了相同的「把關」結果):
1. 害怕失去控制/權力(因為這是他們目前的專長等)
2. 擔心人們會進行隨機實驗而不是 DOE(他們一直在勸說人們進行 DOE 而不是 OFAT 等)
這是兩種不同的角色,但兩種類型或多或少都反對更廣泛地使用 BO。
在這兩種情況下,我都聽到用戶說「哦,實際上(迭代、小批量實驗)正是我們操作和進行實驗的方式 - 我們應該使用 BO」。
對於第二類“守門人”,我們可以讓他們更安心地了解,BO 實際上是一種低門檻的方式,可以引導人們進行數據驅動的決策。因為如果他們了解不多,使用 BO 基本上就是在不知情的情況下進行實驗設計 (DOE)。以因子表為起點示範 BO(運行 2-3 次)。所以,這實際上有助於他們實現讓更多人使用 DOE(或我稱之為智慧實驗方法)的使命。
第一組,最好找其他人談談;)
回覆:從與 Chris G. 在海德堡舉辦的 JMP Pro 研討會的回饋中學習Florian,真有見地。對於第四季度,我建議我們專注於那些有動力、有變革緊迫感的 BayesOpt 潛在用戶。抓住這些機會,並支持他們取得成功。
等我們明年有更多時間的時候,或許可以看看能否探索「守門人」的個人利益。我聽說我們一些大客戶的統計團隊正在裁員。基於此,我們可以與「守門人」探討的一個想法是,BayesOpt 如何幫助統計團隊賦能科學家和工程師,使其能夠創造更大的組織價值,並幫助他們的業務理解統計團隊的貢獻價值。現在就做一些能夠改善結果的事情,總比追求完美(這種情況很少發生)要好。
回覆:從我們在海德堡與 Chris G. 共同舉辦的 JMP Pro 工作坊的回饋中學習你好,
在與高階主管(MSAT負責人、網站主管等)進行了一些討論後,我發現一個非常重要的用例,尤其能引起共鳴:當客戶需要與那些不願在流程開發/運行過程中進行全面實驗的客戶合作時。在所有會議中,他們都提出了很多問題,當我問及與目前的做法相比,這種方法是否對他們有所幫助時,他們都點頭表示贊同。
我想你們可能都會感興趣。;)