空間填充設計+ML演算法－如何估計足夠的運行次數？你好，
在達能舉辦的 JMP Inspire 會議上，兩位用戶請我談談如何將空間填充設計與機器學習演算法結合使用。他們問我如何確定最佳運行次數。
您是否有策略或經驗方法來確定這一點？
感謝您的協助
回覆：空間填充設計 + ML 演算法 - 如何估計足夠的運行次數？對先前的回應+1，並假設這與機器學習中的超參數調整有關，這也可能是向@chris_gotwalt1發送有關貝葉斯優化/自適應學習的反饋和想法的機會。
回覆：空間填充設計 + ML 演算法 - 如何估計足夠的運行次數？不確定我們自己的空間填充設計在我們自己的XGBoost 插件中的應用是否與您的問題相關。
如果您的「運行次數」與外接程式中的以下兩個條目（圈出）有關，那麼我猜這將是一種響應面問題。 @malcolm_moore1 的建議也是相關的。
回覆：空間填充設計 + ML 演算法 - 如何估計足夠的運行次數？嗨史蒂芬，
空間填充設計通常與具有確定性響應的計算機模擬實驗相關（沒有隨機誤差，或者如果運行相同的因子設置，您將獲得相同的響應值），請參閱本文。
也許您可以找到有關他們的實驗情況的更多詳細信息，因為它看起來不像典型的空間填充設計問題，也許還有其他更有效的解決方案。
回覆：空間填充設計 + ML 演算法 - 如何估計足夠的運行次數？如果我們進入隨機世界，所附論文可能是相關的，而且實際上仍然是一個懸而未決的問題。特別是，如果您閱讀有關實驗設計的第 4 節：
n1 值的合適建議； n2;N 和每個不同輸入的重複都缺乏（Ankenman 等人（2010）中的建議是臨時的），並且對於單階段實驗，開放供研究。第三階段設計（或實際上任何多階段設計）可以透過重複上述過程中的階段 2 來建構。
我經常看到的是，您在初始設計中從“足夠”的點開始（基於複雜性，這可能是一個很大的數量），然後讓貝葉斯優化接管，直到您不再看到改進-但您並沒有看到改進並不總是知道。
當然，總的來說，這是一個懸而未決的問題——我們應該對空間填充進行多少探索。在我附上的第二篇論文中，發現在某些情況下，從業者最好堅持使用更簡單、更經典的模型。
回覆：空間填充設計 + ML 演算法 - 如何估計足夠的運行次數？@Steph_Georges，您好，如果客戶有興趣探索如何使用空間填充設計來優化 ML 超參數，您可能會發現我的以下記錄很有價值：
https://community.jmp.com/t5/JMP-in-the-Upstream/JMP-in-the-Upstream-7-Optimizing-your-Python-machine-learning/ba-p/467039
回覆：空間填充設計 + ML 演算法 - 如何估計足夠的運行次數？很好的回應，但我們都在猜測用戶的意圖。我可以想像空間填充+演算法的不同用途（訓練、調整、測試、靈敏度測試等）。下一個問題是最佳運行次數是多少？如果沒有更多信息，我們通常無法回答問題。
回覆：空間填充設計 + ML 演算法 - 如何估計足夠的運行次數？@peng_liu @russ_wolfinger忍不住陷入兔子洞，但這是一個特別有趣的問題，我不知道任何文獻（但如果你知道的話請發給我）。對於內部折疊，您希望以一種找到競爭設定的方式進行設計，這些設定可能會在後續設計中的內部折疊之一中被選為「獲勝者」。否則，您會在超參數設定上浪費資源，而這對最終的整合不會產生任何影響。
回覆：空間填充設計 + ML 演算法 - 如何估計足夠的運行次數？晚安,
抱歉，我意識到我的表達不夠明確，而且我的信息可以有多種解釋。
達能（以及歐萊雅等其他公司）希望將 Mixture DoE 方法與新一代演算法結合，作為其配方開發的一部分。
來自 L'Oréal（法國用戶群和曼徹斯特發現峰會）的 Victor Guiller 的演講很好地解釋了這一趨勢，他展示瞭如何使用空間填充設計和 SVM 演算法來使用未知的先驗模型（模型-不可知的方法，不再需要模型形狀的先驗知識）： https://community.jmp.com/t5/Online-Abstracts/Synergy-Between-Design-of-Experiments-and-Machine-Learning-for/ec - p/708147#M2
空間填充設計的使用可以對要研究的區域進行定期鋪砌…這有助於更好地指導機器學習模型（點相距太遠，為插值留下太多自由度，從業務專業知識的角度來看，會導致異常的響應面）看法）。
回覆：空間填充設計 + ML 演算法 - 如何估計足夠的運行次數？@Steph_Georges在前世，我們使用空間填充設計，正如其他人所描述的確定性實驗一樣。我們使用高斯過程或神經網路作為模型。我們更喜歡神經網絡，因為模型的靈活性更適合處理我們遇到的通常高度非線性的結果。
如果您正在尋找資料點的精確值，高斯過程非常適合建模，但它並不總是適合建模資料點之間發生的情況。確定性實驗中不存在噪聲，但可能存在偏差，這就是 GP 不如 NN 有效的地方。
最佳運行次數是不同的動物。我們總是使用 10 倍的因子數量經驗法則，但這並不是說它是最佳數字，它可以滿足我們的需求。
華泰
帳單
回覆：空間填充設計 + ML 演算法 - 如何估計足夠的運行次數？我認為您必須小心使用 SVEM 的設計類型，尤其是對於混合最佳化問題。您需要確保對要優化的整個混合空間有良好且均勻的覆蓋。這將取決於許多因素，包括實驗過程和測量中的預期誤差。
評估設計可以幫助解決這個問題，特別是當您比較不同的設計時。
回覆：空間填充設計 + ML 演算法 - 如何估計足夠的運行次數？我會同意@peng_liu的評論。空間填充設計的用途之一是優化調整參數，以便獲得更好的模型擬合。
然而，如果問題與使用空間填充設計進行實驗有關，那麼我認為目前最好的方法是創建具有不同數量設計點的空間填充設計，然後使用比較設計。
