空间填充设计+ML算法——如何估计适当的运行次数？你好，
在达能举办的 JMP Inspire 会议上，两位用户请我谈谈如何将空间填充设计与机器学习算法结合使用。他们问我如何确定最佳运行次数。
您是否有策略或经验方法来确定这一点？
感谢您的帮助
回复：空间填充设计 + ML 算法 - 如何估计足够的运行次数？不确定我们自己的空间填充设计在我们自己的XGBoost 插件中的应用是否与您的问题相关。
如果您的“运行次数”与外接程序中的以下两个条目（圈出）有关，那么我猜这将是一种响应面问题。 @malcolm_moore1 的建议也是相关的。
回复：空间填充设计+ML 算法-如何估计适当的运行次数？嗨，Stephane，
空间填充设计通常与具有确定性响应的计算机模拟实验相关（没有随机误差，或者如果运行相同的因子设置，则会获得相同的响应值），请参阅本文。
也许您可以找到有关他们的实验情况的更多细节，因为它看起来不像典型的空间填充设计问题，也许还有另一种更有效的解决方案。
回复：空间填充设计 + ML 算法 - 如何估计足够的运行次数？对之前的回复+1，并假设这与机器学习中的超参数调整有关，这也可能是向@chris_gotwalt1发送有关贝叶斯优化/自适应学习的反馈和想法的机会。
回复：空间填充设计 + ML 算法 - 如何估计足够的运行次数？如果我们进入随机世界，所附论文可能与之相关，而且实际上仍然是一个悬而未决的问题。特别是，如果你转到第 4 节关于实验设计的内容：
缺乏针对 n1、n2、N 的值以及每个不同输入的重复的适当建议（在 Ankenman 等人（2010 年）中，建议是临时的），并且对于单阶段实验，尚待研究。可以通过重复上述过程中的第 2 阶段来构建第三阶段设计（或实际上任何多阶段设计）。
我经常看到的是，您在初始设计中从“足够”的点开始（基于复杂性，这可能是一个很大的量），然后让贝叶斯优化接管，直到您不再看到改进 - 但您并没有看到改进并不总是知道。
当然，总的来说，这是一个悬而未决的问题——我们应该对空间填充进行多少探索。在我附上的第二篇论文中，发现在某些情况下，从业者最好坚持使用更简单、更经典的模型。
回复：空间填充设计+ML算法-如何估计适当的运行次数？你好@Steph_Georges ，如果客户有兴趣探索如何使用空间填充设计来优化 ML 超参数，你可能会发现我的以下记录很有价值：
https://community.jmp.com/t5/JMP-in-the-Upstream/JMP-in-the-Upstream-7-Optimizing-your-Python-machine-learning/ba-p/467039
回复：空间填充设计+ML 算法-如何估计适当的运行次数？很好的回答，但我们都在猜测用户的意图。我可以想象空间填充 + 算法的不同用途（训练、调整、测试、敏感度测试等）。下一个问题是最佳运行次数是多少？如果没有更多信息，我们通常无法回答问题。
回复：空间填充设计+ML算法-如何估计适当的运行次数？@Steph_Georges以前我们曾使用过空间填充设计，就像其他人在确定性实验中描述的那样。我们为模型使用了高斯过程或神经网络。我们更喜欢神经网络，因为这种模型具有灵活性，更适合处理我们通常会遇到的高度非线性结果。
如果您正在寻找数据点的精确值，那么高斯过程非常适合建模，但它并不总是适合对数据点之间发生的事情进行建模。确定性实验中没有噪音，但可能会有偏差，这就是 GP 不如 NN 有效的地方。
最佳运行次数是另一回事。我们总是使用 10 倍因子数的经验法则，但这并不是说它是最佳数字，而是它可以满足我们的需求。
高血压
账单
回复：空间填充设计+ML 算法-如何估计适当的运行次数？@peng_liu @russ_wolfinger忍不住要钻进兔子洞，但这是一个特别有趣的问题，我不知道有任何文献（但如果你确实知道，请告诉我）。对于内折，你想要以一种方式进行设计，找到可能在后续设计中被选为内折之一的“赢家”的竞争设置。否则，你就是在浪费资源在超参数设置上，而这些设置对最终的组合没有任何影响。
回复：空间填充设计+ML算法-如何估计适当的运行次数？晚上好，
抱歉，我意识到我的表达不够明确，而且我的信息可能会有很多种解读。
达能公司（以及欧莱雅等其他公司）希望将混合物 DoE 方法与新一代算法相结合作为其配方开发的一部分。
欧莱雅的 Victor Guiller 在这次演讲中（在法国用户组和曼彻斯特发现峰会上）很好地解释了这一趋势，他展示了如何使用空间填充设计和 SVM 算法对具有未知先验模型的行为进行建模（与模型无关的方法，不再需要事先了解模型的形状）： https://community.jmp.com/t5/Online-Abstracts/Synergy-Between-Design-of-Experiments-and-Machine-Learning-for/ec-p/708147#M2
使用空间填充设计可以对要调查的区域进行规则铺设......这有助于更好地指导机器学习模型（点距太远会留下太多插值的自由，从业务专业知识的角度来看会导致异常的响应界面）。
回复：空间填充设计+ML算法-如何估计适当的运行次数？我认为你必须谨慎考虑使用 SVEM 的设计类型，尤其是对于混合优化问题。你要确保对要优化的整个混合空间有良好且均匀的覆盖。这将取决于许多因素，包括实验过程和测量中的预期误差。
评估设计可以帮助解决这个问题，特别是当您比较不同的设计时。
回复：空间填充设计+ML 算法-如何估计适当的运行次数？我赞同@peng_liu的评论。空间填充设计的一个用途是优化调整参数，以便获得更好的模型拟合。
但是，如果问题与使用空间填充设计进行实验有关，那么我认为当前最好的方法是创建具有不同数量设计点的空间填充设计，然后使用比较设计。
