贝叶斯优化;全局优化的顺序设计策略一位客户问我有关贝叶斯优化的问题。 有没有人向客户提出过类似的要求?
一般来说,贝叶斯优化是一种用于黑盒函数全局优化的顺序设计策略,不假设任何函数形式。 该方法已用于调整机器学习模型。 贝叶斯优化最近也被应用于制造业(用于模拟实验和实际实验)。
我的客户希望根据上一次实验的数据为下一次运行选择最佳候选实验。
这是化学实验的应用示例。
https://www.nature.com/articles/s41586-021-03213-y
我认为 JMP 可以创建一个高斯过程模型,以便客户可以在 JMP 中执行贝叶斯优化中的一些步骤。
雄一
回复:贝叶斯优化;全局优化的顺序设计策略谢谢,佑一。
有趣的是,有一个专门用于此目的的商业软件产品。
我看过很多关于这种方法的学术论文。 其中一些提供了基于R或Python的开源应用程序。 我在这些论文中看到的所有方法都是“机器人”或“算法”。
使用 JMP 的一个优点是,科学家可以在每个步骤中交互式地探索数据,以他们对领域的理解来指导流程。
问候,
菲尔
回复:贝叶斯优化;全局优化的顺序设计策略我今天与一位客户交谈,他们觉得可以使用 JMP 进行实验。 供您参考,以下产品也是用于此目的的候选软件。
https://citrine.io/product/what-is-the-citrine-platform/
谢谢,
雄一
回复:贝叶斯优化;全局优化的顺序设计策略谢谢你,菲尔。 所有信息对我都有帮助。
我了解空间填充设计和高斯过程模型的结合将是您客户的解决方案。 这对我来说很有意义。
感谢您让我了解您在 Discovery Europe 的演讲。 据我了解,您和 Ryan 的方法是协变量/候选运行功能和 XGboost 的结合。 我认为这也适用于 JMP Pro 客户。
我会向客户建议这些方法。 如果客户获得良好结果,我会通知您。
谢谢,
雄一
回复:贝叶斯优化;全局优化的顺序设计策略是的, @yuichi_katsumur 。 我认为空间填充设计和高斯过程模型的结合将是您客户的解决方案。
我认为客户对这种方法越来越感兴趣,尤其是在化学领域。 尽管我不知道目前有任何客户为此使用 JMP。
我看过很多关于此的论文,包括您分享的论文。
一位客户询问使用这种方法来确定盐浓度对洗发水粘度的影响。
这是我建议的方法:
- 您需要一个起始数据集。 在我读过的论文中,他们经常从因子空间中的一组随机数据点开始。 但我认为小空间填充设计会更好。 进行此实验并记录每次运行的响应。
- 使用空间填充通过大量运行(例如 1000)来扩充起始数据集。 您不会运行所有这些,因此您可以选择一个非常大的数字。 您现在拥有一个包含大量运行的数据表 - 您仅获得其中少数的响应。
- 使用高斯过程模型对各因素的响应进行建模。 保存预测公式和保存方差公式。 现在,您可以获得少量运行的实际响应以及所有运行的方差和预测响应。
- 从尚未测试的运行中找出方差最大的运行。 记录本次运行的实际响应。
- 重复步骤 3 和 4,直到实现目标。
那有意义吗?
我附上了一张数据表,可能有助于说明。 它基于示例数据文件夹中的“2D Gaussian Process Examples.jmp”。
人们谈论“利用”与“探索”。 上述方法是探索,因为我们选择下一次运行来探索因子空间中最不确定的区域。 开发是指您选择预计具有最佳响应(例如最高产量)的运行。 人们通常采用从探索开始,然后在某个点转向利用的方法。
@Ryan_Lekivetz我自己给了在 Discovery Europe 的演讲我们正在研究化学过程的顺序优化,每个步骤都可以执行 48 次运行。 我们比较了勘探和开发方法。 我们研究了一种混合方法,在每个步骤(“回合”),从预测产量大于特定阈值的未经测试的运行中选择一组最佳运行。 我们在每一步都增加阈值。 这似乎是一个有用的方法。
我希望一切都有帮助。 我有兴趣知道您的客户是否尝试这种方法。
谢谢,
菲尔