帮助进行模型比较：DOE 与 ANN 提升早上好家伙！
1）我有一个 DOE 和一些增强的神经网络模型，我想比较它们各自的 Rsquared（最大）、RASE（最小）和 AAE（最小），以从我的实验中选择最佳优化模型。
我看到在“模型比较”工具中，通过实验电子表格中保存的预测公式，我可以根据模型上面的标准进行选择，如附图所示。 但我想将我的 DOE 及其 Rsquared、RASE 和 AAE 包含在此生成的表中。 有人有关于如何做到这一点的任何提示吗？
2）另一个问题：模型启动时，“巡演次数”字段是纪元数吗？ 增加这个字段如何发挥作用？ 有人对测试值有什么建议吗？
*** 添加
我忘了问：
3）我只有27个实验（8个实验的三次重复+完整阶乘DOE产生的3个中心点），由于缺乏材料，我无法进行更多实验。 我最终选择使用 boosting 来测试 ANN 模型，因为我相信它可以通过几个小模型的组合创建一个具有更强预测能力的模型。 这是最好的选择吗？ 有人会为这种情况推荐另一种人工神经网络结构吗？ 对于优化网络、增加 Rsquared 并减少 RASE 和 AAE 有什么想法吗？ 我真的是从 ANN 开始的，任何贡献都会非常相关！
* 附件 JMP 文件如下。
实验设计预测建模和机器学习视窗回复：帮助进行模型比较：DOE 与 ANN 提升你好@ivanpicchi ,
我很困惑，可能无法直接回答您的问题，因为我不确定您在此计划中的目标是什么：H/W 和 FN MED 是两个答案吗？
另外，您的目标是什么：
- 根据您的因素解释您的系统？
- 屏幕重要因素？
- 创建预测模型 ?
您对该系统了解多少？和许多其他问题... 以下是一些初步想法，但还有更多内容需要讨论（但这可能需要很长时间才能在论坛上撰写）。
对我来说，使用神经网络进行基于模型的 DoE 似乎是完全不可能的，因为每个因子只有 3 个级别，并且您使用高度灵活的模型，可以近似任何复杂的函数...... 看起来就像用火箭筒杀死苍蝇：过于复杂且不合适的方法。 所以一个或几个NN在这个阶段是完全不成熟的。 您还可以尝试其他（更简单的）算法：决策树/随机森林、支持向量机……
此外，验证列未针对机器学习正确设置，因为实验（通过重复）可以同时位于训练、验证和/或测试集中。 这会导致模型过度拟合以及对预测结果过度自信。 为了在小规模数据集上验证预测模型，您必须在同一组中保持相同的处理方式，以避免数据泄漏和模型过度拟合。 交叉验证方法，如 K 折叠和留一法，可能值得考虑（使用重复的预防措施相同）。
无论如何，一般建议是在建模之前将数据可视化，并在建模时使用奥卡姆剃刀原理：从简单的模型开始建模，然后迭代并增加复杂性（如果需要！）。 将您的新模型与之前的模型进行比较，并评估您获得了多少改进（以及复杂性增加了多少）。 我建议从简单开始，首先使用回归模型，并根据模型正确评估利弊。
我不知道您包含哪种回归模型和术语，但响应 H/W 可以通过拟合最小二乘模型很好地建模（请参阅脚本“Fit Group”）。 对于响应 FN，测量中似乎有很多噪声，因此可能需要对范围、实验协议、因素（控制干扰因素和/或使用阻塞等）、测量设备和进行进一步的研究也许可以考虑在先验模型上改进结果。
在此响应上拟合复杂的模型不会有帮助：最佳 NN 的结果 (R² = 0,772 - RASE = 0,174 (过度拟合...)) 和简单的回归模型 (R² = 0,758 - R² 调整 = 0,715 - RMSE = 0,586）。
还应考虑相应地定义所使用的建模方法、指标和设计。 例如，在关注实验空间内部的预测目标中，空间填充设计适合使用机器学习算法，并使用 RMSE/RASE/MSE 等可能的指标来关注预测的准确性。
我希望这些第一个讨论点会对您有所帮助，
回复：帮助进行模型比较：DOE 与 ANN 提升嗨@ivanpicchi ，
同样，您可以拟合的模型的复杂性将与数据点的级别数量、质量和代表性相关。由于因子最小值、中值和最大值只有 3 个水平，传统回归方法只能拟合二次模型（具有交互项和二次项）。如果您期望更复杂的响应面，我建议您在实验空间内部使用空间填充设计点来增强您的设计。
对您的问题的一些答复：
如果您对组合模型感兴趣，我认为平均或集成不同类型的模型可能比组合相同类型的模型更有趣，因为它们可能会遇到相同的“理论”问题和假设（泛化性能、鲁棒性、预测性能） ，过度拟合，...）。组合不同类型的模型可能有助于平均误差并通过其他模型的优点来补偿某些模型的缺点，并有助于均质化找到的最佳位置（回归和神经网络之间可能有很大不同）。
我希望这个更完整的答案能帮助你:)
回复：帮助进行模型比较：DOE 与 ANN 提升谢谢你这么详细的回答！
DOE 进行该实验的目的是在实验定义的空间内通过机器人 GMAW 预测 WAAM 墙，具有 10 个重叠焊缝，其中每个实验对应于执行的墙。
我需要预测以下两个答案：1）H/W（高度/宽度比）和FN（沉积物中的铁素体含量，通过墙上铁素体镜测量10个点的平均值获得）。通过执行阶乘 DOE，学生们能够提出一个优化的印象，最大化 H/W 比率并以 FN 内容为目标。我们正在开始这一旨在焊接参数化的 DOE 和 ANN 之旅。
然而，该模型对于预测 DOE 运行之外的一些焊接实验并不令人满意，某些测量结果超出了模型预测的 95% CI。因此，试图通过已经进行的实验来最大化预测能力。我需要预测样本空间内的答案，因为在它下面是不可焊接的，而在上面，我会损坏机器部件。
阅读一些书籍和文章，由于您在答案中指出的数据量较少，我考虑将 K-fold 应用于 ANN，但是我在 JMP pro 中在哪里选择它？感谢您关于将三元组放入同一验证数据集中的提示，我什至没有想到这会影响 ANN 过度拟合。
是的，我将拟合最小二乘模型应用于回归。 FN 中的噪声水平是否是因为它是点的平均值？如果是这样，上述内容有什么提示吗？
再次感谢您的精彩回复和问题！
回复：帮助进行模型比较：DOE 与 ANN 增强例如：我想进行类似于这些取自文章“使用响应曲面法和人工神经网络对出芽短梗霉 AKW 优化黑色素生产的比较研究”（ https://doi.org/10.1038/s41598-023-40549-z ）的图像的分析。
回复：帮助进行模型比较：DOE 与 ANN 增强我会对结果保持谨慎，因为我们不知道（至少我不知道）神经网络验证的分区是如何进行的。
- 他们是否考虑到最后三行是重复的，因此对于神经网络来说，使用此处理的响应平均值会更“公平”，而不是将 3 个不同的结果分成可能不同的集合？
- 此外，关于回归的建模部分也缺乏解释，所以我不知道在建模中保留了哪些术语，以及在哪些基础上可能从模型中删除了术语：它是以“机器学习”/预测的方式完成的，测试不同的回归模型并保留具有最佳验证结果的模型？还是基于统计显着性，信息标准，可能性......？
然而，即使缺乏关于如何进行建模的信息（也许存在于文章中，但无法通过提供的链接访问），在将最优结果与实验验证进行比较时，看到偏差-方差权衡的作用还是很有趣的：
回归模型可能比神经网络有更高的偏差（实际值与预测值之间的最大平均差异），但它的方差可能较低（因为用回归模型发现的最优值比用神经网络发现的最优值具有更低的不确定性（SD？），所以它可能被证明是一个更为稳健的选择。
