761497_zh-CN

liliconcom

SVEM：神经网络还是 Lasso？

我正在使用 DoE 混合物（3 个成分）以及一个过程因子和一个响应变量（定量）进行预测模型研究。我打算应用 SVEM，但我有一个问题，在使用神经网络或 Lasso 时它取决于什么？

谢谢您的回答。

高级统计建模自动化和脚本基础数据分析与建模消费者和市场研究内容组织数据访问数据混合和清理数据探索与可视化实验设计大规模定制预测模型和机器学习质量与工艺工程可靠性分析分享和交流结果回复：SVEM：神经网络还是 Lasso？

你好@CrhistianDoE ，

对于 DoE 数据，我想说由于不同的原因，这两个选项都不是我的首选。

神经网络和套索（来自广义回归）是两种非常不同的分析技术：

• 神经网络是一种复杂的机器学习模型，能够用足够的层和神经元来近似任何函数（参见通用近似定理： https://en.m.wikipedia.org/wiki/Universal_approximation_theorem ），需要精心构建适当数量的层和神经元，更重要的是，需要良好的验证策略。由于神经网络在任何函数的建模和近似方面都非常灵活，因此如果没有良好的验证策略，您很快就会过度拟合并开始在数据中建模噪声。强烈建议使用测试集（或 DOE 设计空间中的测试点/新点），以确保 NN 模型能够很好地推广到新的未知数据点。有关神经网络及其谨慎使用的更多解释，请参阅这些先前的帖子：
  神经网络同一层节点之间的差异？
  模型筛选：神经网络/K 折交叉验证
  帮助进行模型比较：DOE 与 ANN 增强
  
  
• 广义回归中的 Lasso 是回归模型中的一种惩罚技术，它在变量/因素之间可能存在高度共线性的大型数据集环境中和/或变量多于观测值时非常有用，因为它有助于进行特征/变量选择：Lasso 有助于从相关变量中选择最重要的变量，并将未选定的相关变量的系数缩​​小到 0（这就是它在特征选择中非常有用的原因）。
  更多信息请见： 广义回归人格概述 (jmp.com)

在使用 DoE 数据的情况下，您会有一个小型但经过精心规划的数据集，如果您使用了定制设计平台或传统混合设计，则会有一个假定模型，或者如果您创建了空间填充设计，则会在设计空间中对点进行均匀的重新分配。

• 对于自定义/传统混合设计，由于模型在设计创建时就已经假设，因此我不会从 Lasso、SVEM 或任何复杂技术开始。使用神经网络也不合适，因为点的重新划分是基于模型的，可能无法提供足够均匀/良好的设计空间覆盖。因此，每个因素可能没有足够的级别来使用像神经网络这样的高性能和复杂插值模型。
  从假设模型和包含“传统”回归（标准最小二乘法）的模型项开始，然后可视化/分析您的模型拟合度。
  “实际与预测”图表看起来怎么样？残差如何？等等……
  如果您发现模型可能不够复杂，无法捕捉 3 个混合变量之间的联系，请尝试增强设计以包含更高阶的项。考虑到混合设计强调预测性，因此最好根据 p 值以外的其他标准来优化模型，例如最大似然、RMSE、信息标准（如 AICc 或 BIC）...
  关于此主题的一些帖子： 已解决：回复：使用逐步回归分析混合 DOE - JMP 用户社区
  已解决：Scheffe 立方混合和 p 值 - JMP 用户社区
  如果您想使用广义回归平台，可能会有其他更适合的估计方法，如“剪枝前向选择”（使用 AICc/BIC 验证方法）、“两阶段前向选择”或最终“最佳子集”（仅当您的因素数量有限时，因为它将测试具有主效应和高阶项的许多组合的许多模型）。
  
  
• 对于空间填充设计，在考虑神经网络之前，你可以（也应该）尝试多种机器学习方法。通常， 随机森林和支持向量机是有趣的机器学习算法：
  它们在小数据集上具有良好的预测性能，不易过度拟合（更简单），对异常值具有很强的鲁棒性，具有良好的泛化性能，可以处理非线性情况，只需要很少的超参数调整（随机森林在默认设置下表现非常好，并且您可以使用合并的选项调整设计轻松微调 SVM），更容易解释，等等......
  随机森林（在 JMP 中称为 Bootstrap Forests）为模型比较提供了良好的基准，通常是测试的默认选择。LinkedIn 上的一些个人帖子针对 DoE 数据集的这两种算法撰写：
  - 随机森林： https://www.linkedin.com/posts/victorguiller_doe-machinelearning-randomforests-activity-7127557799810625536-FH7K
  - 支持向量机： https://www.linkedin.com/posts/victorguiller_doe-machinelearning-statsjoke-activity-7117395916130537472-pJoB

我希望这个（长）答案能对你有所帮助，