为什么验证不包含在 DOE 中？大家好，我现在正在学习在线课程。 在预测建模部分，验证用于评估模型在新数据上的性能，并防止选择过拟合模型。
验证需要额外的数据。 但是，在 DOE 部分中，不包括这些额外的数据。 收集的所有数据都用于训练模型。 甚至中心点也用于评估模型中的二次效应。
以响应面 DOE 为例。 这个 DOE 的目标是找到最佳点，通常是“新数据”（与 DOE 中的点相比）。 为什么在这种情况下不包括验证集？ 不重要吗？
分析美国能源部回复：为什么验证不包含在 DOE 中？验证模型是重要的一步。 使用所选模型查找感兴趣的因子水平（例如，预测它们会给出期望的响应和不期望的响应），然后设置几次运行 (5-6) 并将新运行的平均响应与预测的响应进行比较平均反应。 我建议使用等效测试，而不是差异测试。
如果您想改进模型项的估计，这些数据本身经过验证，可以与原始实验相结合。
回复：为什么验证不包含在 DOE 中？添加一点@markbailey我同意的建议......从哲学上讲，DOE 作为一种解决问题的方法，将知识收集的效率作为基本原则。 1980 年代我的一位 DOE 讲师将“DOE 效率”定义为以最少的资源支出获得所需信息的愿望。 现在我们可以说，通过模型驱动的最优 DOE 策略，模型是我们的“必需信息”。 因此，最佳 DOE 方法提供了这种效率，使得每一种治疗组合都是必要的。 无需额外运行。
但正如 Mark 所建议的，以及所有健全的 DOE 从业者通常遵循的那样，一旦我们有了模型，我们就会进行额外的运行以验证该模型实际上是否对手头的实际问题有用。 所以 DOE 流程确实包括验证（有人称之为确认或验证）作为必需的步骤……它只是在不同的时间发生，在初始实验之后。
回复：为什么验证不包含在 DOE 中？同意 Mark 和 Pete 的评论……实验结果和作为分析结果创建的模型（您使用什么统计数据或实际判断来执行此操作）是实验推理空间的函数。 如果实验不代表未来的条件，那么无论模型在分析中如何“统计显着”，都不会产生有用的可重复结果。
“不幸的是，未来的实验（未来的试验，明天的生产）将受到与影响本实验不同的环境条件（温度、材料、人）的影响......这只是通过对主题的了解，可能通过进一步的实验来帮助（添加斜体）为了涵盖更广泛的条件，人们可能会冒着错误的风险来决定未来的环境条件是否会与今天的环境条件接近到足以允许使用手头的结果。”
戴明博士
回复：为什么验证不包含在 DOE 中？也许通过“验证”来验证每个人的意思很重要。
通常，在对临时数据进行建模时，使用保留数据集验证模型是一个非常好的主意。 保留数据的拟合统计量用于从训练数据评估模型的质量。 在对临时数据进行建模时，我们试图建立对基础人口的估计，使用小数据集会破坏训练和评估模型的能力。 最大化关于我们正在建模的系统的观察数量对于更好的估计很重要。
DOE 的数据在分析之前经过精心计划和收集。 此设计支持包含/使用先验指定的模型术语，这与建模偶然数据相反，在这些数据中，我们可能不知道哪些术语可以包含在模型中，直到它们被评估。
在 DOE 的情况下，没有任何数据用于模型验证，因为所有数据都是通过设计估计模型系数所必需的。 DOE 的一个关键目标是生成对物理现象建模所需的最少数据量。 在 DOE 的情况下，术语“验证”意味着在实验完成后将完成额外的运行。 “验证”运行将与预测值进行比较，以评估 DOE 模型预测的质量。 通常验证运行的次数很少，可能只有 1-3 次。 这些运行提供了支持对物理系统进行更改的证据，该更改随后将在相同的输入设置下生成许多运行/观察。 该模型将在未来用于调整物理系统/流程。
DOE World 使用与 Modeling World 类似的方法，但方法非常不同。
回复：为什么验证不包含在 DOE 中？拜伦说得好。 我忽略了区分验证，因为你做得很好。
