为什么验证不包括在 DOE 中？大家好，我现在正在学习在线课程。 在预测建模部分，验证用于评估模型在新数据上的性能，并防止选择过拟合模型。
验证需要额外的数据。 但是，在 DOE 部分，不包括这些额外数据。 收集的所有数据都用于训练模型。 甚至中心点也用于评估模型中的二次效应。
以响应面 DOE 为例。 该 DOE 的目标是找到最佳点，这些点通常是“新数据”（与 DOE 中的点相比）。 为什么在这种情况下不包括验证集？ 这不重要吗？
分析美国能源部回复：为什么 DOE 中不包含验证？好吧，拜伦。 我忽略了区分验证，因为你做得很好。
回复：为什么 DOE 中不包含验证？也许重要的是通过“验证”来验证每个人的意思。
通常，在对临时数据建模时，使用保留数据集验证模型是一个非常好的主意。 holdout 数据的拟合统计用于评估训练数据模型的质量。 在对临时数据建模时，我们试图建立对潜在人口的估计，使用小数据集会破坏训练和评估模型的能力。 最大化关于我们正在建模的系统的观察数量对于更好的估计很重要。
DOE 的数据在分析之前经过非常仔细的计划和收集。 此设计支持包含/使用先验指定的模型项，这与建模偶然数据形成对比，后者我们可能不知道哪些项可以包含在模型中，直到它们被评估。
在 DOE 的情况下，没有任何数据用于模型验证，因为所有数据都是通过设计估计模型系数所必需的。 DOE 的一个关键目标是生成对物理现象建模所需的最少数据量。 在 DOE 的情况下，术语“验证”意味着在实验完成后将完成额外的运行。 “验证”运行将与预测值进行比较，以评估 DOE 模型预测的质量。 通常验证运行的次数很少，可能只有 1-3 次。 这些运行提供了支持对物理系统进行更改的证据，该物理系统随后将在相同的输入设置下生成许多运行/观察。 该模型将在未来用于调整物理系统/过程。
DOE World 使用与 Modeling World 类似的方法，但方法非常不同。
回复：为什么 DOE 中不包含验证？同意 Mark 和 Pete 的评论……实验的结果和作为分析结果创建的模型（您使用的统计数据或实际判断）是实验推理空间的函数。 如果实验不代表未来的条件，那么无论模型在分析中有多“统计显着性”，都不会产生有用的可重复结果。
“不幸的是，未来的实验（未来的试验，明天的生产）将受到不同于影响该实验的环境条件（温度、材料、人）的影响……这只能通过对主题的了解，可能得到进一步实验的帮助（添加了斜体）为了涵盖更广泛的条件，人们可以决定未来的环境条件是否与今天的环境条件足够接近以允许使用手头的结果，但有犯错的风险。”
戴明博士
回复：为什么 DOE 中不包含验证？添加一点@马克贝利我同意的建议......从哲学上讲，DOE 作为一种解决问题的方法，将知识收集的效率作为一项基本原则。 我在 1980 年代的一位 DOE 讲师将“DOE 效率”定义为以最少的资源支出获得所需信息的愿望。 现在我们可以说，通过模型驱动的最优 DOE 策略，模型就是我们的“所需信息”。 因此，最佳的 DOE 方法提供的效率使得每一种治疗组合都是必要的。 无需额外运行。
但正如 Mark 所建议的那样，所有可靠的 DOE 从业者通常都会遵循，一旦我们有了模型，我们就会进行额外的运行以验证该模型实际上对手头的实际问题有用。 所以 DOE 过程确实包括验证（有些人称之为确认或验证）作为必需的步骤......它只是在不同的时间发生，在初始实验之后。
回复：为什么 DOE 中不包含验证？验证模型是重要的一步。 使用选定的模型找到感兴趣的因子水平（例如，它们预计会给出所需的响应和不需要的响应），然后设置一些运行 (5-6) 并将新运行的平均响应与预测的响应进行比较平均反应。 我建议使用等效性测试，而不是差异测试。
如果您想改进模型项的估计值，则可以将这些数据自行验证，并与原始实验结合使用。
