当 DoE 中的某个因素远远超过其他因素时会发生什么情况?嗨,大家好,
我制作了一个 DoE,它有一个主要目标(稳定性)和一个次要目标(生产力)。我之前曾用初始 DoE 描述过生产力。根据这些数据开发了一个很棒的模型。在这个新的 DoE 中,我添加了一个之前没有考虑过的额外因素。我知道这个因素会对生产力产生很大影响,因为它显然是一个主要因素,但完全不确定它对稳定性的影响。
稳定性模型表现很好。生产力模型很糟糕。在模型简化结束时,Adj R^2 几乎不存在,其余项是我添加的新因子。(外部学生化残差未检测到任何异常值)。
所以,我的问题是,建模能力差是否可以用以下事实来解释:主要因素相对于其他因素的影响要大得多,而其他影响基本上无法察觉?
实验设计回复:当 DoE 中的某个因素远远超过其他因素时会发生什么?你好@MetaLizard62080 ,
如果没有更多关于此因素的重要性(实际效果大小、统计意义,还是两者兼而有之)、您创建的设计以及您分析和改进模型的方式的背景和精确度,那么尝试帮助您将非常复杂。
如果您可以比较一下最初成功的生产力 DoE 和这次的成功 DoE 之间的变化,那么您可能已经有了一些想法:因素?水平?设计?模型选择?目标?调整/改进的模型指标?...
但是,除了您提出的观点之外,这里还有一些反思、问题和可能的解释:
- 设计定义 :
- 根据因素范围差异和特定因素对响应的影响,您可能已经放大了该因素相对于其他因素的重要性/效应大小。您可以尝试增强设计并缩小该因素的范围(和/或扩大其他因素的范围),以减少与该因素相关的响应的可变性(和/或增加与其他因素相关的响应的可变性)。
- 根据您的目标(因素筛选、实验空间探索、预测……),您可以选择不同的设计,使用不同的样本量、重复运行……您的样本量是否足以检测出您想要检测的其他因素的差异?所选设计是否适合您的目标?
- 噪音处理:你的实验是否“嘈杂”?如果是,你是否使用策略来识别和处理来自不同来源的噪音:重复性、再现性、噪音因素、外部影响等……?
- 这个新的 DoE 是“从头开始”创建的吗,还是您使用了增强技术来从历史数据的信息中受益?
- 模型建立与细化 和选择:
- 您提到,在缩减之后,调整后的 R² 非常低。您的模型构建和选择目标是什么?您使用哪些指标?这些指标与您的目标相关吗?在缩减之前,您的完整假设模型的指标表现如何?您根据哪些信息/基础/指标缩减了您的模型?
根据您的目标(可解释性与预测性或两者)和您感兴趣的相关指标(例如,针对可解释性调整的 R²/R²、针对预测性的 RMSE 以及针对两者的信息标准),您可能会得到不同的模型。您可以尝试构建多个模型,特别是不要只依赖统计显著性和 p 值(您可以阅读有关此主题“统计显著性”的讨论)。您还可以根据领域专业知识确定和评估模型中因素/术语的效应大小/实际显著性是否重要。
- 请记住,因子的显著性和效应大小取决于哪些因子进入模型。因此,根据您如何“减少”模型以及删除哪些项,您可以完全改变 p 值和效应大小估计。您可以在此处阅读更多内容删除不显著的因子后,显著因子变为不显著
- 来自 DoE 的模型还依赖于效应稀疏性、效应遗传性和效应层次性原则。您可以尝试验证/评估您正在构建的模型是否遵循这些原则。请参阅是否有可能有一个因子在响应曲面模型中不重要,但同一因子的二次项却很重要?
- 您是否检查了残差?是否存在任何可能表明违反回归假设的模式( 回归模型假设 | 统计学简介 | JMP )?您是否有可用的失拟检验?响应是否与覆盖大且非常不同的数量级的预测性相关?根据您对这些问题的回答,可能需要检查和纠正模型构建中的一些内容,以确保回归模型假设得到满足(或者您可能需要添加/删除项的不同回归模型、响应转换、广义回归模型等...)。请参阅RSM 拟合因子的问题
- 该结果是否与领域专家相关?并且与之前的结果一致?
最后,您的模型由您选择的设计驱动,因此如果不了解您如何以及为何选择和创建针对您的主题的设计,就很难帮助您了解模型。
任何显示您所面临问题的玩具数据集都可能有助于更精确的后续行动。
希望这个第一个讨论能对你有所帮助,
回复:当 DoE 中的某个因素远远超过其他因素时会发生什么?正如 Victor 指出的那样,根本没有足够的背景信息来适当地回答您的问题。以下是我的想法/问题。您是否重复了您的第一个实验?您在第一个实验中添加的因子有什么作用?(例如,保持不变还是随机变化)您如何测量稳定性?是否研究了测量系统?稳定性通常是您在进行实验时放弃的特征之一,因为您正在截断时间序列,而稳定性需要时间序列。
回想起来,这就是为什么你要从更广阔的推理空间开始(例如,在研究中包含更多的设计因素和噪音)。你的第一次实验的结果是有条件的。如果推理空间、设计因素或实验过程中变化的噪音发生变化,结果也可能发生变化。
您的想法不一定是错的。一个显著的影响可能会“淹没”分析,使研究难以发现其他显著的影响。我们尝试通过将所有因素设置为粗体来克服这个问题。如果一个因素的级别设置比其他因素更粗,则表明该因素确实比其他因素重要得多。