如何设计具有分布良好的连续输入的实验?大家好!我有一个关于简易实验设计的问题。我正在做一个包含 4 个输入和 4 个输出的实验设计。所有输入都是连续值:前两个输入的范围是 0 到 5,后两个输入的范围是 0 到 10。
我在创建实验设计时,注意到设计建议的值只有 0、最大值的一半和最大值。然而,这些输入的影响实际上并不是线性的,因此由于这些输入值缺乏多样性,我的设计不太准确。
您知道如何创建分布更均匀的点设计来提高预测准确性吗?
先感谢您 !
西娜:)
实验设计回复:如何设计具有分布良好的连续输入的实验?我不熟悉“易用”这个术语,因为它与实验设计有关。搜索显示它
简单、直接的设计,只需最少的资源即可轻松实现
此类设计适用于探索性研究、先导研究,或无法实现真正随机化的情况。然而,这种简化往往以牺牲内部效度为代价,使得建立真正的因果关系变得更加困难。
你的疑问让我猜测你实验的目的。你感兴趣的是理解因果结构还是“挑选优胜者”?这是你在本次研究中进行的第一个实验,还是你已经做过筛选设计?你想研究的模型是什么?例如,如果你对非线性多项式有疑问,但仍在尝试确定合适的设计空间,你可以运行中心点法。
由于您怀疑因子之间存在非线性关系,因此您似乎有意在 3 个水平上进行检验。通常,估计二次效应只需要 3 个水平,而且这些水平会均匀分布在因子空间中。这简化了分析。这将是您下次迭代的合理选择。之后,您可以通过未来的实验来扩充因子空间。通过分析残差(并了解噪声的影响),可以更好地理解模型的“准确度”(或许用“精度”这个词更贴切)。
回复:如何设计具有分布良好的连续输入的实验?你好@Xena ,
欢迎加入社区!
您描述的情况似乎表明您可能对空间填充设计感兴趣。
空间填充设计是与模型无关的实验设计,强调预测性能,专门针对连续因素(主要)、低噪声响应(通常是计算机实验和模拟)而设计,其中预期高度非线性和复杂的响应面。
如果您可以提供有关目标(预测模型、元模型……?)、任何因素约束、响应类型(测量?模拟?可变性/再现性?……)、可接受的最大运行次数的更多信息,我们可能会帮助您选择合适的空间填充设计类型(如果此选项对您的主题有效)。
根据您的信息和目标,我的第一个猜测是,您没有任何因素约束,并且仅使用 4 个连续因素进行预测目的(可能的低/中样本量少于 100 次实验),因此均匀或拉丁超立方体设计可能是合适的选择。
希望这个答案能对你有所帮助,
回复:如何设计具有分布良好的连续输入的实验?你好 Victor,谢谢你的快速回复!
我不太了解什么是空间填充设计……但从你提到的来看,它们似乎确实适用。我的确想进行预测。我的结果来自计算机模拟,因此完全可重复。我寻求的是一种能够让我分析数据并找出正确组合的输出,有时我会尝试最大化某些输出,同时最小化其他输出。
可接受的样本数量约为 50 个(如果值得的话可以多一点),因为我没有允许我自动检索模拟数据并将其输入 JMP 的 API。
感谢您的帮助
回复:如何设计具有分布良好的连续输入的实验?你好,Statman,
也感谢您的快速回复!
实际上,JMP 中有一个名为“Easy DOE”的类别,JMP 会使用自然语言询问你拥有什么以及你想做什么。事实上,我的目标是找到一个能够满足我需求的组合(一些输出需要最小化,一些输出需要最大化,或者针对特定目标)。
我不完全理解您关于具有水平的因素的观点,因为在我的例子中,变量是连续的,并且我想探索它们的整个范围。
回复:如何设计具有分布良好的连续输入的实验?你好@Xena ,
好的,如果您正在处理计算机实验,空间填充设计确实是在实验空间中均匀分布点的好方法,并且使用有用的模型近似您的模拟响应,而无需对方程/模型形式做出任何假设。
默认情况下,如果您启动包含 4 个连续因子的空间填充设计平台(位于菜单“DoE”、“特殊用途”、“空间填充设计”),JMP 建议的运行次数将为 40 次(接近您可接受的运行次数),并且您可以使用所有设计类型。由于因子和运行次数较少,并且您可能更关注预测性能,因此均匀设计(或拉丁超立方体)可能是合适的选择:

关于适合响应的模型,默认情况下,当您制作数据表时,有一个脚本会根据您的响应启动高斯过程模型:

这是一个很好的默认基准模型,但您也可以使用“模型筛选”平台尝试其他机器学习模型,并采用适当的验证策略(以避免过度拟合)。在这种情况下,通常会选择随机或分层的 K 折交叉验证,因为您不想从训练中排除某些点。
一旦找到具有良好性能的模型,您就可以使用在每个折叠上训练的模型并平均它们的预测,如此处所述: 使用 k 折拟合质量进行交叉验证
如果您总共可以进行 50 次运行,则可以启动具有 40 次运行的 DoE 并训练/验证最佳模型,然后使用平台增强设计(采用空间填充策略)在您的数据集中添加 10 次新运行,这些运行将用作您的预测模型的测试集(最终验证)。
希望这些建议有意义,
回复:如何设计具有分布良好的连续输入的实验?我不太了解你的情况,无法提供具体的建议。确实有一个名为“Easy DOE”的平台。恕我直言,这个平台是为那些几乎没有实验经验的人设计的。它旨在鼓励使用该方法(或许也是为了推广该软件)。然而,该平台有很多细微之处没有涵盖。
无论如何,诊断情况对于选择合适的设计至关重要。您是在进行解释性工作还是发现性工作?您是否提出过假设(例如,为什么某个因素会对响应产生影响或不产生影响?)?您是如何确定这四个因素的?您处理其他所有因素的策略是什么?测量系统是否已经研究过?……
设计实验没有唯一的“正确方法”,但通常情况下,实验的第一步是筛选众多可能的因子,以构建合适的设计空间。最有效的方法是运行n维空间的某个部分。由于研究本质上是短期的(即,您没有时间序列来揭示因子效应的固有变异),因此必须夸大其效应。这可以通过将因子水平设置为粗体(合理的极值)并对大量因子进行实验来实现。同时,您试图创建尽可能宽的推理空间,因此您同样会夸大噪声(您未来不愿管理的因子)的影响,通常使用完整或不完整的区组。一旦您拥有了合理且合理的设计空间,就可以扩展该空间来估计有用的模型。
我们通常按照泰勒级数构建模型。也就是说,我们从一阶(通过两级因子设置实现)开始,然后以更高阶(包括阶乘(交互项)和多项式(非线性))进行增广。目标并非找到能够描述一切的最复杂模型,而是找到一个能够帮助预测未来表现的有用模型。包含三阶交互项或三次多项式+非线性项的模型极难管理,通常也没什么用。
以下是一些针对入门实验设计的建议参考:
Box, George EP 和 Bisgaard, S. (1987)“质量改进的科学背景。” 质量进步六月
Czitrom, Veronica, (1999) “单因素试验与设计试验”, 《美国统计学家》 ,5月,第53卷,第2期
Box, GEP, Patrick Liu (1999) “统计学作为科学方法学习的催化剂第一部分——一个例子”, 《质量技术杂志》 ,第 31 卷,第 1 期,1 月
Hahn, Gerald (1977) “工程师应该了解的实验设计知识”, 质量技术杂志, January, Vol. 9, No. 1
科克伦,威廉,《实验设计背后的哲学》,约翰·霍普金斯大学
Montgomery, Douglas, Coleman, D., (1993). “设计工业实验的系统规划方法”, 《技术计量学》 ,1993年2月,第35卷,第1期
回复:如何设计具有分布良好的连续输入的实验?你好,维克多,
我会尝试你的解决方案。
太感谢了 !
回复:如何设计具有分布良好的连续输入的实验?@statman @Victor_G - 我每次都会理解得更多一点,谢谢!
回复:如何设计具有分布良好的连续输入的实验?听起来你用的是基本的析因设计,这种设计通常只考虑低/中/高三个水平。如果你的系统是非线性的,你可能需要考虑中心复合设计或拉丁超立方抽样,以便更好地覆盖输入空间。我之前也遇到过类似的问题,不得不采用超越简单的三水平设计的方法。我通过Excedify 复习了结构化实验设计方法,这帮助我理解了何时应该切换到响应面方法以提高预测精度。