介绍
欢迎来到我们空间填充设计实验系列的最后一篇！在前几篇文章中，我们建立了框架和评估方法，现在我们将展示对比研究的全面结果。这些发现为何时以及如何为您的特定应用选择最合适的空间填充设计提供了明确的指导。
主要发现总结
我们对四种设计类型、三种维度设置和每种因素的三种样本大小条件进行了分析，结果揭示了设计性能和计算时间方面的一些有趣的见解。
如前所述在本系列的前一篇文章中结果分析是通过两种不同的方法进行的：对不同维度和样本大小设置下的设计类型进行排名（图 1），以及根据因素对响应差异、MaxPro 和时间响应进行建模的方法（图 2）。
图 1：所有回答的排名结果。
图 2：所有响应的预测分析器和变量重要性。
正如预期，在所测试的不同配置中，并不存在通用的空间填充设计方案。具体情况决定了最优选择，特别是维度和每个因素的点数对设计性能以及所需的计算时间都有显著影响。
快速柔性填充是投影性能的最佳设计（MaxPro 标准）。
均匀性设计在空间覆盖/均匀性方面表现最佳（差异准则），但计算它所需的生成时间最长，而且很快就会变得难以承受。
有趣的是，设计性能很大程度上取决于样本量和维度的相互作用，因为对于特定数量的因素，相对性能会随着运行总次数的变化而变化。
设计类型排名结果
使用本系列第二篇文章中介绍的脚本，可以将连续响应转换为排名，其中四种设计在每个维度和样本大小场景下的性能从 1（最佳设计）到 4（最差设计）进行评级。
- 空间覆盖率（差异）属性比较：
- 在所有维度和样本量设置下，均匀分布设计都表现出最佳的空间覆盖性能。考虑到均匀分布设计倾向于尽可能地使点分布遵循均匀分布，这一点并不令人惊讶。如本系列第一篇文章所述因此，预计他们在差异指标方面的表现会很好。
- 拉丁超立方设计通过模拟均匀分布来分配点，因其良好的空间覆盖性能而位居第二。
- 最后，快速灵活的设计，在空间覆盖率和投影特性之间取得平衡，以及球体堆积设计，尽可能地将点分散到设计区域内，分别位列第三和最后一位（图 3）。
图 3：所有维度和样本大小的测试配置的设计差异排名（越低越好）。
- 投影（MaxPro）属性比较：
- 快速灵活的填充设计在各种情况下都能展现最佳的喷射性能。
- 对于中等（每个因素 20 次运行）和高（每个因素 100 次运行）样本量，均匀设计比拉丁超立方设计表现更好。
- 球体堆积设计的 MaxPro 统计量未定义，因为点在一个维度上可能具有相同的值，因此它们不会出现在排名中（图 4）。
图 4：MaxPro 对所有维度和样本大小的测试配置的设计进行排名（越低越好）。
- 设计时生成方式比较：
- 拉丁超立方设计在几乎所有维度和样本大小设置下都表现出最快的生成速度。
- 对于中等（每个因素 20 次运行）到高（每个因素 100 次运行）的样本量，快速灵活设计因其设计生成速度而成为极具竞争力的选择。
- 球体堆积设计的计算速度通常较慢，而均匀堆积设计的计算速度最慢（图 5）。
图 5：所有维度和样本大小的测试配置的设计生成时间排名（越低越好）。
模型结果
使用本系列第二篇文章中介绍的修改后的模型脚本，我们对三个响应变量——差异值、MaxPro 和时间——运行了模型。对于每个响应变量，我们都可以注意到模型的拟合效果似乎都不理想（图 6）。
图 6：初始响应差异模型的实际值与预测值图。
此外，残差中还可以看出非正态和非随机模式（图 7）。
图 7：残差可视化显示非随机和非正态模式。
残差值应围绕零随机分布，这样响应变量的变化才能完全由模型中包含的效应解释。如果残差呈现非随机模式，则该模式的性质可能表明模型存在潜在问题。在这种情况下，曲率效应、残差的非正态性以及异方差性（方差不齐）可能表明需要进行数据转换来解决这些问题。由于数据涵盖了非常不同的尺度范围（图 8），因此对数转换（或 λ=0 的 Box-Cox 转换）似乎是合适的。
图 8：对差异响应进行对数正态分布拟合的结果。
JMP 提供的 Box-Cox 变换评估证实了这一评估，显示 λ 的推荐值非常接近 0（图 9）。
图 9：Box-Cox 变换面板结果的差异响应。
在Box-Cox 变换的红色三角形下（位于“因子分析”>“Box Cox Y 变换”中“响应”旁边的红色三角形内），我们选择“替换为变换” ，并将 lambda 值设为 0，以自动将模型拟合替换为对数变换后的模型。现在，这些模型似乎足以用于分析实验数据。
- 差异响应建模结果：大部分差异响应的变异可由因子比 exp/因子和设计类型解释。维度（因子数量）也是一个重要因素，但其重要性相对低于前面提到的两个因素（图 2）。检测到了交互作用效应，但与主效应相比，它们对差异变异的影响相对较小。因子比 exp/因子的二次效应非常显著（图 10）。
图 10：差异响应效应量图。
通过显示 DOE 分析的每个因子数场景的 exp/因子比率所测量的差异值，可以直观地看出设计类型选择对差异值的影响（图 14）。
- MaxPro响应的建模结果：MaxPro响应的大部分变异可由因子比exp/因子和设计类型解释。维度（因子数量）也是一个重要因素，但其重要性相对低于前面提到的两个因素（图2）。模型检测到中等程度的交互作用，涉及这三个因子。因子比exp/因子的二次效应非常显著（图11）。
图 11：MaxPro 响应的效应量图。
通过显示 DOE 分析的每个因子数场景的 exp/因子比率测量的 MaxPro 值，可以简单地可视化设计类型选择对 MaxPro 指标的影响（图 14）。
- 设计生成时间的建模结果：三个因素（设计类型、因素数量和效应量/因素比率）对设计生成时间响应具有相似且较高的重要性（图 2）。三个因素之间存在显著的交互作用，表明不同的点生成方法类型如何影响设计生成时间（图 12）。拉丁超立方设计类型似乎特别适用于高维和大样本量（每个因素的点数）的情况，而均匀设计可能更适合低维和小样本量的情况。
图 12：时间响应效应量图。
通过显示 DOE 分析的每个因子数量场景的 exp/因子比率来衡量设计类型选择对设计生成时间的影响，可以简单地将其可视化（图 13）。
图 13：设计生成时间随因素（设计类型、因素数量和指数/因素比率）的变化。
关键见解
随着样本量的增大，设计特有的优势更加显著。样本量增加时，各因素分布中的间隙减少，从而降低了差异。然而，随着点数的增加，点之间的距离缩小，MaxPro准则值增大。值得注意的是，差异和MaxPro准则之间存在一个平衡点，具体数值取决于每个因素的运行次数。这种平衡点在60到80之间的区域尤为明显，在该区域内，必须在差异和MaxPro指标之间对设计性能准则进行优先级排序（图14）。
对于 MaxPro 建模，可以注意到拉丁超立方设计和快速灵活填充设计的性能会随着维度（因子数）的变化而变化：当每个因子的实验次数比约为 70 时，这两种设计的 MaxPro 值都会随着因子数的增加而增加。
图 14：差异和 MaxPro 值随设计因素的变化。
对于高维数据和/或大样本量，均匀分布设计的计算量会变得过大。性能与速度之间的权衡决定了不同场景下应采用不同的设计。为了总结每种设计的优势和劣势，我们提供了一个包含结果的表格（表1）。
实用选择指南/决策框架
第一步：评估你的实验环境
- 因子空间的维度（因子的数量和类型）
- 预期响应特性（噪声水平）
- 样本量限制
- 可用计算资源
步骤 2：应用选择规则
- 高维性：避免千篇一律的设计
- 混合因素类型和/或存在约束条件：采用快速灵活的填充设计
- 响应噪声：优先选择球形堆积设计，或首先使用基于筛选/模型的实验设计。
- 样本量小：创建均匀或拉丁超立方设计
- 需要快速生成设计稿：生成拉丁超立方或快速灵活填充设计
摘要：空间填充设计对比
表 1：按空间填充设计类型划分的结果汇总。
注意，由于计算时间过长，无法对完全析因设计（九个因子，每个因子运行 100 次的均匀设计）进行一项处理（图 15）：
图 15：JMP 显示的组合均匀设计消息，该设计由九个因素组成，每个因素运行 100 次。
此配置的设计计算在完成前中止。即使全因子设计中缺少此实验，分析仍然可以顺利进行。
局限性和未来方向
研究局限性
- 计算能力的限制使得最高维度的测试无法进行。
- 专注于不受限制的连续因素，以便测试多种设计类型。
未来研究
- 与主动学习策略（贝叶斯优化）的整合
- 与不同机器学习模型的性能比较
- 响应中对噪声的鲁棒性/敏感性
结论和建议
我们的综合评估提供了明确的证据，表明空间填充设计选择应由具体的实验特征驱动，而不是默认选择。
要点总结
- 没有绝对的赢家；具体情况决定最佳选择。
- 维度至关重要。
- 快速灵活的填充设计是投影性能的最佳设计（MaxPro 标准）。
- 响应类型很重要；光滑表面和复杂表面需要不同的处理方法。
- 样本量交互作用；随运行次数的相对性能变化。
最终建议：以我们的决策框架为起点，但尽可能通过试点研究来验证设计选择。
至此，我们关于空间填充实验设计的三部分系列文章就全部结束了：
- 空间填充设计常见类型简介
- 比较框架和评估指标
- 结果、分析和设计选择指南（这篇文章）
感谢您关注本系列文章！我希望这些见解能帮助您在自己的工作中，就空间填充设计做出更明智的决定。
资源和延伸阅读
- 本研究使用的配置：
- 处理器：第 11 代英特尔® 酷睿™ i9-11900H @ 2.50GHz (2.50 GHz)
- 已安装内存：64.0 GB（可用内存：63.7 GB）
- 系统类型：64 位操作系统，x64 处理器
- 用于设计生成和评估的 JMP 脚本
- 扩展结果表格和可视化
- 参考 ：
嗨@Victor_G ，
感谢您的文章，它们真的很有帮助。
我有一个关于在计算机模拟中选择拉丁超立方设计还是快速柔性设计的问题。
请考虑以下因素；
A：范围：0-1（连续值）
B：范围：1-100（该范围内的所有整数值）
C：范围：1-5（该范围内的所有整数值）
问题：JMP建议对离散因子使用 FFF 设计。然而，因子 B 和因子 C 虽然技术上是离散的，但它们的取值范围应该是整数（1, 2, 3, 4, ..., 100）。我只是不希望它们在模拟中使用小数。我应该使用哪种设计？
JMP中有一个选项可以设置因子值的宽度，这让我可以去掉拉丁超立方变换中的小数部分。我不确定这是否会对分析结果产生影响。
在 LHD 中，我可以将因子视为连续变量并调整宽度，或者使用某种舍入方法来获得整数值吗？
JMP 文档中给出的拉丁超立方插值考虑的是连续输入，但最终设计表的值是整数。
https://www.jmp.com/support/help/en/19.0/index.shtml#page/jmp/example-of-creating-a-latin-hypercube-design.shtml#
你好@Divya123rama ，
感谢您的好评。
关于您的问题，我的想法如下：
正如您可能已经在本系列博客的第一部分“探索空间填充设计（第一部分）：常见空间填充类型简介 - JMP 用户社区”中读到的那样，拉丁超立方设计会创建与最终设计中所需的运行次数相等的区间。最终设计中所需的运行次数会影响因子的区间数量，以及数值“向上取整”对设计的影响程度。在您提供的 JMP 帮助示例中，该设计包含 8 个运行，因子范围为 1 到 8，因此拉丁超立方会创建宽度为 1 的区间，以便每个区间都能在设计中使用。当因子范围等于运行次数时，区间将变为离散的整数值。
就你的情况而言，你有两个截然不同的因子范围：通常情况下，对于范围较小的离散因子（1-5），分箱数量可能总是大于该范围内可供选择的值的数量（5）。因此，我建议使用离散数值因子，因为如果在设计中向上取整，可能会导致大量重复值，这可能会影响设计的覆盖率和投影特性。
以拉丁超立方设计为例，进行 30 次试验，仅考虑连续因子（B 和 C 在设计生成后向上取整，使其仅具有整数值）：
快速灵活填充设计示例，运行次数为 30 次，A 和 B 为连续因子（B 在设计生成后向上取整），C 为离散数值：
快速灵活填充设计示例，包含 30 次运行，A 为连续填充，B 和 C 为离散数值填充：
第二种和第三种情况下的运行分布似乎非常相似，而且由于至少存在一个离散数值因子，它们都采用了快速灵活填充设计。第一种情况是通过强制生成仅包含连续因子的LHD序列，然后再进行向上取整而得到的。这种情况似乎并非最优，因为点的分布看起来比较聚集，实验空间边界处存在间隙。
在这种情况下，我建议使用快速灵活填充设计，可以选择方案 2 或方案 3。
希望这个回答对您有所帮助。
Victor，你关于空间填充设计的3篇系列文章清晰易懂，非常实用。
对于许多应用而言，采用 FFF 设计并使用 ML 方法（如自验证集成模型）对响应数据进行后续分析，对于已知或预期响应面复杂的流程来说，似乎是一个很好的选择。
空间填充设计的一个显著优势在于，由于设计空间中的空隙相对较小，因此无需对预测模型进行过多测试。与空间填充设计中的空隙相比，典型的中心复合设计或最优设计中的空隙简直如同鲁卜哈利沙漠一般巨大。这一优势意味着更简化的实验设计流程和更经济的实验设计成本。
谢谢你！
Stephen Czupryna，Pyzdek 研究所，美国亚利桑那州普雷斯科特谷
嗨@SteveCz ，
非常感谢您的好评和反馈！
我同意，快速灵活填充设计是很好的选择，具有良好的投影和偏差性能，由于能够处理多种因素类型和约束，因此应用范围很广，而且计算生成时间短。
是的，使用空间填充设计和机器学习建模的目标是找到一个能够在设计点之间平滑插值的模型（具体取决于所选算法和响应行为假设）。为了验证拟合模型的相关性和有效性，可以使用特定的验证方法，例如留一法和自验证集成模型。对于一些简单的模型，例如随机森林和支持向量机，还可以检查一些关键的超参数值（例如随机森林的树深度、支持向量机的惩罚项和曲率），以防止和评估过拟合的风险，并选择合适的超参数值。
最后，没有什么比验证运行更有效的了，在有趣的位置（最佳/最差结果、距离设计点较远的区域等）运行新的实验来确认模型的有效性始终是一个好主意……
最好的，
感谢您对SF设计分析的补充见解。
完全同意，验证运行是一个非常好的主意，确实应该成为工作流程的一部分。但是，经验表明，由于时间压力和资源限制，在产品开发过程中，验证运行往往很难进行。在这种情况下，预先选择空间填充设计可以降低因减少验证运行次数而做出商业决策的总体风险。
史蒂夫
