DSD设计中“令人惊讶”的结果作为硕士论文的一部分，我们进行了一项包含六个连续变量的确定性筛选设计。我们在 JMP 中生成了一个标准设计，包含 17 次运行（外加 3 次零水平运行）。
结果令我惊讶，因为相当多的交互作用和二次效应都非常显著。我最初怀疑是过拟合，但找不到任何证据支持这一观点。我们获得了优秀的R平方值（符合预期），没有过高的方差膨胀因子（VIF），Durbin-Watson检验结果也正常等等。此外，PRESS值达到了0.044。
即使在DSD分析中排除严格遗传因素，这些结果仍然相同或非常相似。在这种情况下，会出现2-3个额外的交互作用或二次效应，这些效应同样具有高度显著性。
就我目前所知，我看不出有什么理由怀疑结果的有效性。还是我忽略了什么？
实验设计回复：DSD设计中的“令人惊讶”的结果对于一个六因子设计而言，这是一个相对“较大”的设计，由于六因子响应面中只有27个可估计效应，因此您很有可能估计出其中许多效应。观察中心点运行结果，其范围在3.915到4.018之间，残差标准差约为0.02。因此，任何远大于0.2的效应都很有可能具有统计学意义。观察折叠点，我发现差异约为0.6。
是的，这完全有可能。分享实际的数据表有助于我们进一步探究这个问题。
回复：DSD设计中的“令人惊讶”的结果由于对实际实验了解甚少，基本上无法做出回应。这是一个实际的物理实验（或模拟）吗？测量误差是否事先量化过？你的均方误差 (MSE) 是如何估计的？响应的变化是否具有任何实际意义？统计显著性是一个条件性陈述。只有当 MSE 的估计值是对实际情况的合理估计（并且你理解构成该估计值的要素）时，统计显著性才有意义。
回复：DSD设计中的“令人惊讶”的结果嗨@NominalGemsbok3 ，
对于您取得的成果，我可能有一些补充性的建议和意见。
- 从实际角度来看，有更好的指标来评估任何可能的过拟合情况：使用调整后的R平方值，并最小化R平方值与调整后R平方值之间的差值（R平方值往往会随着模型项数的增加而增加，而调整后的R平方值则考虑了模型的复杂性/项数，并对过于复杂的模型进行惩罚）；信息准则（例如AICc和BIC ）有助于比较不同模型在准确性和复杂性之间的平衡。PRESS值（R平方值和RMSE）也是衡量模型性能的良好指标，因为它们基于留一交叉验证，因此您可以了解模型在未用于模型训练的数据点上的性能。所有这些指标都有助于模型选择，并避免陷入“ 统计显著性崇拜”的陷阱。
- 此外，统计显著性与效应的实际重要性有所不同：如果信噪比非常高，即使某些效应没有实际意义，也可能更容易检测到统计显著性。利用领域专业知识筛选出相关且重要的效应，并指导模型选择过程。
- 关于有效疗效的数量，令人欣慰的是：
- 根据检测到的活性项数量，设计和建模方法选择得当。JMP 帮助文档中关于“拟合最终筛选”部分指出：“如果活性效应的数量小于运行次数的一半左右，且效应大小超过标准差的两倍，则最小运行规模的 DSD 能够以较高的概率正确识别活性项。” 在 17 次原始运行（加上 3 个中心点）中检测到 9 个活性项，且 RMSE 相对较低，正如前面提到的，您目前的情况似乎不错。
- 他们确实遵循效应层级原则：效应的层级越高，该效应解释响应变量变异的可能性就越小。以您的情况为例，6 个主效应中有 5 个（83%）被检测为显著，15 个双因素交互效应中有 3 个（20%）被检测为显著，二次效应中有 1 个（16.7%）被检测为显著。虽然显著效应的比例看起来很高，但它与 Xiang Li、Nandan Sudarsanam 和 Daniel D. Frey 于 2006 年 3 月发表的论文“因子实验数据的规律性”（Regularities in Data from Factorial Experiments） https://doi.org/10.1002/cplx.20123中描述的效应层级规律性一致。
看来您的结果得益于对潜在相关预测因子的精心选择、实验和响应测量中较低的噪声水平、以及恰当的设计选择和建模方法。恭喜！
希望这个回答能帮助你相信这些积极的结果。
回复：DSD设计中的“令人惊讶”的结果这是一个真实的物理实验。均方误差 (MSE) 由线性模型的残差估计得出。为了验证该估计值，我们从重复的中心点获得了纯误差（方差 ≈ 0.002）。失拟检验表明模型不存在显著缺陷 (p = 0.79)，失拟均方小于纯误差的均方。因此，MSE 可以被认为是误差方差的合适估计值。
回复：DSD设计中的“令人惊讶”的结果非常感谢您如此详尽且令人鼓舞的回复。
回复：DSD设计中的“令人惊讶”的结果感谢您的回复。请问您说的“实际数据表”指的是什么？
回复：DSD设计中的“令人惊讶”的结果是否可以发送编码后的 JMP 文件？我想尝试一些 GENREG 模型。
回复：DSD设计中的“令人惊讶”的结果你好，
这里是一个编码后的 JMP 文件。
回复：DSD设计中的“令人惊讶”的结果我做了个简单的分析（拟合模型），结果和你的完全不一样？三个主要效应是最大的效应。我已经把拟合模型添加到你的数据表（表1）里了。
回复：DSD设计中的“令人惊讶”的结果会不会是因为这是确定性筛选设计，而我在JMP中使用了DoE → 确定性筛选 → 拟合确定性筛选功能进行分析，而你没有，所以才造成了差异？我认为DSD（确定性筛选设计）确实应该使用合适的方法进行分析。
回复：DSD设计中的“令人惊讶”的结果请注意，在设计结构设计 (DSD) 中，许多交互作用效应是相关的（高度混叠），R > 0.7（参见下方粉色区域和附件表格中的“设计评估 - 相关性颜色图”）。当您有 5 个活性因子时，需要扩展 DSD 并增加额外的运行次数以消除交互作用效应的混叠。
回复：DSD设计中的“令人惊讶”的结果如果你运行“拟合最终筛选设计”并选择“构建模型”，最终会得到什么结果？你会发现 p 值显著性是基于重复的中心点计算的。
回复：DSD设计中的“令人惊讶”的结果在DSD结果中，您可以找到5个显著的纯效应，以及几个潜在的显著但相关的交互效应，这些交互效应需要通过增加额外运行次数来消除混叠。
回复：DSD设计中的“令人惊讶”的结果在附表中，使用fit DSD平台进行DSD分析；检测到两个显著的相关交互效应：（1）因子1*因子3与因子2*因子5相关，（2）因子4*因子5与因子1*因子2相关。
如您所见，相关性颜色图中的粉色区域也存在与因子 6 的第二次交互效应的混叠；然而，由于因子 6 不是一个活跃效应，我没有考虑它的交互作用；利用 5 个显著主效应的交互作用可以构建一个非常好的模型。
回复：DSD设计中的“令人惊讶”的结果嗨@frankderuyck和@NominalGemsbok3 ，
由于多种原因，并不存在绝对的最佳模型：例如性能指标的选择、阈值（例如 p 值）、估计方法等等。此外，在 DSD 中，独特的处理（自由度）不足以估计所有效应，因此很容易得到性能良好但相互竞争的不同模型。您可以将 DSD 视为响应面模型的一种过饱和设计类型。
正如@frankderuyck所提到的，由于设计结构导致交互效应之间以及二次效应之间存在部分别名/相关性，除非增加运行次数以更好地完善模型，否则你无法 100% 确定检测到的交互效应和二次效应对目标的“真实”影响（通过任何建模方法）。然而，你可以对主效应更有信心，因为设计结构避免了主效应之间以及主效应与高阶效应之间的任何相关性，因此你可以无偏差地估计它们。
所有模型都是错误的，但有些是有用的。
我尝试在这个例子中创建一种名为栅格图的特定可视化图表（参见“栅格图或其他可视化工具，以帮助进行实验设计模型评估和选择”，了解其创建方式），以展示由于模型中包含的可能项的组合爆炸而导致的多种模型（除了截距项之外，还有 27 个可能的影响项：6 个主效应、15 个双因子交互作用和 6 个二次效应可供选择）。我使用了 Stepwise 平台和“所有可能模型”选项（在强遗传假设下，模型中最多包含 10 个项）。以下是按 R 平方值排序的模型结果，其中显示了每个模型（每行）包含的项（列）：
我更喜欢使用信息准则来比较多个模型，例如 AICc（越低越好），因为它会惩罚使用过多的项，从而可以更好地比较复杂度不同的模型：
如您所见，大多数模型都一致认为前五个因子存在主效应。对于因子6，结果有所不同，且该主效应的存在没有明显的规律。对于交互作用和二次效应，也很难看出明显的规律，只是某些高阶效应似乎大多数情况下都没有被包含在模型中：例如因子1×因子6、因子2×因子4、因子3×因子5、因子3×因子6、因子4×因子6以及因子5×因子6的交互作用。对于二次效应，因子6×因子6的交互作用在大多数模型中都缺失。如果我们根据R平方值放大观察最佳模型，会发现一些关于高阶效应的有趣现象：
在模型中，因子 1 × 因子 3 和因子 4 × 因子 5 的交互作用项往往被选中。此外，因子 2 和因子 4 的二次效应也经常被选中。这些结果与我从 Fit Definitive Screening 平台获得的结果基本一致，检测到了相同的主效应和高阶效应：
当比较范围限定在三种不同的估计方法时，我们也可以看到不同模型和项组合的等效情况。例如，对于 Fit Definitive Screening、GenReg Normal Pruned Forward 和 GenReg Two Stage Forward 这三种估计方法，我们可以比较模型的性能以及所包含的项：
- 性能：此处包含 R 平方值和为解释性目的而调整的 R 平方值（模型对响应变量变异性的解释程度）：
我们可以看到，前两种方法表现出相似的性能。
- 模型中的术语：
即使前两种估计方法构建的模型方法相似，但它们在高阶效应中包含的项却有所不同。它们仅在交互效应“因子1×因子3”的纳入上达成一致。
因此，一个合理的后续步骤是与领域专家讨论哪些模型最合理，并使用增强设计平台来确认和/或完善最相关的模型。例如，您可以对其进行扩展，并指定要估算其项的模型。
请查看下表，其中列出了我回复中使用的所有脚本。
希望这个回答对您有所帮助。
回复：DSD设计中的“令人惊讶”的结果DSD 仍然是一种筛选设计，适用于从大量潜在因素中筛选出强效应（尤其是主效应）；它还能指示潜在的二次效应和交互作用。请注意，交互作用是相关的（！），参见相关性颜色图。如果只有三个或更少的显著效应，DSD 将生成 RSM。但是！如果显著效应超过三个，则需要扩充 DSD 以确定纯粹的交互作用和二次效应。因此，如果在与专家集思广益后，认为可能存在交互作用，我总是从最小或较低的 DSD 数量开始，足以检测到强效应，并且预算中还有足够的运行次数用于扩充和去混叠。此外，我不会在中心点重复上花费太多精力。
回复：DSD设计中的“令人惊讶”的结果私下说一下：奇怪的是，为什么所有 5 个激活效果都没有显示在半正态分布图中，只有 3 个效果显示出来？
回复：DSD设计中的“令人惊讶”的结果评估正态/半正态分布图时要格外小心（参见 Daniel 的论述）。并非总是可以使用 Lenth 的 PSE 指标。观察数据，你会发现误差分布似乎不止一个。注意底部 6 个值，然后是一个断点，接着是 2 个值，然后是另一个断点，最后是 5 个值。这表明实验过程中噪声发生了变化。这可能被认为是实验过程中存在特殊原因的证据。查看与此半正态分布图对应的帕累托图。你会更容易地看到估计值的“分组”。
顺便提一下……复制中心点是估计均方误差 (MSE) 的绝佳方法。即使复制中心点并非针对线性假设，它们也能非常有效地用于检验该假设。如果在整个实验过程中随机运行足够多的中心点（约 8 个），它们还可以评估实验的稳定性。按运行顺序绘制均方误差 (MR) 图。此外，如果中心点代表当前条件，则可以在当前条件两侧设置更醒目的水平，从而获得更清晰的方向性信息。唯一的问题是，这些因子必须是连续的。
回复：DSD设计中的“令人惊讶”的结果很有意思，那么如何更好地利用这张图来检测活性效应呢？
回复：DSD设计中的“令人惊讶”的结果阅读库斯伯特·丹尼尔（Cuthbert Daniel）的著作，他是该方法的发明者。
Daniel, Cuthbert (1976)《统计学在工业实验中的应用》，Wiley 出版社（ISBN 0-471-19469-7）
回复：DSD设计中的“令人惊讶”的结果好的，这条线周围的图案表明存在特殊原因，在这种情况下，可能存在一些中等程度的强烈影响，需要进一步考虑。
回复：DSD设计中的“令人惊讶”的结果你已经读过他的书了吗？让我来解释一下……是的，超出随机误差分布范围（随机误差应服从均值为0的正态分布）的模型效应确实是可以归因的（与那些可能属于误差分布范围的效应不同，后者不可归因）。但是，这并非Lenth算法所划定的界限。Daniel并没有在他的正态分布图上展示Lenth算法的结果。他解读了这些图，并根据自己对误差分布在图中位置的理解（我用的是“粗铅笔”测试法）。他提到在正态分布图上观察到了“S”形曲线，这表明除了模型效应之外，还有其他因素影响了实验。特殊原因在于噪声，而非模型效应的结果。这反过来会放大方差分析中的均方误差（MSE）。
回复：DSD设计中的“令人惊讶”的结果结合@statman 的“粗铅笔”准则，可以将垂直方向的移动视为平均响应的变化，将穿过一组估计值的直线的斜率的变化视为标准差的差异。
回复：DSD设计中的“令人惊讶”的结果我们能否得出结论：半正态图可以作为初步筛选工具，用于检测非常强的效应？当未观察到围绕实线的随机分布和模式时，则表明存在中等强度的效应？
回复：DSD设计中的“令人惊讶”的结果是的，这是相对于模型中其他效应的强度而言的。顺便说一句，我总是建议你使用饱和模型来绘制这些图表。
另需注意的是，如果因子设置的符号有意义（例如，连续因子），则可以使用正态图并利用方向向量。如果您无法获取他的优秀著作，可以阅读这篇论文：
Daniel, Cuthbert (1959) “半正态图在解释因子二水平实验中的应用”，《技术计量学》，第1卷，第4期，11月
回复：DSD设计中的“令人惊讶”的结果回复@statman 的最后一条评论，筛选平台（一个老版本）已经实现了他的建议。请点击此处查看：
Names Default to Here( 1 );
dt = Open( "$SAMPLE_DATA/Design Experiment/2x3x4 Factorial.jmp" );
dt << Screening( Y( :Y ), X( :X1, :X2, :X3 ) );
回复：DSD设计中的“令人惊讶”的结果非常有趣的案例和精彩的讨论，感谢分享！
回复：DSD设计中的“令人惊讶”的结果看来，采用两级筛选平台，我们无法获得上述最佳 AICc = -30 Fit Definitive Screening 结果。
去年我发帖讨论过一个7因子DSD案例（https://community.jmp.com/t5/Discussions/Setting-Stage-1-P-value-in-Analyis-of-DSD-at-a-high-level-to/mp/837310#M101378 ），结果正好相反：我很快就得到了一个不错的5因子活性模型，经过两级筛选后，使用Fit DSD工具，我不得不将第一阶段的P值提高到0.4才能检测到这5个活性因子，这很有意思……
回复：DSD设计中的“令人惊讶”的结果因此，为了检测活跃的主效应并指示潜在的交互作用和二次项，我建议使用 Fit DSD 平台。但请注意，第一阶段的 p 值是一个过滤器（！），如果设置得太低，可能会阻止潜在的活跃效应进入模型。建议将 Fit DSD 的第一阶段 p 值设置为 0.2 到 0.4（过高可能会导致过拟合）。
