将 DSD 分析中第一阶段的 P 值设置为高水平，以检测主动效应我对附件中 7 因子 DSD 分析的第 1 阶段 P 值的设置有疑问。
我需要将第 1 阶段 P 值设置为 0.4 来检测 5 个活性因子，而默认设置是 0.05；有什么解释吗？
第一阶段的功率默认值是 0.05，是不是太低了？如何设置第一阶段的功率？有什么经验法则吗？
实验设计回复：将 DSD 分析中第一阶段的 P 值设置为较高水平以检测活性效应你好@frankderuyck ，
我猜你展示的例子是为了教育/培训目的，因为响应是基于公式的？
JMP Help 中一个很好的提示可以回答您的问题：“如果活性效应的数量小于运行次数的一半，并且效应大小超过标准差的两倍，则最小运行规模 DSD 能够以高概率正确识别活性项”（来源： Fit Definitive Screening Platform 概述）
在您的情况下，您有 7 个因素并希望将 5 个检测为“活跃”，因此当使用具有相对较高响应噪声的最小运行尺寸 DSD 时，执行这项任务非常复杂。
当我查看响应公式中的“噪声”/变异性部分时，我可以看到，与您想要在第一阶段检测的因素的估计值（从 -20,8 到 5,2）相比，随机均匀部分相当大（从 -25 到 25）。因此，对于大多数您已指定要估计的效应大小的因素，与您在公式中添加的噪声/变异性部分相比，可能很难检测到它们并估计它们的效应大小。您还提到了 5 个“活跃”因素，但我认为存在一个混淆：只有当它们的估计值相对大小与实验的噪声/自然变异性相比足够大时，它们才会被视为“活跃”。并不是因为您指定的估计值不同于 0，它们才应该被视为活跃/重要。这是一个信噪比的问题，也是统计意义和实际意义之间的差异。
可以根据您在评估设计平台中的设计和假设噪声（预期 RMSE）来估计要调整的显著性水平（p 值阈值）。在此平台中，您可以调整显著性水平和预期 RMSE 来评估功效（如果有效，则检测到效果的概率）。
也许不是“完全严格”，但作为一项练习，您可以在处理理论响应公式时检查分析的输出是否正确。当添加新的公式列来查看公式的噪声部分时，我可以估计标准偏差约为 12 ：
当使用此值作为预期 RMSE（可能是 RMSE 的低估值）时，将显着性水平固定在 0.05，并使用公式的理论估计值作为预期系数（我将“1”保留为公式的零效应，以查看您的设计对于此 RMSE 的主要影响的功率“基线”），它与您的分析的输出相匹配：
只有 X1 的效应大小足够大，可以以高概率检测到。其他效应的效应大小相对较小（与响应的预期 RMSE 相比）。如果在相同的预期噪声下具有更高的重要性阈值，则检测主效应的能力将增加：
根据您的教学目标，可以使用多种选项（单独或组合）：
- 您可以减少变异性（Y 公式响应中的随机均匀部分），以确保您可以检测到想要检测（和估计）的大多数活性效应。
- 您可以增加设计规模，以便更轻松地检测活动效果。来自 JMP 帮助：“但是，通过用四个或更多正确选择的运行来增加最小运行规模 DSD，您可以以高概率识别出更多效果。 ”： Fit Definitive 裁平台概述
- 您可以增加效果大小（公式中因素估计的大小），这样尽管噪音/变异性很高，但还是可以更容易地检测到效果。
- 您还可以尝试不同的分析平台来检测主效应。Fit Two Level Screening 平台可能会提供不同的视角，例如：
- 无论您选择什么， 评估设计平台（和比较设计平台来比较不同的设计选择）对于向学生展示和解释都非常重要，因为它能够根据目标、模型的复杂性、检测效果的能力、别名属性等更好地评估任何设计的优缺点...如果您有关于预期 RMSE 和预期系数的先前信息，它还可以用于评估显着性水平以进行调整。
我希望我的回答能帮助你理解你例子中发生的事情，
回复：将 DSD 分析中第一阶段的 P 值设置为较高水平以检测活性效应嗨，Victor，再次感谢您的详细回复。是的，这是一个基于试点案例研究的 DOE 培训案例，其中结果因大量噪音而变得模糊，实验预算被限制为最多 25 次运行。不幸的是，没有初步知识，需要一种务实的方法。这项筛选研究的主要目标是指定可以增强 DSD 以获得 RSM 的强大主效应。这就是为什么我没有包括 4 次额外的 DSD 运行并保留了 17 次，因为这样有 8 次备用运行可以增强（4 次备用运行可能太少）。
有趣的是，通过将阈值 P 增加到 0.4，DSD 分析仍可检测到 5 个重要因素！只有当阈值 P 高达 0.7 时，2 个较小、不重要的效应 X6 和 X7 才会出现，并且（如在 ROC 分析中）模型特异性会降低。使用 5 个强效应将 17 次运行的 DSD 增加到 24 会产生一个非常好且有用的模型，并成功实现实验目标（匹配 Y 目标）。
我很喜欢你上面提到的Fit两级筛选平台，我也会选择X4。
本案例研究表明，采用务实的方法，即使结果嘈杂且预算受限，DSD 仍然是一种强大的筛选工具，正如“S”所代表的那样。我仍然经常使用它。
回复：将 DSD 分析中第一阶段的 P 值设置为较高水平以检测活性效应SVEM 前向选择也做得很好！参见附件
回复：将 DSD 分析中第一阶段的 P 值设置为较高水平以检测活性效应你好@frankderuyck ，
我对 SVEM 的输出和（系统）使用有着复杂的感受，特别是对于噪声数据。
SVEM 前向选择不会“选择”模型中的项（或根据特定统计标准和阈值过滤它们），而是通过使用各种训练/验证反相关权重对数据点进行重新采样来尽可能准确地估计它们。默认情况下，每个项都将使用 SVEM 进行考虑和估计。
因此，如果您的目标是通过筛选来了解和过滤主要的重要影响，那么 SVEM 可能不会为您提供进一步的帮助，因为您缺乏决策框架（统计标准、指标和阈值）来做到这一点。然而，SVEM 在预测思维中非常有用，可以进行精确的术语估计。
然而 ：
- 您可以使用列/指标“非零百分比”作为统计指标来改进模型，但定义阈值时会遇到与 p 值相同的困难：术语是否应为非零百分比 >50% 才能包含在模型中并被视为“活跃”？还是另一个级别？
- 通过可视化 SVEM 模型中的数据，您可以突出显示一些关键效应并根据实际重要性选择它们（例如，该项的绝对值应 > 2）：
但同样，这个“接受”阈值的定义可能涉及大量领域的专业知识和思考，以免过早地排除一些可能值得进一步研究的术语。
另外，如果你观察残差模式，就会发现一些奇怪的事情：
我不会相信显示这种非随机残差模式（偏差）的回归模型。但是，如果您仅使用主效应启动 SVEM GenReg，则可以通过降低模型复杂度来“改善”这种情况：
残差模式中似乎存在曲率。因此，显然在您的示例中，此简单模型中未研究响应公式的相互作用和二次效应，这可以解释此曲率模式。
我认为不应该使模型构建和估计复杂化，尤其是对于像本例中的噪声数据。
您的模型质量始终与数据的质量（和精度）相关。
回复：将 DSD 分析中第一阶段的 P 值设置为较高水平以检测活性效应我同意，基于初步筛选的回归模型根本不可信；这不是筛选的目的，它只是给出了如何在顺序工作流程中进一步进行的方向。上述所有分析工具、DSD 分析、两级拟合和 SVEM 都会过滤出相同的 5 个最强效应，这些效应可用于增强 DSD。我喜欢顺序方法；要构建知识之家，应该从最强大的构建块开始，以获得一个坚实的框架来研究其他较小的重要效应。
回复：将 DSD 分析中第一阶段的 P 值设置为较高水平以检测活性效应在这个两级筛选中，存在强烈且显著的二次效应；这可靠吗？由于这个筛选平台只检查两个水平，它如何检测三级二次效应？
回复：将 DSD 分析中第一阶段的 P 值设置为较高水平以检测活性效应你好@frankderuyck ，
您可以在文档中找到指南和更多信息： Fit Two Level Screening Platform 概述
您还可以在此处检查模型中术语/效应引入的顺序： 效应输入顺序的统计详细信息
不建议将此平台用于多级分类或序数因素，因为它们将被视为连续的。
对于二次效应，大多数情况下这些效应会被人为地正交化后再输入模型，因此 p 值和效应估计可能不精确。但该平台仍然可以检测到三水平连续因子的高对比度二次效应。
我在这个主题中使用了这个平台： 发现 OML 计划（混合样本的正交主效应筛选设计... - JMP 用户社区） ，它帮助我检测到了“拟合最终筛选”平台或“拟合模型（广义回归）”平台的两种估计方法未检测到的二次效应。
因此，测试 Fit Two-Levels 平台（并遵循指南和建议）来比较来自不同平台的模型并了解哪些模型同意/不同意术语选择以及哪些是最相关的模型会很有趣。
希望这个答案能对你有所帮助，
