DSD 解释及后续步骤早上好,我目前正在学习 JMP 和 DSD/优化。我进行了第一次实验,希望得到有关分析和后续步骤的反馈。我使用的是 JMP Pro 17。
实验目标:最大限度地提高细菌对磁性粒子的捕获/回收率。
设置:我挑选出我认为可能影响结果的 7 个变量,并使用 22 次运行(2 个区块 - 我需要 2 天的时间来运行这么多样本)对它们进行测试。模型返回 3 个变量很重要,但似乎 2/3 的变量可以通过增加测试范围受益。我根据预测分析器图表得出这一结论。这是可能的,也是可行的(在一定程度上),因此我可以用更大的范围重新测试它们。
1. 我是否需要对所有 7 个变量重新运行 DSD,还是应该只对重要变量进行中心复合设计,以覆盖这两个变量的新范围?我倾向于 CCD,因为我认为增加的范围不会影响其他变量的不重要性,然后我可以使用 CCD 来预测最佳参数。
2. 我假设 DSD 模型无法预测要使用的最佳参数,因为我没有正确的范围,对吗?还是我在某个地方遗漏了那个输出?我认为,由于我的变量中只有不到 50% 是显著的,因此该设计可用于优化。
3. 我是否遗漏了输出中我应该关注的内容?再说一次,我是新手,输出中有很多数据需要消化。我的目标是最终最大限度地恢复细菌,所以我专注于哪些变量是重要的,而不是输出中的其他变量。除了 alpha 值之外,还有什么具体的“事情”我应该真正关注/特别注意吗?我确实找到了一些关于 DOE 免费在线课程的消息,所以我会参加,但我希望得到对我的输出的具体反馈,这样我就可以“联系”该课程将用我自己的数据教给我的东西。
我尝试附加拟合输出,但一直收到错误消息,提示不支持 JMP 文件。我将其附加为 PDF。
提前感谢您的帮助/反馈!
实验设计回复:DSD 解释和后续步骤你好@Feline614 ,
欢迎加入社区!
恐怕可能没有足够的信息来精确指导您完成您的主题,但我会尽力为您提供一些帮助和反馈。为了获得进一步的指导,您能否分享一个匿名数据集( 匿名数据 (jmp.com) )以便更好地评估和提供帮助?
您的下一步是基于模型的输出和统计显著效应的检测。似乎您只尝试了一种分析类型,即“拟合 DSD”(这是 DSD 的推荐分析),但您是否尝试过其他建模分析(如果您有 JMP Pro,可能是具有不同估计方法的广义回归,如“剪枝前向选择”(使用 AICc/BIC 验证方法)、“两阶段前向选择”或最终“最佳子集”(仅当您的因子数量有限时,因为它将测试具有主效应和高阶项的许多组合的许多模型) ,或者只是测试逐步回归作为替代模型)?
在继续之前,看看不同的可能模型是否在统计效应检测上达成一致,并检查它们是否/在哪里可能不同,这可能会很有趣。它可以为您的研究中的重要因素和影响提供更可靠的概述。
关于您的其他问题:
- 您可以使用平台增强设计来更改因子范围并探索不同的实验区域。此选项可能比重新运行或创建新的 DoE(如 CCD)更有趣,因为从第一个 DoE 获得的信息将被保留,以最大限度地减少增强设计所需的运行次数。
关于是否有必要保留所有因素或仅选择重要的因素,这取决于它们对模型的重要性/贡献(无论是统计上还是效果大小上),也取决于它们的范围是否会在增强中改变。如果您不更改一个在统计上不显著且效果大小较小的因素的范围,则可能可以将其排除在增强的 DoE 之外(并将其固定在特定值)以节省一些实验预算。但是,如果一个因素的范围发生了变化,我会将其保留在增强中,以确保它不会变得具有统计显著性,也不会根据范围对响应产生重要影响。
- 您的模型似乎相当精确,除了远离回归线的 2 个点。是否有任何实验变化/错误?因素的条件是否“不稳定”或在响应中产生高度不确定性?可能值得调查这两点,如果可能的话,也许可以重复调查,以区分“模型错误”和“实验错误”。要回答您的问题,您还需要知道您的“预测不确定性可接受性阈值”和响应目标是什么:这里您的模型的 RMSE 为 0.0797,它与实验变异性相比如何?从领域专业知识来看,考虑到可重复性/再现性不确定性,这个 RMSE 值是否可以接受?您希望获得的最大响应是多少?这些问题的答案将由模型的质量和领域专家的可接受性阈值(预测平均响应和预测方差响应)决定。
- 关于您的输出,可能需要检查一些事项: 拟合度不足 (jmp.com)检验具有统计显著性,这可以通过各种因素来解释。也许您的重复实验的低方差(或它们的代表性,例如,如果它只是中心点,则可能无法代表整个实验空间中的变异性)可能是原因(因为您的纯误差会很低),或者模型中缺少一些高阶效应可能是原因。
您还可以检查之前提到的两个“奇怪”的点,并检查回归假设(“按正态分位数绘制残差”以检查残差的正态分布假设,“按预测绘制残差”以检查残差是否随机分散在 0 附近(同方差和线性假设) ,按行绘制残差以检查实验的顺序不会影响结果(观测独立性假设))。
此外,我会尝试使用 Block 变量作为随机效应(而不是此处模型中的固定效应),因为我理解这代表进行实验的日期,因此它只是一周/时间的一个子集,并且您对日期对平均响应的固定效应并不特别感兴趣,但可能更关心日期随机效应对响应变化的影响。您可以尝试使用“拟合模型”平台拟合混合模型,并将块效应指定为随机: 混合和随机效应模型报告和选项 (jmp.com)
使用 Day 作为随机效应也可能有助于更好地评估响应的变异性,并可能对拟合度检验不足产生积极影响:变异不会归因于模型误差,因此这个术语可能会减少。
一些资源可以帮助您理解 DSD:
引入确定性筛选设计 - JMP 用户社区
确定性筛选设计 - JMP 用户社区
适合度确定性筛选平台 (jmp.com)
使用确定性筛选设计从更少的试验中获取更多信息 - JMP 用户社区
更一般地,关于 DoE 有:
DoE 资源 - JMP 用户社区
希望这个答案能帮助你,
回复:DSD 解释和后续步骤你好@Victor_G我真的很感谢你花时间给我写一份详细的回复!
我附加了一个匿名数据集。
我运行了您提到的各种模型(附件),但“两阶段前向选择”不是一个选项(它显示为灰色)。逐步方法在 0.12 处添加了一个变量,根据预测分析器,它似乎可能会对结果产生影响,但从生物学角度来看,在这个特定的实验中,我预计它不会很显著(我将用不同的细菌重复这个实验,我预计它在那些测试中会很显著)。带有 AICc 和最佳子集 AICc 的“修剪前向选择”将一个变量增加到 p=0.0564,但它对系统产生显著影响在生物学上是合理的。带有 BIC 的“修剪前向选择”和带有 BIC 的最佳子集与逐步方法类似,但增加了 0.12 处的变量。我还删除了 <0.05 的变量,但它们并没有改变其他因素的重要性。
总的来说,我对模型选择的变量并不感到惊讶,除了 X_7,我确信其中一个变量会产生显著的影响。
您是否有好的资源可以解释这些模型,适合初学者使用?我在 JMP 上找到了一些资源,但我在大学里只学过逐步方法。除了对 p 值的一般理解外,我实际上不知道如何解释您提到的其他模型。
1. 我创建了一个增强设计。我消除了 2 个变量(X_4 和 X_5),因为从生物学角度来看,它们在这个系统中不应该是显著的(但它们可能会在未来的测试中是显著的)。除了显示显著性的 2 个因子(X_6 和 X_8)之外,我保留了所有其他因子,这 2 个因子似乎可以从测试更高的范围中受益(X_6 和 X_8)。我没有更改默认运行次数,但确实阻止了它们。我应该更改运行次数吗?您发送的视频(使用确定性筛选设计从更少的试验中获取更多信息 - JMP 用户社区)在 ~35:56 处指出 DSD 的一个弱点是“筛选的因子范围可能不包括最佳值,因此后续设计将覆盖不同的范围 - 真的无法增强。”但是,就像您建议的那样,我可以用不同的值来增强它……这会成为一个问题吗?当我去分析数据时,我需要做任何不同的事情吗?
2. 我可以重新运行这两个点。当我输入新结果时,我应该替换这些点还是以某种方式创建一个新块来包含新值?如果我需要创建一个新块,我该怎么做?我无法解释为什么它们看起来是错误的;左边的一个点可能由于细菌浓度低而具有可变性(泊松分布问题)。右边的那个点对我来说有点令人困惑,但我正在研究细菌,所以偶尔出现异常值并不异常。
对于 RMSE - 我对此有点困惑。我跟踪的低 RMSE 应该不错,并且反映出该模型擅长预测结果。我找不到任何文献,上面有人做过与我类似的事,不知道该与什么进行比较。根据我对系统的了解,我预计这个特定实验不会有很多“噪音”。这种特定的细菌和系统给了我相当一致的结果(我对不同的细菌有更多的变化,但这是下周的问题)。
3. 我打算重新运行这两个“奇怪”的点。我在附件“拟合最小二乘法”中添加了回归假设。预测图的残差可能存在一些聚类?
我同意,阻塞应该是随机效应。我在另一篇讨论帖中发现,你可以在最初进行设计时这样做,但我找不到要选中的“框”(我以为随机是默认设置,但我想不是)。我将其设置为随机效应,它确实影响了偶数阶效应。但是“不拟合”框是灰色的......我不确定为什么或这意味着什么。简而言之,当存在“偶数阶效应”时,当它是 X_2*X_2 时意味着什么。我理解当它是像 X_2*X_3 这样的东西时,并且两个变量之间存在相互作用,但我不明白变量如何与自身相互作用。
感谢您提供的资源,它们非常有用,尤其是“帮助页面”。我仍然对统计水平感到不知所措,但我感谢您耐心地教我并帮助我成为一名更好的科学家。这将是我许多 DSD 中的第一个,我很高兴我从“最简单”的那个开始!
回复:DSD 解释和后续步骤你好@Feline614 ,
感谢您的回复。下次提供一个 JMP 文件而不是多个 excel 文件和 pdf 文件可能会更容易,因为使用 JMP 文件,您可以通过保存的脚本保留分析,并保留所有列信息和属性(特别是对于 DoE,因为每个因子可能有最多 3 个列属性,我需要在从 Excel 导入数据时手动添加)。
您创建的不同模型看起来非常一致且有很多相似之处,所以这是一个好兆头。
我很惊讶在任何模型中都没有看到任何交互作用或二次效应,因为 DSD 在检测它们方面非常有效(如果它们不是太多的话)。我刚刚重新启动了广义回归平台,包括 X2 至 X8 的交互作用项和二次效应(并将 X1 保留为固定效应块),模型似乎受益于这些添加的项,无论是在解释能力(R² 增加到 0.95)还是预测能力(RASE 降低到 0.05)方面。似乎 X6 和 X8 之间可能存在交互作用,并且 X2 存在二次效应。我怀疑您的初始模型上看到的统计上显着的失拟检验可能与这些缺失的高阶项有关。
这些模型对于所包含的术语也非常一致:

由于您对使用 DSD 的初始阶段的筛选和优化感兴趣,因此使用像 AICc 这样的信息准则作为广义回归中的验证方法是有意义的,因为您希望拥有一个既具有解释性(仅保留最重要的变量)又具有预测性(保留有助于改善预测/降低 RASE/RMSE 的变量)的模型。
如果您正在寻找有关广义回归的资源,以下是我的第一个想法:
广义回归中的线性模型拟合
使用 JMP® Pro 中的广义回归创建稳健线性模型
关于您的其他观点:
- 可以通过保留在之前的分析中发现的活跃因素来进行增强。即使 X5 可能不显著/不重要,它仍然会保留在模型中,所以我会保留它。我宁愿在增强阶段保留一个不重要的因素,也不愿在下一阶段过快地删除一个可能很重要的因素。
因此,仅基于模型结果(需要您具备领域专业知识才能确认),我会保留因子 X2、X5、X6 和 X8 以用于增强阶段。至于运行次数,很难说,因为它取决于可能的因子范围变化、假定模型以及您希望模型具有的确定性/精度。由于您保留的因子数量较少(4),因此您可以通过假设响应曲面模型来增强设计,因此单击“RSM”将添加所有 2 因子交互作用以及所选因子的二次效应。
当初步筛选和增强之间的因素范围断开/不相交时,您提到的问题更为存在,但由于您只想稍微增强一点或稍微移动因素范围,您仍然可以从初始设计运行的信息中受益。
- 再次强调,您的问题没有明确的答案。如果您有不同的结果,您可以重复实验几次(以便对测量的响应更有信心)。
如果您已经“从头”实现了新实验并独立测量了它们,则可以添加具有值的新行:这些新点将是先前点的重复。如果您只在相同的实验中重复测量部分,则可以用测量平均值替换原始值:这些新点只是实验的重复(因此没有独立的新运行,没有添加的行)。
然后,您可以比较这两个点的值的变化是否会改善模型的质量。
- 您的残差似乎没有特定的模式。您看到的聚类可能是由于您的响应测量值要么高要么低,并且中间值不多(除了两个“奇怪”的点)。因此,查看残差与预测值,您会看到 2 个点簇,一个表示低预测响应值,另一个表示最高响应值。
使用区块作为随机效应的好处在于,通过混合模型,您可以评估区块变量是否对响应方差具有统计显著影响。就您而言,似乎并非如此,因此您可以从模型中删除此区块变量。运行以此区块变量作为固定效应的模型还表明,此区块效应对平均响应没有统计显著影响,因此可以从未来的分析中删除。
关于项 X2.X2,它不是相互作用而是 X2 的二次效应:它意味着响应通过二次函数/项与 X2 相关联:Y = X2²(+模型中的其他项)。
我附加了 JMP 文件,其中包含为此答案测试的所有模型和脚本。
我希望这篇文章能对你有所帮助,
回复:DSD 解释和后续步骤@Victor_G
很抱歉您必须手动输入所有数据。另外,很抱歉这么晚才回复,但我想用下一批结果来回复。我相信这次我附上了正确的格式。
我运行了增强模型。根据我的“专业知识”,我只删除了 1 个术语,并保留了原始 DSD 中的所有其他重要和不重要的因素。运行 1-22 是原始 DSD;运行 23-34 是增强设计;运行 35 和 36 是第 5 行的独立重复;运行 37 和 38 是第 10 行的独立重复(第 5 行和第 10 行是原始 DSD 中的“异常值”)。
您能检查一下我的逻辑,以便我确认我正在正确运行和分析数据吗?
- 我运行了一个混合模型,将区块作为随机效应来检查其重要性。它在模型中并不重要,所以我可以删除这个变量。我的残差看起来不像以前那么“随机”,但我不认为这很糟糕。
- 我使用 AIC 运行了多个模型的广义回归。我相信所有交互都已添加。我知道上次您说过您添加了交互,所以我想确认这次我的模型设计正确。
您是如何创建嵌入的图表的?我找到了这些说明,但并没有产生您提供的很好的视觉比较: https://www.jmp.com/support/help/en/16.1/ ?os=win&source=application#page/jmp/model-comparison.shtml#
- 我在模型中添加了预测分析器。当我试图找到最大化输出的最佳条件时,我意识到模型预测>1.0;然而,输出是一个比例,理论上 1 是可能的最高值。然后我尝试将输出的范围更改为最小值为 0、中间值为 0.5、最大值为 1,但似乎并没有改变预测器概况……
从生物学角度看,标记为显著的变量是有意义的。对我来说没有意义的是 X_6,原始 DSD 范围是 1-5;它被扩大到 1-20。从生物学角度看,任何超过 20 的值都不应该产生影响,这是最小二乘模型所显示的,但不是其他模型所显示的。
您如何知道选择哪个模型?如何解释最大输出值为 1.0?如何查看变量的最佳参数?
- 有人告诉我要将 X_1 作为变量包含在模型中,但我实际上并不确信它应该是一个变量,因为在“现实世界”中,这不是我可以控制的变量。我只能在实验室环境中控制它。但是,输出实际上是恢复量与起始量的比例,而 X_1 是起始数字,因此它是输出变量的分母。我认为 X_1 应该保持不变,模型优化为该常数,但有人提出,我们想知道如果 X_1 发生变化,变量如何相互作用。我想我的困惑是,如果变量 X_1 是输出的分母,是否应该包括它?
谢谢你!
回复:DSD 解释和后续步骤你好@Feline614 ,
关于您对 X6 的评论,您将范围增加到 20,但我不会推断出测试范围之外的模型预测。因此,看起来 X6 的响应呈线性增长趋势,但这种趋势可能在 X6 达到值 20 后停止。也可能不是,这对您来说将是一个新的事实/知识。但除非您在此范围之外进行测试,否则您无法确定。您可以在范围之外创建验证/测试点,并将测量值与预测值进行比较,以查看是否存在与模型的偏差,这表明在 X6 的测试范围之外,线性增长趋势可能会停止或有所不同。
由于最小二乘模型中确实包含 X6 的二次效应,并且得到您的领域知识的支持,因此您还可以在模型构建中强制包含这些项(X6 的主效应和二次效应): 高级控制 (jmp.com)
关于您的一般问题,没有明确的模型可供选择:您可以选择几个类似的模型,只要它在统计和实验上有意义(领域专业知识)。我会这样做:
- 启动以 X7 为随机效应的混合模型来评估该随机区的统计意义。
- 启动多个 GenReg 模型并比较模型中包含的术语以及模型性能,以更好地了解哪些术语重要/活跃。根据统计评估和领域专业知识评估和选择信息模型。
- 由于您的随机区组效应在整个模型中非常显著,因此请根据前两个步骤获得的知识,使用重要项构建一个改进的混合模型。评估随机区组效应是否仍然显著,并创建最适合您学习的模型(混合模型或基于广义回归模型)。验证您的模型可能有助于您对模型产生信心,您还可以使用平台模型比较 (jmp.com)和您模型中保存的预测公式列来组合多个模型。
关于 X1,这与您的目标以及您想要对结果做什么有关:您是只在实验室环境中研究系统,还是希望在另一个环境中使用您的研究结果?如果是第二种选择,您可以在这个新环境中运行一些确认/验证运行,以确保实验室规模的研究结果可以在不同的环境中转置/使用。从分析的角度来看,如果 X1 在实验室和其他环境之间的处理方式不同,这可能不是问题:在您的实验室环境中,您可以在不添加任何约束的情况下最大化可取性。在您的其他环境中,知道 X1 的固定值,您可以锁定 X1 值并优化其他因素以最大化可取性: 设置或锁定因子值 (jmp.com)
希望本文能对你有所帮助,