349240_zh-CN

liliconcom

回复：重新考虑实验的设计和分析？ （2021-EU-30MP-776）

如果您想了解有关该技术的更多信息，这是一个很好的后续讨论。  

 

https://community.jmp.com/t5/Discovery-Summit-Europe-2021/SVEM-A-Paradigm-Shift-in-Design-and-Analysis-of-Experiments-2021/ta-p/349244

 

 

回复：重新考虑实验的设计和分析？ （2021-EU-30MP-776）

谢谢Phil和Pete的精彩演讲！   

 

我目前对SVEM /分数加权/自动验证的解释是重复k倍交叉验证的平滑版本。将其翻转一下可以设想将分数权重离散化为0或1 s，形式为重复的k倍。两种验证的力量都在融合中。这是一个推测：在5次13轮设计中，使用套索或浅矮的助推树等作为基本模型，重复的5倍合奏方法也可以很好地工作。您愿意在这里发布您的JMP项目，以便我和其他人可以尝试一些事情吗？

 

一个可能的争论点是，我认为这种方法主要是仅用于分析而不是直接地处理DOE，尽管可以肯定地知道计划如何分析实验会影响设计选择，例如选择贝叶斯I最优而不是其他标准。

 

无论如何，这些方面令人鼓舞的结果和研究都是很有趣的，它们展示了JMP Pro强大而稳定的功能。

回复：重新考虑实验的设计和分析？ （2021-EU-30MP-776）

你好@phil_kay和@phersh

是的，非常好的演示，我也想看一下数据集。

我对您如何生成用于平均的所有模型特别感兴趣，因为您的演示文稿中没有涉及到这些模型。

在使用模拟识别活动参数之前，我已经使用了这种自动验证功能，然后使用这些参数来构建模型。 但是，您介绍的内容进一步发展了很多模型并取平均。 它的一部分是使用SVEM插件完成的吗？

 

 

回复：重新考虑实验的设计和分析？ （2021-EU-30MP-776）

@ckronig我一定很快就过去了。关键是要建立模型，然后保存该预测公式。然后让JMP重新计算重量公式（您可以在表格菜单中的红色三角形下重新运行公式）。 使用新的加权列再次重新运行模型，然后保存该预测公式并重复。我编写了一个循环脚本，以使其重复执行100次，然后取这些模型的平均值。您不需要外接程序即可完成此操作。我离专家脚本编写者还很远，它的设置非常简单。我将在帖子中包含我的数据表和脚本。

回复：重新考虑实验的设计和分析？ （2021-EU-30MP-776）

@ckronig我还附加了13运行DSD示例，作为具有模拟“ true”响应的原始表以及用于自动验证的表设置。 其中的第二个脚本用于循环绘制权重，然后从重新计算的模型中保存预测公式列。 只是皮特所描述的。 我认为您应该能够理解这些内容，但是如果您什么都不懂，请告诉我们。

 

最后一步。 对所有模型进行平均以给出整体模型时，您应该发现预测值与实际值之间存在显着偏差。 可能很难解释为什么会出现这种情况，但这是由于每个“真实”效果的参数都从将它们归零的所有模型实例（不在模型中）缩小为零。 我认为这在这种情况下尤其极端，因为DSD中所有“主动”效果都是正交的。

 

您可以简单地解决此问题，只需将“合奏模型”中的模型拟合为整体模型作为效果，将响应作为“ Y”即可。 然后，您可以将此“去偏”模型预测公式保存为最终模型。   

重新思考实验的设计和分析？ （2021-EU-30MP-776）

级别：中级

 

SAS JMP高级系统工程师Phil Kay
SAS JMP技术支持工程师Peter Hersh

 

科学家和工程师设计实验以了解他们的过程和系统：找到关键因素并使用有用的模型进行优化和控制。 实验的统计设计可确保您可以通过实验工作做更多的事情，并更快地解决问题。 但是，这些方法的实际实施通常需要接受某些假设（包括效应稀疏性，效应遗传以及主动或非主动效应），而这些假设并不总是与该领域的知识和经验相适应。 机器学习方法能否克服这些挑战中的一些挑战，并从实验中获得更丰富的理解，而无需花费额外费用？ 这会成为实验设计和分析的一场革命吗？

本演讲将探讨使用Chris Gotwalt和Phil Ramsey开发的自动验证技术来分析工业实验的潜在好处。 将提供案例研究示例，以比较传统工具与自动验证技术在筛选重要影响以及构建模型进行预测和优化时的效果。

 

 

我们无法回答问答中的所有问题，所以这里...

 

我看到权重不在0-1之间，它们是如何产生的？

它们是“部分加权的”。 这是启用该方法的关键技巧。 在JMP Pro的Gen Reg中，我们将其用作Freq角色。 您可以使用这个插件JMP Pro 15生成带有权重的重复表。我们可以推荐克里斯·高特沃特（Chris Gotwalt）和菲尔·拉姆西（Phil Ramsey）的演讲解释加权的深层统计细节。

 

当您复制行时，它们是否具有相同的输出结果？ 重复的目的是什么？

是的，它们以相同的响应重复。 这样做并进行分析将是一个坏主意。 此处的关键创新之处在于，对它们进行了部分加权，以使它们在验证集中的一部分具有较低的权重，而在另一验证集中具有较高的权重。 例如，“训练”中权重较低的跑步将具有“验证”中权重较高的重复对。 一些重复的对在训练和验证中将具有更均等的权重。

 

我们使用这些权重来拟合模型，以确定每次跑步有多少用于训练以及验证有多少。 然后，我们重新绘制权重并拟合另一个模型。 我们重复此过程数百次。 然后，我们在所有这些模型中使用结果，以从非零比例中筛选出重要的影响，或者通过对所有单个模型求平均值来构建有用的模型。

是否可以在正常的，非专业的JMP 15版本中运行加载项？

很有可能。 您可以运行加载项，但需要JMP Pro才能利用分析中的验证列-这很关键。

它如何与分类变量一起使用？

我们仅提供了具有连续变量的示例。 一个不错的功能是它适用于任何模型和任何变量类型。

现在这是公认的方法吗？

一言以蔽之。 还没有。 我们的动机是使人们意识到这种方法，以激发有兴趣探索该方法并提供关键反馈的人们。 正如我们在演示文稿中明确指出的那样，我们不建议您将其用作对实验的唯一分析。 如果您喜欢这个主意，请尝试一下，然后将其与其他方法进行比较。

 

话虽如此，模型平均和保留验证的想法已在较大的数据情况下得到认可。 在设计为实验的较小数据的世界中，这似乎应该是有益的。

您是否手动执行重复步骤？

不，这是外接程序或JMP Pro 16中的平台作为自动验证设置的一部分进行的。 您可以轻松地自己创建重复的行。 最难的部分是设置分数加权，否则将无法进行分析。

 

贝叶斯算法也使用很多模拟（MCMC），是否也适用？ 整合先验和后验分布？
很有可能。 使用Bootstrap模型平均进行分数加权验证的一般思路很可能适用于许多其他领域。

 

 

自动产生的笔录...

 

扬声器	成绩单
菲尔·凯	好的，我们将讨论重新思考实验的设计和分析。 我是Phil Kay。 我是全球技术支持团队的学习经理，Pete Hersh也加入了我的行列。
彼得·赫什	是的，我也是全球技术支持团队的成员，很高兴谈论DOE和我们正在探索的一些新技术...我们今天正在探索。
菲尔·凯	首先要说的是，我们是DOE的忠实拥护者。 这很棒。 长期以来，它在科学和工程中具有巨大的价值。
	话虽如此，为了使很多时间使用DOE，我们必须接受一些假设。
	作为科学家或工程师，他们并不总是感到非常自在。 诸如效果稀疏之类的东西，所以并非您正在查看的所有内容的想法变得很重要
	实际上，您实际上正在尝试的一些事情才是重要的。 还是影响遗传是另一个假设。
	因此，这意味着我们只希望看到以简单形式活动的因子具有复杂的行为或更高阶的效应。
	并且，通常，关于主动和非主动效果的这种想法，实验设计的顺序过程是从非主动效果中筛选出主动效果。
	有时候感觉就像是太多的二元决策。 我想，很多时候，这种想法似乎有些疯狂，因为我们正在尝试一些完全不活跃的事情，
	实际上，我认为我们知道所有事情都会产生一定的影响。 它可能不那么重要，但
	它仍然会产生一些影响。 这些主要是我们为了
	当您无力进行大量运行时，绕开设计实验的挑战。 皮特，我也不知道您是否也要从您的角度对此发表评论。
彼得·赫什	是的，我完全同意。 我认为思考诸如温度不活跃之类的东西是……我想很难想象温度对实验没有影响。
菲尔·凯	是的，这很荒谬，不是吗？ 所以，
	是的，如果这是您的实验，那么它总是会以某种方式活跃起来，但可能不如其他事物重要。
	所以我只是直接跳到
	我们所看到的。 因此，我们一直在研究Chris Gotwalt和Phil Ramsey实质上发明的这种自动验证技术
	并将其用于设计的实验分析中，确实提供了令人疯狂的结果。 我们只是认为这是不可能的。
	因此，首先，我查看了一个具有13种有效效果的系统，并分析了13种运行的最终筛选设计，由此我能够确定13种效果是有效的，这就是我们所说的饱和状态。 我们不会...
	通常，我们谈论的是确定性筛选设计，当我们有效果稀疏性时（实际上只有少数重要或活跃的效果），可以有效地识别出活动效果。 但是在这种情况下，我设法确定了所有13种有效效果。
	不仅如此，实际上还能够使用这13种运行明确筛选设计中的所有13种有效效果构建模型。
	因此，这再次令人难以置信；我们不希望有一个具有如此多的活动效果的模型，而不是拥有我们要从中构建数据的行那么多的模型。
	皮特（Pete），您查看了其他内容，并获得了其他一些非常有趣的结果。
彼得·赫什	是的，绝对如此，而Phil的结果非常令人印象深刻。 我认为
	我们尝试的下一步是制作超饱和设计，该效果比运行效果更活跃，我们尝试使用
	很小的能源部。 因此，具有七个主动效果的六运行DOE，如果我们采用标准DOE技术，则无法进行分析
	正确地。 然后，我们将其与8个和10个运行的DOE进行了比较，以及购买了多少能源。 因此，即使有六个运行的DOE，我们也获得了相当有用的模型，
	比我预期的要好。
菲尔·凯	是的，这比您真的有权期望的要好，不是吗？
	因此，我们获得了这些令人印象深刻的结果，并且能够从一小部分中识别出大量的主动效果。
	确定的屏幕设计，并使用所有这些主动效果实际构建该模型。 在Pete的情况下，我已经能够建立一个模型，其中包含七个非常小的主动效果
	设计的实验。
	那么，我们如何做到这一点？ 自动验证方法学如何工作？ 好吧，它吸收了机器学习的思想，而机器学习真正有用的工具之一就是验证。 因此，保持验证是确保您建立自己的一种非常好的方法
	最有用的模型。 因此，它是一个健壮的模型。 因此，我们保留了一部分数据，我们用它来测试我们构建的不同模型，然后
	基本上，对我们提供的数据进行最佳预测的模型就是我们所使用的模型，而这只是经过实际尝试和测试的。
	实际上，这几乎是构建最有用模型的黄金标准，但是对于DOE来说，这是一个更大的挑战，不是吗，Pete？ 显然，它并不很适合自己。
彼得·赫什	是的，DOE的整个想法是尽可能有效地探索设计空间。 如果我们开始坚持跑步或坚持
	分析运行，那么我们将错过部分设计空间，
	我们真的无法使用很多这类DOE技术（如定型筛查设计）来做到这一点。
菲尔·凯	对对对，因此，如果有一些技巧可以使我们受益于此保持验证，而又不会遭受保持关键数据的困扰，那就太好了。 这样就使我们进入了自动验证
	想法，皮特，您是否想描述一下它的工作原理？
彼得·赫什	绝对是的，这是克里斯和菲尔·拉姆西（Chris and Phil Ramsey）提出的一个真正聪明的主意，他们本质上是从美国能源部（DOE）提取我们的原始数据，然后对其进行重新采样，所以您
	重复结果。 因此，如果您注意到幻灯片底部的表格，则灰色的运行与白色的运行相同。 他们只是重复。
	而他们摆脱困境的方法是制作成对的加权列。 所以基本上，如果一个人体重很高，
	重复运行的比率很低...重量等等。 这就是...这是...使我们能够通过验证和权重使用数据，我们将详细介绍如何完成此操作。
菲尔·凯	是的，您将了解在演示过程中它是如何发生的。 因此，我们基本上得到了两个用于模拟示例的案例研究，用于说明这种方法。 所以我要讲的第一个案例研究
	我强调这是一个模拟的例子。 在某些方面，这是一个不现实的示例，但我认为它在展示这种方法的强大功能方面做得非常好。
	我们有六个因素，为了使它看起来更真实，我们从一个案例研究中选择了一些真实因素，在这些案例中，他们试图生长某种生物有机体并优化将其输入系统的营养素，以优化增长率。
	因此，我们已经获得了这六种不同的营养素，这就是我们的因素。 我们可以添加不同的量，因此我设计了13次运行的最终筛选设计，以探索这种增长率响应的那些因素。
	响应数据由我完全模拟，并且模拟为有13种强烈活跃的效果。 所以
	我对其进行了模拟，以便所有主要效果（所有六个主要效果）均处于活动状态。
	然后，对于所有这些因素，二次效应同样有效，因此我们得到了六个二次效应。
	另外，我们总是需要估算一个截距，因此总共有13种有效的作用，这对于理解系统很重要。
	1信噪比，但是对于建模的标准方法来说，这仍然是一个真正的挑战，我们将在演示中进行探讨。
	因此，实际上，问题是，我们可以确定所有这些重要影响吗？如果可以，那么我们是否也可以建立一个包含所有这些重要影响的模型？ 因为就像我说的那样，那真的非常了不起
	与我们使用标准方法学所能做的相比。
	然后案例研究2，皮特？
彼得·赫什	是的，绝对。 与Phil的案例研究非常非常相似。 我们向生物体提供不同水平的不同营养，并检查其生长速度，这是相同的想法。 在这种情况下，我简化了Phil的工作并将其分解为三个养分因子。 这是
	建立不同类型的设计，因此我们选择了I最优的过饱和设计，其中我们查看的是完整的响应表面
	以过饱和的方式，我们看了六，八和十次
	设计。同样的想法。
	的
	效果非常非常
	较高的信噪比，因此，如果要使它们有效，就非常希望能够挑选出它们。 就像Phil一样，我将二次方的主要效果以及截距保持为活动状态，我们正在尝试挑选那些效果。
	同样的想法，那么我们将需要多少次运行才能看到这些主动效果，以及我们可以从这些非常小的设计中获得多少精度的模型？
菲尔·凯	是的，因为您知道，就像我说的那样，您真的没有权利期望能够从如此小的设计中构建出良好的模型。
彼得·赫什	是的，完全正确。 好的。
菲尔·凯	因此，我现在将进入案例研究1的演示。
	而且我正在通过一个JMP项目来展示它，因此这是展示结果的一种非常不错的方法。 我建议尝试一下。
	那是我们的
	设计，因此这是我们的13次定性筛选设计，其中我们改变了这些营养因子，并获得了模拟的生长速率响应。 就像我说的那样，
	主要影响因素是所有这些因素的二次方都非常活跃，此外，我们还必须估算这种截距。
	现在，通过确定性筛选设计，我通常建议您使用拟合确定性筛选作为一种将结果视为您可以进行的分析的方法。
	当我们将这种效果稀疏性原理设为真时，它确实工作得很好。 因此，只要只有少数效果是强烈活跃的...就活跃了，而其余的都不重要，
	然后它将发现那些……一些重要的影响，并将它们与不重要的影响区分开。
	但是在这种情况下，我并不期望它能很好地工作，也不能很好地工作。 它不能确定所有六个因素都处于活动状态。 实际上，它仅在此处确定了活跃的因素之一。
	因此，这不足为奇，对于这种类型的分析来说，这太困难，太困难。
	如果我们以某种方式知道所有这些主动效果都处于活动状态，并且尝试使用所有六个主要效果，所有六个二次方和截距来拟合模型，
	那是一个饱和模型。 我们有尽可能多的参数来估计，因为我们有成排的数据，因此我们可以拟合该模型，但没有任何统计信息。
	而且无论如何，您都知道，除了我已经模拟了这些数据这一事实之外，在现实生活中，我们也不知道哪个数据处于活动状态，因此我们甚至都不知道适合哪个模型。
	现在，使用自动验证方法，我实际上能够非常令人信服地识别出主动效果，并且我将讲解如何做到这一点。
	这只是我在这里的结果的可视化。 您不一定需要以这种方式对其进行可视化。 这是出于演示目的。
	我首先能够确定拦截是有效的。 我已经有了全部六个主要效果，
	然后是我的二次效应，然后是我的两个因子相互作用，我将其模拟为零效应。 你可以看到他们情绪低落
	与其他。 实际上，在这里我们使用了一个空因子...所以是一个虚拟因子。 因此，如果您愿意的话，除了零因子之外，我们可以将其声明为不重要或无效。
	我们实际上是...我们在此处查看的度量标准称为比例非零，我将在解释过程中解释这意味着什么。 我们在这里使用这种指标来确定效果的强度和效果的重要性。
	关于我如何经历这一点。 因此，我采用了最初的13次运行确定性筛选设计，然后将其设置为自动验证，因此我们现在已经复制了26行。
	我们的一位同事Mike Anderson就是这样做的附加组件。创建了一个加载项，可用于在JMP 15中执行此操作。
	在JMP 16中，他们实际上是在验证列平台的预测建模工具中添加了该功能。
	然后，我们得到了重复的数据集，然后得到了权重，正如皮特所说，我们有...每一行都在训练集中和验证集中。
	在训练集中，如果权重较低，则在验证中权重较高。 因此，如果它在训练集中具有较高的权重，则在验证集中具有较低的权重。
	实际上，我们阅读的是……这些基本上是随机分配的。
	我们重新分配了这些参数，然后我们可以进行数百次迭代，每次都拟合模型，然后查看汇总...在许多模拟运行中的汇总结果。 那你会怎么做
	是为了适合模型，我在JMP Pro中在这里使用GenReg。
	而且，无论如何，您都将需要JMP Pro，因为您需要能够指定此验证角色，因此我们将...火车验证列用于验证。
	然后权重进入频率，然后我们按照响应通常的方式设置其他所有内容。 然后，我得到一个模型，它是其中包含所有这些效果的响应面模型，然后单击运行。
	它将适合模型，我们可以使用正向选择或套索。 在这里，我使用了套索。
	在这种情况下，它并不是非常重要。
	实际发生的是，在这种情况下，我们仅将拦截器确定为重要的，因此我们实际上仅在模型中获得了拦截器。
	但是，如果更改权重，则返回到数据表以重新模拟这些权重，则可能会从模型中得到不同的结果。
	我们对不同的数据行进行加权，在实验中进行不同的运行，从而更改适合的模型。 因此，我们将重复执行数百次，而实际上，我要做的是在JMP Pro中使用模拟功能。
	我们要做的是切换出权重列，然后切换到权重列的重新计算版本中。 而且您可以执行数百次。 在这种情况下，我实际上做了250次。 我实际上不会执行该操作，因为这将花费一两分钟。
	完成此操作后，您将获得一张看起来像这样的表。
	现在，对于每种效果，我已经获得了这250个模型中每个模型的参数估计值。 所以
	在本次运行的第一个模型中，这是该柠檬酸主要作用的参数估计。 在下一个模型中，当我们对权重进行重新采样时，
	柠檬酸的主要作用并未进入模型，因此在这种情况下为零。
	您实际上可以对所有这些参数估计值运行分布。 而您可以做的一件事就是
	自定义此统计信息，即摘要统计信息，以查看非零比例。 所以你可以在这里看到拦截
	我们对截距的估计。 您可以看到柠檬酸，很多时候它被估计为零，所以那些模型是
	柠檬酸的主要作用不在模型中，因此很多时候估计约为3，这就是我模拟的结果。
	因此，我们看的是非零的时间比例，我们可以从中得出一个组合数据表。 我已经做到了，只是做了一点...
	这里有一些额外的扩充。 我刚刚添加了一个列，用于说明它是主要效果还是其他效果，然后这就是我创建的方式
	此可视化在这里。 因此，您正在查看的是每种效应的时间比例都不为零，因此，在所有这些效应中，每种效应在我们的模型中所占的比例
	我们已经完成了250次模拟运行，并在其中重新模拟了分数加权。 这就是我们用来识别
	积极的效果，那...做得非常出色。 它已经能够完成我们的标准方法无法做到的事情。 从13次跑步中识别出13种主动效果
	确定性的筛选设计。
	现在，您接下来要做什么？ 我们也许想使该模型具有所有这些效果，而我已经做到了。 我正在比较适合这里的模型
	与真实的模拟响应相比，您可以看到它们的匹配程度。 因此，我已经能够建立一个具有所有这些主要效果，所有这些二次方和截距的模型。
	因此，这里有一个13参数模型，能够适应13轮定屏设计，这同样很了不起。
	而且，我不会讲完整的部分内容。 我现在交给皮特。 他将进一步讨论这种关于自我验证的集成模型的想法。
彼得·赫什	绝对地。 谢谢你，菲尔。 让我们来看看。 我将在这里分享我的屏幕，我们只看一下这个项目。 所以
	你可以在这里看到
	在相同的
	像Phil一样流动，我们在这里看一个项目，我有
	从六次运行过饱和的DOE开始，在这里您可以看到，我有三个因素，
	我实际的基本模型增长率是多少，然后增长率是多少……模拟增长率是，然后像Phil提到的那样，
	我创建了此自动验证列，可以使用Mike Anderson开发的JMP 15中的加载项来完成。 或在JMP 16中，它是直接内置在软件中的，您可以在分析预测建模平台的make validate列下进行访问。
	因此，就像Phil所展示的那样，他展示了一个很好的例子，说明了我们如何找到活跃的因素，因此进行了因素筛选。 这通常是我们与DOE合作的主要目标，但是如果我们想进一步发展，并以此为基础建立模型，
	我们将经历相同的过程，对。 因此，我们构建了DOE，我们在该DOE中添加了自动验证功能，然后像Phil所展示的那样，使用广义回归和以下方法之一构建了模型
	变量选择技术。 因此，菲尔·拉姆西（Phil Ramsey）和克里斯·高瓦特（Chris Gotwalt）研究了许多这些不同的技术，它们似乎都工作得很好。 因此，无论您使用套索，还是使用两阶段前瞻选择，它们似乎都具有相似的结果，并且
	工作得还不错。 因此，一旦设置并启动它，就可以得到一个模型，就像Phil所展示的一样，并且您知道其中一些模型将具有

爆发美国能源部预测建模回复：重新考虑实验的设计和分析？ （2021-EU-30MP-776）

谢谢。@russ_wolfinger 。

尝试从重复的k折取平均模型当然很有趣。 就像您说的那样，力量在于合奏。

我将很快发布示例13运行数据集，以便您可以进行探索。

尽管该方法显然可以解决分析问题，但我们认为这可能（我会强调“可能”）对实验设计具有重要意义。 我们没有时间在演示文稿中适当地扩展这种思路，所以这里...

我们在设计实验时会考虑到分析。 正如我们在演讲开始时所说的那样，为了使用合理规模的实验中的标准分析方法建立有用的模型，我们必须接受诸如效应稀疏性和效应遗传性之类的假设。 有经验证据表明，这些假设在许多情况下均成立。 但是它们并不总是成立，我认为科学家和工程师对这些想法感到不舒服。 当我在实验室中设计和运行实验时，我知道我宁愿不必担心这些事情。

似乎自动验证/ SVEM可能提供了另一种选择。 因此，我们可以设计没有标准假设相同约束的实验。 当涉及到实验设计时，这将是一个巨大的改变。

我再次强调，这一切仍然是投机性的。 从我有限的探索中看来，这是有希望的，但是我将等待严谨的模拟研究的发表结果。

我完全同意探索这些想法很有趣。 而且，JMP Pro意味着您无需成为统计学家或专业编码人员即可尝试。

回复：重新考虑实验的设计和分析？ （2021-EU-30MP-776）

谢谢@phersh和@phil_kay 。 我已经能够使脚本工作。 我将使用自己的数据进行尝试。 再次感谢！！

回复：重新考虑实验的设计和分析？ （2021-EU-30MP-776）

这太棒了， @ckronig 。 让我们知道是否可以提供帮助。