756639_zh-CN

liliconcom

21世纪筛选设计（2021-EU-45MP-772）

Bradley Jones，SAS JMP 杰出研究员

JMP 一直处于筛选实验设计和分析创新的前沿。过去十年的发展包括确定性筛选设计、用于最小化系数估计值平均方差的 A 最优设计，以及组正交超饱和设计。本教程将分别举例说明这些用于筛选多因子的方法，并提供针对特定问题类型选择适用方法的经验法则。

自动生成的成绩单...

扬声器	抄本
布拉德·琼斯	大家好，感谢您的参与。我叫 Bradley Jones，在 JMP 的开发部门工作。今天我们来聊聊 21 世纪的筛选设计。
	过去，JMP 一直是筛选实验领域的创新者。
	嗯，我想说的是过去十年左右。我要讲的是三个
	不同类型的筛选设计，并告诉您它们是什么，如何使用它们，以及何时应该优先使用其中一种。
	因此，我要讨论的三种筛选设计是 A 最优筛选设计、确定性筛选设计（或 DSD）和组正交过饱和设计（或 GO SSD）。
	首先，我来介绍一下A-最优筛选设计。A-最优设计可以最小化模型参数估计的平均方差。
	记住...记住的方法是，A-optimal 代表平均值，所以是 A 平均值。
	相比之下，D 最优设计通过最大化信息矩阵的行列式，最小化参数估计周围置信椭球的体积。所以，这里面有很多话要说。
	从行列式来看，很难理解为什么所有这些都成立。不过你可以记住D-最优，D-最优中的D代表行列式。
	那么，为什么我说我们应该做 A 最优筛选设计呢？D 最优设计在定制设计器中已经默认使用了 20 年。我们为什么要改变呢？
	嗯，我的第一个原因是 A 最优...A 最优性标准比 D 标准更容易理解。
	每个人都知道平均值是什么。
	参数估计的平均值是
	直接相关
	参数估计的平均方差与您检测特定活性效应的能力直接相关。
	D 标准，谈论的是这个全局置信椭圆体，并没有告诉你任何
	能够精确估计任何一个参数的特定能力。
	所以，我认为 A 最优标准更容易理解。
	更重要的是，当 A 最优设计与 D 最优设计不同时，A 最优设计通常具有更好的统计特性。而且，很多时候，A 最优设计和 D 最优筛选设计确实会相同。
	但有时它们是不同的，当它们不同时，我真的更喜欢 A 最优设计。
	我想用一个例子来激励你们。第一个例子是……假设我有四个连续因子。
	我想拟合一个包含所有这些因子的主效应及其所有双因子交互作用的模型。因此，有四个主效应和六个双因子交互作用，但我只能运行12次。
	所以我要做一个 JMP 演示。在演示中，我将针对这种情况分别制作一个 D 最优设计和一个 A 最优设计，然后比较这两个设计。
	因此，我将在这里打开我的 JMP 日志并转到第一个案例，即具有两个因素相互作用和 12 次运行的四个因素。
	这是一个脚本，它让我无需实际创建 D 最优设计。只需相信它是 D 最优即可。这是 D 最优设计。您会注意到，设计中的所有数字都是正一或负一。
	这是 A 最优设计，这里有个惊喜。在第一列中，你可以看到 X1 中有四个零，
	而X2、X3和X4都是正1和负1。这有点令人惊讶。幸好，所有这些因子都是连续的，但现在让我们比较一下这两个设计。
	因此，为了开始比较，让我们看看参数估计的相对效率。
	这是 A 最优设计相对于 D 最优设计的效率。所以，当……当数字大于 1 时，就意味着 A 最优设计比 D 最优设计更高效。
	对于 A 最优设计来说，有一个参数效率较低，但其余的
	参数的估计至少与 D 最优设计一样好，其中许多参数的估计比 A 最优设计好 15%。
	我还想给你们展示另外一件事，那就是这个。
	这是这两个设计的相关图，您可以看到 D 最优设计具有各种相关性……
	从这里的对角线开始，一直到 33.33；这是三分之一。
	还有很多其他的，而 A 最优设计只有三个
	不为零的成对相关系数。这组成对相关系数中的其他所有项实际上都为零，并且主效应彼此正交，并且第一个主效应与所有两个因子的交互作用正交。
	许多双因子相互作用也是相互正交的。所有这些正交性意味着更容易
	A 最优设计的模型选择决策比 D 最优设计更优。另外，我认为你可能感兴趣的是 A 最优设计的 G 效率比 D 最优设计高出 87% 以上。G 效率指的是
	最大值……它是参数空间内预测方差最大的度量。所以
	D 最优设计的最大方差预测为
	几乎是最大方差和预测的两倍
	A-最优设计。
	和
	此外，A 最优设计的 I 效率比 D 最优设计高出 14% 以上。因此，基于以上所有原因，我认为在本例中 A 最优设计优于 D 最优设计是显而易见的。
	所以让我稍微清理一下。
	回到幻灯片，这只是您刚才看到的图片。
	但我想用 JMP 来演示。那么，我们继续讨论我喜欢 A 级最优设计的另一个原因。
	A 最优设计允许对参数组赋予不同的权重。那么这意味着什么呢？在 D 最优设计中，你可以：
	理论上，对不同的参数赋予更大的权重...某些参数比其他参数更重要，但是
	这样做，您就不会改变已创建的设计。
	无论你使用什么权重，最终都会得到相同的设计，所以这意味着在D最优设计中，权重是没用的。事实上，
	对于大多数方差最优标准，包括 I 最优设计，加权并不能帮助你更加强调
	在设计中，参数是关键。但在A-最优设计中，当你对参数进行加权时，你可以实现不同的设计，这可能在某些方面有用。
	案例。这是我的加权A-最优设计示例。假设我现在有五个连续因子，我想拟合一个包含所有主效应和所有双因子交互作用的模型。所以我有
	五个主效应和十个双因子交互作用，我只能进行20次。所以我更关心能否精确估计主效应，因为我认为
	主效应会比两个因子的相互作用更大。我想要……我想要得到真正准确的估计值。
	所以我要做的是……再次，我要为这个案例做一个D最优设计。我要为这个案例做一个加权A最优设计。然后我要比较这些设计。这里有一张图片
	演示。这是 D 最优设计，我们再次看到它全是正 1 和负 1。
	这是A最优设计，其中……我加权了主效应，使其重要性比两个因子交互作用高出10倍。现在我想比较一下这两个设计。
	现在，在这种情况下，
	我现在正在比较 D 最优设计的 D 效率……相对于 A 最优设计，因此 A 最优设计在以下情况下更佳
	这些数字都小于 1。而且我们发现，对于所有主效应，A 最优设计在估计它们方面做得更好
	比D最优设计更好。当然，你需要为此付出代价，因为在加权……降低两个因子交互作用的权重时，估算这些因子的精度会略有下降。
	所以这是一种权衡，但你说......你说你更......或者我说我对两个因素相互作用中的主要效应更感兴趣，所以这就是我得到的。
	但是这里是这样的比较...相关性的比较是您可能更喜欢 A 最优设计而不是 D 最优设计的另一个原因。
	在D最优设计中，成对相关性明显增多。需要注意的是，在A最优设计中，所有主效应都与所有两因子交互作用完全正交。
	您可以看到相关单元图的整个区域都是白色的，这意味着零相关性。
	主效应彼此并不正交，除了X1和X2都与X3和4或5正交，也就是说它们的成对相关性为零。
	但有一些细微的关联
	之间
	X1 和 X2 之间以及 X3、4 和 5 之间，
	相关性为.2。
	但这个情节中有很多正交性，比
	在
	D 最优设计。
	因此，如果您确实想要，如果您确信您希望能够更好地估计主效应而不是估计两个因子的相互作用，那么 A 最优设计将优于 D 最优设计。
	我不想关闭所有内容，因为那样也会关闭我的日记。
	好的，回到幻灯片。
	那么我什么时候应该使用 A 最优筛选设计？
	出色地，
	我要告诉你关于DSD和GO SSD
	在此之后，但只要它们不合适，那么您就应该使用 A 最优筛选设计，这在现实世界中经常出现。
	当您有许多分类因素，并且某些分类因素可能具有两个以上的级别时，您就不能使用 DSD 或 GO SSD。
	如果某些因子水平组合不可行，例如，如果设计空间的某个角落没有运行意义，
	那么你必须使用 A 最优设计，因为 JMP 中的自定义设计器支持该设计，并且可以处理不可行的组合，
	通过不允许的组合或不等式约束。或者，如果你想拟合一个非标准模型，你可能会
	想要适应
	三方互动
	某些因素，DSD 或 GO SSD 就不合适了。最后，当你想让某些效果比其他效果更受重视时
	您唯一的选择是使用 A 最优设计。
	好了，关于A-最优性的部分就到此结束了，现在我将开始讨论确定性筛选设计。这些设计最早是在2011年发表在文献中的，所以它们到现在已经有10年历史了。
	它们看起来是这样的。这是六因素确定性筛选设计，但确定性筛选设计可以适用于任意数量的因素，所以……
	它们非常灵活。
	如果我们先看第一次和第二次运行，我们会注意到
	运行号 1 中的每个位置加一，运行号 2 中的每个位置减一，并且行号 1 中的每个位置减一，行号 2 中的每个位置加一。
	所以，运行 1 和运行 2 就像彼此的镜像，如果我们看看所有这些运行对，它们都是这样的。每一个……每一个奇数
	运行是每个偶数运行的镜像。最后我们以一行零结束。
	我们可能注意到的另一件事是，每个都有几个零
	设计中的因素。
	事实证明，这是一件很有用的事情，因为它使我们能够估计所有因素的二次效应。
	通过这个整体中心运行，您可以估计所有因素的所有二次效应以及截距项。
	那么，进行确定性筛选设计会带来哪些积极影响呢？
	如果存在活跃的双因子相互作用，它将不会偏向任何主效应的估计，因此双因子相互作用和二次效应都与主效应不相关。
	此外，任何单个有效的双因子交互作用都可以用此设计识别，以及任何单个……单个二次效应。它和……最后，非常有用的
	这种设计的一个特性是，如果只有三个因子有效，那么无论具体是哪三个因子，都可以拟合出一个完全二次模型。所以，如果……
	当然，这也适用于两个因素或一个因素活跃的情况。
	因此，作为筛选实验的后续，您可能能够避免进行响应曲面实验。
	现在，为了充分披露，确定性筛选设计与 D 最优筛选设计进行比较时，必须做出权衡，那就是主效应的参数估计比次效应的参数估计长约 10%。
	D 最优筛选设计。因此
	所以，为了实现这一功能，这点代价不算什么。它还能估算所有……所有二次效应，并且能够抵御双因子交互作用。
	让我们看一下最终筛选设计的实际操作的小演示。
	所以
	我最近与 Chris Nachtsheim 合写了一篇关于如何分析确定性筛选设计的论文，
	当我们提交原始论文时，审稿人要求我们提供一个真实的例子。对于一个新人来说，提供一个真实的例子有点困难。
	这种设计，因为以前没人做过，因为他们没听说过。但我们有一种方法可以检测定制设计器，这样我们就能知道一个设计需要多长时间才能运行。所以我们有一套
	各种因素都会使设计耗时更长……需要更长的时间来制作。例如，其中之一就是
	你使用的随机启动次数。所以，这里是自定义设计师为所有这些示例计算的所有时间。然后
	如果我们看一下 DOE 确定性筛选，就会发现有一个自动分析工具叫做“Fit Definitive Screening”，如果你使用 JMP 创建确定性筛选设计，那么
	脚本始终可用，因此我们可以看到
	分析是什么？分析分为两个阶段。首先，拟合主效应，然后拟合二阶效应，最后将它们合并。结果是
	这个因素 E 是第一类错误，但其余所有影响实际上都是活跃的，我们知道因为
	我们还进行了全因子设计
	所有这些因素，以及
	所以我们知道在这种情况下真正的模型是什么。因子E没有出现在全因子设计的分析中，但所有其他效应，包括因子A的平方效应和这三个两因子交互作用，都是被识别的真实效应。
	通过最终的屏幕设计。所以它被插入到论文中，最终由 Technometrics 发表。
	那么我什么时候应该使用 DSD？
	当大多数因素都是连续的时，DSD 效果最佳。
	我们确实有一篇论文展示了如何添加最多三个双因素或两级分类因素，但随着你继续添加更多的两级因素，
	DSD 表现不佳。所以你……所以大多数因子必须是连续的。另外，如果你预期因子效应存在曲率，那么
	比如，如果你认为可能存在一个活跃的二次效应，那么你会想要
	优先使用DSD，而不是两级筛选设计。而且，使用DSD还可以处理一些双因素交互作用。所以，这些情况才是你应该使用DSD的时候。
	这就是我现在要说的全部内容，但我想继续讨论组正交过饱和设计或 GO SSD。
	不好意思，嗯。
	这是组正交过饱和设计的相关单元图，其有趣之处在于这些因素是
	归入一个组。这里，一个组是 W1 到 W4。这些因素是相关的，但它们与任何其他组因素都不相关，所以这些因素是
	组内数据互不相关，但组内略有相关。当然，由于设计是超饱和的，必然存在一定的相关性。我们只是把相关性放在了非常方便的位置。
	这是一篇关于
	我们如何构建这些组正交过饱和设计，以及许多合著者，包括 Ryan Lekivetz，他是另一位
	开发人员在
	JMP DOE 组。
	这是我的合著者的照片。
	这是瑞安。
	克里斯
	我和他长期共事，大概有30年了。Dibyen Majumdar是芝加哥伊利诺伊大学的副院长，Jon Stallrich是北卡罗来纳州立大学的教授。
	因此，我将稍微谈论一下进行过饱和设计的动机，告诉您如何构建 GO SSD，分析 GO SSD，然后将它们与我们的自动分析方法和其他分析方法进行比较。
	超饱和设计是指因子数多于运行次数的设计。例如，你可能有20个感兴趣的因子，但运行次数昂贵，而你的预算只能支持12次运行。那么问题是，这是一个好主意吗？
	当我去询问 SAS 的一位同事对过饱和设计的看法时，他说：“我认为过饱和设计是邪恶的。”
	所以
	我感觉我的耳朵有点向后倾斜，但是我还是继续……继续实施超饱和设计。
	不过，我理解兰迪为什么会有这种感觉。超饱和设计的问题在于，设计矩阵是奇异的，所以你甚至无法进行多元回归，而多元回归是拟合模型中的标准工具。此外，还存在因子混叠，因为
	这些因素通常是相关的。事实上，在大多数超饱和设计中，所有相关因素都与其他因素相关，所以你会有这种感觉：你不应该指望不劳而获。
	在早期文学中
	它们是由 Satterthwaite 于 1959 年提出的，然后 Booth 和 Cox 于 1962 年提出了这个标准
	为了
	一种最佳地选择过饱和设计的方法。
	这里的这个标准基本上是最小化设计中的平方相关系数，即平方相关的和。所以，我们认为，John Tukey 是第一个在 Satterthwaite 论文讨论中使用过饱和这个术语的人。
	那是……这篇论文是经过讨论后发表的。
	很多讨论者都很刻薄。但从图基的讨论来看，他说：“当然，萨特思韦特的方法，也就是所谓的‘恒定平衡’，只能让我们达到饱和状态。”
	（乔治·博克斯精心选择的术语之一）“饱和设计”是一种所有影响都由参数估计来承担的设计。
	我的意思是所有的运行都被参数估计所占据。
	但 Tukey 表示，“我认为做一些过饱和实验是完全自然和明智的”，但基本上其他讨论者
	这个想法遭到了广泛批评，30 年来该领域没有取得任何进展。
	1993 年，两篇论文
	两篇文章几乎同时发表。一篇由 Jeff Wu 发表在 Biometrika 杂志上，另一篇由 Dennis Lin 发表在 Technometrics 杂志上。
	Jeff 现任佐治亚理工大学可口可乐系教授，Dennis Lin 现任普渡大学可口可乐系主任。
	那么什么时候应该使用过饱和设计呢？嗯，
	当运行成本高昂时，你肯定想使用它，因为这样你就可以运行比因子更少的运行，因此
	如果您使用标准方法，则设计成本会更低，标准方法总是要求至少有...至少与因素一样多的运行次数。
	如果你曾经进行过头脑风暴实验，你就会知道，当每个人都拿出便签，写下他们认为重要的因素时，
	最后你可能会在墙上贴出几十张贴纸，代表至少一个人认为很重要的不可能因素。
	然后会发生什么呢
	随后，只有少数......在过去，只有少数因素被选择进行实验，而其他因素则被忽略了。
	在我看来，这似乎是不道德的，消除...在没有数据的情况下消除一堆因素似乎是个坏主意。
	你可能还想做的另一件事是将它们用于计算机实验，因为如果你有一个非常复杂的计算机实验，那么……
	通过计算机实验所具有的几十甚至几百个调整参数，你可以进行过饱和设计。
	那就是……如果计算机实验需要很长时间才能运行，那就特别好，所以你不想坐着等上几个星期才能运行一个
	非常大
	不饱和实验。
	那么我们如何构建这些 GO SSD？
	这是一点数学知识，但是
	我们从一个 Hadamard 矩阵（H）开始，我们有另一个 Hadamard 矩阵（T），我们舍弃了一些
	行，然后我们取这两个矩阵的克罗内克积（这里这个有趣的符号是克罗内克积），这样就创建了一个 GO SSD。
	因此，当你形成 X 转置 X 矩阵时，你得到的是这个东西，它会创建看起来像这样的东西，这个矩阵是一个块方阵，
	并且 X 转置 X 或信息矩阵中的所有其他元素都为零。
	这就是创建组正交性的原因。这是
	举个小例子。这里，这个 H 是一个正交的 Hadamard 矩阵，而这个 T 就是去掉最后一行的 H。
	因此，T 和...H 和 T 的克罗内克积正好替代了每个 1...每个
	H 中的元素 1 由矩阵 T 表示，H 中的每个负 1 由矩阵
	这是 T 的负数。
	所以
	因为 H 是四乘四，而 T 是三乘四，所以我们用一个三乘四的矩阵代替每个单独的
	H 的元素，因此我们提出的设计是 16 列 12 行。
	因此它扩大了
	那个例子。现在，这就是当你使用……当你做我刚才谈到的事情时会发生的情况。所以我们有12次运行和16列。第一列是……是用于估计截距的1列，所以我们不考虑它。
	这是相关性……这是这个设计的相关性。前三个因素……它们之间的相关性较高，而且不平衡。
	这些列有...优点和缺点的数量不一样。
	其他...所有其他因素都具有相同的相关结构，
	他们都
	有平衡的列。
	另一件有趣的事情是他们的专栏是
	折叠，因此每组因素的主要影响与这些因素的两个因素相互作用不相关。
	现在我和我的合著者建议我们将这前三个因素视为……不是不把它们当作因素，而是因为它们与所有其他因素正交，你可以使用这些列来估计方差
	以一种不受任何其他因素主效应影响的方式。这样，我们就能得到一个无偏估计……一个相对无偏的方差估计，这对于建模非常有帮助。
	因此，这款特定最终屏幕的设计属性...或 GO SSD，抱歉，GO SSD
	因为我们有三个独立的、由四个因素组成的组，所以每个因素组的秩都是三，所以这意味着我可以估计三个……三个因素的影响。
	在这种情况下，假因子列的秩为 2，因为您...您正在使用其中一个...其中一个列来估计截距，因此您可以估计具有两个自由度的 Sigma 平方。
	并且假设二阶效应可以忽略不计，这个估计是无偏的。
	所以现在，我可以估计...的影响。
	在三组四个因素中，我每组都可以估计出三个。
	我可以，我可以用一定程度...具有两个自由度的 Sigma 平方来测试每一组因素。
	我已经指出这些因素组是折叠的，并且
	为双因素相互作用提供了实质性的保护。
	这张表出现在 Technometrics 论文中。我很乐意发给你
	如果你能给我写一封电子邮件，我就会给你一份那篇论文的副本。
	我是 Bradley.Jones@jmp.com。
	只是我的名字@ JMP.com。
	所以，有很多选择可以用来创建这些设计。
	相当灵活。
	所以
	在论文中，我们讨论了如何创建设计，也讨论了如何分析设计。所以，我们想用这些……第一组因子来估计方差，而不是……而不是把它们当作实际因子。
	我们使用正交组结构来识别活跃组，然后在活跃组内，我们进行逐步回归或所有可能的回归来
	识别组内的活跃因子。然后，我们可以将非活跃组的平方和合并到 Sigma 平方的估计值中，这能让我们更有效地
	在活跃的因素组中找到活跃的因素。
	如果你能猜出影响迹象的方向，而且你经常知道……你可能不知道影响会有多大，但你知道它们会朝哪个方向发展，那么你
	你可以猜测结果是正面还是负面。如果你认为某个结果为负面，你可以将……将正值重新标记为负值，将负值重新标记为正值，这样……新的结果就会是正面的。
	如果你对所有负面影响都这样做，那么每个方面的所有影响
	每个组中的阳性结果都是阳性，这样可以最大程度地提高检测活跃组的能力。因此我们建议这样做。
	因此，我们进行了一项模拟研究来比较 GO SSD，我们对 GO SSD 的分析程序与标准
	通用回归分析...现代回归分析，如 Lasso 和 Dantzig 选择器，所以我们有三种不同的分析方法。
	Dantzig Selector、Lasso，以及我们的“两两阶段”方法。我们有三种不同的设计，三种不同的 GO SSD。我们拥有的活跃群组数量……
	要么是一个活跃的群体……然后随着你……随着你拥有更多活跃的群体，你当然会……让设计更难找到所有东西。然后
	所有方法的功效都很高，除非所有组都处于活动状态。所以
	在这个设计中，只有三个组，并且所有...当你使它们全部处于活动状态时，Dantzig 选择器和套索的威力就会非常弱。
	但是，我们提出的两阶段分析基本上具有对所有可估计事物进行估计的能力。
	在这两个设计中，有七个……七个活跃的团体和
	所以当它们全部激活时，Dantzig 选择器和套索
	效果远不如我们推荐的两阶段方法。所以
	我们的两阶段方法就是利用设计的结构来指导我们的分析方法。Dantzig 选择器和 Lasso 并不关心数据的结构。事实上，它们被用于任意的观察性分析。
	分析，以及分析设计好的实验。所以你会认为一个通用的程序可能不如一个建设性的程序那么好
	纯粹是为了分析这种设计。
	434
	258
	259
	260
	261
	262
	263
	264
	265
	266
	267
	268
	269
	270
	271
	272
	273
	274
	275
	276
	277
	278
	279
	280
	281
	282
	283
	284
	285
	286
	287
	288
	289

高级统计建模基础数据分析与建模消费者和市场研究实验设计预测模型和机器学习质量与工艺工程