裂区实验设计讨论时间大家好，JMP 社区，
在 Windows 11 上运行 JMP Pro 18.1.1。文章很长，我先行致歉，但我想尽量提前提供尽可能多的信息。文中提到的因子和响应列是针对附件中匿名数据表的，方便有兴趣了解更多详细信息的人查看（因此我的描述和匿名数据表中的内容有些模糊）。
关于我正在帮助同事分析的裂区实验设计（DOE），我有一些普遍的担忧和疑问。其中一些与这里最近的帖子不太一样。与JMP帮助数据中“干净”和“良好”的示例不同，这是一个真实的工业案例，其中事情并不总是以理想的方式进行。
背景：我的一些化学同事想进行实验设计 (DOE)，测试六个因子并测量四种不同的响应。实验设计的目的是希望确定这六个因子应该/应该以何种组合以及何种水平来达到预期结果。其中一个响应，我实在找不到更好的词来形容，称之为“主要”响应 Y__1（其他响应都依赖于这个“主要响应”）。对于其他响应，这种依赖关系并非呈线性关系。
DOE 设计：我们有一个 30 次运行（该数字由化学家确定为允许的运行次数）的自定义 DOE，其中包含六个因素，其中一个因素很难控制（烤箱温度），因此将原本随机的设计转变为裂区设计。
- X__5 是难以改变的烤箱温度响应。
- 试验批次分为 4 个整盆，每个整盆内有 7 或 8 个试验批次。
- 四个响应中有三个具有较低的设计限制，目的是最大化它们的响应（Y__1、Y__2、Y__3）。
- 一个响应有一个设计上限，目标是最小化其响应 (Y__4)。
- 一个响应的检测下限为 10，绝对下限为 0 (Y__3)。
- 一个响应的检测上限为 280（Y__4）。
数据观察： DOE 已完成，以下是一些数据观察结果。
- Y__1 服从正态分布。回想一下，这也是“主要”响应。
- Y__2 不服从正态分布，但最适合 SHASH 分布。JMP 具有 SHASH 变换函数，可以将其转换为正态分布数据集，也可以进行 SHASH 逆变换。Y__2 不服从正态分布，因为它强烈依赖于 Y__1，并且随着 Y__1 的变化（减小），Y__2 会增大，达到最大值，然后开始减小。
- Y__3 不服从正态分布，因为其物理极限为 0，检测极限为 10。该数据最好用对数正态分布来表征。如果在 GenReg 平台中使用该分布，则需要将 0 重新编码为非常小且接近 0 的数值，例如 1e-12 之类的数值。
- Y__4 不是正态分布的，而且对数正态分布也更能体现其特征（使用可以处理检测限的更新的连续拟合函数，而不是建议采用正态 2 混合物的传统拟合函数）。
讨论要点/需要考虑的事项：以下只是一些关于 DOE 结果向我提出的主题和讨论要点，或者是我在分析数据时想知道如何管理/处理的一些主题和讨论要点。
- 正如上面链接的帖子中提到的，由于这是一个裂区实验设计 (DOE)，因此保留整区和随机效应非常重要，因为它并非真正随机的 DOE。删除它可能会导致错误的结论。
- 其他平台（如广义回归和广义线性混合模型）无法处理随机效应，但它可以将整个图作为一个因素来管理。
- 这是否意味着我应该避免使用这些平台来生成替代模型？
- 不幸的是，唯一一个能够处理我的两个回复的检测限问题的建模平台是 GenReg，它使用了一个审查列。其他平台都无法解决这个问题，也无法处理我的三个回复的非正态分布。
- 注意：Y__3 的审查列与 Y__4 不同，因为检测限不同。
- 这就导致了一个两难的境地：使用混合模型（或 SLS）方法处理整体和随机效应，但无法管理非正态分布的数据或检测限问题；或者使用像 GenReg 这样的替代平台，它可以处理删失数据和检测限问题，但无法处理裂区设计的整体和随机效应。
- 在使用数据运行标准最小二乘法或混合模型平台（甚至是 GenReg 和 GLMM）时，所有模型刻画器都建议，为了最大化 Y__1、Y__2、Y__3 并最小化 Y__4，应将因子设置设置为极值（低或高——它会根据平台而变化）。从领域知识的角度来看，这毫无意义。根据为 DOE 选择的范围，我们预计部分/或所有因子将介于极值之间，以获得最佳响应。
- 目前，在设置/最大化可取性选项中，每个响应均被平等对待（25%，0.25）。这可能会发生变化，但不会对刻画器的结果产生很大影响——它仍然建议在大多数情况下将因子设置为极值。
- 化学家们提议通过增加中心点来增强实验设计（DOE）。我不确定这是否能解决我们在分析中遇到的问题。但无论如何，
- 我曾尝试看看这是否有可能，但是当我尝试这样做时，我必须将整个情节作为一个因素，而我唯一的增强选择是“增强”，所有其他选择都显示为灰色。
- 为什么我没有其他可用选项？
- 有没有办法添加中心点或进行空间填充，而不会给 DOE 增加某种偏差？
我遇到的问题/问题：总的来说，以下是我在分析数据时试图解决的问题——特别是试图弄清楚并理解如何避免分析器对因素提出极端设置。
- 无论如何，我是否应该因为裂区设计而坚持使用混合模型平台？
- 尝试使用其他平台（GenReg、GLMM 等）来分析数据是否有用？
- 如果值得，如何最好地尝试并包括 DOE 固有的整个情节和随机效应？
- 在分析中，管理 Y__2、Y__3 和 Y__4 对 Y__1 的强烈依赖性有哪些最佳实践方法？
- 管理 Y__2、Y__3 和 Y__4 的非线性响应有哪些最佳实践方法？是进行转换，还是有其他更好的方法？
- 我希望能像 SLS 那样一次性获得一个包含所有响应的模型，但考虑到非正态分布以及其他响应对 Y__1 的依赖性，我认为该平台并非最佳选择。我可以保存我使用的任何平台的响应预测公式，然后使用“图形”>“分析器”生成预测分析器，但我仍然受困于分析器建议的因子极端设置，这很不合理。
- 为什么分析器建议使用极值？
- 这是否表明 DOE 存在问题？如果是，问题是什么？
- 极端的分析器建议能以某种方式解决吗？
- 如果通过进行更多实验来增强设计是一种方法，我该如何使用其他增强选项？目前，我只能更改上限/下限因子设置并定义额外运行的次数，其他什么都做不了。
感谢您花时间阅读这篇文章。任何反馈、想法或建议都非常感谢。
谢谢！，
DS
高级统计建模实验设计视窗回复：分裂区 DOE 讨论时间
你好吗， Y__4 因为有一个设计上限??/
回复：分裂区 DOE 讨论时间你的讨论远不止关于裂区（响应变量与裂区无关）。你读过我在你链接的讨论中提到的那篇关于裂区的论文吗？
回复：分裂区 DOE 讨论时间@statman说得对，这远不止是一场讨论。我要指出的一点是，响应变量的分布无关紧要。响应数据中应该包含信号，这些信号会改变分布。有些响应具有非正态分布，这并不奇怪。残差（在模型拟合并解释信号之后）才需要服从正态分布。
回复：分裂区 DOE 讨论时间我不明白你的问题。
回复：分裂区 DOE 讨论时间我无法轻松找到该文章，因此无法阅读它。
我正在阅读这篇文章，它有一定的帮助：裂区设计：是什么，为什么以及如何，B. Jones 和 CJ Nachtsheim，J. Quality Technology，V. 41，N. 4，p. 340。
回复：分裂区 DOE 讨论时间这可能是一个复杂而详细的讨论，但仍然是一个讨论。
撇开语义不谈，我发现你提到响应的分布无关紧要这一点很有意思——这似乎与其他 JMP 同事在 2021 年或 2022 年 Discover 峰会期间的讨论相反。在演示中，讨论了 JMP 16 中新检测限列属性的使用。演示中有很多关于响应的非正态分布的评论，以及如何在使用 GenReg 平台对数据进行建模时，通过使用对数正态分布来正确考虑这一点。那么，正确的方法是什么——我们应该将响应的非正态分布视为无关紧要，还是应该将其考虑在内？很难看出两者如何都能正确。我完全理解你关于残差呈正态分布的观点。
至于我提出的其他问题，您有什么看法？例如，分析器只建议将极值作为我们现有响应组合的最佳设置。从我们的专业知识来看，这说不通。这是否表明 DOE 出了问题，或者数据中引入了其他系统性噪声？或者，这是否表明其他方面存在问题？
虽然我针对我手头的案例提出了一些具体的问题，但我也提出了一些非常普遍的问题，我认为其他人也遇到过（或将来可能会遇到），因此这些问题与社区具有普遍的相关性。许多问题通常涉及在分析结果不理想的情况下如何管理和处理数据。JMP 提供的示例数据（即使不是全部）大多都倾向于显示理想情况，但实际情况往往更加复杂，需要更细致入微的方法。
我仍然希望继续讨论，特别是关于更普遍的问题。
谢谢，
DS
回复：分裂区 DOE 讨论时间你好@SDF1 ：我认为我们需要明确一下，当我们讨论响应的正态性（我们暂时称之为 Y）时，它到底是什么意思。为了简化，我们只考虑 OLS 多元回归模型（普通最小二乘法）。我们至少可以用两种不同的方式来讨论正态性（为了简洁起见，我将省略下标和独立同分布假设）：
1. Y = a + b*x1 + c*x2 + d*x3 + e，其中 e 呈正态分布，均值=0，方差= Sigma^2。
我们可以等价地说
2. Y 呈正态分布，均值为 a + b*x1 + c*x2 + d*x3，方差 = sigma^2。
关于响应分布的讨论，隐含地指的是上文 (2) 中对模型的描述方式。但这与例如说你的 Y 列应该服从正态分布，并且可以通过分布平台进行评估（首先必须根据随 X 变化的均值进行校正）截然不同。也就是说，无论模型如何描述，我们评估正态性的方式都是相同的（通过探索残差）。因此，响应是否服从正态性很重要（事实上，通过拟合模型/REML 进行的混合模型参数估计假设正态性），这不应与我们评估正态性的方式混淆。
回复：分裂区 DOE 讨论时间让我试着澄清一下我的观点。说回复的分布无关紧要，其实有点太过分了。不过，让我先来描述一下。
假设我正在测量一些病人的血压。这些病人都患有高血压。测量后，我给他们每人服用一种强效降压药。一个月后，我再次测量他们的血压。你认为所有血压的分布都呈正态分布吗？答案是否定的。药物（希望如此）会使分布呈现双峰分布。信号存在于原始数据中，需要在检验正态性之前将其去除。所有统计推断都基于误差或残差呈正态分布。
至于其他 JMP 同事的说法，我无法评论。我当时不在场。但是，如果经验表明变量在稳定状态下具有某种分布，那么就应该使用该分布。这通常是在指定误差分布时所做的。除此之外，我需要参与那场讨论才能发表更多评论。
回复：分裂区 DOE 讨论时间你好@MRB3855 ，
感谢您的回复，我完全同意您的观点。我会尽量更清楚地解释我关于回复是否正常的疑问。
我其实不在乎这些响应是否正常——它们之所以如此，有几个众所周知且不足为奇的原因。我不认为我暗示过那些非正常响应应该是正常的。如果我暗示了，我深表歉意，因为我认为它们不应该是什么。它们就是它们，目前没有迹象表明任何特殊原因会导致任何数据从能源部（DOE）被移除。
Y__2 是非正态的，因为它高度依赖于（以非线性方式）Y__1。Y__3 是非正态的，部分原因是物理上它不能具有 <0 的值，并且由于 DOE 的设计，有些测量值接近此物理极限（它也高度依赖于 Y__1）。另一方面，Y__4 部分是非线性的，因为它也高度依赖于 Y__1，并且检测上限为 280——在此之后，结果会达到最大值，并且由于设计原因，有些运行的响应会达到最大值。这一切都很好。到目前为止，对我来说，DOE 已经完全完成了它的设计任务。
我对响应正态性的疑问/担忧，更多的是关于如何在建模步骤中管理/处理非正态响应。我读过的 JMP 社区和帮助中的一些资源似乎给出了相互矛盾的建议，尤其是在涉及至少有一个因子难以改变的裂区设计时。一些资源建议分析应该保留整体和随机效应（因此您必须使用混合模型方法——但您无法在响应中考虑非正态分布——或检测限）；还有一些资源建议使用 GenReg 平台，该平台可以考虑非正态分布（和检测限），但会丢失模型中的随机效应。
显然，不同的方法之间存在着利弊权衡，而我更关心的是尽量减少这些权衡对实验设计 (DOE) 分析的影响——尤其是在响应的正态性方面。如果我使用 GenReg 平台，我无法解释裂区设计中固有的随机效应，因此容易受到 1 型错误和 2 型错误的影响——我可能会得出某个东西存在但实际上不存在的结论，或者得出某个东西不存在但实际上不存在的结论。另一方面，混合模型无法处理非正态响应分布（但可以处理整体和随机效应），这有时会导致一些并非物理真实存在的预测——例如小于 0 的值，这是没有意义的。
那么，在实际案例中该如何处理这个问题呢？JMP 中的示例数据表非常实用，提供了清晰的分析路径，但它们并不能真正解决像这种分析路径不那么直接的灰色区域。
最终，建立一个误差低、残差呈正态分布且以 0 为中心的模型将会很有帮助。混合模型平台的结果给出了这样的结果（但也给出了非物理响应预测），而 GenReg 平台没有给出这样的结果，但提供了物理上有效的响应预测。同样，在现实的非理想情况下，该如何处理/管理这个问题？
请记住，我还有其他几个更广泛的问题/疑虑。
我希望这有助于澄清一些观点，同时也将讨论引向其他更普遍的问题，例如数据增强，或者当您的数据不能很好地适应一个模型或另一个模型时，管理分析的最佳实践方法是什么，或者为什么分析器总是建议极端设置以获得最佳响应，这是否表明更大的问题？
DS
回复：分裂区 DOE 讨论时间你好@Dan_Obermiller ，
我理解你的场景以及你关于误差分布的评论。至于我的实验设计（DOE）的响应，就像我回复@MRB3855那样，我不在乎响应的分布是什么样的——它们可能是双峰分布、对数正态分布、SHASH分布，等等。它们之所以是这样的分布，有各种原因（大多数是已知的），而且没有迹象表明在实验设计（DOE）过程中发生了特殊原因变异，从而导致任何数据被剔除。
问题在于如何在建模/分析过程中管理这个问题，因为JMP社区和帮助资源中存在一些相互矛盾的建议。一些人认为使用混合模型至关重要，因为它保留了模型中的整体和随机效应，但也存在一些自身的缺点（其中之一就是非物理预测值）。另一方面，GenReg可以处理非正态响应和整体图效应（并提供物理上有效的预测），但无法处理随机效应。混合模型也会产生均值接近于0的正态分布残差，而GenReg则不会。什么是好的方法？为什么？（我不是说“正确”的方法，而是一个好的方法）。我也尝试过使用GLMM平台分析数据，它对4个响应中的3个结果还算可以，但对一个服从对数正态分布且值>=0的数据集却非常不满意。
由于这并非理想情况，大多数 JMP 样本数据都倾向于这种情况，那么在非理想情况下，管理分析的最佳实践有哪些呢？我提出的其他一般问题也是如此。
DS
回复：分裂区 DOE 讨论时间你好@SDF1 ，
棘手的问题和复杂的情况，但你是对的，情况通常如此，不像“完美”的玩具/学习数据集。
面对过类似（且不理想）的情况，以下是我从实际角度提出的建议：
- 识别模式和异常：绘制数据图，检查响应是否存在基于整体图效应的奇怪模式，以及是否已经能够识别因子与响应之间的关系（+响应之间的相关性）。您可以使用多元平台提供的异常值分析功能来识别相关性以及潜在的异常值。
- 第一次模型迭代 :
- 继续使用完整的假设模型。确定如何处理整体图效应：随机效应（对响应方差的影响）还是固定效应（对响应均值的影响）？这个问题的答案应该取决于整体图情况的“物理意义”及其所代表的含义。在这两种情况下，拟合完整的假设模型将有助于您了解通过这种效应捕获了多少变异性（根据效应类型，可能是对响应均值的重要性，也可能是响应方差的重要性）。
在你的数据表中，将整体图效应视为随机效应，根据响应，你会发现这种随机效应的影响程度各不相同：从不显著（对于 Y2）到中等（Y3 和 Y1 分别约占总方差的 19% 和 23%），再到高（Y4 整体图效应捕获的方差超过 40%）。根据这种影响，你可以大致了解如果从模型中删除此随机效应会损失多少精度。如果可能，我会尝试为 Y4、Y3 和 Y1 保留混合模型，而 Y2 则无需使用混合模型。
- 在此阶段，您可以检查模型中的残差（以及实际预测图），看看残差中是否有曲线图案，这可能表明模型不充分（缺少项？）或者可能需要进行转换。
要小心转换和广义模型，因为它们处理数据的方式不同： 拟合模型中“最小二乘”和“广义线性方法”之间的区别。转换会直接影响您的数据（因此会影响响应的均值和方差），而广义模型使用链接函数将均值转换为预测变量的线性函数，并使用方差函数来允许分析中的方差异质性，而不是试图将其转换掉。除非我有强烈的迹象表明可能需要转换响应（通过转换响应可以简化模型，并通过转换响应获得更好的残差模式，这似乎是 Y2 的情况），否则我不会转换响应。
- 最后，您还可以检查哪些效应在统计和实践上显著，从而了解在其他模型迭代中哪些效应值得考虑纳入。您还可以将结果与其他平台进行比较，例如有助于识别有效效应的“拟合两级筛选平台” ，或带有随机效应的拟合最小二乘模型。
- 模型探索/比较/选择：根据假设和先前的结果使用各种平台：
- 验证与增强：使用验证运行来验证您的模型。建议对因子进行极端设置可能看起来很奇怪，但由于您的实验设计 (DoE) 主要只使用两水平因子，因此您的响应中不会出现太多曲率（除了交互作用带来的曲率）。
扩大您的 DoE 以包含二阶（或更多）多项式项可能是一个好主意（而不是中心点，因为中心点对于估计可能导致曲率的多项式项没有帮助），以便能够绘制满足您的 4 个响应的设计空间。
其他一些考虑因素：
最后，模型并非完美无缺，而应该实用。选择的建模平台可能存在一些妥协，但您应该能够根据验证数据和领域专业知识来证明您的选择是合理的。
希望这个（长）答案能提供一些有用的想法，
回复：分裂区 DOE 讨论时间Victor，我完全同意你的第一步，但我想提出一个替代第二步的建议。你不应该拟合完整的模型，因为存在两种不同的误差结构（整图和子图）。这会导致不恰当的比较。例如，将WP因子与子图的MSE进行比较以判断统计显著性，就像将苹果和橘子进行比较一样。这个p值毫无意义。你应该将整图和子图视为两个不同的实验。请阅读Box和Jones的著作。此外，还有Anderson和McLean、Sanders和Bisgaard的著作。
Box, GEP, Stephen Jones (1992)，《稳健产品实验的裂区设计》， 《应用统计杂志》 ，第 19 卷，第 1 期
Jones、Bradley、Christopher J. Nachtsheim（2009） “裂区设计：是什么、为什么以及如何”， 《质量技术杂志》 ，第 41 卷，第 4 期，第 340-361 页
Anderson, Virgil 和 McLean, Robert (1974)《实验设计：一种现实的方法》 Marcell Decker (ISBN 0-8247-7493-0)
Sanders, D. 和 Coleman, J. (2003)。工业实验中随机化限制的认可及其重要性。 《质量工程》 ， 15 (4)，533–543。https 
/doi.org/10.1081/QEN-120018386
Bisgaard, S. (2000). 2k–p× 2q–r裂区实验。质量技术杂志, 三十二(1), 39–56。https /doi.org/10.1080/00224065.2000.11979970
回复：分裂区 DOE 讨论时间关于裂区实验设计的个人观点：
在进行正式的实验设计之前，将所有因子固定在其正常生产水平，并通过区组划分收集数据。分析随机区组效应的显著性。如果随机区组效应不显著，则采用常规实验设计方法进行正式实验，但在执行过程中对某些因子施加随机化限制，并使用标准分析方法。如果随机区组效应显著，则采用裂区设计。
回复：分裂区 DOE 讨论时间你好@Victor_G ，
感谢您抽出时间写下详细的回复，并针对当前的问题提出一些想法。我一直在研究您提供的一些建议，同时也在探索其他途径和想法。
为了回应您的想法，以下是一些反馈：
- 识别模式和异常：是的，我已经研究过这个问题，我注意到的一点是，在整图 2 和 3 中，X__5 的设置较低，导致 4 个响应的整体性能普遍较差。这对我们来说并不意外。幸好我们在因子设置中加入了这一点，这样我们才能看到响应中足够大的“信号”变化。如前所述，4 个响应中有 3 个是相关的（非线性的），并且依赖于第一个响应 Y__1，因此在“多元分析”平台中看到这些相关性对我们来说并不陌生。这里的难点之一是，对于其中一个响应 Y__2，它作为 Y__1 的函数是非单调的——这意味着 Y__2 在不同的 Y__1 值下可以具有相同的响应值。例如，当 Y__1 为 ~27 或 ~31 时，Y__2 的值可以是 24。 Y__3 和 Y__4 没有这种行为，但它们仍然非线性地依赖于 Y__1。基于 Y__3 的响应，存在一个潜在的异常值，但到目前为止，我们还没有特殊原因需要排除这次运行或尝试重新运行。不过，我会请我的同事进一步研究这个问题。
- 第一次模型迭代:
- 我同意“整体区效应”是随机的——理想情况下，实验设计（DOE）本来应该是完全随机的，但由于X__5很难改变（至少在尽可能高效地进行实验设计时），最终还是采用了裂区设计。总之，基于我们对部分响应及其受X__5影响方式的了解，我们无法真正消除“整体区效应”。此外，虽然Y__2实际上并不需要纳入，但它更容易拟合整个混合模型。
- 感谢您对变换的思考。在测试 Y__2 的 SHASH 变换时，它实际上不如不进行变换直接拟合 Y__2 的效果好。我一直在评估残差以及其他模型评估方法，例如进行 Bland-Altman 分析或查看实际值与预测值图的 95% 置信区间。到目前为止，混合模型在所有模型评估方法中似乎表现最佳。
- 模型/探索/比较/选择:
- 在保留模型中随机效应的情况下，混合模型似乎仍然比最小二乘法略胜一筹。两者都会为其中一个响应（每个模型的响应不同）预测一些略微不切实际的值。它们的预测值并非完全不切实际，但鉴于我们已知的信息，尤其是关于响应 Y__1 的信息，这些响应应该无法实现。
- 感谢您提出的基于响应与检测限距离的加权列的建议。我很喜欢这个建议，并且在比较不同模型并尝试解释检测限问题时采用了它。
- 根据审查/加权响应以及一些需要随机效应而一个不需要，我最终可能会混合来自不同平台的预测列，但我需要进一步评估模型性能。
- 验证与增强:
- 肯定会想要验证模型——这一直是我推荐的（我不能强迫他们做任何事情，只是推荐）。
- 就分析器而言，奇怪的是，根据优化标准，分析器总是会达到极值，这看起来有点奇怪和不寻常。
- 就增强而言，我原本希望直接使用原始的实验设计 (DOE) 进行一些空间填充运行，但由于难以更改的因素，它不允许我这样做。相反，如果我采用您的方法，通过添加二次效应来实际更改模型，那么我就可以让 JMP 生成不仅仅是重复设计空间的角/边，而是真正将运行放入空间内的运行，我希望这会有所帮助。
您的其他考虑因素：
- 抱歉，这个问题应该说得更清楚一些。所有响应都可以独立测量——理论上可以同时（并行）或顺序（串行）进行。测试的顺序实际上无关紧要。我想解释的是，Y__2、Y__3 和 Y__4 都依赖于 Y__1，并且彼此之间呈非线性关系。最好考虑使用因子 + Y__1 预测公式来预测其他响应。但是，这确实存在夸大预测误差的风险。
- 我之前没想过用“分区”平台来分析数据。不必太在意结果，我认为查看分析结果并利用这些信息对我们很有帮助。谢谢！其他一些方法效果不太好，但我认为部分原因是我们的运行次数不多。
我完全同意模型是有用的但并不完美——但这正是我试图用我拥有的数据集来做的事情的关键——生成一个有用的模型，并且当预测分析器仅建议极端设置（并且基于 SLS 或混合模型方法不一致）时，我想寻找如何从这个数据集中获得最多学习成果的想法。
是的，你的回复非常有帮助，提供了很多关于如何评估事物的想法。谢谢。我很欣赏你对数据和主题的讨论和投入！
谢谢！，
DS
