筛选设计 - 如果不进行重复，我们如何知道效果是否不显着或整个数据是否不好（显着变化）？为了展示化学过程的稳健性，我们经常需要向监管机构展示所选参数（温度、当量、时间和试剂比率）不会影响最终产品的质量（纯度）。为了证明这一点，监管机构更喜欢进行筛选设计。通常，我们希望证明参数在研究的范围内没有不利影响，因此该过程是稳健的。
我的问题是，如果实验者以最高的精度执行，并且数据显示没有任何因素（或交互项）影响质量，那么那很好。如果实验者收集的数据不好，模型显示没有任何因素有影响，那么如何判断我们是否可以信任数据和模型？无论如何，特别是如果我们没有重复运行来查看变化？
我看到最终筛选设计不一定包括重复实验，那么如何知道响应是否存在显着差异？
美国能源部回复：筛选设计 - 如果不进行重复，我们如何知道效果是否不显着或整个数据是否不好（显着变化）？我会谈谈一些想法。
第一：如果响应的变化淹没了我脑海中可能隐藏在因子变化中的任何信号，则有以下三个原因之一：
1. 测量系统偏差过大。 在这种情况下，响应变化的主要原因主要是测量系统变化。 您是否为测量系统制定了持续的过程控制系统？ 您知道测量系统固有的“正常”变化吗？ 否则，您将永远不会知道您因因子变化而得出的“无影响”结论是真实的，还是仅仅是测量系统变化过大造成的错觉。
2. 以增加响应变化的方式影响实验过程的噪声/干扰变量。 在实验过程中对这些类型的影响保持警惕是很重要的。 这是一个棘手的问题，因为您永远无法确定……但是，在实验进行和计划期间，可能由独立第三方提供的密切关注可能会有所帮助。
3. 真的什么都没发生……
总的来说，您的问题是假设检验的核心，我们永远不能“接受”一个零假设，即“因素没有发生任何事情”……只是无法拒绝它。 在您所描述的情况下，您真正能说的是我们无法拒绝每个可估计效应都为零的原假设。
回复：筛选设计 - 如果不进行重复，我们如何知道效果是否不显着或整个数据是否不好（显着变化）？首先，欢迎来到社区。 我们会尽力为您提供一些想法，并随时提供有关您情况的更多信息。
皮特提出了一些很好的观点。 以下是我的补充想法：
1. 鲁棒性对我来说意味着模型在不断变化的噪声下的一致性能（从数量上讲，不存在模型间的噪声相互作用）。 噪声可能是环境条件、输入化学品的纯度、桶的清洁度、测量系统误差、未特别控制的 X 的变化、控制水平内的 X 的变化等，或者按照我对噪声的定义：您不愿意管理/控制的因素）。
2. 您能否在记录 X 值的同时收集响应变量的数据？ 使用此数据执行线性回归。 您可能希望响应变量的变化相对较小，并且与 X 没有关系。 这是因为 X 也可能变化不大（这就是为什么即使实际上可能存在因果关系，也几乎没有证据表明存在因果关系）。
3. 他们真正要问的（我想）不是你做筛选设计，因为这样做的目的是大胆地改变 X 并发现潜在的因果关系，而是更像是容差设计。 也许是语义，但他们想知道的是 X 的正常随机变化是否会影响响应变量。 因此，选择代表 x 的自然变异的极端值的水平并运行某种因子设计。 我确实认为您应该采用一些策略来处理其他噪声源（阻塞、重复、分裂图等）。
4. 我不知道你说的“是什么意思”如果实验者收集的数据不好”。 这是否意味着测量系统是可疑的？ 在这种情况下，您应该研究测量系统，如果进行实验，请采取重复测量来估计测量分量，并可能对其变化进行平均以提高设计的精度。
回复：筛选设计 - 如果不进行重复，我们如何知道效果是否不显着或整个数据是否不好（显着变化）？感谢你的回复。让我澄清一些事情。
假设因素 A、B、C 有可能影响化学反应中产品的纯度，但仅限于在极端情况下进行测试时。还有许多其他因素（让我们称它们为 X）对纯度的影响很小。这些其他因素没有包括在研究中，因为它们对纯度的影响可以忽略不计，或者在工艺进入工厂时可以在设定点精确控制它们的高可信度。
现在这项研究的目标是在实验室中进行实验（在小规模上尽可能模仿大规模操作），系统地改变因子 A、B 和 C，同时保持所有其他噪声因子不变。
在一个假设的情况下，运行这些反应的化学家没有仔细地进行实验，这意味着没有将 A、B 和 C 因子保持在他们需要研究的点上，并且没有将噪声因子控制在指定值，然后有可能是噪声因素的组合模糊了由因素 A、B 和 C 的系统变化产生的实际信号的情况。在这种情况下，结果可能表明这些因素不会影响测试范围内的纯度。
有没有办法说结果不可靠，因为实验没有按预期进行？特别是如果矩阵中没有重复实验？
回复：筛选设计 - 如果不进行重复，我们如何知道效果是否不显着或整个数据是否不好（显着变化）？谢谢statman，请看我对P_Bartell的回复。
请参阅我提供的其他详细信息。
回复：筛选设计 - 如果不进行重复，我们如何知道效果是否不显着或整个数据是否不好（显着变化）？我能想到的唯一技术是您可能能够用于您描述的场景，如果实验试验按规定运行，则检查经验结果是否符合预期。 显然，预期的响应和观察到的响应之间必须存在差异，差异大到足以引起怀疑……但这是我对您的唯一想法。
一种潜在有用的信息技术可能是使用包含您相信的模型的 JMP 预测刻画器……然后对于“新”实验的给定组合，询问“实际响应与预测响应相距多远？”.. .使用预测区间作为信息标准。
你描述的场景实际上发生在我身上，有一次在一个项目中，我和一群对 DOE 持怀疑态度的人在一起......我是团队中的统计学家，团队中的许多人都觉得 DOE 类似于黑魔法。 我们根据我们选择的最佳 x 进行了确认试验。 对于我们几乎所有的反应，结果甚至都不接近。 所以团队进入了我们最好的福尔摩斯模式，试图找出“出了什么问题？” 事实证明，操作员有意选择了一个关键的 x 因素，作为“我们一直使用的……而不是写在工作表上的这个荒谬的水平”。 为我们没有让操作员参与进来而感到羞耻……我们希望那个“荒谬的水平”来确认我们的过程知识。 因此，一旦我们发现了操作员实际选择的内容，我就开始使用 JMP 预测刻画器并为 x 因子输入不合适的级别……瞧，刻画器以惊人的准确度预测了我们观察到的糟糕结果。 在那次会议结束时，甚至连能源部的怀疑者都被说服了。
回复：筛选设计 - 如果不进行重复，我们如何知道效果是否不显着或整个数据是否不好（显着变化）？这是给您的第二个想法，它无助于检测“不良数据”的根本原因……但防止它……基于个人经验。 在我的雇主为许多项目（主要是在一个新的过程/产品开发领域）进行了几年的 DOE 咨询后，我突然意识到，我们喜欢实际执行实验的人会“把事情掌握在自己手中”在实验性执行中，而不是按照法律的规定去做我们想做的事情。
例如，试验的随机化经常被搁置一旁，因为操作者发现以随机方式重置因子是一种痛苦，并且会将“痛苦到改变因子”的运行组合在一起，以使实验减少痛苦。 哎哟......随机化......我们没有指定裂区设计。 所以就在那里，我们向潜在的“坏数据”敞开心扉。
所以我开始坚持的是，当实验运行时在场，观察并尝试帮助操作员。 我发现这有几个好处……一个是我经常看到一些可能以我们不想发生的方式影响我们结果的事情……就像上面的场景一样。 我坚持按照我们指定的随机顺序执行实验……而不是自己动手。 在团队合作方面......这也帮助我建立了与操作员的街头信誉，因为我，白衬衫统计学家，愿意进入实验室或在车间外面，弄脏他的手，有时工作到晚上或墓地和所有其他工作人员一起向右移动……而不是整天坐在我的象牙办公室里向无产阶级发布公告。
回复：筛选设计 - 如果不进行重复，我们如何知道效果是否不显着或者整个数据是否不好（显着变化）？我会分享我的想法，尽管你可能不同意。 复制设计只是在实验中包含噪声的一种方式。 未复制的设计可能非常有用。 我使用因子关系图以图形方式显示实验中设计因子和噪声因子之间的关系。 通过这种方式，您可以了解哪些因素构成了比较的基础，并且您可以使用科学/工程判断来确定该噪音是否代表未来条件，并且它可能会激发关于此类噪音潜在影响的想法和假设发展。 划分噪声对于提高设计精度非常有用，同时不会对推理空间产生负面影响。
你的声明“现在这项研究的目标是在实验室中进行实验（在小规模上尽可能模仿大规模操作），系统地改变因素 A、B 和 C，同时保持所有其他噪声因素不变." 对我来说没有任何意义。 首先，目标应该是恕我直言，了解影响化学纯度的因果结构！ 其次，噪音，顾名思义是你不愿意/不能控制的一组因素。 您收集数据的方式是使用实验（而不是直接采样，其中不进行任何操作，并且您依赖于通过采样和合理分组数据的方式对源进行分区）。 在整个实验中保持噪声不变是一个糟糕的主意，除非您打算永远保持它不变（并支付控制噪声的额外费用），这当然使这些因素可控，而不是噪声。
您可能知道，Fisher 发现这是一个坏主意，因为由此产生的推理空间非常狭窄，以至于在面对噪声变化并可能影响结果的现实时毫无用处（参见 Fishers 关于他的农业实验的论文）。 他介绍了块技术来处理噪声，因此噪声在块内保持不变，并有目的地在块之间变化，这样您就可以同时扩展推理空间并提高设计精度。 还允许估计逐个因素的相互作用，这是一种鲁棒性的度量。
“阻止你能做的，随机化你不能做的”GEP 盒子
Shewhart 在 Shewhart Cycle 中建议“进行研究，最好在小范围内进行”，我相信您想要在小规模研究中模拟真实世界的条件。 我认为你这样做的方式是夸大噪声的影响，以便在很短的时间内（实验）捕捉噪声的长期变化。
话虽如此，为了回答您的问题，我使用了伪贝叶斯哲学。 我让科学家/工程师预测实验的每种处理的数据（当然是先验的，并且受到工程师假设的偏见），预测所有可能的结果（以减轻偏见）并预测您将为所有可能的结果采取什么行动. 这为实验分析提供了背景，并提供了一种评估数据的实用方法。 例如，如果您从治疗中得到的结果与预期的完全不同，是否可以解释该数据（假设或修改的假设），如果不是，则可能质疑该治疗的执行或询问其他情况在运行该治疗期间（如果您预测数据不匹配的原因，这会增加您发现随机效应的机会）。
引用路易斯巴斯德的名言“机会偏爱有准备的头脑”。
