筛选设计 - 在不进行重复的情况下，我们如何知道效果是否不显着，或者整个数据是否不好（显着变化）？为了显示化学过程的稳健性，我们经常需要向监管机构表明所选参数（温度、当量、时间和试剂比例）不会影响最终产品的质量（纯度）。为了证明这一点，监管机构更愿意进行筛选设计。通常，我们希望证明参数在研究范围内不会产生有害影响，以便该过程是稳健的。
我的问题是，如果实验者以最精确的方式进行操作，并且数据显示没有任何因素（或交互项）影响质量，那么就可以了。如果实验者收集的数据不好，而模型显示所有因素都不产生影响，那么如何判断我们是否可以信任这些数据和模型呢？无论如何，特别是如果我们没有重复运行来观察变化的话？
我发现确定性筛选设计不一定包括重复实验，那么如何知道响应是否存在显着差异？
实验设计回复：筛选设计 - 在不进行重复的情况下，我们如何知道效果是否不显着，或者整个数据是否不好（显着变化）？我相信我已经回答了你的问题。 它可能并不迷人，但我相信通过科学家/工程师的眼睛进行解释是一种理性且合乎逻辑的方法。 如果您可以通过实际分析评估结果是否合理或“全部结束”（通过在获得结果之前预测结果可以大大增强结果），那么您应该有线索表明某些事情没有正确完成。 我想您可以开发一个模型并查看残差、RMSE、R-square-Rsquare-Adj delta、p 值等。等人。以确定模型描述过程的糟糕程度。
回复：筛选设计 - 在不进行重复的情况下，我们如何知道效果是否不显着，或者整个数据是否不好（显着变化）？我同意我的说法“保持所有噪声因素恒定”在真正意义上是不正确的。但在这种情况下，我对“噪音”的定义有所不同。让我举个例子。
假设我的反应对水不是超级敏感。我们不必测量反应介质的水含量。然而，如果有大量的水（大约 20% 的水），就会影响质量。再次重要到足以扭曲反应。如果化学家在适当干燥的实验室规模反应器中进行化学反应（常见做法），那么这应该不成问题。但是，假设化学家在干燥实验室规模反应器方面做得很差劲，他采用了一个非常潮湿的反应器并在设计表中进行了一个（或多个）实验，那么结果就不可靠。在良好的实验室实践中，这种情况不应该发生，但我说的是非理想条件。这不是我们要研究的因素，但如果化学家不正确遵循说明，它可能会产生重大影响。当我说“噪音”时，我指的是这样的情况。现在，如果设计表中的实验是使用一些适当干燥的反应器、一些部分干燥的反应器和一些根本不干燥的反应器进行的；虽然指示是在适当干燥的反应器中进行所有实验，但结果可能全部结束。
在这种情况下，是否可以通过分析发现数据不可靠？
回复：筛选设计 - 在不进行重复的情况下，我们如何知道效果是否不显着，或者整个数据是否不好（显着变化）？非常感谢您的投入，完全理解操作员将事情交到他们手中以及一个参数相对于其他参数的“固有偏见”。我可以联系到这一点，并且该建议得到了很好的采纳。
回复：筛选设计 - 在不进行重复的情况下，我们如何知道效果是否不显着，或者整个数据是否不好（显着变化）？我会分享我的想法，尽管你可能不同意它们。 重复设计只是在实验中加入噪声的一种方法。 不可复制的设计可能非常有用。 我使用因子关系图以图形方式显示实验中设计因子和噪声因子之间的关系。 通过这种方式，您可以了解哪些因素构成了比较的基础，并且可以使用科学/工程判断来确定该噪声是否代表未来的情况，并且它可能会激发有关此类噪声潜在影响的想法和假设的发展。 划分噪声对于提高设计精度非常有用，同时不会对推理空间产生负面影响。
你的声明“现在研究的目标是在实验室中进行实验（尽可能模仿大规模操作的小规模实验），系统地改变因素 A、B 和 C，同时保持所有其他噪声因素不变.”对我来说没有任何意义。 首先，目标应该是恕我直言，了解因果结构影响化学纯度！ 其次，噪音，根据定义，是您不愿意/无法控制的一组因素。 收集数据的方式是使用实验（而不是不进行任何操作的定向采样，并且依赖于通过采样和合理分组数据的方式来划分源）。 在整个实验中保持噪声恒定是一个糟糕的主意，除非你打算永远保持它恒定（并支付控制噪声的额外费用），这当然使这些因素是可控的，而不是噪声。
您可能知道，费舍尔发现这是一个坏主意，因为由此产生的推理空间非常狭窄，以至于在面对噪声变化并可能影响结果的现实时毫无用处（请参阅费舍尔关于其农业实验的论文）。 他引入了分块技术来处理噪声，使噪声在块内保持恒定，并有目的地在块之间变化，这样您就可以同时扩展推理空间并提高设计的精度。 还允许估计逐个因子的相互作用，这是鲁棒性的一种度量。
“阻止你能阻止的，随机化你不能阻止的”GEP 盒子
休哈特在休哈特循环中建议“进行研究，最好是小规模”，我相信其目的是想在小规模研究中模拟现实世界的条件。 我认为这样做的方法是夸大噪声的影响，以便在很短的时间内捕获噪声的长期变化（实验）。
话虽这么说，为了回答你的问题，我使用伪贝叶斯哲学。 我让科学家/工程师预测每种实验处理的数据（当然，这是先验的，并且受到工程师假设的偏差），预测所有可能的结果（以减轻偏差）并预测您将为所有可能的结果采取什么行动。 这为实验分析提供了背景，并提供了评估数据的实用方法。 例如，如果您从治疗中得到的结果与预期大不相同，是否可以解释该数据（假设或修改后的假设），如果没有，也许可以质疑该治疗的执行情况或质疑还发生了什么在该处理的运行过程中（如果您预测数据不匹配的原因，这会增加您发现随机效应的机会）。
摘自路易斯·巴斯德的名言“机会青睐有准备的头脑”。
回复：筛选设计 - 在不进行重复的情况下，我们如何知道效果是否不显着，或者整个数据是否不好（显着变化）？这是给您的第二个想法，它无助于检测“不良数据”的根本原因……但可以预防它……来自个人经验。 在为我雇主的众多项目（主要是新工艺/产品开发领域）提供能源部咨询几年后，我突然意识到，实际执行实验的人们往往会“把事情掌握在自己手中”，这与我们的喜好不符。在实验执行中并没有遵循我们想要做的法律条文。
例如，试验的随机化经常被搁置，因为操作员发现以随机方式重置因素很痛苦，并将“改变因素的痛苦”组合在一起，以使实验不那么痛苦。 哎哟...随机化...而且我们没有指定裂区设计。 因此，我们就向潜在的“不良数据”开放。
因此，我开始坚持在实验进行时在场并观察并尽力为操作员提供帮助。 我发现这有几个好处......其中一个是我经常看到一些可能以我们不希望发生的方式影响我们结果的事情......就像上面的场景。 我坚持按照我们指定的随机顺序执行实验……而不是把事情掌握在自己手中。 在团队合作方面……它还帮助我在操作员中建立了街头信誉，因为我，这位穿着白衬衫的统计学家，愿意进入实验室或车间，亲力亲为，有时甚至晚上工作或工作与所有其他工作僵化的人一起在墓地转移……而不是整天坐在我的象牙办公室里向无产阶级发布公告。
回复：筛选设计 - 在不进行重复的情况下，我们如何知道效果是否不显着，或者整个数据是否不好（显着变化）？我能想到的唯一技术是，您可能能够用于您描述的场景，即检查经验结果是否符合预期（如果实验试验按规定进行）。 显然，预期的反应和观察到的反应之间肯定存在差异，差异大到足以引起怀疑……但这是我给你的唯一想法。
一种可能有用的信息技术可能是使用 JMP 预测刻画器，其中包含您认为的模型...然后对于“新”实验的给定组合，询问“实际响应与预测响应相差多远？”... .使用预测区间作为信息标准。
你描述的场景实际上发生在我身上，曾经有一次与能源部怀疑论者团队一起进行项目……我是团队中的统计学家，团队中的许多人认为能源部类似于黑魔法。 我们根据我们选择的最佳 x 进行了确认试验。 我们几乎所有的回答的结果都相差甚远。 因此，团队进入了我们最好的福尔摩斯模式，试图找出“出了什么问题？” 事实证明，操作员故意选择了关键的 x 因素之一，即“我们一直使用的……而不是纸上写的这个荒谬的水平”。 我们为没有让操作员了解情况而感到羞耻……我们希望通过“荒谬的水平”来确认我们的过程知识。 因此，一旦我们发现操作员实际选择的内容，我就推出了 JMP 预测刻画器，并为 x 因子输入了不适当的级别...瞧，刻画器以惊人的准确度预测了我们观察到的糟糕结果。 在那次会议结束时，甚至连能源部的怀疑论者也被说服了。
回复：筛选设计 - 在不进行重复的情况下，我们如何知道效果是否不显着，或者整个数据是否不好（显着变化）？谢谢 statman，请参阅我对 P_Bartell 的回复。
请参阅我提供的其他详细信息。
回复：筛选设计 - 在不进行重复的情况下，我们如何知道效果是否不显着，或者整个数据是否不好（显着变化）？感谢你的回复。让我澄清一些事情。
假设因素 A、B、C 有可能影响化学反应中产品的纯度，但前提是在极端条件下进行测试。还有许多其他因素（让我们称之为 X）对纯度的影响非常小。这些其他因素未包括在研究中，因为它们对纯度的影响可以忽略不计，或者在工艺进入工厂时可以在设定点很好地精确控制它们。
现在研究的目标是在实验室中进行实验（尽可能模仿大规模操作的小规模实验），系统地改变因素 A、B 和 C，同时保持所有其他噪声因素不变。
在假设的情况下，运行这些反应的化学家没有仔细地进行实验，这意味着没有将 A、B 和 C 因子维持在研究所需的点，也没有将噪声因子控制在指定值，那么可能是噪声因素的组合模糊了因因素 A、B 和 C 的系统变化而产生的实际信号。在这种情况下，结果可能表明因素不会影响测试范围内的纯度。
有没有办法说结果不可靠，因为实验没有按预期进行？特别是如果矩阵中没有重复实验？
回复：筛选设计 - 在不进行重复的情况下，我们如何知道效果是否不显着，或者整个数据是否不好（显着变化）？首先，欢迎来到社区。 我们将尽力为您提供一些想法，并随时回复您提供有关您情况的更多信息。
皮特提出了一些精彩的观点。 以下是我的补充想法：
1. 稳健性对我来说意味着模型在变化的噪声下具有一致的性能（定量地不存在噪声与模型之间的相互作用）。 噪声可能是环境条件、输入化学品的纯度、槽的清洁度、测量系统误差、未特别控制的 X 变化、控制水平内 X 的变化等，或者按照我对噪声的定义：您不愿意管理/控制的因素）。
2. 您能否收集响应变量的数据，同时记录 X 的值。 使用此数据执行线性回归。 您希望响应变量的变化相对较小并且与 X 没有关系。 这是因为 X 的可能性也变化不大（这就是为什么几乎没有证据表明因果关系，即使实际上可能存在）。
3.他们真正要求的（我想）并不是你做筛选设计，因为这样做的目的是大胆改变X并发现潜在的因果关系，而是更像公差设计。 也许这是语义上的问题，但他们想知道 X 的正常随机变化是否会影响响应变量。 因此，选择代表 x 自然变化极端值的水平并运行某种因子设计。 我确实认为你应该采用一些策略来处理其他噪声源（阻塞、重复、裂区等）
4.我不知道你说的是什么意思如果实验者收集了数据那就不好了”。 这是否意味着测量系统值得怀疑？ 在这种情况下，您应该研究测量系统，如果进行实验，请采取重复测量来估计测量组件，并可能对其变化进行平均，以提高设计的精度。
回复：筛选设计 - 在不进行重复的情况下，我们如何知道效果是否不显着，或者整个数据是否不好（显着变化）？我会尝试一些想法。
第一：如果响应的变化淹没了我心中可能被因子变化隐藏的任何信号，则有以下三个原因之一：
1. 测量系统变化过大。 在这种情况下，响应变化的主要原因主要是测量系统变化。 您是否有针对测量系统的持续过程控制系统？ 您知道测量系统固有的“正常”变化吗？ 如果不是，您将永远不知道因因素变化而得出的“没有影响”的结论是真实的，还是只是由于测量系统变化过多而产生的错觉。
2. 噪声/滋扰变量以增加响应变化的方式影响实验过程。 在实验过程中对这些类型的影响保持警惕非常重要。 这是一个棘手的问题，因为你永远无法确定……但在实验进行和计划期间，也许由独立第三方进行的密切关注可能会有所帮助。
3. 确实没什么事发生……
总的来说，你的问题是假设检验的核心，我们永远不能“接受”“这些因素没有发生任何事情”的零假设……只能拒绝它。 在您所描述的情况下，您真正能说的是我们未能拒绝每个可估计效应都等于零的原假设。
