从错误中吸取教训——第 3 部分：提出完整的问题
What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?计划测试时我还应该考虑什么？
对于我的第三部分“从错误中吸取教训”博客系列，我想总结一下我对计划测试的准备工作的想法。 我们已经讨论过 t 检验的总体预期。 所以，我们现在知道我们需要建立一个置信水平，建立一个与当前条件相比的改进目标，并建立一个改进方向（大于或小于当前条件）。 现在让我们讨论一些其他测试注意事项，然后总结提出完整的问题。
测试计划之前的其他考虑因素
回想自原来的场景工程师决定从每个群体中抽取三个样本，以确定新处理和对照之间群体平均值是否发生变化。 他为什么选择三个样本？ 为什么不是五个？ 还是10个？ 还是2？ 也许是因为“我们一直都是这样做的”。也许还有其他尚未描述的考虑因素。
从纯粹的统计/数学角度来看，选择样本量时总是越多越好。 毕竟，如果我们可以从总体中对所有部分进行采样，那么我们就不必对总体的均值或方差做出任何假设。 我们会知道的！
不幸的是，我们日常工作中有许多实际考虑因素会影响样本量的选择。 更不幸的是，我自己也因没有考虑执行给定测试的所有限制和影响而感到内疚。 在开始测试之前考虑这些因素会比匆忙浪费时间要明智得多。
下面我提供了一些可能会影响您如何计划测试的事项：
- 这次测试的预算是多少？
- 我们什么时候需要答案？
- 如果需要在本周末之前得到答案，但测试至少需要一个月才能完成，那么我们需要重新考虑我们试图回答的问题以及我们用来回答它的方法。
- 我们有能力建造多少测试样本？
- 这可能涉及零件本身的成本，以及制造它们的时间和日程安排。 我们是否要关闭生产线来制造这些零件？
- “批量”对我们来说重要吗（假设零件是批量生产的）？
- 如果是这样，请考虑跨多个批次进行抽样。 当然，这会影响生产初始测试部件的时间以及获得最终结果的时间。
- 我们可以实际测试多少样本？
- 测试样品的实验室是否忙于其他事情？ 将样品发送到外部实验室需要花钱吗？
- 我们真的计划以正确的方式测试正确的参数吗？ 在我们的场景中，我们希望增加零件的“强度”。 测量强度的方法有很多（例如拉力测试、重复循环、冲击测试）。 或者也许我们确实需要测量弹性模量、硬度或其他一些参数。 不要急于开始测量！
- 我们是否可以使用现有的测试设备来测量我们想要检测的“重要差异”？
- 测量系统分析有助于了解您的仪表变化。 我将在下一篇博文中详细介绍这一点，包括如果您的仪表不够好该怎么办。
- 您知道控制部件中正常的部件间强度变化吗？ 您期望新零件具有相同的变化吗？ 预期变化是否呈正态分布？
- 当我们计划测试和分析结果时，这些问题发挥着重要作用。
- 除了提高零件的平均强度之外，保持现有的零件间差异对产品是否重要？ 变化是否也需要改进？ 反过来说，可以扩展吗？
- 如果我们提高零件的平均强度，但增加零件的分布（变化），我们实际上会产生更多的废品吗？
- 通常我们担心流程失控和/或制造不良零件。 但是，如果我们有一个可控的流程来生产始终如一的优质零件，那么我们要花多少钱来维持这种控制？我们能否容忍新处理部件的较大变化并在过程控制方面节省一些资金？
所有这些考虑因素都包含在为我们的假设选择样本大小时t检验。 （我相信您还可以想到在计划测试之前需要讨论的更多注意事项。）
所以，我将这个错误称为：没有充分考虑可能影响测试计划的所有因素。
我们想要回答的完整问题是什么？
您可以通过留出时间“提出完整的问题”来减少上述所有讨论和错误。 （在这里，我需要大声疾呼比尔·卡佩尔，我的导师和朋友，他多年前就教给我这个方法。）
“提出完整的问题”意味着完成上面的所有讨论（以及第 1 部分和第 2 部分）并确保所有内容都已考虑在内，因此我们正在测量正确的数量，定义测试的限制，定义差异的重要程度对我们等
在我们的场景中，假设我们已经与所有感兴趣的各方和利益相关者进行了交谈，并且我们将问题重写如下：
“在 95% 的置信度下，我们是否可以说，与当前工艺相比，处理 A 将零件的平均强度提高了 1 个单位以上，而不增加工艺的变化？”
接下来，我们将列出所有限制。 其中一些可能是：
- 我们有能力构建和测试总共 40 个部件（处理 A + 对照的所有部件总数 <= 40）
- 我们可以忽略Batch的影响
- 我们需要在一个月内得到答案（刚好足够完成这个博客系列！）
确认我们已提出完整的问题
在我的职业生涯中，我见过工程师在实验室花费大量时间和资源试图弄清某些问题的真相，却发现没有人关心结果。 问题不在于最初的思考和测试计划。 问题不在于测试执行。 问题在于工程师没有提前检查以确保正确/完整的问题得到了回答。
Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan?老板同意你的计划吗？
因此，一旦我们完成了所有这些前瞻性思考和测试计划，最好做最后一件事：询问您的经理他/她是否同意这是需要回答的问题。 事实上，如果测试需要很长时间才能运行，那么定期与管理层检查以确保条件没有改变是个好主意。 没有人愿意浪费时间进行无用的测试！
接下来
我计划在讨论过程中讨论以下所有主题。 希望你能和我一起整个系列！
What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?计划测试时我还应该考虑什么？
您收到了老板的分配任务，并且迫不及待地想要开始测试。 准备，开火，瞄准！ 您在仔细计划测试之前就开始收集数据。 你曾经这样做过吗？ 您确定您已经考虑了测试的所有影响和限制吗？ 您是否与各方核实过，以确保您的计划是正确且有用的？ 如果没有，请继续阅读以了解“提出完整的问题”。
回复：从错误中吸取教训——第 3 部分：提出完整的问题这是提出正确问题的一个非常好的方法。
1993年，我和Doug Montgomery同时设计了一本“能源部大师指南”。 他首先发表了论文（Technometrics，1993）。 从那时起我就一直在使用该指南。 它询问与您相同的问题。
我的网站上有一份副本（ http://cawseandeffect.com/doe-master-guide/ ） 随意看看。
回复：从我的错误中学习——第 3 部分：提出完整的问题一点也不挑剔， @calking ！很高兴收到评论。
是的，样本大小确实需要权衡，并且您提出了一些很好的观点。你并没有抢我的风头……只是激发了人们对选择适当样本量的兴趣。感谢您的想法和投入！
回复：从错误中吸取教训——第 3 部分：提出完整的问题嘿杰瑞，
喜欢你的系列！ 作为一个拥有行业经验的人，我很高兴看到有人涵盖与我研究的相同主题（并克服一些相同的错误）。 迫不及待想看看接下来会发生什么！
我确实有一个简短的评论，希望它不是太挑剔:-/。 您提到从统计/数学角度来看，样本越多越好。 在某种程度上，我当然同意。 这就是我开始考虑收益递减的地方。 额外的样本为回答我的问题提供了多少更多信息？ 是否值得花费额外的时间和/或金钱来获取额外的数据？
也许一个极端的例子可能有助于说明我的观点。 假设我让您在整个感兴趣的人群和该人群的子集之间进行选择。 如果我就这样，你可能会毫不犹豫地选择整个人口。 但是，如果我告诉你（用我最好的劳伦斯·菲什伯恩的声音和很酷的太阳镜）这个子集由人口中除一名成员之外的所有人组成，该怎么办？ 这个时候，选择恐怕会更加困难。 您可能会开始问“那么，两者之间到底有什么区别？ 我真的需要一名额外的成员来回答我的完整问题吗？” （您将使用上述博客文章中的指导问题来确定：） ）。 也许你会，也许你不会。 但关键是，选择不再那么明确了。这让我想起一个著名的悖论当你把沙粒一粒粒地移走时，一堆沙子就不再是一堆了。 如果你以相反的方式思考，添加更多的沙子（数据）会为我提供有价值的信息，还是只会给我一个比我已经拥有的沙堆稍大的堆？
现在，显然，大多数人的情况属于拥有更多数据显然意味着拥有更多信息的范畴。 通常，在进入大样本情况之前，您不需要担心这一点。 但我认为，如果您曾经使用统计功效计算来帮助确定样本大小，那么您就隐含地使用了这种收益递减的论点。 毕竟，功效计算只是告诉您实现统计目标所需的最小样本量（假设使用得当），这意味着额外的数据只是锦上添花。
（希望我没有从你即将发布的帖子中窃取任何风头:-/。 或者太挑剔了:-/。)
