T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T 检验很容易运行，但结果可能会令人困惑！在我的之前的博客文章，我概述了一个场景，其中工程师的任务是确定流程变化是否影响零件的强度。 工程师选择对采用新处理（处理 A）的三个零件进行取样，并与三个标准（对照）零件进行比较。 使用标准 t 检验对结果进行分析，所得 p 值大于 0.05（95% 置信度）。 因此，新工艺被放弃。
在我作为工程师的职业生涯中，我多次看到这种情况，我认为工程师可能已经放弃了良好的流程改进。
我为什么这么说呢？ 首先，我认为由于缺乏对 t 测试的理解以及对我们想要实现的目标缺乏明确性，测试的计划和执行可能很糟糕。 换句话说，处理 A 可能是满足我们提高零件强度愿望的可行解决方案！
让我们看看 t 检验，我们可以从中得到什么，以及结果经常被误解。
我们可以从 t 检验中得到什么？
我们想用 t 检验做什么？ 工程师经常使用 t 检验来尝试检测两大组零件（或总体）的平均值（或均值）之间的差异。 种群太大，我们无法测量所有部分，因此我们从每个种群中抽取有限数量的样本，希望它们能够代表整体。 但由于样本量有限，样本均值几乎总是与其父群体的均值不同。 事实上，它们可能相距甚远！ （例如，我们可能不小心从一个总体中抽取了三个高样本，因此样本均值可能远高于总体均值。）仅比较样本均值肯定会产生误导，因此我们应用一些统计数据（即 t-测试）以允许一些“肯塔基风阻”作为样本手段的补偿。
典型（且不知情）的 t 检验解释
在我们的场景中，工程师为每种类型的零件抽取了三个样本。 （我们不知道他为什么这样做……也许这只是他公司的传统。）我们告诉我们的软件包已经收集了多少样本，以及我们希望在结果。 然后，我们让软件运行 t 检验计算，并得到“p 因子”。这个 p 因子评估我们是否应该“反驳原假设”。 （为什么统计学家不能用简单的英语交谈，对吧？）在我们的场景中，为了获得 95% 的置信度，我们需要一个小于 0.05 的 p 因子，但我们没有实现这一点。 所以我们放弃了改进。
这种解释的问题
置信水平、p 因子、零假设……这些都是统计术语，通常难以理解，并可能导致错误的结论。 让我们用外行人的话来解释一下。
- t 检验（p 因子大于 0.05）告诉我们的是给定我们的样本数据（包括样本量），我们不能说95% 的确定性是两个大群体的均值存在差异。
- 什么是t检验不是说就是人们拥有相同的手段！ 这是非常微妙但极其重要的！ 我们还无法证明它们是不同的，但它们实际上可能仍然是不同的！ 我们数据中的方差（或噪声）使得我们无法检测到此测试中的差异。 但如果我们每个收集 5 个样本（或 10 个或 100 个），也许我们就能检测到差异！
因此，我看到的第一个错误是从失败的（即高 p 因子）t 检验得出总体平均值相同的结论。 请记住，T 检验只能判断总体均值是否不同！
（我掩盖的第二个错误是我们没有明确定义结果需要什么程度的置信度。95% 的置信度在工程领域是典型的，但在医学研究等中通常需要更高的置信度。）
继续下一个错误……
对您来说重要的区别是什么？
回想一下，工程师开始实验只是为了寻找两个总体均值之间是否存在差异。 但在大多数实际场景中，我们感兴趣的是处理 A（在我们的示例中）是否至少比标准有一定程度的改进。 在我们的场景中，0.00001% 的力量提升对我们来说重要吗？ 也许吧，但也可能不是。 1% 的改进对我们来说重要吗？ 还是10%？
这种“重要差异”实际上可以归结为客户的声音，因为（通常）必须根据客户的需求以及客户愿意支付的费用来判断流程改进。 它还可能涉及制作公司的其他几个考虑因素。
在我们的场景中，没有提到人口差异对我们来说意味着什么。 事实上，我们甚至没有明确表示我们希望治疗 A 群体的平均值高于对照！ （在这种情况下，显然我们想要增加零件的强度，但也许零件设计过度，我们想要降低强度以节省成本。）无论我们寻求增加还是减少，也会影响到统计计算，因此指定这一点很重要。 在开始任何测试计划之前，工程团队以及管理层需要确定哪些差异是重要的，以及是增加还是减少。
所以，我经常看到的第二个错误是没有指定重要差异的大小，也没有指定差异的方向（增加或减少）。
这些错误如何影响我们的测试场景？
如果我们考虑到这些点，我们可能会重新设计我们的检验，并得出关于治疗 A 的完全不同的结论。但由于我们缺乏关于 t 检验的知识，并且我们对我们想要实现的目标的定义很差，我们放弃了治疗 A 作为可行的解决方案。
我们将在下一篇博客文章中详细讨论测试计划的其他方面，最后提出完整的问题，这可以帮助避免许多此类错误。 我希望您能在大约一周内收看第 3 部分！
展望未来
我计划在讨论过程中讨论以下所有主题。 希望你能和我一起整个系列！
- 布置一个典型场景
- t 检验真正告诉我们什么？ （这个帖子）
- 其他测试注意事项，并提出完整的问题
- 您的仪表有能力吗（如果没有的话该怎么办）？
- 规划和运行测试：从样本大小到最佳实践
- 分析结果（包括垃圾输入 = 垃圾输出）
- 最后总结
