从错误中吸取教训...... - 第2部分：t检验真正告诉我们什么？
t检验很容易运行，但结果可能会令人困惑！在我的以前的博客我概述了一个工程师负责确定过程变化是否会影响零件强度的方案。 工程师选择使用新处理（处理A）对3个部件进行采样，并与3个标准（对照）部件进行比较。 用标准t检验分析结果，得到的p值大于0.05（置信度为95％）。 因此，新的过程被放弃了。
在我作为工程师的职业生涯中，我已经多次看过这种情况，并且我认为工程师可能已经放弃了良好的流程改进。
我为什么这么说？首先，我认为由于对t检验缺乏了解，以及我们试图完成的工作缺乏明确性，测试可能计划和执行不当。 换句话说，治疗A可能是我们增加部分力量的可行解决方案！
让我们看看t检验，我们可以从中得到什么，以及结果如何被误解。
我们可以从t检验中得到什么？解释结果
我们试图用t检验做什么？工程师经常使用t检验来尝试检测两大部分（或群体）的平均值（或平均值）之间的差异。 人口太大，我们无法测量所有部分，因此我们从每个人群中抽取有限数量的样本，希望它们代表整体。 但由于样本量有限，样本均值几乎总是与其父群不同。 事实上，他们可能相当遥远！（例如，我们可能会意外地从一个群体中抽取3个高样本，因此样本均值可能远高于总体平均值。）仅仅比较样本均值肯定会产生误导，因此我们应用一些统计量（即t检验） ）允许一些 “肯塔基风阻” 作为样本补偿的手段。
典型的（和不知情的）t检验解释。
在我们的场景中，工程师为每种类型的零件绘制了3个样本。 （我们不知道他为什么这样做......也许这只是他公司的传统。）我们告诉我们的软件包收集了多少样本，以及我们想要拥有的置信水平（通常是95％的置信度）结果。 然后我们让我们的软件运行t检验计算，我们得到一个“p因子”。 这个p因子评估我们是否应该“反驳零假设”。 （为什么统计学家不能用简单的英语说话，对吧？）在我们的情景中，95％的置信度我们需要一个小于0.05的p因子，这是我们没有达到的。 所以我们放弃了改进。
这种解释的问题。
置信水平，p因子，无效假设......这是统计术语，通常难以理解，并可能导致不正确的结论。 让我们用外行的话来解开它。
- 什么t检验（p因子大于0.05）告诉我们的是给出我们的样本数据 （包括样本量），我们不能说 95％的确定性，两个大群体的平均值存在差异。
- 什么是t检验不是在说是人口共享相同的手段！这非常微妙但非常重要！我们无法证明它们是不同的，但它们实际上可能仍然不同！我们数据中的方差（或噪声）使得无法检测到该测试中的差异。 但也许如果我们每个（或10或100）收集了5个样本，我们就能够发现差异！
因此，我所看到的第一个错误是从失败（即高p因子）t检验得出结论，即人口均值是相同的。 请记住，T检验只能说明人口的意义是否不同！
（我掩饰的第二个错误是我们没有明确定义结果中需要什么样的置信度。 95％是工程界的典型代表，但在医学研究等方面往往需要更高的信心！）
接下来的错误......
你有什么重要的区别？
回想一下，工程师进入实验只是在寻找两种人口之间是否存在差异。 但在大多数实际情况中，我们感兴趣的是，治疗A（在我们的例子中）是否给我们提供了至少比标准更多的改进。 在我们的方案中，对我们来说重要性的改善是0.00001％？也许，但可能不是。 1％的改善对我们来说是否重要？还是10％？
这种“重要区别”实际上归结为客户之声，因为（通常）必须根据客户的需求判断流程改进，从而判断客户将支付的费用。 它还可能涉及到生产公司的其他几个考虑因素。
在提出的情景中，没有人说人口的差异对我们来说意义重大。 事实上，我们甚至没有明确表示我们希望治疗A人群的平均值高于对照组！（在这种情况下，似乎很明显我们想要增加零件的强度，但也许零件是过度设计的，我们希望降低强度以节省成本。）无论我们是在寻找增加还是减少也是统计的因素计算，所以指定这一点很重要。 工程团队 - 以及管理层 - 需要在任何测试计划开始之前确定哪些差异很重要，以及它是增加还是减少。
所以，我经常看到的第二个错误是没有指定重要差异的大小，也没有指定差异的方向（增加或减少）。
这些错误是如何影响我们的测试场景的？
如果我们考虑过这些问题，我们可能会重新设计我们的测试并得出关于治疗A的完全不同的结论。但是由于我们缺乏关于t检验的知识，以及我们对于我们试图完成的事情的不良定义，我们通过治疗A作为可行的解决方案。
我们将在下一篇博客文章中详细讨论测试计划的其他方面，最后提出问题完整问题，这可以帮助避免许多这些错误。 我希望你能在大约一周内收听第3部分！
展望未来
我打算在我们进行的时候触及所有以下主题。 希望你能加入我们！
- 列出一个典型的场景
- t检验真的告诉我们什么？
- 其他测试注意事项，并提出完整问题
- 你的量具是否有能力（如果没有，该怎么办）？
- 规划和运行测试：从样本大小到最佳实践
- 分析结果（包括Garbage In = Garbage Out）
- 摘要
t检验很容易运行，但结果可能会令人困惑！
您之前可能已经使用过t检验来比较样本中的数据。 也许你已经接受过t-test的正规教育，或者有人给你一些一般的指示和模板。 您很乐意插入数字并获得结果。 还有什么比这更容易？
与任何工具一样，t检验可能被滥用，导致结论不正确导致成本高昂！如果您对外行人对t检验的解释感兴趣，请继续阅读！
JMP博客从错误中吸取教训...... - 第2部分：t检验真正告诉我们什么？ t检验很容易运行，但结果可能会令人困惑！在我的以前的博客我概述了一个工程师负责确定过程变化是否会影响零件强度的方案。 工程师选择使用新处理（处理A）对3个部件进行采样，并与3个标准（对照）部件进行比较。 用标准t检验分析结果，得到的p值大于0.05（置信度为95％）。 因此，新的过程被放弃了。
在我作为工程师的职业生涯中，我已经多次看过这种情况，并且我认为工程师可能已经放弃了良好的流程改进。
我为什么这么说？首先，我认为由于对t检验缺乏了解，以及我们试图完成的工作缺乏明确性，测试可能计划和执行不当。 换句话说，治疗A可能是我们增加部分力量的可行解决方案！
让我们看看t检验，我们可以从中得到什么，以及结果如何被误解。
我们可以从t检验中得到什么？解释结果
我们试图用t检验做什么？工程师经常使用t检验来尝试检测两大部分（或群体）的平均值（或平均值）之间的差异。 人口太大，我们无法测量所有部分，因此我们从每个人群中抽取有限数量的样本，希望它们代表整体。 但由于样本量有限，样本均值几乎总是与其父群不同。 事实上，他们可能相当遥远！（例如，我们可能会意外地从一个群体中抽取3个高样本，因此样本均值可能远高于总体平均值。）仅仅比较样本均值肯定会产生误导，因此我们应用一些统计量（即t检验） ）允许一些 “肯塔基风阻” 作为样本补偿的手段。
典型的（和不知情的）t检验解释。
在我们的场景中，工程师为每种类型的零件绘制了3个样本。 （我们不知道他为什么这样做......也许这只是他公司的传统。）我们告诉我们的软件包收集了多少样本，以及我们想要拥有的置信水平（通常是95％的置信度）结果。 然后我们让我们的软件运行t检验计算，我们得到一个“p因子”。 这个p因子评估我们是否应该“反驳零假设”。 （为什么统计学家不能用简单的英语说话，对吧？）在我们的情景中，95％的置信度我们需要一个小于0.05的p因子，这是我们没有达到的。 所以我们放弃了改进。
这种解释的问题。
置信水平，p因子，无效假设......这是统计术语，通常难以理解，并可能导致不正确的结论。 让我们用外行的话来解开它。
- 什么t检验（p因子大于0.05）告诉我们的是给出我们的样本数据 （包括样本量），我们不能说 95％的确定性，两个大群体的平均值存在差异。
- 什么是t检验不是在说是人口共享相同的手段！这非常微妙但非常重要！我们无法证明它们是不同的，但它们实际上可能仍然不同！我们数据中的方差（或噪声）使得无法检测到该测试中的差异。 但也许如果我们每个（或10或100）收集了5个样本，我们就能够发现差异！
因此，我所看到的第一个错误是从失败（即高p因子）t检验得出结论，即人口均值是相同的。 请记住，T检验只能说明人口的意义是否不同！
（我掩饰的第二个错误是我们没有明确定义结果中需要什么样的置信度。 95％是工程界的典型代表，但在医学研究等方面往往需要更高的信心！）
接下来的错误......
你有什么重要的区别？
回想一下，工程师进入实验只是在寻找两种人口之间是否存在差异。 但在大多数实际情况中，我们感兴趣的是，治疗A（在我们的例子中）是否给我们提供了至少比标准更多的改进。 在我们的方案中，对我们来说重要性的改善是0.00001％？也许，但可能不是。 1％的改善对我们来说是否重要？还是10％？
这种“重要区别”实际上归结为客户之声，因为（通常）必须根据客户的需求判断流程改进，从而判断客户将支付的费用。 它还可能涉及到生产公司的其他几个考虑因素。
在提出的情景中，没有人说人口的差异对我们来说意义重大。 事实上，我们甚至没有明确表示我们希望治疗A人群的平均值高于对照组！（在这种情况下，似乎很明显我们想要增加零件的强度，但也许零件是过度设计的，我们希望降低强度以节省成本。）无论我们是在寻找增加还是减少也是统计的因素计算，所以指定这一点很重要。 工程团队 - 以及管理层 - 需要在任何测试计划开始之前确定哪些差异很重要，以及它是增加还是减少。
所以，我经常看到的第二个错误是没有指定重要差异的大小，也没有指定差异的方向（增加或减少）。
这些错误是如何影响我们的测试场景的？
如果我们考虑过这些问题，我们可能会重新设计我们的测试并得出关于治疗A的完全不同的结论。但是由于我们缺乏关于t检验的知识，以及我们对于我们试图完成的事情的不良定义，我们通过治疗A作为可行的解决方案。
我们将在下一篇博客文章中详细讨论测试计划的其他方面，最后提出问题完整问题，这可以帮助避免许多这些错误。 我希望你能在大约一周内收听第3部分！
展望未来
我打算在我们进行的时候触及所有以下主题。 希望你能加入我们！
- 列出一个典型的场景
- t检验真的告诉我们什么？
- 其他测试注意事项，并提出完整问题
- 你的量具是否有能力（如果没有，该怎么办）？
- 规划和运行测试：从样本大小到最佳实践
- 分析结果（包括Garbage In = Garbage Out）
- 摘要
t检验很容易运行，但结果可能会令人困惑！
您之前可能已经使用过t检验来比较样本中的数据。 也许你已经接受过t-test的正规教育，或者有人给你一些一般的指示和模板。 您很乐意插入数字并获得结果。 还有什么比这更容易？
与任何工具一样，t检验可能被滥用，导致结论不正确导致成本高昂！如果您对外行人对t检验的解释感兴趣，请继续阅读！
JMP博客
