为什么这是一个令人毛骨悚然的统计报表？ #1我将在接下来的几周内启动一些讨论主题，并邀请任何 JMP 用户参与
符合他们的想法。这些讨论将围绕“令人畏惧的统计报表”展开。
请考虑贡献。几天后，我将在博客文章中总结想法， 和介绍另一个令人难堪的声明！
这是令人难堪的声明#1：
我们进行 t 检验来比较两个总体的平均值。我们希望结果有 95% 的置信度。我们运行测试，p 值为 0.63。我们声明“由于 p 不小于 0.05，我们得出结论，这些总体的均值没有差异。 ”
为什么这个说法令人毛骨悚然？？？？
质量和工艺工程分享和交流结果回复：为什么这是一个令人难堪的统计报表？ #1对我来说，这并没有反映出足够的理解水平，但至少它或多或少是“正确的解释”。
一些人讨论了一些类似于我称之为“p 值方法”和运行 T 检验的“置信区间方法”的内容。我喜欢认为这两种分析方法本质上是同一件事，我将在这里提出（请随意不同意我的观点）它们实际上是， （数学表达）同一事物的不同方式。在大多数情况下，JMP 非常聪明地以两种方式为您提供统计演示，我真的很喜欢这一点！ 使用置信区间进行解释（在普通 T 检验、非劣效性检验、等价性和优越性检验的背景下）对我来说一直更容易解释。
我的一位好朋友给了我一本很好的教科书参考资料，我认为它说明了这一点：
Bluman，《基础统计学》（第 7 版），2015 年
回复：为什么这是一个令人难堪的统计报表？ #1我不会将这种解释称为“我有 95% 的信心样本均值差异不小于下 CI 且不大于上 CI”本身就是“错误”，事实上，我认为这是一种完全合适的表述方式这是“正确的”并且很容易表达，但我想说这种解释只是“普遍被误解” @dale_lehman正如你所指出的。
作为@朱利安说在利用数据进行决策 (STIPS) - 4.1 估计{您可以从成绩单中获取此信息，我在屏幕上抓取了下面标题为“的相应模块参考”演示：了解置信水平和 Alpha 风险”}
“我们将单击重置样本，将样本数量更改为 100，然后单击绘制附加样本。 当我们继续抽取样本时，请注意样本的平均值接近真实平均值。 另请注意，接近 95% 的置信区间包含真实平均 IQ 值，而大约 5% 的置信区间不包含真实平均值。”
“这就是我们所说的‘信心’这个词的意思。 一般， 为一个95% 置信度间隔，9使用此间隔方法的时间中有 5% 的时间间隔捕获真实的参数值”。
当然，这是基于总体的推论，但它是基于样本数据的。 这就是我们在进行一般推论统计时所做的事情。 整个事业就是根据我们拥有的样本数据对总体进行推断。 再次，在同一个利用数据做出决策第 4 单元，观看第 4.1 节统计推断简介。这里， @米亚斯蒂芬斯以清晰、准确和直接的方式谈论这一点。
回复：为什么这是一个令人难堪的统计报表？ #1我不认为我的例子真的与贝叶斯与频率分析或 p 值有任何关系（至少直接）。当然，你是对的，说我对这个 95% 置信区间内的真实值有 95% 的信心是不正确的：置信度是在过程中，而不是任何一个特定的置信区间。真实值要么在某个特定区间内，要么不在该特定区间内。
但我的观点是，95% 是我可以给出的最佳估计，无论我的一个特定区间是包含真实值的 95% 的“好区间”之一，还是给出错误值的 5% 的区间之一结论。你可能会觉得错误的解释令人难堪，但我不这么认为。事实上，我觉得正确的解释有点令人尴尬，因为它是一堆让大多数人流泪的词语。而且，我认为这导致了更糟糕（也更令人尴尬）的做法，即完全忽略不确定性并将点估计视为真实值。
回复：为什么这是一个令人难堪的统计报表？ #1除了之前帖子提到的其他问题之外，
1）当测试均值等价性时，必须预先指定测试的侧面性。 如果没有另外说明，均值等价性检验通常意味着 2 边检验，在这种情况下 alpha（5% 的 I 类错误概率）是零分布上尾部和下尾部的面积之和。 在几乎所有情况下，此概率均等划分，因此应与 p 值进行比较的尾部区域应为 alpha/2，即 0.025，而不是 0.05。
** 编辑：JMP 通过将使用关键统计量找到的尾部加倍来为您解决此问题，但如果您“手动”执行此操作，您最终会拒绝 < 0.025 的单尾部区域。
2）“结果置信度为 95%”是令人尴尬的，因为它误解了假设检验背后的主要思想。 您可以 100% 确信，在显着性水平为 0.05 的假设检验中，您将采用某种程序（如果您做得正确的话）。 当两个分布的均值实际上相同时，从长远来看（假设所有假设成立），该过程有 5% 的时间会产生检验统计量，由于抽样变异性，该统计量会导致不同均值的结论。
3) 这种性质的假设检验只有 2 个可能的结论：1)“样本数据提供了（令人信服的）证据证明原假设是错误的”和 2）“样本数据没有提供令人信服的证据证明原假设是错误的”是假的”。 值得注意的是，“根据样本数据，我们得出原假设为真”的说法。 一般来说，当你想证明某件事时，你会将你试图证明的内容框定为备择假设，希望数据支持拒绝零值而支持备择假设。 如果研究人员试图证明手段上的等价性，那么两个单方面的检验会更合适。
4）其他人已经提到了这一点，但值得重复：统计显着性和实际显着性不一定是，而且通常不是，同一件事。 实际意义应该从第一方（如果不是零方）开始讨论并达成一致。
@dale_lehman提到“正确解释的问题在于，它并不能让我们对我们实际拥有的样本说出任何话。”我不同意，但我知道他这样做的目的。 每种统计技术都有一个旨在回答的特定问题。 特别是在数据未能拒绝零假设的情况下，非统计学家（以及贝叶斯统计学家，就此而言）在频率假设检验中遇到的主要问题之一是 p 值回答的问题是提出不自然的问题，即：“在零假设下，我观察到的结果与我实际观察到的结果一样极端，甚至更极端的概率是多少？”。 贝叶斯主义者会说他们的方法回答了更自然的问题，但贝叶斯技术有自己的问题——没有万能药。 没有什么可以替代了解哪些技术更适合回答某些问题，并选择一种非常适合您要回答的问题的技术。 最近对 p 值的强烈反对，尤其是在医学研究领域，让我觉得有点像对叉子用作眼罩时的强烈反对。 与其他工具一样，p 值也是一种工具。 以正确的方式使用它，完成正确的工作，你会没事的......以错误的方式使用它，“你会射出你的眼睛！”。
回复：为什么这是一个令人难堪的统计报表？ #1我真的很喜欢@乔治上面回复中的最后一句话。 作为一名在工业流程/产品商业化或纠正行动团队工作了 20 多年的统计学家，我经常告诉与我一起工作的工程师、科学家和经理，“有一天，你让我，一名统计学家，告诉你如何运行你的流程是你走向毁灭之路的开始之日。 你对你的流程/产品的遗忘比我所知道的还要多。”
或者正如沃尔特·休哈特（Walter Shewhart）所写（由我转述）：“统计学的长期贡献与其说取决于培养一群统计学家，不如说取决于培养一群具有统计学头脑的工程师、科学家、生产人员和其他人。”
回复：为什么这是一个令人难堪的统计报表？ #1稍微扩大一下讨论范围——对我来说，这从一开始就听起来并不值得。 在我看来，这仍然是一个有效的决定。 当然，正如其他人已经指出的那样，可能会缺少很多额外的信息来信任该决定。 因此，在我看来，这取决于声明的上下文以及声明者。 顺便问一下，相同字数的正确陈述是什么？
另外，虽然我有时喜欢讨论正确的措辞——术语很重要，但我不喜欢在统计学家和没有深厚统计学知识的流程工程师之间建立一堵墙。 但后者知道他们的数据和流程。 正如我们可以想象的那样，在光秃秃的数字表下面还有很多更重要的事情。 这可能是数据采样的环境以及所做决策的后果，例如@P_巴特尔已经说明了。 决定仍然必须由人类做出，而不是由机器做出。
回复：为什么这是一个令人难堪的统计报表？ #1+ 没有提及正常性检查
回复：为什么这是一个令人难堪的统计报表？ #1谢谢@statman ！为以后的帖子提供更多好的素材。
继续评论！
回复：为什么这是一个令人难堪的统计报表？ #1嘿@P_巴特尔！很高兴听到你的消息！
谢谢回复！！我们会将这些想法放入我的（不断增长的）令人畏惧的声明列表中，并在以后的帖子中提出它们！
保持健康，我的朋友！
回复：为什么这是一个令人难堪的统计报表？ #1我会玩...我最喜欢的其实很简单...使用短语“统计显着性”应用于任何没有上下文的地方。 有趣的是，如果你问某人当这个短语时他们是否更有可能相信某事具有统计显着性补充说，他们回答“是”，但对正在进行的比较一无所知。
回复：为什么这是一个令人难堪的统计报表？ #1我从哪说起呢？ 样本大小（没有说明......可能太小而无法让信号有机会超越噪声）？ 选择的 alpha 风险是什么（“...对结果有 95% 的信心...”对于 alpha 风险来说是毫无意义的陈述。 该声明到底是什么意思）？ 什么是原假设（未说明）？ 测量误差是多少（已知或假设）？ 抽样计划是什么（随机、方便、首先/最后离线、分层或其他计划）？ 什么是代表性风险……而不仅仅是统计风险？ 不断地。
回复：为什么这是一个令人难堪的统计报表？ #1我同意这个令人畏惧的例子——对缺乏证据并不意味着缺席的典型误解。请考虑经典但不那么直接的说法：“95% 置信区间的范围是从 x 到 y，这意味着我有 95% 的信心认为真实效果在 x 和 y 之间。”我碰巧相信这样说是可以的，尽管我知道正确的说法是“以这种方式构建的所有随机样本中 95% 将包含真实效果”。当然，我们不知道我们的样本是不包含真实总体效应的 95% 样本之一还是 5% 样本之一，而且它要么包含，要么不包含。但是，鉴于我们拥有的一个样本，我认为我们能说的最好的就是第一个引用的陈述，尽管它在技术上不正确。
我想听听其他人对这个例子的看法。统计学家喜欢指出这种对置信区间的错误解释是多么普遍，而我完全可以理解。我承认给了学生错误解释它的自由（尽管至少我指出了正确的解释是什么）。正确解释的问题在于，它无法让我们对我们实际拥有的样本做出任何评价。
