关键思想
实际重要性与统计显着性，低功耗
背景
约翰·克里奇 (John Kerrich) 是一位英国数学家，二战期间他发现自己身处丹麦的战俘营。 这大大释放了他的日历。 为了打发时间，他进行了一系列概率实验。
大多数统计学家声称硬币是公平的，这给了 Kerrich 检验这一说法的机会。 他有时间掷硬币 10,000 次，结果是 5,067 个正面和 4,933 个反面（统计在生命科学中的实践，第 2 版，Baldi 和 Moore，第 209 页）。
任务
确定这是否是一枚公平的硬币。 “公平”意味着出现正面和反面的可能性相同。
数据克里奇.jmp
数据集包含结果和每个结果的计数。
结果正面或反面
计数 10,000 次翻转中出现正面和反面的次数
分析
我们首先探索 10,000 次翻转中出现正面和反面的频率。
图表 1结果分配
（分析 > 分布；选择结果作为 Y，列和数数作为频率，然后单击确定。对于水平布局，请选择顶部红色三角形下方的堆叠。）
当然，硬币出现公平地说——样本中正面和反面的数量大致相同。
95% 的置信区间（图表 2）表明最可能出现正面的概率范围为 0.4969 到 0.5165。
图表 2 结果的置信区间
（从 Distribution 输出中，点击下方的红色小三角并选择 Confidence Interval > 0.95。）
这些数据与我们用公平硬币看到的结果一致。 然而，我们不能说硬币是公平的——我们不能肯定原假设。
假设检验是一种拟合优度检验：
何：硬币是公平的。
哈：硬币不公平。
拟合优度检验（图表 3）均给出了 0.1802 的 p 值。 我们没有证据表明硬币不公平。 同样，需要双重否定以避免确认原假设。
图表 3 结果的拟合优度检验
（从 Distribution 输出中，单击下方的红色三角形并选择 Test Probabilities。 在 Hypoth Prob 下为 Heads 和 Tails 输入 0.5，然后单击 Done。）
拟合优度检验的工作原理
似然比和 Pearson 检验都比较观察到的计数 ( o我) 到预期计数 (e我). 在这种情况下，观察到的正面计数为 5,067（ o头) 和尾巴 4,933 ( o尾巴). 正面和反面的预期计数（电子头和电子尾巴) 是 5,000。
您可以验证（一个练习）似然比检验统计量是：
皮尔逊检验统计量是：
功效和样本量
尽管在这种情况下对数据进行基本分析非常简单，但它确实提供了一个在简单上下文中探索一些重要想法的机会。 让我们考虑另外两个样本量非常不同的数据集。
图表 4一个小样本（小计数）和一个非常大的样本（大计数）
对于小数据集，样本比例为 0.62，而对于大数据集，样本比例为 0.502。 哪个能提供更有力的证据证明硬币是不公平的？ 在您熟悉假设检验的某些方面之前，结果可能会令人惊讶。
大样本分析
当然，这枚硬币看起来很公平（图表 5）。 很难从图表中判断哪个出现得更频繁，是正面还是反面。 实际上正面朝上的概率只有 50.2%。 对于外行来说，这枚硬币似乎比约翰·克里奇抛出的那枚硬币更公平。
图表 5的分布结果
推理讲述了一个不同的故事。 事实上，有强有力的证据证明硬币不公平（图表 6）。p 值为 0.0047！
图表 6大样本推理
这是一个错误吗？ 不。 置信区间实际上支持这种说法。 区间估计是，从长远来看，硬币正面朝上的概率在 50.006% 到 50.34% 之间。 该间隔不包括 50%，因此硬币被装载到地头。
如果这看起来是一个奇怪的结果，那么您可能不熟悉大样本对假设检验的影响。 当样本量很大时，统计检验有能力检测与零假设的非常小的偏差。 在这里，零假设是硬币是公平的，硬币看起来不公平。 当然，这枚硬币并不是很不公平，但它确实显得有点偏正面。 这可能是也可能不是您所说的公平硬币的真正含义。 如果你和你的室友是用这个硬币来决定谁倒垃圾，这个硬币可能是完全公平的。 但是，如果一家赌场用这种硬币押正面，而顾客押反面，并且有 100,000 个每小时 10 美元的赌注，这可能会使赌场发财。
在统计学中，假设检验的功效是检验在原假设为假时拒绝原假设的概率。 当样本量很大时，测试具有很大的功效。 事实上，当样本量非常大时，拒绝原假设可能是常规做法。 这得到了实际重要性和统计意义之间的区别。 表明实际重要性的措施，例如置信区间，R 2个当样本量很大时，等可能比 p 值更重要。
非常小样本的分析
现在，我们考虑小样本的结果。
从图表 7 中的条形图和频率分布来看，这似乎是硬币正面远远多于反面的明确证据。 在样本中，硬币实际正面朝上的概率为 62%，而 Kerrich 的数据为 50.67%。 但是，和以前一样，推理会讲述一个不同的故事。
图表 7的分布结果, 非常小的样本
事实上，p 值均高于 0.05 的显着性水平，因此我们不能拒绝零假设硬币是公平的。
图表 8极小样本的推断
对图表 8 中置信区间的检查再次揭示了问题。 因为样本量小，置信区间很宽。 硬币正面朝上的时间比例的长期估计区间为 0.48 到 0.74。 此区间包括高于和低于 0.50 的值，因此我们确实没有足够的证据来排除公平硬币。
道德
样本量在统计推断中起着重要作用。 当样本量很大时，我们可能会检测到差异，但差异可能没有任何实际意义。 当样本量很小时，我们可能无法检测到差异（我们的样本和零假设之间），即使看起来有些事情正在发生。 大样本通常意味着我们有很大的能力来检测差异，而小样本通常会导致低能力。
使用一些随机生成的数据、散点图和回归的示例进一步说明了这一想法。
要在 Kerrich Power.jmp 中生成数据：
首先，2,000 行随机正态值（错误) 是使用 JMP 公式编辑器生成的，均值为零，标准差为 1。
接下来，x 值（ x_大) 生成。 这些值是从 1 到 8 的随机整数。
最后，y 值（大) 是从随机正态值 (错误) 和 x 值 ( x_大).
它可能看起来不像一条线适合这些数据，但大数据集 (n = 2,000) 会产生一些惊喜。 您在图表 9 的散点图中看到趋势了吗？
图表 9大型数据集的散点图 (大和x_大)
（分析，用 X 拟合 Y；使用大作为 Y，响应和x_大作为 X，因子。）在图表 10 中，我们对数据拟合了一条回归线。 一条线是否适合数据？
图表 10大数据集的回归 (大和x_大)
（从“双变量拟合”输出中，点击红色小三角并选择“拟合线”。）
而 R 2个仅为 0.056，表示只有 5.6% 的变化大由回归解释使用x_大，p 值小于 0.0001（零假设是数据中没有趋势，备选假设是数据中有趋势）。
这就是大样本的力量；检测到微小趋势。 然而，趋势可能没有任何实际意义。 当然，如果这是我工资上涨的速度，我不会留下深刻印象！
现在，让我们看一个非常小的样本，其中 y 和 x 值是从大样本中提取的。 列y_small和x_small包含五个观察结果。
在图表 5 的图中，数据似乎有很强的线性趋势。 但是，请记住数据中的清晰模式，但样本量非常小 (n = 5)。
图表 10非常小的数据集的回归 ( y_small和x_small )
我相信您可能已经猜到这是怎么回事了。
而 R 2个为 64.2%，表明y_small可以通过回归来解释x_small ，p 值为 0.1031。 这意味着只有微弱的证据（充其量）表明一条线适合数据。 那么发生了什么？
对于一个小数据集，虽然一条线似乎确实符合数据，但我们不能排除机会作为对明显模式的替代解释。 P 值是一种评估机会产生这种模式的可能性的方法。 虽然看起来有一个模式，但如果这些点只是随机产生而没有真正的关系，那么我们有 10.04% 的机会得到一个如此强大甚至更强的模式x_small和y_small .
概括
统计见解
大样本可以检测到细微的模式，有时这些模式没有任何实际意义。 非常小的 p 值并不总是意味着发生了重要的事情，尤其是当样本量很大时。 小样本可能表明一个相对清晰的模式，但我们不能确定该模式是真实的而不是偶然变化产生的。 大的 p 值并不总是意味着什么都没有发生，尤其是当样本量很小的时候。
启示
当结果似乎与我们所说的有关功效和样本量的内容相矛盾时，就会出现一些最具信息量的科学结果。 通常，样本量非常小的试点研究会发现明显的效果。 在这种情况下，即使 p 值可能不是特别小，科学家们也常常受到鼓励，因为尽管测试的功效很低，但还是发现了一些东西。 这样的结果通常值得通过更大规模的研究进一步追求。
另一方面，有时涉及大量样本的几项研究未能发现效果。 虽然我们永远无法肯定原假设，但当几项非常大的研究都没有产生任何影响的证据时，在某些时候我们应该对该声明非常怀疑。
例如，许多（如果不是大多数）篮球迷认为一些球员有热和冷的投篮命中率。 一组认知心理学家使用来自 NBA 的几个大型数据集来测试这种说法的各种版本。 他们没有发现连续投篮的证据（“关于篮球中‘热手’的冷事实”，Amos Tversky 和 Thomas Gilovich，Chance，第 2 卷，1989 年，第 16-21 页）。 虽然我们不能说连续射击不会发生（这意味着肯定零假设），但不同数据集的数量、数据集的大样本量，以及他们对人们为什么会误解随机模式的解释，结合起来产生了极端的怀疑将连胜视为一种现象。
当样本量较小（因此功效较低）时，找到任何影响的证据可能很重要。 当样本量很大（因此功效很高）时，未能发现效果是值得注意的。
JMP ®功能和提示
本案例使用 Distribution 平台生成条形图和频率分布，为比例创建置信区间，并进行拟合优度检验。
公式编辑器用于生成随机数据，以说明回归情况下与样本大小和功效的关系。 我们使用 X 拟合 Y 来生成散点图和拟合回归线。
练习
- 对于 Kerrich 抛硬币练习 (克里奇.jmp )，什么是总体，什么是样本？ 样本是简单随机样本吗？ 如果样本不是简单随机样本，你认为它是代表性样本吗？ 为什么或者为什么不？ 你认为抛硬币是独立的吗？
- 卡尔·皮尔逊 (Karl Pearson) 是一位著名的统计学家，皮尔逊检验统计就是以他的名字命名的，他抛硬币 24,000 次，结果是 12,012 次正面朝上。 在 JMP 中创建一个数据表，并执行与上述类似的数据分析。 你的原假设是什么？ 你能得出什么结论？
- 在大样本示例中，我们观察到 251,000 个正面和 249,000 个反面。 我们本来期望看到（对于公平的硬币）250,000 个正面和 250,000 个反面。
- 使用给定的公式验证似然比和 Pearson 检验统计数据：
- 许多教科书使用以下测试统计来执行涉及一个比例（对于公平硬币）的测试：
何：p = p o相对
哈：p≠p o
对于这个测试，测试统计量是：样本中头的比例在哪里，是假设的头部比例，并且n是样本量。
计算z并验证。 换句话说，确认这只是 Pearson 检验统计量的另一种形式（您还可以验证 p 值是否相同）。
