关键想法
实际重要性与统计意义，低功耗
背景
约翰·克里奇 (John Kerrich) 是一位英国数学家，二战期间他被关在丹麦的战俘营里。 这大大释放了他的日程安排。 为了打发时间，他进行了一系列概率实验。
大多数统计学家都声称硬币是公平的，这给了克里奇一个检验这一说法的机会。 他有时间抛硬币 10,000 次，结果是 5,067 个正面和 4,933 个反面（统计学在生命科学中的实践，第二版，巴尔迪和摩尔，第 209 页）。
任务
确定这是否是一枚公平的硬币。 “公平”意味着正面和反面出现的可能性相同。
数据克里奇.jmp
数据集包含结果和每个结果的计数。
结果正面或反面
计数 10,000 次翻转中正面和反面的数量
分析
我们首先探讨 10,000 次翻转中正面和反面出现的频率。
附件1结果分配
（分析 > 分布；选择结果作为 Y、列和数数作为Freq，然后单击“确定”。对于水平布局，选择顶部红色三角形下方的“堆栈”。）
当然，硬币出现公平地说，样本中正面和反面的数量大致相同。
95% 置信区间（图表 2）表明正面最合理的概率范围为 0.4969 到 0.5165。
图表 2 结果的置信区间
（从分布输出中，单击下方的红色三角形并选择置信区间 > 0.95。）
这些数据与我们用公平硬币看到的结果一致。 然而，我们不能说硬币是公平的——我们不能肯定原假设。
假设检验是拟合优度检验：
何：这枚硬币是公平的。
哈：硬币不公平。
拟合优度检验（图表 3）的 p 值为 0.1802。 我们没有证据表明该硬币不公平。 同样，需要双重否定才能避免肯定原假设。
图表 3 结果的拟合优度检验
（从分布输出中，单击下方的红色三角形并选择检验概率。 在正面和反面的假设概率下输入 0.5，然后单击“完成”。）
拟合优度检验的工作原理
似然比和皮尔逊检验都比较观察到的计数（哦我) 到预期计数 (e我）。 在这种情况下，观察到的正面计数为 5,067 (哦头) 和尾部 4,933 (哦尾巴）。 正面和反面的预期计数 ( e头和e尾巴）是 5,000。
您可以验证（练习）似然比检验统计量为：
皮尔逊检验统计量为：
功效和样本量
尽管在这种情况下对数据进行基本分析非常简单，但它确实提供了在简单背景下探索一些重要想法的机会。 让我们考虑另外两个数据集，它们的样本量非常不同。
图表4小样本（小数量）和非常大样本（大数量）
对于小数据集，样本比例为 0.62，而对于大数据集，样本比例为 0.502。 哪个将提供更有力的证据来证明硬币不公平？ 在您熟悉假设检验的某些方面之前，结果可能会令人惊讶。
大样本分析
当然，这枚硬币看起来很公平（图表 5）。 从图表中很难分辨出正面和反面哪个出现的频率更高。 正面朝上的实际发生率只有 50.2%。 对于外行人来说，这枚硬币甚至比约翰·克里奇翻转的那枚还要公平。
图表5的分布结果
推理讲述了一个不同的故事。 事实上，有强有力的证据表明该硬币不公平（图表 6）。p 值为 0.0047！
图表 6大样本推断
这是一个错误吗？ 不。 置信区间实际上支持了这一说法。 区间估计是，从长远来看，硬币正面朝上的概率在 50.006% 到 50.34% 之间。 该区间排除了50%，因此硬币被装载到地头。
如果这看起来是一个奇怪的结果，那么您可能不熟悉大样本对假设检验的影响。 当样本量很大时，统计检验能够检测出与原假设的非常小的偏差。 这里，零假设是硬币是公平的，而硬币看起来不公平。 当然，这枚硬币并不是很不公平，但它确实显得有点偏向正面。 这可能是也可能不是您所说的公平硬币的真正含义。 如果你和你的室友用这枚硬币来决定谁倒垃圾，那么这枚硬币可能是完全公平的。 但是，如果赌场用这种硬币赌正面，而顾客赌反面，每小时有 100,000 次赌注，赌注为 10 美元，这可能会让赌场发大财。
在统计学中，假设检验的功效是检验在原假设为假时拒绝原假设的概率。 当样本量很大时，检验就具有很大的功效。 事实上，当样本量非常大时，拒绝原假设可能是例行公事。 这体现了实际重要性和统计显着性之间的差异。 表明实际重要性的度量，例如置信区间 R 2当样本量较大时， 等可能比 p 值更重要。
极小样本的分析
现在，我们考虑小样本的结果。
从图表 7 中的条形图和频率分布来看，这似乎是明确的证据，即硬币正面朝上的次数远多于反面朝上的次数。 在样本中，硬币实际上正面朝上的概率为 62%，而 Kerrich 的数据为 50.67%。 但是，和以前一样，推理会讲述一个不同的故事。
图表 7的分布结果, 非常小的样本
事实上，p 值均高于 0.05 的显着性水平，因此我们不能拒绝硬币是公平的原假设。
图表 8极小样本的推论
对图表 8 中置信区间的检查再次揭示了这一点。 由于样本量很小，置信区间很宽。 硬币正面朝上的时间比例的长期估计区间为 0.48 到 0.74。 该区间包括高于和低于 0.50 的值，因此我们确实没有足够的证据来排除硬币的公平性。
道德
样本大小在统计推断中起着重要作用。 当样本量很大时，我们可能会检测到差异，但这种差异可能没有任何实际意义。 当样本量很小时，即使看起来正在发生某些事情，我们也可能无法检测到差异（样本与零假设之间的差异）。 大样本通常意味着我们有很大的能力来检测差异，而小样本通常会导致低能力。
使用一些随机生成的数据、散点图和回归的示例进一步说明了这一想法。
要在 Kerrich Power.jmp 中生成数据：
首先，2,000 行随机正态值 (错误）是使用 JMP 公式编辑器生成的，平均值为零，标准差为 1。
接下来，x 值 ( x_big ）生成。 这些值是 1 到 8 之间的随机整数。
最后，y 值 ( y_big ）是根据随机正态值（错误) 和 x 值 ( x_big ）。
看起来这条线可能不适合这些数据，但大数据集（n = 2,000）会产生一些惊喜。 您在图表 9 的散点图中看到了趋势吗？
图表 9大数据集的散点图（ y_big和x_big ）
（分析，用 X 拟合 Y；使用y_big作为 Y，响应和x_big作为 X，因子。）在图表 10 中，我们对数据拟合了一条回归线。 一条线适合数据吗？
图表10大数据集的回归（ y_big和x_big ）
（从双变量拟合输出中，单击红色三角形并选择拟合线。）
而R 2仅为 0.056，表明只有 5.6% 的变异y_big通过使用回归来解释x_big ，p 值小于 0.0001（原假设是数据中没有趋势，替代假设是数据中存在趋势）。
这就是大样本的力量；检测到微小的趋势。 然而，这一趋势可能没有任何实际意义。 当然，如果这就是我的工资上涨的速度，我不会留下深刻的印象！
现在，让我们看一个非常小的样本，其中 y 和 x 值取自大样本。 列y_小和x_小包含五个观察结果。
在图表 5 的图中，数据似乎存在很强的线性趋势。 但是，请记住，数据中的模式很清晰，但样本量非常小 (n = 5)。
图表10非常小的数据集的回归（ y_小和x_小）
我相信您可能已经猜到这一切是怎么回事了。
而R 2为 64.2%，表明大部分变化y_小可以通过回归来解释x_小，p 值为 0.1031。 这意味着（最多）只有微弱的证据表明一条线适合数据。 那么到底发生了什么？
对于小数据集，虽然一条线似乎确实适合数据，但我们不能排除机会作为对明显模式的替代解释。 P 值是一种评估机会产生此类模式的概率的方法。 尽管似乎存在某种模式，但如果这些点只是随机生成且之间没有真正的关系，那么我们有 10.04% 的机会得到如此强甚至更强的模式。 x_小和y_小。
概括
统计洞察
大样本可以检测微妙的模式，有时这些模式没有任何实际重要性。 非常小的 p 值并不总是意味着正在发生重要的事情，特别是当样本量很大时。 小样本可能表明相对清晰的模式，但我们不能确定该模式是真实的并且不是偶然变化产生的。 大的 p 值并不总是意味着什么都没有发生，特别是当样本量较小时。
影响
当结果似乎与我们关于功效和样本量的陈述相矛盾时，就会出现一些最具信息性的科学结果。 通常，样本量非常小的试点研究会发现可观察到的效果。 在这种情况下，即使 p 值可能不是特别小，科学家也常常受到鼓舞，因为尽管测试功效较低，但还是发现了一些东西。 这样的结果通常值得通过更大规模的研究来进一步追求。
另一方面，有时一些涉及大样本量的研究未能发现效果。 尽管我们永远无法肯定零假设，但当几项大型研究都没有产生任何效果的证据时，在某些时候我们应该对这种说法非常怀疑。
例如，许多（如果不是大多数）篮球迷相信某些球员的投篮表现要么忽冷忽热。 一组认知心理学家使用来自 NBA 的多个大型数据集来测试这一说法的各种版本。 他们没有发现连胜的证据（“关于篮球中‘热手’的冷酷事实”，Amos Tversky 和 Thomas Gilovich，Chance，第 2 卷，1989 年，第 16-21 页）。 虽然我们不能说连胜现象不会发生（这意味着肯定原假设），但不同数据集的数量、数据集的大样本量，再加上它们对人们为什么会误解随机模式的解释，结合起来产生了极端的怀疑使连胜成为一种现象。
当样本量较小（因此功效较低）时，找到任何影响的证据可能很重要。 当样本量很大（因此功效很高）时，未能发现效果是值得注意的。
联合管理计划®特点和提示
本案例使用分布平台生成条形图和频率分布、创建比例置信区间并进行拟合优度检验。
公式编辑器用于生成随机数据，以说明回归情况下样本量和功效的关系。 我们使用 Fit Y by X 来生成散点图并拟合回归线。
练习
- 对于 Kerrich 抛硬币练习（克里奇.jmp ），总体是什么，样本是什么？ 样本是简单随机样本吗？ 如果样本不是简单随机样本，你认为它具有代表性吗？ 为什么或者为什么不？ 你认为抛硬币是独立的吗？
- 皮尔逊检验统计量以著名统计学家卡尔·皮尔逊 (Karl Pearson) 的名字命名，他抛硬币 24,000 次，结果是 12,012 个正面。 在 JMP 中创建一个数据表，并对该数据执行与上面类似的分析。 你的原假设是什么？ 你能得出什么结论？
- 在大样本示例中，我们观察到 251,000 个正面和 249,000 个反面。 我们预计会看到（对于一枚公平的硬币）250,000 个正面和 250,000 个反面。
- 使用给定的公式验证似然比和 Pearson 检验统计量：
- 许多教科书使用以下测试统计量来执行涉及一个比例的测试（对于公平的硬币）：
何：p = p哦相对
哈：p≠p哦
对于此测试，测试统计量为： 其中 是样本中正面的比例，是假设的正面比例，并且n是样本大小。
计算z并验证。 换句话说，确认这只是 Pearson 检验统计量的另一种形式（您还可以验证 p 值是否相同）。
