Phillip Ramsey- JMP 用户社区@philramsey , 顾问和教授,新罕布什尔大学
本文最初发表于 JMPer Cable,第 28 期,2013 年夏季。
自举是提供的一项重要功能JMP 专业版. 自举的实施简单而灵活,因为自举分布可以在大多数 JMP Pro 统计报告中生成。 本文提供了一个关于基本引导的简短教程,并描述了引导在独立推理方法、教学法以及作为其他统计方法的组成部分的上下文中的应用。
Bootstrapping 是一种常见的英语隐喻,用于表示无需外部驱动力即可自我维持并持续下去的过程。 Bradley Efron (1979) 采用了自举这个比喻来描述他开发的一种新的重采样技术。 他的工作受到早期关于折刀的工作的启发(Tukey,1958)。
由 Bradley Efron (1979) 开发的统计自举是一个过程,其中重复抽取大小为 N 的独立随机样本(可能数千次),并从大小为 N 的原始数据集进行替换。 替换意味着原始数据集中的任何单个观察都可能被多次选择,或者可能不是在任何一次重采样中全部选择。 这确保了每个 bootstrap 样本的成员身份很可能与原始数据不同。
通过计算每个重采样感兴趣的样本统计数据,生成这些统计数据的经验分布函数。 经验分布又可用于估计这些统计量的标准误差,并估计统计量估计的理论参数的置信区间。 自举置信区间(有许多版本)具有计算不一定需要使用参数或特定数学公式的优点。 Hall 和 Wilson (1991) 表明自举法很容易适应假设检验。
计算理论参数的 bootstrap (1-α)100% 置信区间的最直接方法是使用该样本统计量的 bootstrap 分布的适当百分位数,它估计感兴趣的理论参数。 例如,样本平均值的自举分布的第 2.5 个和第 97.5 个百分位数可用于为基础分布的理论平均值形成 95% 的置信区间。
Bootstrap 研究发现,在某些情况下,bootstrap 百分位置信区间在实际覆盖范围方面可能存在很大偏差(Chernick,2008 年)。 存在用于百分置信区间的偏差校正算法。 但是,它们目前在 JMP Pro 中不可用,进一步的讨论超出了本文的范围。 ( 2018 年 12 月更新:偏差校正算法现在包含在 JMP Pro 中.)
基于 bootstrap 的统计推断
以下示例说明如何使用 JMP Pro 进行引导,以生成目标总体理论参数的百分置信区间。 该示例使用最初来自 Cox 和 Snell (1981) 的 20 个温度读数 (Kelvin)。
假设您要查找样本四分位距 (IQR) 的置信区间,即样本分布的第 25 个百分位数和第 75 个百分位数之间的差值。 通常不可能精确计算 IQR 的置信区间。
首先使用 JMP 中的分布平台生成原始样本的汇总统计表。 默认情况下,Summary Statistics 表中不显示四分位距,因此请使用红色小三角菜单来请求它,如图 1 所示。 此外,由于引导进程对它所引用的表中显示的所有统计信息进行操作,因此请取消选中此示例中不感兴趣的所有默认汇总统计信息。 然后,分布摘要表仅显示四分位数范围,如图 1 所示。
Figure 1 Tailor Summary Statistics table to show only Interquartile Range图 1 Tailor Summary Statistics 表仅显示四分位数范围
接下来,将光标放在报告正文中,右键单击并从出现的菜单中选择 Bootstrap(图 2)。 在 Bootstrap 对话框中,选择 Fractional Weights 选项——该选项提供更平滑的 bootstrap 样本 Rubin (1981)。
Figure 2 Choose the Bootstrap with sample size 200图 2 选择样本大小为 200 的 Bootstrap
此示例生成 200 个样本。 您可以输入任意数量的样本,但请记住,每个样本都会重新运行分布平台并计算该样本的四分位数范围。 因此,您选择的样本数量取决于您拥有的计算资源。 大型引导请求可能会占用大量资源和时间。
引导过程完成后,您会看到一个JMP附有抽样结果的表格。 这些是温度变量的称为 BootID 和四分位数范围的列。 行数是您请求的样本数加上原始样本计算的 1。 现在使用分布平台查看自举四分位间距的汇总统计数据。
具有 bootstrap 选项的 JMP 平台识别 BootID 变量并显示 Bootstrap Confidence Limits 表,如图 3 所示。
Figure 3 Distribution of bootstrapped Interquartile Range图 3 自举四分位距分布原始样本中计算的四分位距为 28.25(图 1)。 请注意,为 200 的 bootstrap 样本计算的四分位距为 25.4,从样本的分位数中获取的 95% bootstrap 置信限为 7 和 45,其中包括原始估计值。
教育中的引导程序引导程序开始在统计教育中进行调整(Lock,2012 年),以将学生从引入样本统计的探索性数据分析 (EDA) 转变为首次引入正式统计推断的验证性数据分析 (CDA) .
从作者教授本科、研究生和六西格码统计学课程的经验来看,学生很难掌握抽样分布、标准误差和置信区间或假设检验的概念)。 也就是说,他们在统计思维的基础上苦苦挣扎。
不幸的是,即使手动计算标准误差和参数置信区间,当这种计算可行时,也无助于激发学生的概念理解。 通常,学生在没有对从这种计算中得出的推论产生真正的概念理解的情况下就精通算术计算。 这通常表现为学生正确计算参数置信区间(例如),然后对这些区间进行错误甚至荒谬的解释。 学生们显然已经精通算术计算,但没有必要的统计思考能力。
从 JMP Pro 10 的发布开始,我们在学术和六西格码统计课程的课程中引入了引导。 CDA 不是从传统的参数抽样分布、标准误差和置信区间的讨论开始,而是首先引入引导程序来激发这些概念。
有趣的是,到目前为止,学生们对抽样分布、置信区间和假设检验的概念理解更深入,结果令人鼓舞——学生们似乎更擅长正确的统计思维。
自举假设检验在 JMP Pro 中不直接可用,但是可以从 JMP Pro 提供的自举结果轻松执行许多更常见的假设检验。 有关自举假设检验的更多详细信息,请参见 Hall 和 Wilson (1991)。
其他统计平台中的自举
除了用作统计推断的独立方法之外,自举方法越来越多地被纳入其他统计方法。 一个很好的例子是分区建模,其中引导概念用于生成单个决策树的随机集合(或森林)。 JMP Pro 已在带有 Bootstrapped Forest 选项的分区平台中实现了这一概念。
Bootstrapping 也被纳入 ANOVA、MANOVA、判别分析和回归方法中。 许多用于这些分析的 JMP Pro 平台都提供了自举。 不幸的是,在某些情况下,bootstrap 假设检验需要每个 bootstrap 样本的 bootstrap 标准误差。标准误差不存在精确计算。 每个 bootstrap 样本的 bootstrap 标准误差是通过使用双 bootstrap 计算的 (Chernick, 2008)。 JMP Pro 目前不支持双引导。
总体而言,统计教育中自举和随机测试的使用正在增长,并且仅受到学生、教师和培训师可用技术的限制。 它的使用也符合 GAISE 报告(ASA,2012)对统计教育的建议。 JMP Pro 为教师提供了一个很好的、易于使用的平台,可以将引导程序纳入统计课程课程。
概括
在本文中,我们讨论了自举作为一种统计推断形式的用途,尤其是在标准误差和置信区间无法轻松计算的情况下,以及作为统计教育的重要教学工具的用途。 随着功能越来越强大的计算机的出现,自举和相关方法的使用无疑会增长。 JMP Pro 提供了一种简单易用的引导功能,因此 JMP 用户可以将引导融入统计分析和统计教育课程中。
参考
- 切尔尼克,M.(2008 年)。 引导方法:从业者和研究人员指南,第二版。 威利父子:纽约,纽约。
- Cox, DR 和 Snell, EJ (1981 年)。 应用统计:原理和例子。 伦敦:查普曼和霍尔。
- 埃夫隆,布拉德利 (1979)。 引导方法:再看折刀,统计年鉴,7, 1-26。
- 美国统计协会(2012 年)。 统计教育评估与教学指南
- Hall, P. 和 Wilson S. (1991)。 自举假设检验的两个指南。 生物识别技术, 47, 757 – 762
- 锁等。人。 (2012)。 释放数据的力量。 威利父子:纽约,纽约
- 鲁宾,DB (1981 年)。 贝叶斯引导,统计年鉴,卷。 9, 1 号, 130 – 134。
- 蒂布希拉尼等。人。 (2008 年)。 统计学习要素,第二版。 施普林格出版社。
- 图基,JW(1958 年)。 偏倚和对不太大样本的信心,数理统计年鉴。 卷。 29, 2, pp. 614。
Philip J. Ramsey 博士拥有 North Haven Group,这是一家质量和统计咨询公司,提供六西格码各个级别和阶段的全方位服务培训和咨询,以及实验设计和预测分析方面的综合培训。 Ramsey 还是新罕布什尔大学 (UNH) 数学与统计系的教员。 他是合著者视觉六西格码来自 SAS 出版社。