Phillip Ramsey - JMP 用户社区@philramsey ,新罕布什尔大学顾问兼教授
本文最初发表于 JMPer Cable,第 28 期,2013 年夏季。
引导是一个重要的功能提供JMP专业版。 自举的实施既简单又灵活,因为自举分布可以在大多数 JMP Pro 统计报告中生成。 本文提供了有关基本引导的简要教程,并描述了引导在独立推理方法、教学法以及作为其他统计方法的组成部分的背景下的应用。
Bootstrapping 是一种常见的英语隐喻,指的是一个自我维持且无需外部驱动力即可持续的过程。 Bradley Efron (1979) 采用隐喻引导程序来描述他开发的一种新的重采样技术。 他的工作受到早期有关折叠刀的研究的启发(Tukey,1958)。
Bradley Efron (1979) 开发的统计引导是一个过程,通过该过程,重复抽取大小为 N 的独立随机样本(可能数千次),并从大小为 N 的原始数据集中进行替换。 替换意味着原始数据集中的任何单个观测值可能会被多次选择,或者可能不会在任何一次重采样中全部被选择。 这确保了每个引导样本的成员资格很可能与原始数据不同。
通过计算每次重采样感兴趣的样本统计量,生成这些统计量的经验分布函数。 经验分布又可用于估计这些统计数据的标准误差,并估计统计数据估计的理论参数的置信区间。 自举置信区间(有许多版本)的优点是计算不一定需要使用参数或特定的数学公式。 Hall 和 Wilson(1991)表明引导法很容易适应假设检验。
计算理论参数的 bootstrap (1-α)100% 置信区间的最直接方法是使用该样本统计量的 bootstrap 分布的适当百分位数,该样本统计量可估计感兴趣的理论参数。 例如,样本平均值的自举分布的第 2.5 个和第 97.5 个百分位数可用于形成基础分布的理论平均值的 95% 置信区间。
Bootstrap 研究发现,在某些情况下,Bootstrap 百分位置信区间在实际覆盖范围方面可能存在很大偏差(Chernick,2008)。 存在针对百分位置信区间的偏差校正算法。 然而,它们目前在 JMP Pro 中不可用,进一步的讨论超出了本文的范围。 ( 2018 年 12 月更新: JMP Pro 中现已包含偏差校正算法.)
基于bootstrap的统计推断
以下示例展示如何使用 JMP Pro 进行引导来生成目标总体理论参数的百分位置信区间。 该示例使用最初来自 Cox 和 Snell (1981) 的 20 个温度读数 (开尔文)。
假设您想要查找样本四分位距 (IQR) 的置信区间,即样本分布的第 25 个百分位数和第 75 个百分位数之间的差值。 精确计算 IQR 的置信区间通常是不可能的。
首先使用 JMP 中的分布平台生成原始样本的汇总统计数据表。 默认情况下,“汇总统计”表中不显示四分位数范围,因此请使用红色小三角菜单来请求它,如图 1 所示。 另外,由于引导进程对其引用的表中显示的所有统计信息进行操作,因此请取消选中本示例中不感兴趣的所有默认摘要统计信息。 然后,“分布摘要”表仅显示四分位数范围,如图 1 所示。
Figure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile RangeFigure 1 Tailor Summary Statistics table to show only Interquartile Range图 1 定制汇总统计表以仅显示四分位数范围
接下来,将光标放在报告正文中,右键单击并从出现的菜单中选择 Bootstrap(图 2)。 在 Bootstrap 对话框中,选择 Fractional Weights 选项 - 此选项提供更平滑的 Bootstrap 样本 Rubin (1981)。
Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200Figure 2 Choose the Bootstrap with sample size 200图2 选择样本量为200的Bootstrap
此示例生成 200 个样本。 您可以输入任意数量的样本,但请记住,每个样本都会重新运行分布平台并计算该样本的四分位数范围。 因此,您选择的样本数量取决于您拥有的计算资源。 大型引导请求可能会占用大量资源和时间。
引导过程完成后,您会看到联合管理计划附有抽样结果的表格。 这些是名为 BootID 和温度变量四分位数范围的列。 行数是您请求的样本数加上原始样本计算的一。 现在使用“分布”平台查看自举四分位数范围的汇总统计数据。
具有 bootstrap 选项的 JMP 平台可识别 BootID 变量并显示 Bootstrap 置信限表,如图 3 所示。
Figure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile RangeFigure 3 Distribution of bootstrapped Interquartile Range图 3 自举四分位数范围的分布原始样本中计算出的四分位距为 28.25(图 1)。 请注意,为 200 个 Bootstrap 样本计算的四分位数范围为 25.4,从样本的分位数中获取的 95% Bootstrap 置信限为 7 和 45,其中包括原始估计值。
教育中的引导程序引导程序开始应用于统计教育(Lock,2012),以将学生从引入样本统计的探索性数据分析(EDA)过渡到首先引入正式统计推断的验证性数据分析(CDA)。
根据作者教授统计学本科生、研究生和六西格码课程的经验,学生很难掌握抽样分布、标准误差和置信区间或假设检验的概念。 也就是说,他们很难掌握统计思维的基础知识。
不幸的是,即使手动计算标准误差和参数置信区间,当这种计算可行时,也几乎无法激发学生的概念理解。 学生常常精通算术计算,却没有对从这种计算中得出的推论产生真正的概念性理解。 这通常表现为学生正确计算参数置信区间(例如),然后随后对这些区间做出错误甚至无意义的解释。 学生们显然已经精通算术计算,但缺乏必要的统计思维能力。
从 JMP Pro 10 的发布开始,我们将引导法引入到学术课程和六西格码统计课程中。 CDA 不是从参数抽样分布、标准误差和置信区间的传统讨论开始,而是首先引入引导法来激发这些概念。
有趣的是,到目前为止的结果非常令人鼓舞,学生们表现出了对抽样分布、置信区间和假设检验更深入的概念理解——学生们似乎更擅长正确的统计思维。
JMP Pro 中不能直接使用引导假设检验,但可以根据 JMP Pro 提供的引导结果轻松执行多种更常见的假设检验。 有关引导假设检验的更多详细信息,请参见 Hall 和 Wilson (1991)。
在其他统计平台中引导
除了用作统计推断的独立方法外,自举方法还越来越多地融入其他统计方法中。 分区建模就是一个很好的例子,其中引导概念用于生成单个决策树的随机集合(或森林)。 JMP Pro 通过 Bootstrapped Forest 选项在分区平台中实现了这一概念。
自举法还被纳入方差分析、多元方差分析、判别分析和回归方法中。 许多用于这些分析的 JMP Pro 平台确实具有可用的引导程序。 不幸的是,在某些情况下,引导假设检验需要每个引导样本的引导标准误差;标准误差不存在精确计算。 每个引导样本的引导标准误差是通过使用双引导来计算的(Chernick,2008)。 JMP Pro 目前不支持双重引导。
总体而言,引导和随机测试在统计教育中的使用正在增长,并且仅受到学生、教师和培训师可用的技术的限制。 其使用也符合 GAISE 报告(ASA,2012)对统计教育的建议。 JMP Pro 为教师提供了一个良好且易于使用的平台,可将引导法纳入统计课程中。
概括
在本文中,我们讨论了引导法作为统计推断的一种形式(特别是在标准误差和置信区间无法轻松计算的情况下)的用途,以及作为统计教育的重要教学工具的用途。 随着功能越来越强大的计算机的出现,引导和相关方法的使用无疑会增长。 JMP Pro 提供简单易用的引导功能,以便 JMP 用户可以将引导功能纳入统计分析和统计教育课程中。
参考
- 切尔尼克,M.(2008)。 引导方法:从业者和研究人员指南,第二版。 威利父子:纽约,纽约。
- 考克斯 (DR) 和斯内尔 (EJ) (1981)。 应用统计学:原理和例子。 伦敦:查普曼和霍尔。
- 布拉德利·埃夫隆 (1979)。 Bootstrap 方法:再看看刀刀,《统计年鉴》,7, 1-26。
- 美国统计协会(2012)。 统计教育评估与教学指南
- 霍尔,P. 和威尔逊 S. (1991)。 Bootstrap 假设检验的两个指南。 生物识别, 47, 757 – 762
- 洛克等.等人。 (2012)。 释放数据的力量。 威利父子公司:纽约州,纽约州
- 鲁宾,DB (1981)。 贝叶斯引导程序,统计年鉴,卷。 9,第 1,130 – 134。
- 提布希拉尼等。等人。 (2008)。 统计学习要素,第二版。 施普林格出版社。
- 图基,JW (1958)。 不太大样本中的偏差和置信度,《数理统计年鉴》。 卷。 29, 2, 第 614 页。
Philip J. Ramsey 博士拥有 North Haven Group,这是一家质量和统计咨询公司,提供六西格码各个级别和阶段的全方位服务培训和咨询,以及实验设计和预测分析方面的全面培训。 拉姆齐还是新罕布什尔大学 (UNH) 数学与统计系的教员。 他是视觉六西格码来自 SAS 出版社。