作者
Robert Carver 博士，斯通希尔学院和布兰迪斯大学教授
随着功能强大的软件和大型真实世界数据集进入主流大学课堂，统计学进入 K-12 课堂，大学教师一直在慢慢修改“入门统计学”课程，以强调统计推理和发现。JMP 显然在促进和适应这些修改方面发挥了作用。本次演讲回顾了 JMP 在重新定义我们视为基础和入门主题的几种具体方式，并认为 JMP 的结构和方法可以改变入门和更高级主题之间的传统界限。该软件的原生功能（例如 Graph Builder 的可视化、模拟、参数和非参数测试的无缝集成、无痛逻辑回归、引导 CI、抽样权重和直观的数据管理工具）使我们能够重新构想入门课程，激励本科生进一步学习分析，并为以分析为导向的公司提供价值。演讲将包括一些经过课堂测试的“高级”主题演示，以入门学生可以理解的方式进行。此外，还将邀请观众分享他们对刚从大学毕业的初级员工所需要技能、概念和方向的见解。
介绍
在大多数职业运动中，比赛场地的尺寸都是由习俗和惯例决定的。界线的界内界外定义都是一样的，无论是竞技场还是体育场。在棒球比赛中，我们遇到了一种相当了不起的情况，即外场围栏的精确角度和位置可以变化，因此围栏的高度和距离都有局部差异。结果是，在一个体育场中，长飞球可能是一种常规出局，在另一个体育场中，可能是本垒打，或者是从外场墙上反弹的单打。棒球场所有者有时可能会选择修改围栏，以打破平衡并调整球场中击出的本垒打数量。
在本文中，我将“移开栅栏”的比喻运用到大学统计学课程领域。计算技术、现实世界的统计应用和统计学教育之间的三角关系是动态的，它要求我们经常重新评估入门统计学课程的范围、顺序和内容。每一代新硬件和统计软件的每次迭代都为传统的统计实践和教育方法提供了替代方案 [1]，[10]，[20]。关于哪些应用领域必不可少的决定因客户学科而异，也随时间而变化。统计学课程曾经被视为一门狭窄的专业，但随着大学几乎普遍要求开设促进定量素养和统计推理的课程，入学人数稳步增长。最近，在各种公共和私营部门学科中，“大数据”和“分析”被应用于多种用途 [7]，[16]。
在统计教育界，呼吁改革和调整以适应不断变化的现实是一项悠久的传统 [10]，[20]。近年来，人们越来越关注使用真实数据和充分利用技术的重要性，并在 2005 年 GAISE 报告 [1]，[5] 中达到顶峰。最近，我们发现有观点认为，为了应对大数据爆炸，需要进一步改变，尤其是转向可视化和基于随机化的推理 [2]，[6]，[8]，[9]。随着在线真实数据来源变得越来越广泛且更容易免费获取，教科书和课程继续用更大的真实数据文件取代人工的小数据集。许多可靠的真实原始数据的“新”来源包括来自政府和非营利组织的大样本调查（例如，参见 [4]，[21]，[23]）。用户友好型软件、快速廉价的计算机和广泛可用的数据集的结合创造了大量机会，让我们重新思考哪些主题“适合”入门统计学课程。同时，中学课程现在通常包括统计学和概率概念和技术。一些以前经典的主题不再适用，而其他曾经被认为对于大学二年级学生来说太过高级的主题现在可能有了用武之地。因此，有充分的理由和机会再次重新评估。具体来说，在下面的讨论中，我提出了九种方法，JMP 可以帮助我们适应不断变化的现实，抓住机会提升统计学教育。这九种方法都收录在我最近由 SAS Press 出版的新书新版中。[3]
jmp 实现栅栏移动的 9 种方式
我所在的机构拥有 JMP11 Pro 的站点许可证，允许校园内的任何人下载软件、数据表和脚本，以便在校内或校外的个人计算机上使用。该软件不限于教室或实验室，可在 Windows 和 MacOS 环境中运行。通用访问和 JMP 功能至少以以下九种突破性的方式改变了我的教学内容和教学方式。
- 看看这个！
- 通过图形生成器、三维散点图和气泡图实现交互式可视化
- 嵌入式和附加模拟阐明了重要概念
- 保持真实
- 通俗易懂地介绍迄今为止“先进”的技术
- 参数和非参数测试的无缝集成
- 自举置信区间
- 无痛逻辑回归
- 使用正宗的专业工具
- 为本科生提供出色的支持——菜单驱动、充足的文档、帮助、屏幕提示等。
- 通过消除或降低进入门槛（并提供留下的充分理由）来拆除“禁止进入”大门
看看这个！
通过图形生成器、三维散点图和气泡图实现交互式可视化
在图形被称为“可视化”之前，JMP 就将可视化分析与计算结果结合起来，并将来自单个数据表的开放图形链接起来。对于在职统计人员来说，其好处显而易见。但对于学习者来说，JMP 可视化方法的强大功能远远超出了发现数据模式的范围。标准 JMP 图形可帮助学习者理解重要的统计概念，并体验统计推理的过程和快感。交互式动画图形更进一步，让几乎没有任何经验的学习者/用户参与和控制软件。
在大一商科统计课的第一天，我给学生播放了汉斯·罗斯林 (Hans Rosling) 制作的关于国家财富和健康状况的短片，其中有一个动画气泡图，Y 轴表示国民预期寿命，X 轴表示对数刻度的人均 GDP [19]。学生们立刻被动画吸引住了。他们很快就明白了显示的内容，并发出声音，因为一个小蓝气泡在 20 世纪 90 年代的预期寿命垂直轴上下降然后反弹。当他们发现这种独特的动作反映了卢旺达种族灭绝时，他们就沉默了，并全神贯注地思考数据及其引人入胜的故事。
不久之后，我们使用 Graph Builder 和气泡图工具在 JMP 中探索相同的数据。此时，他们正在控制图表，开始进行自己的探索，而不是考虑软件，而是思考实质性问题和证据检查。这些都是大学新生。
嵌入式和附加模拟阐明了重要概念
与数据可视化的洞察力开发特性类似，JMP 还包含大量模拟和动画，可以阐明入门统计学课程中微妙的基础概念。网上有许多小程序和独立工具可以实现相同的目标，但随着学生沿着 JMP 学习曲线前进，将这些工具整合到单一软件环境中是有利的，并且（通常）依赖于学生已经在使用的相同数据。
例如，附加的分布计算器（也是交互式的动画）非常直接地传达概率概念，直指概率和密度函数概念理解的核心，让学生能够培养寻找概率或分位数的能力。在此过程中，他们可以将认知努力用于理解底层思想，而不是在表格上进行脑力杂技并执行算术运算以得出“正确答案”。
同样，例如，检验均值命令中提供的 P 值和功效动画也会在需要时传达非常具有挑战性的概念——在使用特定数据集的特定测试环境中。同样，分析师可能希望查看功效，因为分析中存在潜在的利害关系。一年级统计学学生可能不会选择查看功效，但有一位导师邀请她理解，有时统计测试可能无法在噪音中看到信号。专业人士和学习者都可以从这些动画中找到价值，但原因却大不相同。
保持真实
如上所述，人们普遍认同在统计学课程中使用真实数据的实用性。但人们可能会合理地问，我们用“真实”一词到底是什么意思，入门学生在不知所措或失望之前能忍受多少现实？许多可用的真实数据都是观察性的，许多大型数据集内容稀疏和/或错误百出，这很容易成为新手的绊脚石。
入门级学生通常被教导要提出一个研究问题和一个研究假设，收集适当数据的简单随机样本，执行适当的推理技术并评估促使他们努力的假设。教师通过提出有趣的问题、提供真实（或现实）和适度干净的数据集以及引导学生通过统计和上下文结论进行分析来模拟这种行为。也许教师随后让学生自己找到真实数据并进行从头到尾的研究。这是我采用的方法。
为了构建“有效”的示例，或者为了将重点放在分析技术上而不是繁琐的数据准备工作上，讲师提前准备真实数据集，清除其中的一些自然缺陷，这是非常合理的。同时，如果我们彻底净化原始数据，我们就会损害将其纳入课程的一些理由。
过度的数据清洗只是其中一个问题。另一个棘手的问题是由 Nick Horton 教授及其同事提出的，一方面，我们认为简单随机样本是得出可推广推论的唯一真实可靠的基础，但另一方面，我们知道许多学生正在进入 SRS 很少见的领域 [11]。
此外，我们还知道，政府、非政府组织和调查研究公司在进行调查研究时，通常会使用多阶段复杂抽样技术，而且这种做法已经持续多年 [13],[14]。虽然许多一级课程和入门教材除了 SRS 之外，还会专门介绍概率抽样方法，但很少找到对抽样权重及其在此类数据分析中的应用的详尽处理。
从历史上看，将抽样后调整的主题推迟到第一门课程之后的后续课程中是非常有意义的。处理该主题的文章（例如 [13]、[14]、[24]）往往远远超出了服务课程中本科生的理解范围。然而，正如我们已经找到了使用软件轻松介绍t检验的方法一样，当前的软件产品可以非常合理地教授使用抽样权重的正确分析方法。
在最近一项关于学习成果与使用真实数据相关的实证研究中，Neumann等人[17] 指出，“研究经验应该真实并有背景依据”，报告称，他们研究中的学生发现，现实世界的应用前景既能激励他们努力学习，又能使概念难以忘怀。许多教师可能也观察到了类似的影响。
也许学生只是忽略了这一差距，但采用真实数据集然后以“非真实”方式（即统计学家不会分析的方式）进行分析的做法可能会削弱学生在知道自己正在实际积极地进行数据分析时所获得的动力。对于任何注意到这一失误的学生，我们都为他们提供了认知失调的机会。
新生抽样权重
当然，将抽样权重这一主题推迟到后续课程是有原因的，也许是为那些严重依赖调查研究的领域的学生开设的课程。入门课程往往包含太多主题。复杂抽样只有在理解了简单随机（和非随机）抽样之后才有意义，因此在某些方面它是一个后续概念。对标准误差进行抽样后调整在概念和基础数学方面都很复杂，因此可能超出了大多数不强调公式和理论的入门课程的范围。当然，我们从来没有这样做过。
在撰写本文时，我没有对市场上的教科书进行广泛的审查，但人们的印象是，作者们通常会简要提到调查通常采用分层抽样和整群抽样相结合的方式。在最近一篇值得注意的新文本 [18] 中，在介绍了抽样变异和抽样分布之后，作者继续指出，分层样本可以提供比 SRS 更有效的估计：
“每个层的平均值和标准差将分别计算，然后合并起来以估计总体参数。每个子组的标准差应该小于总体的标准差。当将这些标准差合并起来以估计总体标准差时，所得的标准差将小于使用简单随机样本时的标准差。”[18]
作者谨慎地止步于此，没有准确解释如何将各层的均值和标准差结合起来以实现这一结果，但本讨论的重点是，这个想法用三句话表达出来。这个想法可能很微妙，坦率地说，一些学生可能会感到困惑，但只要小心，这个想法就可以简单而简洁地表达出来。
有点不幸的是，这通常是复杂抽样处理和随后的子抽样统计组合的结束。考虑到它需要的计算投入有点困难，这很有意义——除非软件能够优雅而高效地轻松管理任务，就像它计算回归参数估计值而不需要学生先计算平方和一样。
不必再详细阐述这一点，我们先来看两个例子，作为基于复杂抽样的估计的介绍。这两个例子都使用了来自网络的真实数据，并且两个分析都是使用 JMP 11 进行的。第一个例子使用了给定时间点的已知总体的抽样框架，灵感来自 Diez 的优秀在线文本 [6]。这里的目标是通过例子向学生介绍两个概念：1) 在分层样本中，来自不同层的观测值代表不同数量的总体元素；2) 根据每个观测值所属层的大小对其进行加权，可以比简单地平等对待所有观测值更准确地估计总体参数。
一旦建立了这些概念，第二个示例将使用 NHANES 数据提供的权重。NHANES 是指由疾病控制和预防中心管理的一组研究。此处说明的特定调查是 2005 年进行的一项全国性调查，调查对象超过 10,000 人。
这两个例子都配有针对学生的介绍和散文。换句话说，相应的解释应该引导学生完成预期的思维过程。你可以将这些段落作为指定阅读材料分发，也可以将其作为课堂演示的基础。
我们从一个已知的总体开始，并研究两种不同抽样方法的结果。我们从美国武装部队的抽样框架开始 [6]。数据表包含 2010 年 4 月美国四个军种（不包括海岸警卫队）的 1,048,575 名现役人员的选定属性。为了便于说明，我们将把这个群体视为一个总体。当然，在现实情况下，如果我们能够获得原始总体数据，我们可以直接计算总体参数。但在这个例子中，我们试图了解不同抽样方法的准确性和精确度，因此我们将首先计算一个参数，然后抽取一些样本，看看不同方法的比较情况。
数据集中的变量如下：
- 等级（士兵、军官或准尉）
- 军种（空军、陆军、海军陆战队或海军）
- 性别（女、男）
- 种族（7 个类别）
- Hisp（西班牙裔族裔：假，真）
- 排名（序数值从 1 到 12）
在这个人群中，大约 78% 的人是士兵，6% 的人在空军服役，13% 的人是女性。在检查一些样本时，我们会记住这些人口比例。回想一下，我们的目标是深入了解不同抽样方法产生的样本在多大程度上代表了总体。特别是，我们希望让一年级学生对随机抽样（不是简单的随机抽样）有所了解。
聚类和分层都依赖于随机选择。为了说明一般方法，我们将使用 JMP 的子集平台（命令）首先选择分层样本，计算抽样权重，然后使用和不使用权重来制定样本比例。为了不迷失在数字细节的喧嚣中，我演示了使用性别进行分层的方法，并指出如果（例如）我们选择总共 100 名人员的样本，其中 50 名女性和 50 名男性，我们认识到，男性和女性人数相等的样本最初会歪曲整个军队。简而言之，样本中的每个男性将比样本中相应的女性代表更多的男性。
自动选择分层样本的 JMP 对话框如下所示。一旦学生明白目标是随机选择 50 名女性和 50 名男性，执行命令就很简单了。
此时，学生可以估计（比如说）士兵在我们分层的 100 人样本中的比例。我们可以预见，样本中女性人数过多将导致士兵人数的估计出现偏差。事实上，下一个课堂活动是让所有学生生成一个如上所示的分层样本，并计算简单的未加权样本比例。然后，为了更正确地使用分层样本，JMP 的描述性分析命令提供了一个输入框，用于输入分层后的权重。入门学生在得到指示后可以轻松自信地选择预先计算的抽样权重。
前面的例子是人为的，但可能具有启发性。对受人尊敬的研究机构（例如 CDC）发布的真实调查数据的分析可以带来更有用、更有力的教训。如前所述，CDC 的 NHANES 计划对生活方式、饮食和健康问题等进行了调查研究 [4]。调查人员将访谈与封闭式调查问题相结合，并且一些数据（例如血压、体重）是实际测量的。考虑到青少年后期的兴趣，NHANES 数据是一个丰富的来源。在这个例子中，我们查看了调查中女性的怀孕状况，并与婚姻状况进行了交叉。NHANES 显然不是一个简单的随机样本。在众多数据列中有一列抽样权重。在这个课程级别，没有必要完全解释 CDC 的样本设计方法；我认为让入门学生理解复杂抽样比 SRS 有一些优势，并且一旦收集到复杂样本，就需要在分析中进行调整，这是一个巨大的进步。下图直观地展示了加权所带来的差异：
直观的数据管理工具
当今时代的一个幸运现象是，大型、可靠的网络数据库随处可见，这些数据库提供各种主题的数据。许多此类数据库由国际机构和政府机构建立和维护。此外，根据入门课程所服务的客户学科，学习如何浏览公共数据库的前端可能与设计和开展调查或进行实验一样有价值。
作为我课程中为期一学期的团队项目的一部分，我鼓励学生从两个信誉良好的来源查找数据，然后准备进行分析。我希望学生能够遇到常见的问题，如数据缺失、标签不一致、单位不同等，而不会被复杂性完全搞晕。即使使用“主要”网络资源，问题也比比皆是——尤其是对于那些没有数据库系统、数据结构或数据管理常用术语背景的学生来说。
一旦得到预警，学生可以很容易地做出必要的调整，但他们需要了解足够多的信息来留意问题。考虑一项使用联合国统计司性别信息数据库和世界银行世界发展指标 (WDI) 等数据的研究。具体来说，我们有世界银行的人均卫生支出（现价美元）和联合国不同年龄组的女性生育率。联合国下载列出了 195 个不同的国家，它们提供了感兴趣系列的数据；WDI 列出了 217 个国家。在联合国表格中，列出国家/地区的列标题为“地区名称”，而在 WDI 表格中则是“国家名称”。此外，两个表格中一些国家的名称略有不同。人类读者很容易得出结论，这两个国家/地区指的是同一个国家/地区，但这个结论对软件来说并不一定是显而易见的。
JMP 的表格函数为数据管理和数据清理的基础提供了“简单语言”桥梁。学生可以学习连接两个表格，同时控制不匹配键以及缺失行的处理。虽然它不使用内部和外部连接的数据库术语，但匹配规范面板中的复选框允许执行这些操作。至少，用户只需指定要合并的表格和要作为键处理的列 - 新手学生完全可以做到。
重新思考“先进”技术的分类
虽然对于入门课程应包含哪些主题，大家并没有达成一致意见，但大多数教科书作者似乎认为有些主题超出了范围。在本节中，我将讨论另外三个主题，它们通常不出现在入门教科书中，或者出现在后面的章节或在线补充中。
参数和非参数检验的整合
虽然大多数教材都详细说明了基于分布的推断所依据的假设和条件，而且许多教材指出，如果假设被违反，则应“谨慎行事”，但如果非参数检验有解释，通常是在后面的章节中。相比之下，JMP 将非参数选项置于分析目标的背景下。从学习者的角度来看，这非常有帮助。例如，不要考虑 t 检验或 z 检验以及每个检验的条件，而是考虑 JMP 在用户声明使用单变量数据测试平均值的意图时出现的看似简单的对话框。如果学生以某种方式知道了真实的标准差，JMP 将进行 z 检验。如果学生对 t 检验的条件有疑问，则合适的非参数等效项会出现一个复选框。这为非参数测试打开了大门，正好可以及时了解它是什么。
类似地，用 X 拟合 Y 平台提供了一系列非参数替代方法，用于比较多个均值。同样，在入门课程中，我们可能不会深入探讨这一领域，但 JMP 将其置于上下文中这一事实非常有价值，并为讲师提供了可行的选择来移动该特定围栏。
自举置信区间
可能没有比抽样分布更具挑战性的概念了。学生通常都接受我们使用样本统计量来估计总体参数的想法。然而，当我们开始讨论所有可能的样本均值的分布和样本均值的标准误差时，我们就会发现理解和困惑之间的界限非常模糊。在统计教育文献中，越来越多的人认为基于模拟的重采样方法是引入难以捉摸的抽样变异性概念的有效方法 [2]。引导置信区间是一种常见的方法，有许多在线模拟器和教科书补充材料提供了多次重复抽样的技术。幸运的是，使用 JMP Pro 的讲师无需离开 JMP 环境就可以引入引导法。
在我的课程中，我每年都会对参加核心商业统计课程的学生进行调查。由于我们是一所小型地区性学校，大多数学生都来自附近的州。调查中的一个问题是从家到斯通希尔需要多少小时。下图显示了最近来自 100 多名学生的一组回复。
我们的样本非常不平衡，这是我们真正掌握的有关这个总体的唯一信息。尽管n > 30 是通用准则，但中心极限定理可能无法在这里拯救我们（事实上，还有另一个 JMP 模拟器可以说明重新采样将在多大程度上产生对称经验抽样分布）。幸运的是，只需将鼠标悬停在“分布”报告中的“汇总统计”面板上，即可使用引导选项。
根据我的经验，许多学生对 bootstrap 并不是直观的。有些人似乎认为它相当于从稻草中纺出金子的计算，但通过仔细的解释和简短的演示，这个想法似乎就被理解了。无论如何，它确实为这个问题提供了另一个答案：“当我们不能依靠 CLT 来创建一个值得信赖的置信区间时，我们该怎么办？”
该演示进一步表明，在这种情况下，样本均值的分布可能并不接近正态性，并且引导 95％ 置信区间稍微宽一些，位于基于 t 的结果的右侧。
“简单”的逻辑回归
常见的是，统计学入门课程的双变量部分按照右下角显示的“以 X 拟合 Y”平台用户熟悉的示意图来组织。
除了一些局部差异外，讲师们继续处理三种情况：
- 分类 Y、分类 X – 列联表和双样本比例和/或卡方
- 数值 Y、分类 X – 双样本 t 和方差分析
- 数字 Y，数字 X – 简单线性回归
至于第四种情况，通常被认为对于入门课程来说太过高级。当然，从线性模型和系数的直接解释到带有对数几率解释的逻辑模型，这是一个巨大的飞跃，需要花费大量的时间和精力。但即使我们无法长时间地研究这个主题，JMP 至少可以很容易地提供一些接触。在数据挖掘和分类方法有时基于逻辑模型的时代，有充分的理由用一个有趣的例子来激发学生的兴趣。在这种情况下，数据来自 Max Little 教授领导的一系列研究，该研究通过电话远程监控帕金森病 (PD) 患者 [15]。许多 PD 患者住的地方离他们的神经科医生很远，长途跋涉到医生那里进行常规检查可能会非常麻烦。PD 的典型症状之一是发声功能退化，表现为说话时声音颤抖。 Little 和同事们使用标准的电子测量方法来测量发声（言语），以查看是否可以使用电话录音来监测这些患者的帕金森病进展。
发声测量指标之一称为shimmer，指的是说话者音量的波动。随着病情的进展，PD 患者的 shimmer 往往会增加。Litt;e 和同事记录了 32 名患者的声音，其中 23 名患有 PD。研究人员希望创建一个具有二分因变量（PD/非 PD）和连续预测变量 shimmer 的模型。
这里的背景叙述是学生容易理解的，它为课堂示例提供了一个引人入胜的主题。就 JMP 而言，该平台是学生在课程结束时非常熟悉的平台，而“名义 Y/连续 X”完成了双变量模型的四重奏。
逻辑模型产生的一些输出可能超出了入门课程的范围，但报告标题中的图表很好地说明了逻辑模型对分析师的作用。下图中，红色标记代表 PD 患者，蓝线是拟合模型。
对于学生来说，最具挑战性的计算操作是将逻辑拟合转换为每种情况的概率分数，但 JMP 可以通过红色三角形菜单上的选项来处理该操作。因此，即使是在第一门课程中，介绍逻辑模型的丰富潜力也是合理的。
“就像专业人士使用的一样！”
在整个学期的统计学课程中使用 JMP 可以让学生熟练掌握这一设计精良、在行业中广泛使用的成熟产品。虽然一门课程无法让学生了解 JMP 的全部功能，但它可以提供机会让他们对自己将知识从软件的一个领域转移到另一个领域的能力充满信心，并学习不熟悉的主题。如前所述，JMP 中嵌入的许多教学工具在其他地方也可用，但 JMP 在将这些工具整合到一个环境中方面确实做得非常出色，并且在每个新版本中都会继续这样做。对于那些考虑在分析相关领域就业的学生来说，熟练掌握 JMP 是一份很好的简历。
为本科生提供出色的支持——文档、帮助、屏幕提示等
所有软件都提供内部文档，但本科生通常从痛苦的经历中认识到，在线帮助并不总是有用的。JMP 的突出之处在于它提供的帮助既能与学生交流，也能与专业用户交流。从“帮助”菜单可以访问各种各样的书籍、视频和教程，JMP 还在继续开发模拟器和教学演示，不仅可以培训用户使用软件，还可以真正培养统计理解。所有这些都让学生“参与其中”，使用 JMP，建立自己对主要统计思想的理解，并继续参与课程。有志向的学生甚至可以寻求 JMP 认证，这反过来又是简历上另一个独特的条目。
通过消除或降低进入门槛来移除“禁止进入”大门
统计教育者非常清楚，学生对于必修统计课程往往心存顾虑。也许 JMP 最大的潜在贡献就是移除了“禁止进入”的围栏。直观的界面和引人入胜的可视化效果吸引了学生，并表明统计发现是易于理解且有趣的。
JMP 的高度交互性和视觉反馈不仅可以降低入门门槛，还可以设置退出门槛。当然，它无法阻止学生放弃进一步学习分析，但一旦学生学会使用该工具，并对自己从数据中发现重要见解的能力充满信心，我们就可以合理地预期，越来越多的学生会想知道入门课程之后会发生什么。
结论
这是分析和统计教育领域一个激动人心的时代。大学教师正在改变入门统计学课程的内容和帮助学生学习数据分析的策略。我们正在重新定义统计课程的范围和内容，而 JMP 在这些变化中发挥着重要作用。本文概述了 JMP 在本科统计教育中“改变界限”的九种具体方式。
参考
- [1] Aliaga, M.、Cobb, G.、Cuff, C.、Garfield, J.、Gould, R.、Lock, R.、Moore, T.、Rossman, A.、Stephenson, R.、Utts, J.、Velleman, P.、Witmer, J.统计教育评估与指导方针：大学报告。弗吉尼亚州亚历山大市：美国统计协会，2005 年。2013 年 12 月 22 日检索自 http//www.amstat.org/education/gaise/ 。
- [2] Budgett, S.、Pfannkuch, M.、Regan, M. 和 Wild, C.“动态可视化和随机化测试。” 《统计教育技术创新》， 2005 年， 7（2）。 www.escholarship.org/us/item/9dg6h7wb 。
- [3] Carver，R. 《使用JMP进行实用数据分析》第2 版， 2014 年北卡罗来纳州卡里：SAS 出版社。
- [4] 美国疾病控制与预防中心。全国健康和营养检查调查。2005年。网址： http://www.cdc.gov/nchs/nhanes.htm 。
- [5] Cobb，G.，“统计学入门课程：托勒密课程？”统计教育技术创新， 2005 年， 1（1）。 www.escholarship.org/us/item/6hb3k0nz 。
- [6] Diez, D., Barr, C., Cetinkaya-Rundel, M. OpenIntro Statistics, 第 2 版, 2013 年。在线http://www.openintro.org/stat/textbook.php 。
- [7]《经济学人》，“数据洪流：特刊”，2010 年 2 月 27 日。经济学人报纸有限公司， 2010 年。
- [8] Gould, R.“统计学与现代学生”。国际统计评论， 2010，78(2)，297-315。
- [9] Gould, R.、Davis, G.、Patel, R. 和 Esfandiari, M. “通过数据驱动实验室增强概念理解。在 C. Reading（编辑）中，统计教育中的数据和背景：迈向循证社会。第八届国际统计学教学会议论文集，斯洛文尼亚卢布尔雅那。荷兰福尔堡：国际统计研究所，2010 年。http://www.stat.auckland.ac.nz/~iase/publications/icots8/ICOTS8_C208_GOULD.pdf
- [10] Hogg，R.“统计教育：急需改进”。 《美国统计学家》 ，1991 年，45，342-343。
- [11] Horton, N.、Baumer, B.、Kaplan, D.、Pruim, R. “数据爆炸的前兆：教授如何用数据进行计算”。2013 年魁北克蒙特利尔联合统计会议报告。摘要于 2014 年 1 月 2 日检索自http://www.amstat.org/meetings/jsm/2013/onlineprogram/AbstractDetails.cfm?abstractid=307064.
- [12] JMP，版本 11。SAS Institute Inc.，北卡罗来纳州卡里，1989-2013 年。
- [13] Johnson, E., Rust, K.，“NAEP 数据的总体推断和方差估计”。 《教育统计杂志》， 1992 年，17(2)，175-190。
- [14] Kish, L. Frankel, M. “从复杂样本推断”。 《皇家统计学会杂志》。B 系列（方法论）， 1974 年，36，（1），第 1-37 页
- [15] Little, MA, McSharry, PE, Hunter, EJ, Ramig, LO,《发音障碍测量对于帕金森病远程监测的适用性》，2008 年， 《自然》期刊论文集。
- [16] Manyika, J.、Chui, M.、Brown, B.、Bughin, J.、Dobbs,R.、Roxburgh, C. 和 Byers, AH，“大数据：创新、竞争和生产力的下一个前沿”。2011 年 8 月 27 日检索， http://www.mckinsey.com/insights/business_technology/big_data_the_next_frontier_for_
创新。 - [17] Neumann, D.、Hood, M.、Neumann, M.，“在教授统计学时使用真实数据：学生对入门统计学课程中这一策略的看法”。 《统计教育研究杂志》， 2013 年，12(2)，59–70。
- [18] Nottingham, Q.，Hawkes, J.发现商业统计。南卡罗来纳州芒特普莱森特：Hawkes Learning Systems，2013 年。
- [19] Rosling, Hans. “国家的财富与健康”，2014 年 8 月 13 日检索，http://www.gapminder.org/world.
- [20] Singer, J., Willett, J. “Improving the Teaching of Applied Statistics: Putting the Data Back into Data Analysis”. 美国统计学家, 1990,44(3), 223–230.
- [21] 世界银行。世界银行开放数据。2013 年 12 月 7 日访问自http://data.worldbank.org/ 。
- [22] Tukey，JW， 《计算与统计如何相互影响》。巴贝奇纪念会议论文：会议报告，伦敦，1972 年。
- [23] 联合国统计司。UNdata。2014年 1 月 2 日取自http://data.un.org/Explorer.aspx 。
- [24] Verma, V、Scott, C.、O'Muircheartaigh。“世界生育力调查的样本设计和抽样误差”，皇家统计学会杂志，A 系列（综合） 。1980 年，143(4)，431–473。
!
