数据挖掘和统计中的一个问题是收集数据并将其处理到您的软件中。 幸运的是， JMP让这很容易。
但是，一旦你有了数据，你需要做什么？ 首先，您需要检查您收集的内容并“整理”数据（例如清理数据），然后您需要对其进行分析。 在这篇博文中，我们将研究所有三个领域：网络数据收集、数据整理和分析。
数据采集
最近的新闻集中在移民到美国的各个方面。 因此，让我们探讨移民到美国的趋势，特别是研究获得合法永久居民身份“绿卡”的人数。 相关数据可从美国政府免费获取2016移民统计年鉴.我们将从中提取数据的特定网页是这样的：
https://www.dhs.gov/immigration-statistics/yearbook/2016/table1
该表有两列信息：年份和编号，如下所示。 这些数据对我个人来说很有意义，因为我的妻子是 2014 年新增人数中的一员。 如果没有她，2014 年的人数将达到 1,016,517 人。
Table 1: 2016 Yearbook of Immigration Statistics表一：2016年移民统计年鉴
网络数据提取
现在我们有了要分析的目标网页，我们需要将数据放入JMP . 为此，我们可以使用互联网开放. 这是一个强大的工具，可以通过访问文件 > 互联网打开.从那里，我们看到以下函数（已经粘贴了感兴趣的 URL）。对于如何在 JMP 中打开网页，我们有几种选择。对于这个例子，我们将网页作为数据打开，希望这两列数据能够被适当地检测到，这依赖于网页开发者对事物的逻辑组织。粘贴 URL 并选择如何打开 URL 后，我们可以单击好的.
Internet Open dialog box in JMPJMP 中的 Internet 打开对话框
接下来，JMP 将在网页中搜索可能包含数据的表格。 JMP 检测到的内容将以列表形式显示给我们。 幸运的是，该网页只有一项 JMP 认为是数据。 我们需要选择要打开的表，表格1在这里，然后单击好的.
Importing Detected Tables导入检测到的表
JMP 现在将创建一个包含网络抓取数据的新数据表。
Resultant Data Table结果数据表
数据整理
乍一看，数据似乎已经有效地加载了——例如，两个变量都是连续的（正如我们所料），并且查看数据并没有发现任何异常。 但是，如果我们绘制数据（使用图形生成器例如），我们看到我们在 1976 年有一个异常值。
Data wrangling reveals an outlier数据争吵揭示了一个异常值
显然，1976 被输入为 19761。 所以我们必须考虑几种可能性：
- 有人“胖手指” 19761 并为今年添加了额外的“1”吗？
- “1”是否与第二列数据一致，即 1976 年为 1,499,093 人？
- 是别的吗？
如果我们回到原来的网页，我们看到第三个选项是正确的答案。额外的“1”来自 JMP 作为年度的一部分转录的脚注。 脚注向读者介绍了 1976 年发生的财政年度变化。 为了便于分析，我们只删除“1”；但是，更彻底的分析可能会着眼于这是否会在相邻年份意外多计。
我应该再向研究人员提出一点：解决这个问题相对容易，因为我们自然了解岁月。 但是，如果移民数据中存在类似问题，我们可能无法检测到它，因为这变化很大。 因此，如果您正在为 Internet 创建数据表，请考虑未来的研究人员，并将您的脚注放在最直观的列中。
数据分析与解读
为了快速分析，我们将使用用 X 拟合 Y并创建各种模型。 我们可以创建的不仅仅是简单的线性回归模型用 X 拟合 Y ，如中所述我的书第九章使用 JMP 进行生物统计学.
首先，我们将通过选择来拟合一阶线性拟合，即线性回归拟合线. 这条线，也就是下面的红线，显然不是我们数据的好模型。 因此，我们将继续创建各种高阶多项式拟合，从二阶到六阶，如下所示。
Applying Various Curve Fits应用各种曲线拟合
从视觉上看，我们可以看到二阶拟合（绿线）似乎也不能很好地对数据建模。 然而，三阶到六阶拟合似乎捕捉到了原始数据中的一些复杂性。 对我来说，六阶拟合看起来最好，因为它在 2017 年左右没有我们在三阶和四阶拟合中看到的看似指数级的增长。 虽然五阶拟合在数据末尾看起来不错，但它有一个奇怪的开始。 因此，六阶模型看起来是这些选项中最好的。
从这里，我们想要检查残差等。 通过检查解释的方差进行粗略分析也会有所帮助。 下表提供了通过 R-squared 和 R-squaredadjusted 对模型质量的粗略评估。 R平方调整很重要，因为它会惩罚我们添加额外的变量。总体而言，评估表明六阶模型解释了很多变化。 再加上我们对模型的视觉评估，六阶拟合似乎是使用这种方法创建的最佳模型。
| 命令 |
R平方 |
R平方调整 |
| 1 |
0.336 |
0.333 |
| 2 |
0.359 |
0.353 |
| 3 |
0.552 |
0.545 |
| 4 |
0.562 |
0.553 |
| 5 |
0.639 |
0.630 |
| 6 |
0.669 |
0.659 |
现在，这种解释是针对一个问题的均方，该问题具有很多分配给误差的自由度。 因此，任何这些模型的任何预测的质量都可能很低。
下一步可能是进一步探索时间序列建模能力JMP使用这些数据。 不过，一天就够了！
有关收集数据（包括来自网络）的更多信息，请查看我的书的第 2 章使用 JMP 进行生物统计学.本书的第 3 章深入介绍了数据争论。
