資料探勘和統計中的一個問題是收集資料並將其處理到您的軟體中。 幸運的是，聯合管理計劃讓這變得非常容易。
但是，一旦獲得了數據，您需要做什麼？ 首先，您需要檢查收集的內容並「整理」資料（例如清理資料），然後需要對其進行分析。 在這篇文章中，我們將研究所有三個領域：網路資料收集、資料整理和分析。
數據採集
最近的新聞集中在移民美國的各個方面。 因此，讓我們探討美國移民的趨勢，特別是獲得合法永久居民身分「綠卡」的人數。 相關數據可從美國政府免費取得2016年移民統計年鑑。我們將從中提取資料的具體網頁是這樣的：
https://www.dhs.gov/immigration-statistics/yearbook/2016/table1
表格有兩列資訊：年份和數字，如下所示。 這些數據對我個人來說很有意義，因為我的妻子是 2014 年新增人數中的一員。 如果沒有她，2014 年的數字將是 1,016,517。
Table 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration Statistics表1：2016年移民統計年鑑
網路資料擷取
現在我們有了要分析的目標網頁，我們需要將資料輸入聯合管理計劃。 為此，我們可以使用網路開放。 這是一個強大的工具，可以透過訪問找到它檔案 > 網路開啟。從那裡，我們看到以下函數（已貼上感興趣的 URL）。對於如何在 JMP 中開啟網頁，我們有多種選擇。在這個例子中，我們將網頁作為資料打開，並希望這兩列資料能夠被正確偵測到，這依賴網頁開發人員的邏輯組織。貼上 URL 並選擇如何開啟 URL 後，我們可以單擊好的。
Internet Open dialog box in JMPInternet Open dialog box in JMPInternet Open dialog box in JMPInternet Open dialog box in JMPJMP 中的 Internet 開啟對話框
接下來，JMP 將搜尋網頁，尋找可能包含資料的表格。 JMP 偵測到的內容將以清單形式顯示給我們。 幸運的是，該網頁只有一項 JMP 認為是資料的項目。 我們需要選擇我們想要打開的表，表格1此處，然後按一下好的。
Importing Detected TablesImporting Detected TablesImporting Detected TablesImporting Detected Tables匯入偵測到的表
JMP 現在將建立一個包含網路抓取資料的新資料表。
Resultant Data TableResultant Data TableResultant Data TableResultant Data Table結果數據表
數據爭論
乍一看，資料似乎已有效載入 - 例如，兩個變數都是連續的（正如我們所期望的），並且瀏覽資料沒有發現任何異常。 但是，如果我們繪製數據（使用圖形產生器例如），我們發現 1976 年有一個異常值。
Data wrangling reveals an outlierData wrangling reveals an outlierData wrangling reveals an outlierData wrangling reveals an outlier數據爭論揭示了異常值
顯然，1976 年被輸入為 19761。 所以我們必須考慮幾個可能性：
- 難道有人「胖手指」19761，今年加了一個「1」給今年？
- 「1」是否與第二列資料一致，即1976年有1,499,093人？
- 難道是別的什麼？
如果我們回到原始網頁，我們會看到第三個選項是正確答案。額外的“1”來自 JMP 作為年份一部分轉錄的腳註。 腳註向讀者提供了 1976 年會計年度變化的資訊。 為了方便分析，我們只刪除「1」；然而，更徹底的分析可能會看看這是否在相鄰年份意外地多算了。
我應該向研究人員進一步指出：解決這個問題相對容易，因為我們很自然地了解年份。 但是，如果移民數據中存在類似問題，我們可能無法檢測到它，因為差異很大。 因此，如果您正在為互聯網創建數據表，請考慮未來的研究人員，並將腳註放在最直觀的列中。
數據分析與解釋
為了快速分析，我們將使用透過 X 擬合 Y並創建各種模型。 我們可以創建的不僅僅是簡單的線性迴歸模型透過 X 擬合 Y ，如中討論的我的書的第九章使用 JMP 進行生物統計。
首先，我們將透過選擇來擬合一階線性擬合，即線性迴歸擬合線。 這條線，即下面的紅線，顯然不是我們數據的良好模型。 因此，我們將繼續建立各種高階多項式擬合（二階到六階），如下所示。
Applying Various Curve FitsApplying Various Curve FitsApplying Various Curve FitsApplying Various Curve Fits應用各種曲線擬合
從視覺上看，我們可以看到二階擬合（綠線）似乎也無法很好地對資料進行建模。 然而，三階到六階擬合似乎捕捉了原始數據中的一些複雜性。 對我來說，六階擬合看起來最好，因為它沒有像我們在三階和四階擬合中看到的那樣在 2017 年左右出現看似指數級的增長。 雖然五階擬合在數據末尾看起來不錯，但它有一個奇怪的開始。 因此，六階模型看起來是這些選項中最好的。
從這裡開始，我們想要檢查殘差等。 透過檢查所解釋的變異數進行粗略分析也有幫助。 下表透過 R 平方和調整的 R 平方提供了對模型品質的粗略評估。 R 平方調整很重要，因為它會懲罰我們增加額外變數。總體而言，評估顯示六階模型解釋了許多變化。 結合我們對模型的視覺評估，六階擬合似乎是使用這種方法創建的最佳模型。
| 命令 |
R 平方 |
R 平方調整 |
| 1 |
0.336 |
0.333 |
| 2 |
0.359 |
0.353 |
| 3 |
0.552 |
0.545 |
| 4 |
0.562 |
0.553 |
| 5 |
0.639 |
0.630 |
| 6 |
0.669 |
0.659 |
現在，這種解釋是針對具有許多分配給誤差的自由度的問題的均方。 因此，任何這些模型的任何預測的品質都可能很低。
下一步可能是進一步探索時間序列建模功能聯合管理計劃使用這些數據。 不過，這一天也夠了！
有關收集數據（包括從網路收集數據）的更多信息，請參閱我的書的第 2 章使用 JMP 進行生物統計。本書的第 3 章深入介紹了數據爭論。
