데이터 마이닝 및 통계의 한 가지 문제는 데이터를 수집하여 소프트웨어에서 조작하는 것입니다. 다행스럽게도, JMP 이것을 매우 쉽게 만듭니다.
하지만 데이터를 확보한 후에는 무엇을 해야 합니까? 먼저 수집한 내용을 조사하고 데이터를 "조정"(예: 정리)한 다음 분석해야 합니다. 이 블로그 게시물에서는 웹 데이터 수집, 데이터 랭글링, 분석이라는 세 가지 영역을 모두 살펴보겠습니다.
데이터 수집
최근 뉴스는 미국 이민의 다양한 측면에 초점을 맞추고 있습니다. 그럼 미국 이민 동향을 살펴보겠습니다. 특히 합법적인 영주권자 자격인 '그린카드'를 취득한 사람의 수를 살펴보겠습니다. 관련 데이터는 미국 정부로부터 무료로 제공됩니다. 2016 이민통계연보 .데이터를 추출할 특정 웹페이지는 다음과 같습니다.
https://www.dhs.gov/immigration-statistics/yearbook/2016/table1
이 테이블에는 아래와 같이 연도와 숫자라는 두 개의 정보 열이 있습니다. 내 아내도 2014년 집계에 추가된 이들 중 한 명이었기 때문에 이 데이터는 나에게 개인적으로 의미가 있습니다. 그녀가 없었다면 2014년의 숫자는 1,016,517명이었을 것입니다.
Table 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration Statistics표 1: 2016 이민 통계 연감
웹 데이터 추출
이제 분석할 대상 웹페이지가 있으므로 데이터를 JMP . 이를 위해 우리는 다음을 사용할 수 있습니다. 인터넷 오픈 . 이것은 다음에서 찾을 수 있는 강력한 도구입니다. 파일 > 인터넷 열기 .여기에서 다음 함수를 볼 수 있습니다(관심 있는 URL이 이미 붙여넣어져 있음).JMP에서 웹페이지를 여는 방법에는 몇 가지 선택 사항이 있습니다.이 예에서는 웹페이지를 데이터로 열고 데이터의 두 열이 적절하게 감지되기를 바랍니다. 이는 웹페이지 개발자가 항목을 논리적으로 구성하는 데 의존합니다.URL을 붙여넣고 URL을 여는 방법을 선택한 후에는 좋아요 .
Internet Open dialog box in JMPInternet Open dialog box in JMPInternet Open dialog box in JMPInternet Open dialog box in JMPJMP의 인터넷 열기 대화 상자
다음으로 JMP는 웹페이지를 검색하여 데이터가 포함될 가능성이 있는 테이블을 찾습니다. JMP가 감지한 내용은 목록 형식으로 표시됩니다. 다행히 이 웹페이지에는 JMP가 데이터라고 생각하는 항목이 하나만 있었습니다. 열려고 하는 테이블을 선택해야 합니다. 1 번 테이블 여기를 클릭한 다음 좋아요 .
Importing Detected TablesImporting Detected TablesImporting Detected TablesImporting Detected Tables감지된 테이블 가져오기
이제 JMP는 웹에서 스크랩한 데이터가 포함된 새 데이터 테이블을 생성합니다.
Resultant Data TableResultant Data TableResultant Data TableResultant Data Table결과 데이터 테이블
데이터 랭글링
언뜻 보면 데이터가 효과적으로 로드된 것처럼 보입니다. 예를 들어 두 변수는 모두 연속적이며(예상대로) 데이터를 살펴보면 이상한 점은 없습니다. 그러나 데이터를 플롯하면( 그래프 빌더 예를 들어) 1976년에 특이치가 있다는 것을 알 수 있습니다.
Data wrangling reveals an outlierData wrangling reveals an outlierData wrangling reveals an outlierData wrangling reveals an outlier데이터 랭글링을 통해 이상치가 드러났습니다.
1976년은 19761로 입력된 것 같습니다. 따라서 우리는 몇 가지 가능성을 고려해야 합니다:
- 누군가가 19761을 "뚱뚱한 손가락"으로 여기고 올해에 "1"을 더 추가했나요?
- "1"은 데이터의 두 번째 열과 일치합니까? 즉, 1976년에 1,499,093명이 되었습니까?
- 다른 것인가요?
원래 웹페이지로 돌아가면 세 번째 옵션이 정답임을 알 수 있습니다.추가 "1"은 JMP가 해당 연도의 일부로 기록한 각주에서 가져온 것입니다. 각주는 1976년에 발생한 회계연도 변경에 대한 정보를 독자에게 제공합니다. 이 분석을 위해 "1"만 제거하겠습니다. 그러나 보다 철저한 분석을 통해 이것이 실수로 인접 연도에 과다 계산되었는지 여부를 조사할 수 있습니다.
연구자에게 한 가지 더 말씀드리고 싶은 점은: 우리는 자연스럽게 연도를 이해하기 때문에 이 문제를 해결하는 것이 상대적으로 쉽습니다. 그러나 이민 데이터에 유사한 문제가 존재하는 경우, 이는 매우 다양하기 때문에 이를 감지하지 못할 수도 있습니다. 따라서 인터넷용 데이터 테이블을 생성한다면 미래의 연구자를 생각하여 가장 직관적인 열에 각주를 넣어주시기 바랍니다.
데이터 분석 및 해석
빠른 분석을 위해 다음을 사용하겠습니다. X로 Y 맞추기 그리고 다양한 모델을 만들어 보세요. 단순한 선형 회귀 모델 이상의 것을 만들 수 있습니다. X로 Y 맞추기 에서 논의한 바와 같이 내 책의 9장 JMP를 사용한 생물통계학 .
먼저 우리는 선택된 것에 의해 1차 선형 적합, 즉 선형 회귀를 맞출 것입니다. 적합선 . 아래의 빨간색 선인 이 선은 분명히 우리 데이터에 대한 좋은 모델이 아닙니다. 따라서 우리는 아래와 같이 2차부터 6차까지 다양한 고차 다항식 피팅을 생성할 것입니다.
Applying Various Curve FitsApplying Various Curve FitsApplying Various Curve FitsApplying Various Curve Fits다양한 곡선 맞춤 적용
시각적으로 보면 2차 적합(녹색 선)도 데이터를 잘 모델링하지 못하는 것으로 보입니다. 그러나 3차에서 6차까지의 피팅은 원시 데이터의 복잡성 중 일부를 포착하는 것으로 보입니다. 나에게는 6차 핏이 3차 및 4차 핏에서 볼 수 있는 2017년경에 기하급수적으로 증가하는 것처럼 보이지 않기 때문에 가장 좋아 보입니다. 5차 피팅은 데이터 끝 부분에서는 괜찮아 보이지만 시작이 이상합니다. 따라서 6차 모델은 이러한 옵션 중에서 가장 좋아 보입니다.
여기서부터 잔차 등을 조사해 보겠습니다. 설명된 분산을 조사하여 대략적인 분석을 수행하는 것도 도움이 될 수 있습니다. 다음 표는 R-제곱 및 R-제곱 조정을 통해 모델의 품질을 대략적으로 평가한 것입니다. R-제곱 조정은 추가 변수를 추가할 때 불이익을 주기 때문에 중요합니다.전반적으로 평가에서는 6차 모델이 많은 변형을 설명한다는 것을 보여줍니다. 모델에 대한 시각적 평가를 결합하면 6차 적합이 이 접근 방식을 사용하여 생성된 최고의 모델인 것으로 보입니다.
| 주문하다 |
R 제곱 |
R 제곱 조정됨 |
| 1 |
0.336 |
0.333 |
| 2 |
0.359 |
0.353 |
| 삼 |
0.552 |
0.545 |
| 4 |
0.562 |
0.553 |
| 5 |
0.639 |
0.630 |
| 6 |
0.669 |
0.659 |
이제 이 해석은 오류에 많은 자유도가 할당된 문제의 평균 제곱에 관한 것입니다. 따라서 이러한 모델의 예측 품질은 낮을 수 있습니다.
다음 단계는 시계열 모델링 기능을 더 자세히 탐색하는 것일 수 있습니다. JMP 이 데이터를 사용하여. 그러나 이것은 하루 동안 충분합니다!
웹을 포함하여 데이터 수집에 대한 자세한 내용은 내 책의 2장을 참조하세요. JMP를 사용한 생물통계학 .이 책의 3장에서는 데이터 논쟁을 심도 있게 다루고 있습니다.
