지난 블로그(Part 1) 에서는 JMP 18에서 강화된 'Pyhton 통합' 기능 을 사용하여 scikit-learn의 샘플 데이터 '캘리포니아 주택 가격'을 JMP 데이터 테이블로 로드하는 방법을 소개했습니다. .
이번 블로그(Part 2)에서는 로드한 데이터를 이용하여 주택가격을 축년수, 방수, 위도, 경도 등에서 예측하는 회귀 모델을 작성하고 예측 프로파일을 사용하여 모델을 시각화합니다. 그 때 JMP 18에서는 프로파일로 예측 구간을 표시할 수 있게 되었으므로, 이 기능도 활용해 보겠습니다.
다만, 데이터를 관찰하지 않고 갑자기 모델을 작성하는 것은 위험하기 때문에, 그래프화나 요약에 의해 데이터를 탐색해 보겠습니다. JMP 18에서는 데이터를 탐색하는 데 유용한 기능도 추가되었습니다.
헤더 통계, 열 스위처로 데이터 검색
JMP로 데이터를 탐색할 때 JMP 18의 새로운 기능인 「헤더 통계량」, 「열 매니저」의 이용을 추천합니다.
헤더 통계량
데이터 테이블에서 Σ 아이콘을 클릭하면 각 열의 요약 통계가 데이터 테이블에 표시됩니다. 게다가 기존의 JMP의 기능이지만, 히스토그램의 아이콘을 클릭해 헤더 그래프도 표시할 수 있어 대략적인 데이터의 시각화와 요약이 가능하게 됩니다.
열 관리자
열 패널에서 아이콘(위, 녹색 원으로 표시된 부분)을 클릭하면 다음과 같은 열 관리자가 시작됩니다. 이 도구를 사용하여 열 속성 변경, 요약 통계, 분포 등을 볼 수 있으며 특히 변수가 많은 데이터를 요약하는 데 매우 유용합니다.
요약 통계량과 분포를 보면 일부 변수에서 데이터가 오른쪽에 밑단을 당겨 비정상값이라고도 할 수 있는 큰 값이 있는 것을 알 수 있습니다. 예를 들어, AveRooms(그 블록의 평균 방 수)의 최대값은 141.9, AveBedrms(그 블록의 평균 침실 수)의 최대값 34입니다. 141개의 방이 있고 침실이 34개의 방이 있는 집에 살기 때문에 나 같은 서민에서는 전혀 상상할 수 없습니다. .
그러나 이러한 이상치는 나중에 작성하는 모델에 영향을 미칠 수 있으므로 목적 변수와 설명 변수를 사용하여 다변량 거리(마하라노비스 거리)를 산출하고, 값이 큰 데이터를 모델 작성에서 제외하기로 결정했습니다.
이 과정에서 17개의 데이터를 제외했습니다. 이러한 데이터를 데이터 테이블에서 제외하면 헤더 그래프와 헤더 통계가 그에 따라 다시 계산됩니다.
'예측 프로필'에서 예측 구간 표시
[모델 피팅]을 사용하여 캘리포니아의 주택 가격(MedHouseVal)을 다른 변수(MedInc 및 House Age 등)의 주효과로 설명하는 모델(이하, 주효과 모델)을 작성했을 때의 보고서는 다음과 같습니다.
리포트 「파라미터 추정치」의 추정치가 회귀 모델에 있어서의 편회귀 계수가 됩니다만, 이 모델식을 가시화한 것이 「예측 프로파일」입니다. 평균 방수(AveRooms)가 많을수록 가격이 하락한다는 관계가 나타나지만, 이것은 직감과는 다를 수 있다. 그러나 여기에서는 얻은 예측 수식을 기반으로합니다.
또 다른 블록에서의 주택가격을 예측할 때 예측치의 가능한 값의 범위를 생각할 경우에는 예측 구간을 이용하는 것이 바람직하다. JMP 18에서는 예측 프로파일의 왼쪽에 있는 빨간색 삼각형 버튼에서 예측 구간을 선택하여 95% 예측 구간(녹색 직선이 신뢰 한계를 나타냄)을 표시할 수 있습니다.
이 예측식을 바탕으로, 캘리포니아의 다른 블록에 있어서의 주택 가격을 그 블록의 파라미터(수입, 축년, 방수 등)로부터 예측하는 경우, 예측의 범위로서 예측 구간을 구하는 것이 바람직합니다.
JMP 18에서는, 「예측 프로파일」의 왼쪽에 있는 빨간색 삼각 버튼으로부터 [예측 구간]을 선택하는 것으로, 이하와 같은 95% 예측 구간(녹색의 직선이 95% 예측 구간의 신뢰 한계)을 표시할 수 있다 합니다.
또한 JMP 18에서는 그래프 메뉴의 프로파일에서 신뢰 구간과 예측 구간을 볼 수 있습니다.
아래 그림과 같이 열 저장 > 예측 및 구간 계산식을 선택합니다.그러면 데이터 테이블에 예측 식과 신뢰 구간(평균, 개별) 열이 추가됩니다.
※신뢰 구간의 열은, 「표시하지 않는다」 설정으로 되어 있습니다.
이 과정에서는 주효과 모델 외에도 주효과와 2차 교호작용을 포함한 모델을 생성하고 유사한 절차를 사용하여 수식을 저장합니다.
"주효과 모델"과 "주효과+2차 교호작용 모델"의 프로파일을 비교하기 위해 그래프 > 프로파일을 사용하여 방금 저장한 예측식의 열을 [Y, 예측식 ] 열에 지정합니다.
프로필 보고서가 표시되므로 [예측 프로필]의 왼쪽에 있는 빨간색 삼각 버튼에서 [예측 구간]을 선택하고 [신뢰 구간]의 체크를 해제한 것이 아래 그림입니다.
위의 프로필은 캘리포니아의 경도-122.23, 위도 37.88로, 수입이 8, 축년수가 2, 방수가 7・・・이라는 블록이 있을 때, 주택의 중앙값 가격의 예측치와 그 95% 예측 구간을 나타냅니다.
| 모델 |
예측치와 95% 예측 구간 |
| 주요 효과 모델 |
3.91 [2.53, 5.29] |
| 주요 효과, 2차 교호작용 모델 |
4.14 [2.80, 5,47] |
두 모델을 비교하면 예측값과 예측 구간에 약간의 차이가 있습니다. 그러나 주택가격의 예측치로서는 약 4로 생각하고, 예측의 폭은 2.5~5.5의 범위에서 고려하면 좋을 것이다.
by 마스카와 나오히로(JMP Japan)
마스카와 나오히로 - JMP 사용자 커뮤니티
