276833_ko-KR

liliconcom

다중 회귀, 다중 공선성 및 모델 구축 - 주택 가격

제작: 마를린 스미스

콜로라도 대학교 덴버 비즈니스 스쿨

배경

미국의 스키 리조트 주변 부동산을 관리하는 부동산 회사는 주택 가격 책정 방식을 개선하고자 합니다.데이터는 집과 부동산의 크기, 위치, 집의 나이, 시장 강점 지표를 포함한 여러 가지 측정에 대해 쉽게 사용할 수 있습니다.

작업

스키장 주변에 위치한 주택의 매매가격과 관련된 요인을 파악한 후 주택가격을 예측하는 모형을 개발한다.

데이터 주택 가격.jmp

데이터 세트에는 최근 12개월 동안 판매된 45개의 주거용 부동산에 대한 정보가 포함되어 있습니다.데이터 세트의 변수는 다음과 같습니다.

가격 부동산 판매 가격($1,000)

침대 집안의 침실 수

온천 집안의 욕실 수

평방 피트 집의 크기(평방피트)

마일 투 리조트 숙소에서 시내 리조트 지역까지의 마일

베이스까지의 마일 숙소에서 스키 리조트 산기슭까지의 마일

에이커 에이커 단위의 부지 크기

자동차 차고에 들어갈 차량 수

살이에요 등재 당시의 집 나이(연도)

DoM 집이 팔리기 전에 시장에 나온 일수

 

분석

이 문제는 하나의 응답 변수, 주택 판매 가격 및 판매 가격의 다양한 잠재적 예측 변수와 관련됩니다.세 개의 예측 변수는 집 크기(평방 피트, 침실 수 및 욕실 수)를 직간접적으로 측정합니다.단순 회귀 모델은 이러한 각 예측 변수에 대해 개발되었습니다.

다음은 각 모델에 대한 요약입니다.

모델	알스퀘어	RMSE	P-값
가격 = 137.4 + 77.2 침대	0.456	98.9	< 0.0001
가격 = 141.8 + 106.9 배스	0.640	80.5	< 0.0001
가격 = 134.0 + 0.135 평방피트	0.486	96.2	< 0.0001

 

모델은 단일 예측 모델을 기반으로 주택 가격이 다음과 같이 증가함을 나타냅니다.

• 침실당 $77,200.
• 욕실당 $106,900.
• 평방피트당 $135.

다중 회귀(Exhibit 1)를 통해 다음을 이해할 수 있습니다. 동시 세 가지 예측 변수가 판매 가격에 미치는 영향.

 

전시회 1 다음에 대한 다중 회귀 가격 세 가지 크기 변수

 

  

(분석 > 모델 적합; 선택 가격 Y로, 크기 변수를 모델 효과로, 실행을 누르십시오. 일부 기본 출력물이 표시되지 않고 페이지에 맞게 레이아웃이 변경되었습니다.)

다중 회귀 모델을 세 가지 단순 회귀 모델과 비교하면 계수가 변경되었음을 알 수 있습니다.

• 다중 회귀 모델에서 침실당 $17,835로 $77,200에서 감소했습니다.
• 욕실당 $79,900(이전 $106,900).
• 다중 회귀의 경우 $21/제곱피트, 단순 회귀의 경우 $135/제곱피트.

또한 각 예측변수의 유의성이 변경되었습니다.단순 회귀 모델( 침대 그리고 평방 피트 )는 다른 예측 변수와 함께 사용할 때 더 이상 중요하지 않습니다.그 이유는 예측변수 간의 상관관계 또는 다중공선성 .

Exhibit 2에서 볼 수 있듯이 0.728에서 0.7901 범위의 예측 변수 간의 상관 관계는 판매 가격과 평방 피트 간의 상관 관계(0.697) 및 판매 가격과 침실 수 간의 상관 관계(0.675)를 초과합니다.

 

 

전시회 2 에 대한 상관관계 및 산점도 행렬 가격 및 크기 변수

 

(분석 > 다변량 방법 > 다변량; 선택 가격 , 크기 변수를 Y, 열로 지정하고 확인을 누릅니다.아래쪽 빨간색 삼각형 아래에서 상관 관계 표시를 선택합니다.)

 

 

 

 

 

 

        

 

 

이 설정에서 예측 변수 간의 상관 관계는 특별히 놀라운 것이 없습니다.우리 예상하다 집에 침실이나 욕실을 추가하면 평방 피트가 추가되기 때문에 평방 피트, 침실 수 및 욕실 수를 연관시킬 수 있습니다.상관 관계는 완벽한 (즉, 1과 같음) 제곱피트를 추가한다고 해서 항상 다른 침실이나 욕실을 추가한 것은 아니며(대신 주방을 확장했을 수도 있음) 침실을 추가했다고 해서 항상 다른 욕실을 추가한 것은 아니기 때문입니다. .

 

산기슭까지의 거리와 시내 휴양지까지의 거리라는 두 위치 측정 사이에 다중공선성이 예상될 수도 있습니다.표 3은 두 예측 변수 사이에 높은 상관관계(0.948)가 있기 때문에 실제로 우려할 만한 이유가 있음을 시사합니다.이것은 응답을 포함하는 타원보다 훨씬 좁은 밀도 타원(Exhibit 3)에 의해 산점도 행렬에서 입증됩니다. 가격 .

 

전시 3 쌍별 상관관계 및 산점도 행렬 - 위치 변수

 

 

 

 

 

 

 

 

 

 

 

 

위치 변수에 대한 단순 회귀 모델에서 두 예측 변수는 모두 매우 중요하며 계수는 음수입니다.

모델	알스퀘어	RMSE	P-값
가격 = 리조트까지 454.66 – 5.118마일	0.291	112.97	< 0.0001
가격 = 기본까지 473.61 – 5.925마일	0.401	103.81	< 0.0001

 

두 위치 변수를 포함하는 전체 회귀 모델(그림 4)은 F 비율에 대한 p-값이 < 0.0001로 매우 중요합니다.아직 만 베이스까지의 마일 의 중요한 예측인자이다. 가격 (0.05 수준에서).또한 계수가 크게 변경되었습니다.에 대한 계수 마일 투 리조트 이제 긍정적입니다! (리조트까지의 거리가 늘어남에 따라 판매 가격이 실제로 증가합니까?) 다시 한 번 두 예측 변수 사이의 매우 높은 상관 관계에 대해 우려해야 합니다. 마일 투 리조트 그리고 베이스까지의 마일 .

 

 

전시 4 다음에 대한 다중 회귀 가격 및 위치 변수

예측 변수의 하위 집합에서 다중 공선성의 징후를 찾았지만 모든 예측 변수를 사용하는 다중 회귀 모델을 살펴보겠습니다.

 

전시 5 다음에 대한 다중 회귀 가격 및 모든 예측자

 

(Parameter Estimates 테이블을 마우스 오른쪽 버튼으로 클릭하고 열, VIF를 선택합니다.)

 

위의 모델(Exhibit 5)에서만 온천 그리고 에이커 0.05 수준에서 중요합니다.다중 공선성으로 인해 다른 예측 변수가 통계적으로 유의하지 않습니까? 다중 공선성의 심각도를 측정하는 방법은 분산 인플레이션 계수(VIF)입니다.예측변수의 VIF를 계산하려면(VIF _제이 ), 회귀 모델은 예측 변수를 Y로 사용하고 다른 예측 변수를 X로 사용하여 적합합니다.R ² 이 모델의 경우(R _제이 ² )이 계산된 다음 VIF는 다음 공식을 사용하여 계산됩니다.

 

R _제이 ² 다른 모든 변수에서 하나의 변수를 예측하는 모델의 경우 0.8의 VIF는 5가 되는 반면 R _제이 ² 0.9의 결과는 VIF 10입니다. 따라서 VIF가 5 또는 10보다 크면 다중 공선성이 문제가 될 수 있다는 표시로 간주되는 경우가 많습니다.(참고: 이것은 확고한 경험 법칙이 아닙니다. Google에서 VIF를 검색하면 해당 주제에 대한 많은 의견이 나옵니다.)

 

사이의 강한 상관 관계 마일 투 리조트 그리고 베이스까지의 마일 분명히 문제다.이 경우 모델에서 두 변수 중 하나를 제거하여 다중 공선성을 완화할 수 있습니다.돌이켜보면 시내 휴양지가 산기슭에 가깝다는 것이 밝혀졌는데, 이는 이 두 변수가 거의 동일한 위치 척도라는 것을 의미합니다.부터 마일 투 리조트 보다 실질적으로 더 중요한 것으로 여겨진다. 베이스까지의 마일 , 오직 마일 투 리조트 후속 다중 회귀 모델에서 위치 측정으로 사용됩니다(그림 6).

 

전시 6 다음에 대한 다중 회귀 가격 없이 베이스까지의 마일

 

세 개의 예측 변수( 온천 , 마일 투 리조트 그리고 에이커 )는 새 모델(보기 6)에서 매우 중요합니다.더 중요한 것은 이제 다중 공선성이 훨씬 덜 중요하다는 것입니다.

 

 

모델 축소

앞에서 정의한 궁극적인 작업은 가격 책정 모델을 개발하는 것임을 상기하십시오.목표는 주택 가격을 가장 잘 예측하는 가장 단순한 모델을 개발하는 것입니다.이를 수행하는 방법에는 여러 가지가 있습니다. 한 가지 접근 방식은 전체 모델에서 중요하지 않은 예측 변수를 간단히 제거하는 것입니다.그러나, 그 한 예측 변수의 유의성은 모델에 있는 다른 예측 변수에 따라 다릅니다. .이로 인해 모델에서 제거할 예측 변수를 결정하기가 어렵습니다.단계별 회귀(연습에서 다룸)와 같은 도구는 중요한 변수를 식별하고 모델을 단순화(축소)하기 위한 자동화된 접근 방식을 제공합니다.

 

여기서는 p-값을 사용하여 한 번에 하나의 변수씩 모델을 수동으로 줄입니다.먼저 상관관계를 다시 살펴봅니다.

쌍별 상관관계(표 7의 상위 보고서)는 일부 예측 변수가 응답과 높은 상관관계가 있음을 보여줍니다.그러나 우리가 본 것처럼 일부 예측 변수는 다른 예측 변수와도 높은 상관 관계가 있어 어떤 예측 변수가 실제로 중요한지 결정하기 어렵습니다.

 

대신 부분 상관 관계를 사용합니다.부분 상관 관계는 두 변수 간의 상관 관계이며 다른 변수와의 상관 관계는 제어합니다.부분 상관을 사용하면 다른 예측 변수를 조정한 후 각 예측 변수와 반응 간의 상관 관계를 확인할 수 있습니다.상관 관계가 어떻게 변하는지 확인하십시오(그림 7의 하단 보고서)! 예를 들어, 쌍상관과 편상관을 비교하십시오. 침대 그리고 에이커 ~와 함께 가격 .

 

 

전시 7 쌍상관 및 편상관

 

(분석 > 다변량 방법 > 다변량; 가격 및 나머지 예측 변수를 Y, 열로 선택하고 확인을 누릅니다.아래쪽 빨간색 삼각형 아래에서 부분 상관관계를 선택합니다.)

 

네 가지 변수 – 온천 , 평방 피트 , 마일 투 리조트 그리고 에이커 – 응답과 가장 높은 부분 상관 관계가 있습니다.시장 출시일( DoM ) 그리고 침대 부분 상관이 가장 낮습니다.

 

부터 DoM 또한 p-값이 가장 높으면(Exhibit 6에서 0.925) 제거하여 모델 축소를 시작합니다. DoM 그리고 모델을 다시 맞춥니다.그런 다음 다음으로 높은 p-값을 가진 변수를 제거합니다. 침대 .

 

참고: 변수가 제거되면 다른 변수의 중요성이 변경될 수 있습니다.따라서 중요하지 않은 변수만 제거해야 합니다. 한번에 한 .

 

이 두 변수를 제거한 후, 자동차 그리고 살이에요 여전히 중요하지 않은 반면 평방 피트 이제 0.05 수준에서 중요합니다.또한, p-값은 온천 , 마일 투 리조트 그리고 에이커 모두 감소했습니다(그림 8).

 

전시 8 제거 후 매개변수 추정치 DoM 그리고 침대

 

이 단계별 접근 방식을 계속 사용하면 자동차 , 그 다음에 살이에요 .최종 모델은 매우 중요하며(F 비율의 p-값은 < 0.0001임) 나머지 변수는 모두 0.05 수준에서 중요합니다(그림 9).

 

전시 9 축소된 모델

참고: 여기에서 취한 접근 방식은 기본적으로 역방향 단계적 제거의 수동 형식이며 연습에서 설명합니다.

최종 모델(Exhibit 9의 매개변수 추정치 참조)은 판매 가격을 다음과 같이 추정합니다.

• 평방피트당 $53.64.
• 욕실당 $65,560.
• 에이커당 $5,352.
• 리조트에서 1마일당 $3,644 할인.

요약

통계적 통찰력

다중공선성과 그것이 모델 구축에 미치는 영향이 이 사례의 초점입니다.도심 리조트 지역에서 집까지의 거리와 산기슭까지의 거리라는 두 가지 예측 변수는 거의 동일한 위치 측정값입니다.이러한 변수 중 하나를 제거하면 후속 다중 회귀 모델에서 다른 변수가 통계적으로 유의하게 유지됩니다.

 

쌍별 상관 관계를 조사하면 다중 공선성에 기여하는 관계를 발견하는 데 도움이 됩니다.보다 복잡한 모델에서는 평가하기 어려운 예측 변수 사이에 복잡한 3단계 이상의 상관 관계가 있을 수 있습니다.VIF(Variance Inflation Factor)는 이러한 경우에 신호를 보내는 데 유용합니다.

실제로 이 경우에 개발된 최종 모델은 매우 중요하지만 더 잘할 수 있을까요? 잠재적으로 중요한 다른 예측 변수를 놓치고 있습니까? 예를 들어, 집의 품질과 사용된 건축 자재에 대한 척도가 있습니까? 그리고 무형 자산을 어떻게 다룰 수 있습니까? 가격의 주요 지표가 될 수 있는 집과 이웃의 주관적인 측면을 정량화하는 것은 어렵습니다.

 

모델 진단에 대한 참고 사항

회귀 모델을 구축할 때 모델이 의미가 있는지 확인해야 합니다.일반적으로 사용되는 세 가지 진단 도구는 잔차 플롯, Cook's D 및 Hats입니다.

• 잔차는 모형을 적합시킨 후 남은 변동을 나타냅니다.이상적으로 잔차(또는 스튜던트화 잔차)는 명확한 패턴 없이 0 주위에 무작위로 흩어져 있습니다.
• Cook의 D는 개별 포인트가 모델에 미치는 영향을 측정한 것입니다.Cook의 D 값이 >1인 관측치는 일반적으로 영향력 있는 것으로 간주됩니다.
• Hats는 레버리지의 척도 또는 예측 변수 값과 관련하여 관찰이 얼마나 극단적인지를 나타냅니다.높은 레버리지 포인트는 모델에 영향을 미칠 가능성이 있습니다.

이러한 모델 진단을 직접 탐색하는 것이 좋습니다. 실습에서 다시 살펴보겠습니다.

경영의 의미

 

통계 모델은 이 특정 시장에서 주택 판매 가격을 추정할 때 차고 용량, 집의 나이 및 시장 출시일에 대해 너무 많이 걱정하지 말라고 알려줍니다.도심 휴양지와 산간지역이 가까울수록 매매가격이 높아지고, 대지가 클수록 더 높은 가격을 요구한다.

이 분석을 위해 개발된 통계 모델은 어떤 주택이 통계적으로 과대 또는 저평가.스튜던트화 잔차가 큰 주택(3보다 큼)은 통계 모델에 비해 가격이 높을 수 있습니다.마찬가지로 큰 음의 스튜던트화 잔차(-3 미만)가 있는 주택은 모델에 비해 가격이 낮을 수 있습니다.

 

JMP ^® 기능 및 힌트

 

이 사례에서는 다중 공선성의 식별을 지원하기 위해 쌍별 및 부분 상관 관계, 산점도 행렬 및 VIF를 사용합니다.

 

VIF는 Parameter Estimates 테이블을 마우스 오른쪽 버튼으로 클릭하고 Columns, VIF를 선택하여 찾을 수 있습니다.

 

각 예측 변수의 유의성은 모델의 다른 예측 변수에 따라 달라지므로 p-값과 편상관의 조합을 사용하여 모델을 천천히 줄였습니다.단계적 회귀(Fit Model 플랫폼의 특성)와 같은 도구는 모델 구축 프로세스를 자동화합니다.한 번에 하나의 변수 접근 방식은 실제로 단계적 플랫폼에서 사용할 수 있는 수동 형식의 역방향 제거입니다.

 

 

 

수업 과정

1. 최종 모델을 사용하여 리조트에서 15마일 떨어져 있고 1에이커에 위치한 2개의 욕실이 있는 2,000평방피트 주택의 판매 가격을 예측합니다.

 

다음은 JMP에서 직접 이 작업을 수행하는 두 가지 방법입니다.

• 분석 창에서 위쪽 빨간색 삼각형에서 열 저장 > 예측 수식을 선택합니다.이렇게 하면 회귀 모델을 사용하여 데이터 테이블에 새 열이 생성됩니다.그런 다음 새 행을 추가하고 제공된 값을 입력하여 판매 가격을 예측합니다.
• Analysis 창의 상단 빨간색 삼각형에서 Factor Profiling > Profiler를 선택합니다.프로파일러는 예측 변수의 지정된 값에 대한 예측 응답(및 신뢰 구간)을 표시합니다.빨간색 수직선을 클릭하여 예측 변수 값을 위에 제공된 값으로 변경합니다.

2. 이 경우는 설명서를 사용합니다. 뒤로 전체 모델(예: 모든 예측 변수를 사용하는 모델)이 통계적 유의성에 따라 한 번에 하나의 예측 변수로 축소되는 모델 축소 접근 방식입니다.다른 접근 방식을 고려해 봅시다. 앞으로 모델 선택.

가격과 가장 높은 상관 관계가 있는 예측 변수 또는 가장 낮은 단순 회귀 p-값을 기반으로 한 예측 변수 모델로 시작하고 새 예측 변수를 한 번에 하나씩 추가합니다.예측 변수를 추가할 때 적합 요약, 분산 분석 및 모수 추정 테이블에서 결과를 검토하십시오.

다른 최종 모델에 도달합니까? 그렇다면 어떤 모델이 선호됩니까?   

 

3. FuelEfficiency2011.jmp 데이터 테이블을 엽니다(jmp.com/cases의 비즈니스 사례 라이브러리에서 다운로드 가능).이 데이터 테이블에는 미국에서 판매된 2011년 자동차 제조업체 및 모델의 무작위 표본에 대한 정보가 포함되어 있습니다.

데이터에 익숙해지는 것부터 시작하겠습니다.그런 다음 MPG Highway에 대한 모델을 피팅하고 모델 진단(잔차, Cook의 D 영향, Hats 및 다중 공선성)을 탐색합니다.마지막으로 JMP 단계적 절차를 사용하여 회귀 모델을 구축하고 선택하는 다양한 방법을 살펴보겠습니다.

1부: 데이터 알아보기

1. Distribution 플랫폼을 사용하여 모든 변수를 탐색합니다(제외 제조사 및 모델 ).분포의 모양을 설명합니다.
2. 분석 > 다변량 방법 > 다변량을 사용하여 연속 변수 간의 관계를 탐색합니다.응답과 상관 관계가 있는 변수가 있습니까? MPG 고속도로 ? 변수가 다른 변수와 상관관계가 있습니까?

2부: 모델 구축 및 모델 진단 탐색

1. 다음과 함께 Fit Model을 사용하여 다중 회귀 모델을 구축합니다. MPG 고속도로 응답 및 모든 예측 변수를 모델 효과로 사용(포함하지 않음) 제조사 및 모델 ), 이 모델을 실행합니다.
2. 잔차를 탐색합니다.(기본적으로 표시됩니다.추가 잔차 도표는 빨간색 삼각형, 행 진단에서 사용할 수 있습니다.

패턴이나 비정상적인 관찰이 있습니까? 당신이 관찰한 것을 기술하십시오.

• Cook의 D 영향력과 모자 값을 확인하십시오.(열 저장 아래의 빨간색 삼각형에서 이 옵션을 선택합니다.데이터 테이블의 새 열이 생성됩니다. 배포 플랫폼을 사용하여 이러한 값을 탐색합니다.

영향력이 있거나 높은 레버리지 포인트가 있습니까?

• VIF를 확인합니다.다중공선성에 문제가 있는 것 같습니까? 다변량 > 다변량 플랫폼을 사용하여 이변량 상관관계를 탐색합니다.어떤 변수가 서로 높은 상관관계를 보이는가?  

파트 3: Stepwise를 사용하여 모델 축소

 

모델 사양 창으로 돌아갑니다.성격을 단계별로 변경하고 실행을 클릭합니다.이 연습에서는 다양한 중지 규칙과 방향을 살펴보겠습니다.

이 모델에는 하나의 명목 변수가 포함되어 있습니다. 잡종? , Current Estimates 표에 이상한 레이블이 있습니다.JMP는 명목 변수를 지표 열로 코딩합니다. 레이블을 지정하면 코딩이 적용되었음을 알 수 있습니다.

• 기본 중지 규칙은 최소 BIC입니다.이동을 클릭합니다.

모델에 대해 선택된 예측 변수는 현재 추정치에 입력될 때 확인됩니다.모형에 대해 어떤 항이 선택되었습니까?

• 모두 제거를 클릭하고 중지 규칙을 최소 AIC로 변경한 다음 이동을 클릭합니다.

이 모델에 대해 어떤 용어가 선택되었습니까? 이 모델을 최소 BIC를 사용하여 찾은 모델과 비교하십시오.

참고: BIC는 예측 변수가 적은 모델을 선택하는 경향이 있는 반면 AIC는 예측 변수가 더 많은 모델을 선택하는 경향이 있습니다.

• 이제 중지 규칙을 최소 AIC에서 P-값 임계값으로 변경합니다.

Direction 아래의 기본 선택 루틴은 Forward입니다.이동을 클릭합니다.

• 앞으로에서 뒤로 방향을 변경합니다.모두 제거를 클릭하여 예측 변수를 선택 취소한 다음 이동을 클릭하십시오.

이 모델에 대해 어떤 용어가 선택되었습니까? 포워드 선택과 결과가 다른가요? 사용된 방법에 따라 다른 예측 변수가 선택됩니까?

참고: Stepwise에서 예측 변수를 선택했으면 모델 만들기 또는 모델 실행을 선택하여 회귀 모델을 만듭니다.

기본 데이터 분석 및 모델링