JMP® Pro를 사용한 선형 혼합 모형: 하나의 얼굴, 다양한 맛*
지안 카오 박사
SAS 연구소, Inc.
2015년 3월 24일
벨기에의 브뤼셀
추상적인
JMP Pro 11에 도입된 새로운 기능 중 하나는 혼합 모델입니다. Fit Model 플랫폼의 이 새로운 모델링 특성을 사용하면 적절한 공분산 구조와 함께 고정 효과와 무작위 효과를 사용하여 다양한 회귀 모델을 맞출 수 있습니다. 혼합모델이 뭔가요? 언제 그리고 왜 혼합 모델에 적합해야 합니까? 그리고 JMP는 그러한 모델에 어떻게 적합할까요? 이 논문에서는 1) 통계적 배경을 간략하게 검토하고, 2) 혼합 모델이 응답 변수의 측정값이 상관된 데이터에 전통적인 회귀 모델을 적용한 결과와 더 나은 추정치를 제공하는 이유를 논의함으로써 혼합 모델에 대한 신화를 없애려고 노력할 것입니다. 주요 설명 변수가 누락되었으며 3) 실제 응용 분야에서 널리 사용되는 혼합 모델의 다양한 특성을 피팅하여 JMP® Pro의 혼합 모델을 설명합니다.
감사의 말: 도움을 주신 Christopher Gotwalt와 Laura Lancaster에게 감사의 말씀을 전하고 싶습니다.
* 이 백서에 제시된 자료는 JMP Pro 12에도 적용됩니다.새로운 JMP Pro 12의 주요 개선 사항은 대용량 데이터에 대해 JMP가 JMP Pro 11보다 더 빠르게 실행될 수 있도록 개선된 최적화 알고리즘입니다. .
JMP Pro 11은 Fit Model 플랫폼에 새로운 모델링 특성인 혼합 모델을 추가했습니다.혼합모델이 뭔가요? JMP는 그러한 모델에 어떻게 적합합니까? 혼합 모델을 적용할 수 있는 주요 애플리케이션은 무엇입니까? 본 논문에서는 혼합 모형에 대한 오해를 풀고 실제 사례를 통해 JMP의 기능을 보여드리겠습니다.
선형 혼합 모델이란?
선형 혼합 모델은 선형 회귀 모델을 일반화한 것입니다. , y=Xβ +ε . 무작위 효과를 허용하도록 모델을 확장하면, 지 , 새 모델은 y=Xβ+Z γ + ε . 이는 고정 효과가 모두 있기 때문에 선형 혼합 모델입니다. 엑스, 무작위 효과, 지.
에 대해 다음과 같은 가정이 이루어졌습니다. 무작위 효과 매개변수, γ 그리고 무작위 오류 ε :
(1) γ 그리고 ε 정규 분포이고 (2) 사이에는 상관 관계가 없습니다. 그리고 ε .JMP는 일반적으로 사용되는 여러 구조를 제공합니다. ε . 고정 효과 계수 , , 공분산 행렬 그리고 제한된 최대 우도 방법으로 공동 추정됩니다. 혼합 모델을 피팅하려면 다음이 필요합니다. ㅏ 각 단면 단위에 대한 추가 데이터 또는 공간 데이터 모델링의 경우 측정 치수. 비정규 분포 응답 또는 비선형 혼합 모델에 대한 혼합 모델이 있습니다. ; 하지만, 저는 논의 범위를 JMP Pro에서 지원되는 선형 혼합 모형으로 제한합니다.
혼합 모델을 사용하는 이유
응답 간에 상관관계가 있거나 중요한 설명변수 누락되어 이를 설명하지 못하면 치료 효과 및 기타 요인에 대한 편향된 추정이 발생합니다.
혼합 모델의 몇 가지 일반적인 사용 사례는 다음과 같습니다.
- 허용 계수
- 변경하기 어렵고 변경하기 쉬운 요인으로 인해 여러 오류 항이 발생하는 무작위 블록 설계 및 분할구 설계 분석
- 무작위 효과(즉, 패널 데이터 모델)의 형태로 관찰되지 않은 개별 이질성을 제어합니다.
- 반복 측정 분석 피험자 내 오류는 서로 연관되어 있습니다.
- 동일한 대상에서 측정을 수행하기 때문에 상호 연관된 다중 응답;
- 과목은 계층적입니다(즉, 학교 내 학생). . 이는 계층 선형 모델 또는 다단계 모델로 알려져 있습니다.
- 공간적 가변성(예: 지리공간 회귀)
JMP Pro를 사용하면 포인트 앤 클릭 인터페이스를 사용하여 이러한 모든 모델을 쉽게 지정하고 적합화할 수 있으며 사용자 친화적인 방식으로 결과를 검토할 수 있습니다.
JMP Pro에서 혼합 모형을 지정하는 단계
- 1. 선택하다 분석 => 적합 모델 을 선택하고 혼합 모델 성격 ;
- 2. 데이터 테이블에서 연속 반응 변수를 선택합니다. 와이 표준 최소 제곱법을 사용하여 일반적으로 수행하는 것처럼 고정 효과를 구성합니다.
3A. 사용 무작위 효과 무작위 계수 또는 무작위 효과를 지정하는 탭;
3B. 사용 반복되는 구조 모델 오류에 대한 공분산 구조를 선택하는 탭;
- 4. 클릭 달리다 .
이제 혼합 모델의 네 가지 유형, 즉 무작위 계수 모델, 반복 측정 분석, 패널 데이터 모델 및 모델을 보여주는 예를 살펴보겠습니다. 지리공간 회귀.
예 1: 무작위 계수 모델 - 차단 및 경사 허용 주제에 따라 무작위로 변경
이 예에서 우리는 각 밀 품종이 인구 효과에서 임의의 편차를 가지도록 허용하면서 토양의 파종 전 수분이 밀 수확량에 미치는 영향을 추정하는 데 관심이 있습니다. 그래서 무작위 계수 모델이 필요합니다. 실험에서는 밀 개체군에서 무작위로 10개의 품종을 선택하고 각각에 할당합니다. 여섯 필지의 땅 .각 품종에 대한 6개의 수확량 측정을 통해 총 60개의 관찰이 수집됩니다. (데이터 "밀"은 JMP의 샘플 데이터 디렉터리에서 사용할 수 있습니다.)
모델을 지정하기 위해 위에 설명된 단계를 따랐습니다. 에서 고정 효과 탭에서 기본 차단과 함께 수분을 고정 효과로 지정합니다.
Fit Model: Fixed EffectsFit Model: Fixed Effects적합 모델: 고정 효과
다음으로는 무작위 효과 탭,사용 네스트 무작위 계수 버튼을 누르면 품종별 랜덤 인터셉트와 수분 효과를 요청할 수 있습니다. 
Fit Model: Random EffectsFit Model: Random Effects적합 모형: 무작위 효과
마지막으로, 반복되는 구조 탭, 선택 잔여 모델 오류 항의 경우.
Fit Model: Repeated StructuresFit Model: Repeated Structures 적합 모델: 반복 구조
다음 스크린샷은 다음과 같습니다. 랜덤 효과 공분산 모수 추정, 고정 효과 모수 추정 그리고 무작위 계수 .차례로 논의해 봅시다.
Intercept의 분산 추정치는 18.89이고 표준 오류 추정치는 9.11이므로 z-점수는 2.07(=18.89/9.11)입니다. JMP 공식 편집기의 정규 분포 함수를 사용하면 p-값이 0.0192라는 것을 알 수 있습니다. 이는 품종 간 기준 수확량의 변화가 통계적으로 유의하다는 것을 나타냅니다.마찬가지로, 피 -값 Cov(수분, 차단) , 0.3777 및 p-값 Var(수분) 0.0380이다.
그만큼 무작위 계수 보고서는 BLUP(B est 선형 불편 예측자) 각 품종이 개체군 차단 및 개체군과 어떻게 다른지에 대한 값 고정 효과 매개변수 추정치. 품종 1의 경우 수확량에 대한 추정 수분 효과는 0.61(=0.66-0.05)이고 기준 수확량은 34.39(=33.43+0.96)이며 예측 수확량 방정식은 다음과 같습니다.
고정 효과와 무작위 계수 추정치를 결합하여 밀의 수분 수확량에 대한 전반적인 영향이 중요하다는 것을 발견하고 다양한 품종에 걸쳐 수분 효과의 중요한 변화를 발견했습니다.
무작위 계수 모델의 기타 응용 분야
개인 성장 모델은 임의 계수 모델의 한 유형입니다. 무작위의 시간 효과는 개인별로 추정됩니다.그의 작업은 연속을 지정하여 수행됩니다. 다음과 같은 시간 변수 일 또는 월을 무작위 효과로 유 노래하다 네스트 무작위 계수 버튼을 누르면 개인별로 별도의 기울기(즉, 성장)와 절편을 요청할 수 있습니다.
교육 연구에서 주제는 종종 계층적 순서로 중첩됩니다.여러 그룹의 무작위 효과 설명을 추가하면 적합할 수 있습니다. 계층적 선형 모델/다중 수준 모델 .
예 2: 반복 측정 분석 - 상관 오류 설명
반복 측정은 시간이 지남에 따라 동일한 피험자로부터 수집된 응답을 여러 번 측정하는 것입니다.이 임상 시험에서 피험자(즉, 환자)는 무작위로 다른 치료 그룹에 배정되었습니다. 각 피험자의 총 콜레스테롤 수치는 시험 기간 동안 여러 번 측정되었습니다. 연구의 목적은 다음과 같은지 테스트하는 것입니다. 새로운 약물은 콜레스테롤을 낮추는 데 효과적입니다. 무엇 반복 측정의 분석을 뚜렷하게 만드는 것은 피험자 내 측정의 상관 관계입니다. 이를 설명하지 못하면 치료 효과에 대해 잘못된 결론을 내리는 경우가 많습니다. (자료, 콜레스테롤이 쌓여있다 는 JMP의 샘플 데이터 디렉터리에서 사용할 수 있습니다.
JMP Pro는 일반적으로 사용되는 세 가지 공분산 구조를 제공합니다.
- 구조화되지 않음
- AR(1) (1차 자기회귀)는 한 단위의 시간 차이가 있는 두 측정값 간의 상관관계를 추정합니다.시간차가 커질수록 상관관계는 감소합니다.
- CS
다음 스크린샷은 고정 효과 다음을 포함하는 반복 측정 분석의 일부입니다. 치료 , 월 , 오전 오후 , 그리고 그들의 상호 작용.
Fixed effects part of the modelFixed effects part of the model 모델의 고정 효과 부분
나는 개체 내 오류에 대한 세 가지 다른 공분산 구조를 고려할 것입니다.먼저, 구조화되지 않았습니다. 적용하다 시간 열 반복, 그리고 인내심 있는 열 주제 --이것은 주제 내에서 반복되는 측정을 정의합니다. JMP에서는 다음을 요구한다는 점을 기억하는 것이 중요합니다. 주제 열의 값은 고유해야 하며 반복됨 열은 범주형이어야 합니다. 구조화되지 않음 옵션.
Unstructured Covariance StructureUnstructured Covariance Structure 구조화되지 않은 공분산 구조
주요 보고서에는 다음이 포함됩니다. 반복 효과 공분산 모수 추정, 고정 효과 모수 추정치, 그리고 테스트 고정 효과 테스트 .
Results using UnstructuredResults using Unstructured 구조화되지 않은 결과를 사용한 결과
공분산 추정치의 통계적 유의성을 테스트하는 한 가지 방법은 이전 무작위 계수 모델 예에서 했던 것처럼 z-점수를 계산하고 해당 p-값을 찾는 것입니다. 그러나 신뢰 한계를 확인할 수 있습니다. 공분산 추정에 대한 95% 신뢰 구간에 0이 포함되면 추정이 0에서 통계적으로 유의하지 않다고 말할 수 있습니다. α = 5%.보시다시피, 6개의 분산 추정값은 모두 0과 크게 다르지만 대부분은 공분산 추정치는 그렇지 않습니다. 이는 AR(1)과 같은 간결한 구조를 고려해야 함을 시사합니다.
고정 효과 테스트 보고서는 매우 중요한 치료 효과를 보여줍니다. 씨 홀스테롤 수준 또한 월별로 그리고 오전부터 오후까지 크게 달라지는 것으로 나타났습니다.
다음으로 우리는 AR(1) 개체 내 오류에 대한 공분산 구조로 사용됩니다. 점에 유의하시기 바랍니다 반복됨 JMP가 AR(1)에 사용하는 열은 연속형 변수여야 합니다.그래서, 디 에이— UN 옵션에 사용되는 범주형 변수 대신 각 측정 시 시험 시작일로부터 일수가 사용됩니다.
AR(1) Covariance StructureAR(1) Covariance Structure AR(1) 공분산 구조
그만큼 반복 효과 공분산 모수 추정 보고서는 0.95의 매우 중요한 피험자 내 상관 관계를 보여줍니다. 고정 효과 결과는 UN 옵션(표시되지 않음)의 결과와 유사합니다. 즉, 치료 효과와 시간 효과는 통계적으로 유의합니다.
Results using AR(1)Results using AR(1) AR을 사용한 결과(1)
예제를 완성하기 위해 마지막으로 모델을 다음과 같이 피팅해 보겠습니다. CS 구조. 그렇게 하려면 다음을 선택하십시오. 잔여 으로 반복 공분산 구조 —하지만 지정할 필요는 없습니다. 반복됨 그리고 주제 이 옵션이 있는 열; 대신 주제 ID를 추가합니다. 인내심 있는, 무작위 효과로 무작위 효과 탭. 그건
승 개체 간 공분산은 개체 ef를 통해 모델링됩니다. 완벽하다.
CS Covariance Structure with random subject effect and residual errorCS Covariance Structure with random subject effect and residual error 무작위 주제 효과와 잔차 오류가 있는 CS 공분산 구조
Results using CSResults using CSCS를 사용한 결과
95% 신뢰 한계로 판단할 때 동일한 주제에 대한 두 측정값 간의 공분산은 통계적으로 유의하지 않습니다. α =0.05(실제로 p-값= 0.0621 ). 고정효과 테스트 결과는 이전 모델과 유사하므로 여기서는 표시하지 않습니다.
그렇다면 어떤 반복 구조를 채택해야 할까요? 모델 비교의 한 가지 기준은 AICc입니다. 로부터 적합 통계 JMP에서 보고한(표시되지 않음) AICcs는 다음과 같습니다. 구조화되지 않음 —703.84, AR(1) —652.63 및 CS —832.55. 그래서, AR(1) 승자입니다.
예시 3: 패널 데이터 모델 - 관찰되지 않은 이질성에 대한 제어
이 예는 다음에서 가져온 것입니다. Vella와 Verbeek(1998)은 다음에서 논의됩니다. 계량경제학 입문 제프리 우드리지(Jeffrey Woodridge) 예제 14.4 . 자세한 내용은 아래 참고 자료를 참조하세요.
원본 데이터는 에서 나왔습니다. 1979년 전국 청소년 종단 조사 코호트 (NLSY79). 자료에 따르면 남성 근로자 545명은 1980년부터 1987년까지 매년 일했다. 우리는 교육, 업무 경험, 인종 등을 통제하는 조합원의 임금 수입에 미치는 영향을 추정하는 데 관심이 있습니다.
NLSY79는 근로자에 대한 상세한 배경정보를 수집하여 통제변수로 활용하고 있지만 여전히 관찰하거나 측정할 수 없는 개인차가 존재한다. 패널 데이터는 개인의 이질성을 설명하는 방법을 제공합니다. 관찰되지 않은 이질성이 모델에 포함된 모든 설명 변수와 상관 관계가 없다고 가정할 수 있는 경우 이를 무작위 효과로 처리하여 설명할 수 있습니다.
Woodridge의 논의에 따르면 관찰되지 않은 차이를 포착하기 위해 근로자의 ID를 무작위 효과로 입력하는 Log(Wage) 방정식이 적합합니다.
Fixed effects part of the Log(Wage) EquationFixed effects part of the Log(Wage) Equation 로그(임금) 방정식의 고정 효과 부분
Random effects part of the Log(Wage) EquationRandom effects part of the Log(Wage) Equation로그(임금) 방정식의 무작위 효과 부분
나는 선택한다 잔여 모드 오류 항에 대해. 모델명은 단방향 랜덤 효과 모델 계량 경제학에서 .
결과는 아래와 같습니다.
Panel Model ResultsPanel Model Results 패널 모델 결과
로부터 무작위 효과 공분산 모수 추정치 그 사람을 찾았다고 보고해 이질 전체 변동의 47.8%(=0.11/(0.11+0.12))를 차지하며, 이는 관찰되지 않은 이질성 효과가 크다는 것을 나타냅니다. 즉, OLS 분석은 잘못된 결과를 낳을 가능성이 높습니다.
그만큼 고정 효과 모수 추정치 보고서에 따르면 교육 복귀율은 9.2%, 노조 보험료는 10.5%로 추정되는데, 두 수치 모두 통계적으로 매우 유의미합니다. 이에 비해 통합 OLS는 노조 보험료를 18.2%로 추정합니다. Woodridge(2013, 495페이지)를 참조하세요.
참고자료
프란시스 벨라(Francis Vella)와 마르노 베르베크(Marno Verbeek)(1998), " 노동조합은 누구의 임금을 인상하는가? 청년을 위한 노조주의와 임금률 결정의 역동적인 모델 ", Journal of Applied Econometrics, Vol. 13, No. 2, pp. 163-183. 데이터는 Journal의 웹사이트에서 다운로드할 수 있습니다. http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
제프리 M. 우드리지(2013), 계량경제학 입문: 현대적인 접근 방식(5 일 에드), CENGAGE 학습.
예 4: 지리공간 데이터 모델링 - 공간 상관관계 고려
반복되는 측정값이 시간에 따라 상관되는 것처럼 공간 데이터도 공간에서 상관될 가능성이 높습니다.즉, 측정값은 다음과 같습니다. 상대적으로 가까이 있는 것이 멀리 있는 것보다 더 비슷합니다. 따라서 분석 시 공간적 종속성을 고려해야 합니다.
공간 데이터는 다음과 같은 좌표와 함께 기록됩니다. 위도와 경도, 행과 열의 위치, 남북 및 동서 방향. 두 측정 사이의 거리는 다음을 사용하여 계산됩니다. 유클리드 거리 공분산 구조를 형성하는 데 사용되는 함수입니다. 나 fa 거리 함수는 측정 방향에 의존하지 않으며 공분산은 다음과 같습니다. 등방성; 그렇지 않으면 그것은 이방성 .게다가, ㅏ 덩어리 로컬 영역의 짧은 거리에 대한 급격한 변화를 설명하기 위해 효과를 추가할 수 있습니다.
JMP Pro는 4가지 기능을 제공합니다. 유클리드 거리 등방성 구조에 대한 함수: 거듭제곱, 지수, 가우스 및 구형.다양한 형태의 이방성 구조를 사용할 수 있습니다.공분산 구조에 너겟 효과를 추가할 수도 있습니다.
다음 예는 다음에서 가져온 것입니다. 혼합 모델용 SAS, 2판 , 2006, pp. 457-460. ( http://www.sas.com/store/prodBK_59882_en.htm ). 유해 폐기물 처리장의 배수를 조사하기 위해 현장의 여러 위치에서 30개의 샘플을 채취하여 남북 및 동서 방향으로 기록했습니다.배수 사이의 선형 관계(측정 방법: 로그 투과율) 그리고 소금층의 두께가 제안되었습니다. ( 티 그는 데이터, 유해 폐기물 , 이다 데이터 세트 11.6 압축 파일에
http://support.sas.com/publishing/bbu/59882/59882.zip .)
공간 회귀 모델은 너겟 효과가 있는 공간 이방성 전력 구조를 사용하여 적합합니다. 이 구조를 사용하면 (1) 거리가 공간 상관의 거듭제곱 함수가 되고, (2) 공간 상관이 서로 다른 방향에서 달라지며, (3) 작은 거리에 대한 변동이 가능해집니다.
Spatial anisotropic power with nuggetSpatial anisotropic power with nugget 너겟을 이용한 공간적 이방성 파워
Results using spatial anisotropic power with nuggetResults using spatial anisotropic power with nugget너겟을 이용한 공간 이방성 파워를 사용한 결과
공분산 모수 추정 보고서는 매우 중요한 공간 상관관계를 제시하며 두 상관 계수는 각각 0.81(동서)와 0.91(남북)입니다. 그러나 신뢰한계를 기준으로 보면 너겟이 없는 것으로 보입니다.고정 효과 모수 추정치 소금 두께의 배수에 유의미한 부정적 영향(-0.025)을 나타냅니다.
너겟 효과를 제거하여 모델을 다시 맞췄습니다.
Results using spatial anisotropic power without nuggetResults using spatial anisotropic power without nugget 너겟 없이 공간 이방성 파워를 사용한 결과
우리는 몇 가지 사소한 변화를 발견했습니다. 추정된 공간 상관 관계는 각각 0.86과 0.82이고 소금 두께의 효과는 -0.021입니다. AICc를 사용하여 적합도를 비교하면 두 번째 모델이 AIC가 더 작기 때문에(84.7 대 86.4) 약간 더 좋습니다.
공간적 상관관계의 존재를 공식적으로 테스트하기 위해 다음을 선택하여 독립적인 오류 모델을 적합합니다. 잔여 구조로(즉, 공간적 상관관계가 없다고 가정). 두 모델 간의 -2 잔차 로그 우도 값의 차이는 χ2 우도 비율 테스트를 형성합니다. 독립 오류 모델의 -2 잔차 로그 우도는 94.07이므로 차이는 13.72(=94.07-80.35)입니다. 이는 DF=2에 대해 0.001의 p-값을 산출합니다. 따라서 이 사이트에서는 중요한 공간적 상관관계가 발견됩니다.
요약
이러한 예를 통해 선형 혼합 모형의 다양성과 JMP를 사용하여 혼합 모형을 쉽게 적용할 수 있음을 보여주었기를 바랍니다. 마치기 전에 몇 가지 일반적인 팁을 공유하고 싶습니다.
