JMP® Pro를 사용한 선형 혼합 모델: 한 면, 여러 가지 맛*
지안 카오 박사
SAS 연구소 주식회사
2015년 3월 24일
벨기에, 브뤼셀
추상적인
JMP Pro 11에 도입된 새로운 기능 중 하나는 혼합 모델입니다. Fit Model 플랫폼의 이 새로운 모델링 개성을 사용하면 적절한 공분산 구조와 함께 고정 및 임의 효과가 있는 다양한 회귀 모델을 적합시킬 수 있습니다. 혼합 모델이란 무엇입니까? 언제 그리고 왜 혼합 모델을 적합시켜야 합니까? 그리고 JMP는 어떻게 그러한 모델을 적합시킵니까? 이 논문에서는 1) 통계적 배경을 간략히 검토하고, 2) 혼합 모델이 반응 변수의 측정이 상관관계가 있거나 주요 설명 변수가 누락된 데이터에 기존 회귀 모델을 적합시키는 더 나은 추정치와 결과를 제공하는 이유를 논의하고, 3) 실제 응용 프로그램에서 널리 사용되는 다양한 혼합 모델을 적합시켜 JMP® Pro의 혼합 모델을 설명하여 혼합 모델에 대한 오해를 해소하려고 합니다.
감사의 말: 저는 도움에 대해 Christopher Gotwalt와 Laura Lancaster에게 감사드리고 싶습니다.
* 본 논문에 제시된 자료는 JMP Pro 12에도 적용됩니다. 새로운 JMP Pro 12의 주요 개선 사항은 대용량 데이터에 대해 JMP Pro 11보다 JMP를 더 빠르게 실행할 수 있게 해주는 최적화 알고리즘이 개선된 것입니다 .
JMP Pro 11은 Fit Model 플랫폼에 새로운 모델링 개성인 Mixed Model을 추가했습니다. 혼합 모델이란 무엇일까요? JMP는 어떻게 이러한 모델을 적합시킵니까? 혼합 모델을 적용할 수 있는 주요 응용 분야는 무엇입니까? 이 논문에서는 혼합 모델에 대한 오해를 해소하고 실제 사례를 통해 JMP의 기능을 보여드리겠습니다.
선형 혼합 모델이란 무엇인가
선형 혼합 모델은 선형 회귀 모델의 일반화입니다 . y = Xβ + ε. 무작위 효과 Z 를 허용하도록 모델을 확장하면 새로운 모델은 y=Xβ+Z γ + ε 가 됩니다.. 이는 고정 효과 X 와 임의 효과가 모두 존재하므로 선형 혼합 모델입니다. 와 함께.
다음 가정은 다음과 같습니다.무작위 효과 매개변수, γ그리고 무작위 오차 ε:
(1) 다 그리고 ε 정규 분포되어 있으며 (2) 상관 관계가 없습니다. 그리고 ε. JMP는 일반적으로 사용되는 여러 구조를 제공합니다.ε. 고정 효과 계수 , , 및 공분산 행렬 그리고 제한된 최대 우도법에 의해 공동으로 추정됩니다. 혼합 모델을 맞추려면 다음이 필요합니다.a각 횡단면 단위에 대한 추가 데이터 또는 공간 데이터를 모델링하는 경우 측정의 차원입니다.비정규 분포 응답에 대한 혼합 모델 또는 비선형 혼합 모델이 있습니다.; 하지만, 논의 범위는 JMP Pro에서 지원되는 선형 혼합 모델로 제한됩니다.
혼합 모델의 이유
응답 간에 상관 관계가 존재하는 경우 또는 중요한 설명 변수누락된 부분이 있으며, 이를 고려하지 못하면 치료 효과 및 기타 요소에 대한 추정치가 편향됩니다.
혼합 모델의 일반적인 사용 사례는 다음과 같습니다.
- 허용하다계수
- 변경하기 어려운 요소와 변경하기 쉬운 요소로 인해 여러 오류 항목이 발생하는 무작위 블록 설계 및 분할 플롯 설계 분석
- 무작위 효과의 형태로 관찰되지 않은 개인 이질성을 통제합니다(예: 패널 데이터 모델).
- 반복 측정의 분석주제 내 오류가 상관관계를 갖는 경우
- 동일한 대상을 대상으로 측정했기 때문에 여러 응답이 서로 연관되어 있습니다.
- 과목은 계층적입니다(즉, 학교 내 학생). 이것은 계층적 선형 모델 또는 다단계 모델로 알려져 있습니다.
- 공간적 변동성(즉, 지리공간 회귀)
JMP Pro를 사용하면 포인트 앤 클릭 인터페이스를 사용하여 이러한 모든 모델을 쉽게 지정하고 맞춤화할 수 있으며 사용자 친화적인 방식으로 결과를 검토할 수 있습니다.
JMP Pro에서 혼합 모델을 지정하는 단계
- 1.분석 =>모델 적합을 선택하고 혼합 모델 성격을 선택합니다.
- 2.데이터 표에서 Y 로 연속형 반응 변수를 선택하고, 표준 최소 제곱법에서 일반적으로 하듯이 고정 효과를 구성합니다.
3A. 임의 효과 탭을 사용하여 임의 계수 또는 임의 효과를 지정합니다.
3B. 반복 구조 탭을 사용하여 모델 오류에 대한 공분산 구조를 선택합니다.
- 4. 실행을 클릭합니다.
이제 혼합 모델의 네 가지 다른 종류를 보여주는 예를 살펴보겠습니다. 즉, 임의 계수 모델, 반복 측정 분석, 패널 데이터 모델입니다.지리공간 회귀.
예 1: 랜덤 계수 모델 -가로채기와 경사 허용주제별로 무작위로 변경
이 예에서 우리는 각 밀 품종이 개체군 효과에서 무작위 편차를 갖도록 허용하면서 토양의 심기 전 수분이 밀 수확량에 미치는 영향을 추정하는 데 관심이 있습니다. 따라서 무작위 계수 모델이 필요합니다.실험은 밀 개체군에서 무작위로 10가지 품종을 선택하여 각각에 할당합니다.여섯 개의 토지. 각 품종에 대한 수확량 측정 6회와 함께 총 60개의 관찰치가 수집됩니다. (데이터 "밀"은 JMP의 샘플 데이터 디렉토리에서 제공됩니다.)
위에 나열된 단계에 따라 모델을 지정했습니다.고정 효과 탭에서 기본 절편과 함께 습도를 고정 효과로 지정합니다.
Fit Model: Fixed Effects적합 모델: 고정 효과적합 모델: 고정 효과
다음으로, 무작위 효과 탭에서 중첩 무작위 계수 버튼을 사용하여 각 품종에 대한 무작위 차단 및 수분 효과를 요청합니다. 
Fit Model: Random Effects적합 모델: 무작위 효과적합 모델: 무작위 효과
마지막으로, 반복 구조 탭에서 모델 오차 항에 대해 잔차를 선택합니다. 
Fit Model: Repeated Structures 적합 모델: 반복 구조 적합 모델: 반복 구조
다음 스크린샷은 Random Effects Covariance Parameter Estimates, Fixed Effects Parameter Estimates 및 Random Coefficients를 보여줍니다. 차례로 논의해 보겠습니다. 
Intercept에 대한 분산 추정치는 18.89이고 표준 오차 추정치는 9.11이므로 z-점수는 2.07(=18.89/9.11)입니다. JMP 수식 편집기의 정규 분포 함수를 사용하면 p-값이 0.0192인 것을 알 수 있는데, 이는 품종 간 기준 수량의 변화가 통계적으로 유의미함을 나타냅니다. 마찬가지로 Cov(수분, 차단) 에 대한 p- 값은 0.3777이고 어디에(습기) 에 대한 p-값은 0.0380입니다.
랜덤 계수 보고서는 BLUP(B)를 제공합니다.est 선형 비편향 예측기)각 품종이 고정 효과 매개변수 추정치에서 보고된 개체군 절편 및 개체군 수분 효과와 어떻게 다른지에 대한 값. 품종 1의 경우 수확량에 대한 추정 수분 효과는 0.61(=0.66-0.05)이고 기준 수확량은 34.39(=33.43+0.96)이며 예측 수확량 방정식은 다음과 같습니다.
고정 효과와 무작위 계수 추정치를 모두 결합하여, 밀 수분 수확량에 전반적으로 상당한 효과가 있는 것을 발견했으며, 다양한 품종 간에도 수분 효과에 상당한 차이가 있는 것을 발견했습니다.
랜덤 계수 모델의 다른 응용 프로그램
개인 성장 모형은 다음과 같은 유형의 임의 계수 모형입니다.랜덤 시간 효과는각 개인에 대해 추정됩니다. 그의 작업은 연속적인 것을 지정하여 수행됩니다.시간 변수, 예:일 또는 월을 무작위 효과로 지정하고using 중첩된 랜덤 계수 button to request separate slope (i.e., growth) and intercept for each individual.
교육 연구에서 주제는 종종 계층적 순서로 중첩됩니다. 여러 그룹의 임의 효과 진술을 추가하면 계층적 선형 모델/다중 수준 모델을 적합시킬 수 있습니다.
예 2: 반복 측정 분석 - 상관 오류 설명
반복 측정은 시간이 지남에 따라 동일한 피험자로부터 수집된 반응의 다중 측정입니다. 이 임상 시험에서 피험자(즉, 환자)는 무작위로 다른 치료 그룹에 배정되었습니다. 각 피험자의 총 콜레스테롤 수치는 시험 기간 동안 여러 번 측정되었습니다.연구의 목적은 다음을 테스트하는 것입니다.새로운 약물은 콜레스테롤을 낮추는 데 효과적입니다.반복 측정 분석을 뚜렷하게 만드는 것은 피험자 내 측정의 상관 관계입니다. 이를 고려하지 못하면 종종 치료 효과에 대한 잘못된 결론이 도출됩니다. (데이터, 콜레스테롤 스택은 JMP의 샘플 데이터 디렉토리에서 사용할 수 있습니다.
JMP Pro는 일반적으로 사용되는 세 가지 공분산 구조를 제공합니다.
- 비구조화
- 아알(1)(1차 자기 회귀)는 시간 단위가 하나 떨어진 두 측정 간의 상관 관계를 추정합니다. 시간 차이가 증가함에 따라 상관 관계가 감소합니다.
- 씨에스
다음 스크린샷은 반복 측정 분석의 고정 효과 부분을 보여줍니다. 여기에는 치료 , 월 , 오전/오후 과 이들 간의 상호 작용이 포함됩니다. 
Fixed effects part of the model 모델의 고정 효과 부분 모델의 고정 효과 부분
나는 주제 내 오류에 대한 세 가지 다른 공분산 구조를 고려할 것입니다. 먼저, Unstructured를 사용해 보겠습니다. 적용시간 열은 반복으로, 환자 열은 주제 로 -- 이는 주제 내에서 반복되는 측정을 정의합니다. JMP에서는 주제 열이 고유한 값을 가져야 하고 반복 열이 비정형 옵션에 대해 범주형이어야 한다는 점에 유의하는 것이 중요합니다. 
Unstructured Covariance Structure 비구조화 공분산 구조 비구조화 공분산 구조
주요 보고서에는 반복 효과 공분산 매개변수 추정치가 포함됩니다.고정 효과 매개변수 추정치,그리고 고정효과 검정을 실시합니다 . 
Results using Unstructured 비정형을 사용한 결과 비정형을 사용한 결과
공분산 추정치의 통계적 유의성을 테스트하는 한 가지 방법은 z-점수를 계산하고 p-값을 찾는 것입니다. 이는 이전 랜덤 계수 모델 예에서 제가 한 것과 같습니다. 그러나 신뢰 한계를 확인할 수 있습니다. 공분산 추정치의 95% 신뢰 구간에 0이 포함되면 추정치가 0에서 통계적으로 유의하지 않다고 말할 수 있습니다.α=5%. 우리가 볼 수 있듯이, 6개의 분산 추정치는 모두 0과 크게 다르지만 대부분은공분산 추정치는 그렇지 않습니다. 이는 AR(1)과 같은 검소한 구조를 고려해야 함을 시사합니다.
고정 효과 테스트보고서는 매우 유의미한 치료 효과를 보여줍니다. C콜레스테롤 수치또한 달마다, 아침부터 오후까지 상당한 차이가 있는 것으로 나타났습니다.
다음으로, 우리는 AR(1)을 피험자 내 오류에 대한 공분산 구조로 간주합니다. JMP에서 AR(1)에 사용된 반복 열은 연속 변수여야 합니다. 따라서 UN 옵션에 사용된 범주형 변수 대신 D ays( 각 측정 시 시험 시작 날짜로부터의 일수)가 사용됩니다. 
AR(1) Covariance Structure AR(1) 공분산 구조 AR(1) 공분산 구조
반복 효과 공분산 매개변수 추정 보고서는 0.95의 매우 유의한 피험자 내 상관 관계를 보여줍니다. 고정 효과 결과는 UN 옵션(표시되지 않음)의 결과와 유사합니다. 치료 효과와 시간 효과는 통계적으로 유의합니다. 
Results using AR(1) AR(1)을 사용한 결과 AR(1)을 사용한 결과
예제를 완성하기 위해 마지막으로 씨에스 구조로 모델을 맞춰보겠습니다. 그러려면 반복 공분산 구조 로 잔여를 선택합니다. 하지만 이 옵션으로 반복 및 주제 열을 지정할 필요는 없습니다. 대신 주제 ID인 환자를 범용 효과 탭에 임의 효과로 추가합니다. 즉,
w주어 공분산은 주어 ef를 통해 모델링됩니다.효과 
CS Covariance Structure with random subject effect and residual error 무작위 피험자 효과와 잔여 오차를 포함하는 CS 공분산 구조 무작위 피험자 효과와 잔여 오차를 포함하는 CS 공분산 구조
Results using CSCS를 사용한 결과CS를 사용한 결과
95% 신뢰 한계로 판단할 때, 동일한 주제에 대한 두 측정 간의 공분산은 통계적으로 유의하지 않습니다.α=0.05 (실제로 p-값= 0.0621). 고정 효과 테스트 결과는 이전 모델과 유사하므로 여기에는 표시하지 않았습니다.
그렇다면 어떤 반복구조를 채택해야 할까? 모형 비교의 기준 중 하나는 AICc이다. JMP에서 보고한 적합통계 (제시되지 않음)에 따르면 AICc는 비구조화 —703.84, 아알(1) —652.63, 씨에스 —832.55이다. 따라서 아알(1) 이 승자이다.
예시 3: 패널 데이터 모델 - 관찰되지 않은 이질성 제어
이 예는 다음에서 가져왔습니다.Jeffrey Woodridge의 소개 계량경제학 에서 논의되는 Vella 및 Verbeek(1998)예제 14.4. 자세한 내용은 아래 참고문헌을 확인하세요.
원래 데이터는 1979년 청소년 전국 종단 조사 (NLSY79)에서 가져왔습니다. 데이터에서 545명의 남성 근로자는 1980년부터 1987년까지 매년 일했습니다. 우리는 교육, 근무 경험, 민족 등을 통제하여 노조 가입이 임금 수입에 미치는 영향을 추정하는 데 관심이 있습니다.
NLSY79는 통제 변수로 사용할 근로자에 대한 자세한 배경 정보를 수집하지만, 관찰하거나 측정할 수 없는 개인 차이가 여전히 있습니다. 패널 데이터는 개인 이질성을 설명하는 방법을 제공합니다. 관찰되지 않은 이질성이 모델에 포함된 모든 설명 변수와 상관 관계가 없다고 가정할 수 있는 경우, 이를 임의 효과로 처리하여 설명할 수 있습니다.
우드리지의 논의에 따라 근로자의 ID를 무작위 효과로 입력하여 관찰되지 않은 차이를 포착하는 Log(임금) 방정식이 적합합니다. 
Fixed effects part of the Log(Wage) Equation Log(임금) 방정식의 고정 효과 부분 Log(임금) 방정식의 고정 효과 부분
Random effects part of the Log(Wage) EquationLog(임금) 방정식의 임의 효과 부분Log(임금) 방정식의 임의 효과 부분
모드 오류 항목에 대해 잔여를 선택합니다. 이 모델은 계량경제학에서 일방향 임의 효과 모델 이라고 합니다 .
결과는 아래와 같습니다. 
Panel Model Results 패널 모델 결과 패널 모델 결과
무작위 효과 공분산 매개변수 추정치 보고서에서 우리는 개별적인 것을 발견했습니다.이질성은 전체 변동의 47.8%(=0.11/(0.11+0.12))를 차지하여 큰 관찰되지 않은 이질성 효과를 나타냅니다. 즉, OLS 분석은 오해의 소지가 있는 결과를 낳을 가능성이 높습니다.
고정 효과 매개변수 추정 보고서는 교육 수익률 추정치를 9.2%, 노조 프리미엄을 10.5%로 보여주는데, 둘 다 통계적으로 매우 유의미합니다. 비교를 위해, 풀링된 OLS는 노조 프리미엄을 18.2%로 추정할 것입니다. Woodridge(2013, 495페이지)를 참조하세요.
참고문헌
Francis Vella와 Marno Verbeek(1998), " 노조는 누구의 임금을 인상하는가? 청년을 위한 노동조합주의와 임금률 결정의 역동적 모델 ", Journal of Applied Econometrics, 제13권, 제2호, 163-183쪽. 데이터는 저널 웹사이트에서 다운로드할 수 있습니다.http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
제프리 M. 우드리지(2013),소개 계량경제학: 현대적 접근 방식(5 판 ),CENGAGE 학습.
예제 4: 공간 상관 관계를 고려한 지리공간 데이터 모델링
반복 측정이 시간에 따라 상관관계를 갖는 것처럼 공간 데이터는 공간에서 상관관계를 가질 가능성이 높습니다. 즉, 측정은상대적으로 가까이 있는 것이 멀리 떨어져 있는 것보다 더 유사합니다. 따라서 분석에서 공간적 종속성을 고려해야 합니다.
공간 데이터는 좌표와 함께 기록됩니다.위도와 경도, 행과 열의 위치, 남북 및 동서 방향. 두 측정 간의 거리는 유클리드 거리를 사용하여 계산됩니다. 공분산 구조를 형성하는 데 사용되는 함수입니다.fa 거리 함수는 측정 방향에 의존하지 않으므로 공분산은 다음과 같습니다.등방성;그렇지 않으면 이방성 입니다.게다가,작은 거리에서 발생하는 지역적 갑작스러운 변화를 설명하기 위해 너겟 효과를 추가할 수 있습니다.
JMP Pro는 4가지를 제공합니다유클리드 거리 등방성 구조에 대한 함수: 거듭제곱, 지수, 가우시안 및 구형. 다양한 형태의 이방성 구조가 제공됩니다. 공분산 구조에 너겟 효과를 추가할 수도 있습니다.
다음 예는 SAS for Mixed Models, 2nd Edition , 2006, pp. 457-460에서 가져온 것입니다.http://www.sas.com/store/prodBK_59882_en.htm). 유해 폐기물 처분장의 배수를 조사하기 위해, 현장의 다양한 위치에서 30개의 샘플을 채취하여 북-남 및 동-서 방향으로 기록했습니다. 배수( 대수 투과율로 측정) 와 소금층의 두께 사이의 선형 관계가 제안되었습니다.(T데이터, 유해 폐기물은 압축 파일의 데이터 세트 11.6 입니다.
http://support.sas.com/publishing/bbu/59882/59882.zip.)
공간 회귀 모델은 너겟 효과가 있는 공간 이방성 거듭제곱 구조를 사용하여 적합합니다. 이 구조는 (1) 거리가 공간 상관관계의 거듭제곱 함수가 되고, (2) 공간 상관관계가 다른 방향으로 달라지고, (3) 작은 거리에 걸쳐 변동이 가능해집니다. 
Spatial anisotropic power with nugget 너겟을 사용한 공간 이방성 파워 너겟을 사용한 공간 이방성 파워
Results using spatial anisotropic power with nugget너겟을 이용한 공간 이방성 전력을 이용한 결과너겟을 이용한 공간 이방성 전력을 이용한 결과
공분산 매개변수 추정보고서는 매우 유의미한 공간적 상관관계를 시사하며 두 상관 계수는 각각 0.81(동서)과 0.91(남북)입니다. 그러나 신뢰 한계에 따르면 덩어리는 없는 것으로 보입니다. 고정 효과 추정치는 소금 두께의 물 배수에 유의미한 부정적 효과(-0.025)를 보여줍니다.
너겟 효과를 제거하여 모델을 다시 맞추었습니다. 
Results using spatial anisotropic power without nugget 너겟 없이 공간 이방성 파워를 사용한 결과 너겟 없이 공간 이방성 파워를 사용한 결과
우리는 약간의 사소한 변화를 알아차렸습니다. 추정된 공간 상관관계는 각각 0.86과 0.82이고 소금 두께의 효과는 -0.021입니다. AICc를 사용하여 적합도를 비교했을 때, 두 번째 모델은 AIC가 더 작기 때문에 약간 더 좋습니다(84.7 대 86.4)
공간 상관관계의 존재를 공식적으로 검증하기 위해 우리는 잔여를 구조로 선택하여(즉, 공간 상관관계가 없다고 가정하여) 독립적인 오류 모델을 적합시켰습니다. 두 모델 간의 -2 잔차 로그 우도 값의 차이는 χ2 우도 비율 테스트를 형성합니다. 독립적인 오류 모델의 -2 잔차 로그 우도는 94.07이므로 차이는 13.72(=94.07-80.35)입니다. 이는 DF=2에 대한 p-값 0.001을 생성합니다. 따라서 이 사이트에서 유의미한 공간 상관관계가 발견되었습니다.
요약
바라건대, 이러한 예가 선형 혼합 모델의 다양성과 JMP로 혼합 모델을 적합시키는 용이성을 보여주었기를 바랍니다. 마치기 전에 몇 가지 일반적인 팁을 공유하고 싶습니다.
