JMP® Pro를 사용한 선형 혼합 모델: 하나의 얼굴, 다양한 맛*
지안 카오 박사
SAS 연구소, Inc.
2015년 3월 24일
벨기에의 브뤼셀
추상적인
JMP Pro 11에 도입된 새로운 기능 중 하나는 혼합 모델입니다. Fit Model 플랫폼의 이 새로운 모델링 특성을 통해 적절한 공분산 구조와 함께 고정 및 임의 효과가 있는 다양한 회귀 모델을 맞출 수 있습니다. 혼합 모델이란 무엇입니까? 혼합 모델에 적합해야 하는 시기와 이유는 무엇입니까? 그리고 JMP는 그러한 모델에 어떻게 적합합니까? 이 백서에서 나는 1) 통계적 배경을 간략하게 검토하고, 2) 왜 혼합 모델이 더 나은 추정치를 제공하는지, 응답 변수의 측정값이 상관관계가 있는 데이터 또는 주요 설명 변수가 누락되었으며, 3) 실생활 응용 프로그램에 널리 사용되는 혼합 모델의 다양한 특징을 피팅하여 JMP® Pro의 혼합 모델을 설명합니다.
감사의 말: Christopher Gotwalt와 Laura Lancaster의 도움에 감사드립니다.
* 이 백서에 제시된 자료는 JMP Pro 12에도 적용됩니다.새로운 JMP Pro 12의 주요 개선 사항은 대용량 데이터에 대해 JMP가 JMP Pro 11보다 빠르게 실행되도록 하는 개선된 최적화 알고리즘입니다. .
JMP Pro 11은 모델 맞춤 플랫폼에 새로운 모델링 특성인 혼합 모델을 추가했습니다.혼합 모델이란 무엇입니까? JMP는 그러한 모델에 어떻게 적합합니까? 혼합 모델을 적용할 수 있는 주요 애플리케이션은 무엇입니까? 이 백서에서는 혼합 모델에 대한 통념을 불식시키고 실제 사례를 통해 JMP의 기능을 입증하려고 합니다.
선형 혼합 모델이란?
선형 혼합 모델은 선형 회귀 모델의 일반화입니다. , y=Xβ +ε . 무작위 효과를 허용하도록 모델 확장, 지 , 새 모델은 y=Xβ+Z γ + ε . 고정 효과가 모두 있는 선형 혼합 모델입니다. 엑스, 무작위 효과, 지.
에 대해 다음과 같은 가정을 합니다. 무작위 효과 매개변수, γ 무작위 오류 ε :
(1) γ 그리고 ε 정규분포되고, (2) 사이에 상관관계가 없다. 그리고 ε .JMP는 다음에 대해 일반적으로 사용되는 몇 가지 구조를 제공합니다. ε . 고정 효과 계수 , , 및 공분산 행렬 그리고 제한된 최대 우도 방법으로 공동으로 추정됩니다. 혼합 모델 피팅에는 다음이 필요합니다. ㅏ 각 횡단면 단위에 대한 추가 데이터 또는 공간 데이터 모델링의 경우 측정 치수. 비정규 분포 응답에 대한 혼합 모델 또는 비선형 혼합 모델이 있습니다. ; 하지만, 논의 범위를 JMP Pro에서 지원되는 선형 혼합 모델로 제한합니다.
왜 혼합 모델인가
응답 사이에 상관관계가 있거나 중요한 설명 변수 없는 경우 이를 설명하지 못하면 치료 및 기타 요인의 효과에 대한 편향된 추정치가 발생합니다.
다음은 혼합 모델의 일반적인 사용 사례입니다.
- 허용 계수
- 변경하기 어렵고 변경하기 쉬운 요인으로 인해 여러 오류 조건이 발생하는 무작위 블록 설계 및 분할 플롯 설계 분석
- 무작위 효과(즉, 패널 데이터 모델)의 형태로 관찰되지 않은 개별 이질성을 제어합니다.
- 반복 측정 분석 여기서 개체 내 오류는 상관 관계가 있습니다.
- 동일한 주제에서 측정을 수행하기 때문에 상관 관계가 있는 여러 응답입니다.
- 과목은 계층적입니다(즉, 학교 내 학생). . 이것은 계층 선형 모델 또는 다단계 모델로 알려져 있습니다.
- 공간적 변동성(즉, 지형 공간적 회귀)
JMP Pro를 사용하면 포인트 앤 클릭 인터페이스를 사용하여 이러한 모든 모델을 쉽게 지정 및 적합하고 사용자 친화적인 방식으로 결과를 검토할 수 있습니다.
JMP Pro에서 혼합 모델을 지정하는 단계
- 1. 고르다 분석 => 모델 적합 , 그리고 선택 혼합 모델 성격 ;
- 2. 데이터 테이블에서 연속 응답 변수를 다음과 같이 선택하십시오. 와이 표준 최소 제곱법으로 일반적으로 수행하는 것처럼 고정 효과를 구성합니다.
3A. 사용 무작위 효과 무작위 계수 또는 무작위 효과를 지정하는 탭;
3B. 사용 반복 구조 모델 오류에 대한 공분산 구조를 선택하는 탭;
- 4. 클릭 운영 .
이제 예를 들어 무작위 계수 모델, 반복 측정 분석, 패널 데이터 모델 및 지리 공간적 회귀.
예 1: 랜덤 계수 모델 - 절편과 슬로프 허용 주제에 따라 무작위로 변경
이 예에서 우리는 각 밀 품종이 모집단 효과에서 무작위 편차를 갖도록 허용하면서 토양에 수분을 미리 심는 것이 밀 수확량에 미치는 영향을 추정하는 데 관심이 있습니다. 따라서 랜덤 계수 모델이 필요합니다. 이 실험은 밀 개체군에서 무작위로 10개의 품종을 선택하고 각각에 할당합니다. 여섯 개의 땅 .총 60개의 관찰과 각 품종에 대한 6개의 수확량 측정이 수집됩니다. ("Wheat" 데이터는 JMP의 샘플 데이터 디렉터리에서 사용할 수 있습니다.)
위에서 설명한 단계에 따라 모델을 지정했습니다. 에서 고정 효과 탭에서 기본 절편과 함께 수분을 고정 효과로 지정합니다.
Fit Model: Fixed Effects맞춤 모델: 고정 효과
다음으로 무작위 효과 탭, 사용 네스트 랜덤 계수 버튼을 눌러 품종별 임의 차단 및 수분 효과를 요청할 수 있습니다. 
Fit Model: Random Effects적합 모형: 무작위 효과
마지막으로 반복 구조 탭, 선택 잔여 모델 오류 항에 대해.
Fit Model: Repeated Structures 맞춤 모델: 반복 구조
다음 스크린샷은 무작위 효과 공분산 매개변수 추정치, 고정 효과 매개변수 추정치 그리고 랜덤 계수 .차례로 토론합시다.
절편에 대한 분산 추정치는 18.89이고 표준 오차 추정치는 9.11이므로 z-점수는 2.07(=18.89/9.11)입니다. JMP 수식 편집기의 정규 분포 기능을 사용하면 p-값이 0.0192라는 것을 알 수 있습니다. 이는 품종 간 기준 수확량의 변동이 통계적으로 유의하다는 것을 나타냅니다.유사하게, 피 -값 Cov(수분, 차단) , 0.3777 및 p-값 Var(수분) 0.0380입니다.
그만큼 랜덤 계수 보고서는 BLUP(B est Linear Unbiased Predictor) 각 품종이 모집단 절편 및 모집단 수분 효과와 어떻게 다른지에 대한 값 고정 효과 매개변수 추정치. 품종 1의 경우 수확량에 대한 예상 수분 효과는 0.61(=0.66-0.05)이고 기준 수확량은 34.39(=33.43+0.96)이며 예측 수확량 방정식은 다음과 같습니다.
고정 효과와 무작위 계수 추정치를 모두 결합하여 밀의 수분 수확량에 대한 전반적인 상당한 영향을 발견하고 다양한 품종에 걸쳐 수분 효과의 상당한 변화를 발견했습니다.
랜덤 계수 모델의 다른 응용
개별성장모형은 랜덤계수모형의 일종으로, 무작위의 시각 효과는 개인별로 추정.그의 작업은 연속을 지정하여 수행됩니다. 다음과 같은 시간 변수 무작위 효과로 일 또는 월 유 노래 네스트 랜덤 계수 각 개인에 대해 별도의 기울기(즉, 성장) 및 절편을 요청하는 버튼.
교육 연구에서 주제는 종종 계층적 순서로 중첩됩니다.임의의 효과 설명 그룹을 여러 개 추가하면 적합할 수 있습니다. 계층적 선형 모델/다단계 모델 .
예 2: 반복 측정 분석 - 상관 오류 설명
반복 측정은 시간이 지남에 따라 동일한 피험자로부터 수집된 응답의 여러 측정입니다.이 임상 시험에서 피험자(즉, 환자)는 다른 치료 그룹에 무작위로 할당되었습니다. 시험 기간 동안 각 피험자의 총 콜레스테롤 수치를 여러 번 측정했습니다. 여부를 테스트하는 것이 연구의 목적입니다. 신약은 콜레스테롤을 낮추는 데 효과적입니다. 뭐 반복 측정의 분석을 뚜렷하게 만드는 것은 대상 내 측정의 상관 관계입니다. 이를 설명하지 못하면 종종 치료 효과에 대한 잘못된 결론으로 이어집니다. (자료, 콜레스테롤 스택 , JMP의 샘플 데이터 디렉토리에서 사용할 수 있습니다.
JMP Pro는 일반적으로 사용되는 세 가지 공분산 구조를 제공합니다.
- 구조화되지 않은
- AR(1) (1차 자기회귀)는 한 단위의 시간 차이가 있는 두 측정값 사이의 상관관계를 추정합니다.시간 차이가 증가함에 따라 상관 관계가 감소합니다.
- 씨에스
다음 스크린샷은 고정 효과 다음을 포함하는 반복 측정 분석의 일부 치료 , 월 , 오전 오후 , 그리고 그들의 상호 작용.
Fixed effects part of the model 모델의 고정 효과 부분
개체 내 오류에 대한 세 가지 다른 공분산 구조를 고려할 것입니다.먼저, 사용하자 비정형 적용하다 시간 열 반복, 그리고 인내심 있는 열 주제 --피험자 내에서 반복되는 측정을 정의합니다. JMP에서 요구하는 사항은 다음과 같습니다. 주제 열은 고유한 값이어야 하며 반복 열은 다음에 대해 범주화됩니다. 구조화되지 않은 옵션.
Unstructured Covariance Structure 구조화되지 않은 공분산 구조
주요 보고서에는 다음이 포함됩니다. 반복 효과 공분산 모수 추정치, 고정 효과 모수 추정치, 그리고 테스트 고정 효과 테스트 .
Results using Unstructured 구조화되지 않은 결과
공분산 추정치의 통계적 유의성을 테스트하는 한 가지 방법은 이전 무작위 계수 모델 예제에서 수행한 것처럼 z-점수를 계산하고 해당 p-값을 찾는 것입니다. 그러나 신뢰 한계를 확인할 수 있습니다. 공분산 추정치에 대한 95% 신뢰 구간에 0이 포함된 경우 추정치가 0에서 통계적으로 유의하지 않다고 말할 수 있습니다. α = 5%.보시다시피, 6개의 분산 추정치는 모두 0과 상당히 다르지만 대부분의 공분산 추정치는 그렇지 않습니다. 이는 AR(1)과 같은 인색한 구조를 고려해야 함을 시사합니다.
고정 효과 테스트 보고서는 매우 중요한 치료 효과를 보여줍니다. 씨 홀스테롤 수치 또한 월별로, 그리고 아침부터 오후까지 상당한 차이가 있는 것으로 밝혀졌습니다.
다음으로 고려합니다. AR(1) 개체 내 오류에 대한 공분산 구조로. 점에 유의하시기 바랍니다 반복 JMP에서 AR(1)에 사용하는 열은 연속 변수여야 합니다.그래서 디 에이- UN 옵션에 사용되는 범주형 변수 대신 각 측정에서 시험 시작일로부터 일수를 사용합니다.
AR(1) Covariance Structure AR(1) 공분산 구조
그만큼 반복 효과 공분산 모수 추정 보고서는 0.95의 매우 중요한 개체 내 상관 관계를 보여줍니다. 고정 효과 결과는 UN 옵션의 결과와 유사합니다(표시되지 않음). 치료 효과와 시간 효과는 통계적으로 유의합니다.
Results using AR(1) AR을 사용한 결과(1)
예제를 완성하기 위해 마지막으로 모델을 씨에스 구조. 그렇게 하려면 다음을 선택하십시오. 잔여 로 반복 공분산 구조 —하지만 지정할 필요는 없습니다. 반복 그리고 주제 이 옵션이 있는 열; 대신 주제 ID를 추가합니다. 인내심 있는, 무작위 효과로 무작위 효과 탭. 그건
승 ithin-subject 공분산은 주제 ef를 통해 모델링됩니다. 완벽한.
CS Covariance Structure with random subject effect and residual error 무작위 주제 효과 및 잔차 오류가 있는 CS 공분산 구조
Results using CSCS를 사용한 결과
95% 신뢰 한계로 판단할 때 동일한 주제에 대한 두 측정값 간의 공분산은 통계적으로 유의하지 않습니다. α =0.05(실제 p값= 0.0621 ). 고정 효과 테스트 결과는 이전 모델과 유사하므로 여기에 표시되지 않습니다.
그렇다면 어떤 반복 구조를 채택해야 할까요? 모델 비교를 위한 한 가지 기준은 AICc입니다. 로부터 맞춤 통계 JMP에서 보고한(표시되지 않음) AICcs는 다음과 같습니다. 구조화되지 않은 —703.84, AR(1) —652.63 및 씨에스 —832.55. 그래서, AR(1) 승자입니다.
예 3: 패널 데이터 모델--관찰되지 않은 이질성을 제어
이 예제는 Vella와 Verbeek(1998)에서 논의되고 있습니다. 입문 계량경제학 제프리 우드리지(Jeffrey Woodridge) 예제 14.4 . 자세한 내용은 아래 참조를 참조하십시오.
원본 데이터는 다음에서 가져왔습니다. 청소년 1979 코호트의 전국 종단 조사 (NLSY79). 데이터에서 남성 노동자 545명은 각각 1980년부터 1987년까지 매년 일했다. 우리는 교육, 업무 경험, 인종 등을 통제하는 조합원의 임금 수입에 미치는 영향을 추정하는 데 관심이 있습니다.
NLSY79는 통제변수로 사용하기 위해 작업자에 대한 자세한 배경 정보를 수집하지만 여전히 관찰하거나 측정할 수 없는 개인차가 있습니다. 패널 데이터는 개별 이질성을 설명하는 방법을 제공합니다. 관찰되지 않은 이질성이 모델에 포함된 모든 설명 변수와 상관관계가 없다고 가정할 수 있는 경우 무작위 효과로 처리하여 설명할 수 있습니다.
Woodridge의 논의에 이어 Log(Wage) 방정식은 관찰되지 않은 차이를 포착하기 위해 작업자의 ID를 무작위 효과로 입력하는 데 적합합니다.
Fixed effects part of the Log(Wage) Equation Log(Wage) 방정식의 고정 효과 부분
Random effects part of the Log(Wage) EquationLog(Wage) 방정식의 무작위 효과 부분
나는 선택한다 잔여 모드 오류 용어. 모델은 단방향 무작위 효과 모델 계량 경제학에서 .
결과는 아래와 같습니다.
Panel Model Results 패널 모델 결과
로부터 무작위 효과 공분산 모수 추정치 우리가 찾은 개인을 보고합니다 이질 전체 변동의 47.8%(=0.11/(0.11+0.12))를 차지하여 관찰되지 않은 큰 이질성 효과를 나타냅니다. 즉, OLS 분석은 잘못된 결과를 가져올 수 있습니다.
그만큼 고정 효과 매개변수 추정치 보고서는 9.2%의 예상 교육 복귀율과 10.5%의 노조 보험료를 보여주며 둘 다 통계적으로 매우 유의미합니다. 이에 비해 풀링된 OLS는 조합 보험료를 18.2%로 추정합니다. Woodridge(2013, 페이지 495)를 참조하십시오.
참조
Francis Vella와 Marno Verbeek (1998), " 노동조합은 누구의 임금을 인상합니까? 청년을 위한 조합주의와 임금률 결정의 역동적인 모델 ", Journal of Applied Econometrics, Vol. 13, No. 2, pp. 163-183. 데이터는 저널 웹 사이트에서 다운로드할 수 있습니다. http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
제프리 M. 우드리지(2013), 입문 계량 경제학: 현대적 접근(5 일 에드), CENGAGE 학습.
예 4: 지형 공간 데이터 모델링 - 공간 상관 관계 고려
반복 측정이 시간에 따라 상관되는 것처럼 공간 데이터는 공간에서 상관될 가능성이 높습니다.즉, 측정값은 다음과 같습니다. 상대적으로 가까이 있는 것이 멀리 떨어져 있는 것보다 더 비슷합니다. 따라서 분석 시 공간적 종속성을 고려해야 합니다.
공간 데이터는 다음과 같은 좌표와 함께 기록됩니다. 위도와 경도, 행과 열의 위치, 남북 및 동서 방향. 두 측정 사이의 거리는 다음을 사용하여 계산됩니다. 유클리드 거리 공분산 구조를 형성하는 데 사용되는 함수입니다. 나 fa 거리 함수는 측정 방향에 의존하지 않으며 공분산은 다음과 같습니다. 등방성; 그렇지 않으면 이방성 .게다가, ㅏ 덩어리 로컬 영역의 작은 거리에 대한 급격한 변화를 설명하기 위해 효과를 추가할 수 있습니다.
JMP Pro는 다음 네 가지를 제공합니다. 유클리드 거리 등방성 구조에 대한 함수: 거듭제곱, 지수, 가우시안 및 구형.다양한 형태의 이방성 구조를 사용할 수 있습니다.공분산 구조에 너깃 효과를 추가할 수도 있습니다.
다음 예제는 혼합 모델용 SAS, 2판 , 2006, pp. 457-460. ( http://www.sas.com/store/prodBK_59882_en.htm ). 유해폐기물 처리장의 배수를 조사하기 위해 현장의 여러 위치에서 30개의 샘플을 채취하여 남북 방향과 동서 방향으로 기록하였다.배수 사이의 선형 관계( 대수 투과율) 소금 층의 두께가 제안되었습니다. ( 티 그는 데이터, 유해 폐기물 , 이다 데이터 세트 11.6 압축 파일에
http://support.sas.com/publishing/bbu/59882/59882.zip .)
공간 회귀 모델은 너깃 효과가 있는 공간 이방성 전력 구조를 사용하여 적합합니다. 이 구조는 (1) 거리가 공간 상관의 거듭제곱 함수가 되도록 하고, (2) 공간 상관이 서로 다른 방향에서 달라지도록 하며, (3) 작은 거리에 대한 변동을 허용합니다.
Spatial anisotropic power with nugget 너깃을 이용한 공간 이방성 파워
Results using spatial anisotropic power with nugget너깃과 함께 공간 이방성 전력을 사용한 결과
공분산 모수 추정 보고서는 매우 중요한 공간적 상관 관계를 제시하며 두 상관 계수는 각각 0.81(동-서) 및 0.91(북-남)입니다. 그러나 신뢰 한계에 기반한 너깃이 없는 것으로 보입니다.고정 효과 매개변수 추정치 소금 두께의 배수에 유의한 부정적인 영향(-0.025)을 나타냅니다.
너겟 효과를 제거하여 모델을 다시 맞춥니다.
Results using spatial anisotropic power without nugget 너깃 없이 공간 이방성 전력을 사용한 결과
우리는 몇 가지 사소한 변화를 발견했습니다. 추정된 공간 상관 관계는 각각 0.86과 0.82이고 소금 두께의 효과는 -0.021입니다. AICc를 사용하여 적합도를 비교하면 AIC가 더 작기 때문에 두 번째 모델이 약간 더 좋습니다(84.7 대 86.4).
공간 상관 관계의 존재를 공식적으로 테스트하기 위해 다음을 선택하여 독립적인 오류 모델을 적합합니다. 잔여 구조로(즉, 공간적 상관관계가 없다고 가정). 두 모델 간의 -2 Residual Log Likelihood 값의 차이는 χ2 우도 비율 테스트를 형성합니다. 독립 오류 모델의 -2 잔차 로그 우도는 94.07이므로 차이는 13.72(=94.07-80.35)입니다. 이는 DF=2에 대해 0.001의 p-값을 산출합니다. 따라서 이 사이트에서 중요한 공간적 상관 관계가 발견됩니다.
요약
이 예를 통해 선형 혼합 모델의 다양성과 혼합 모델을 JMP로 쉽게 피팅할 수 있음을 알 수 있었습니다. 닫기 전에 몇 가지 일반적인 팁을 공유하고 싶습니다.
