회귀분석을 하여 출력된 「파라미터 추정치」의 부분에 대해서, 표준편회귀계수(표준β)는 표시할 수 있습니다만, 표준편회귀계수의 95% 신뢰 구간을 표시시키는 방법을 모릅니다. 이 방법을 아시는 분이 계시면, 가르쳐 주시면 감사하겠습니다.
잘 부탁드립니다.
PS「표준편회귀계수=편회귀계수x(설명변수의 표준편차/목적변수의 표준편차)」를 이용하여 표준편회귀계수의 95% 신뢰구간을 계산할 수 있을까 생각해, 시험에 「일변량의 분포」인가 얻은 「설명 변수의 표준 편차」와 「목적 변수의 표준 편차」를 이용해 표준 편회귀 계수(표준 β)를 구해 보았습니다만, 리포트상의 표준 편회귀 계수(표준 β)의 값과 조금 달랐습니다.
(일본어)
■점 추정치에 대해서 선형 회귀 분석 모델에 대한 통상의 최소 제곱 추정(OLS; ordinary least squares)에 있어서의 편회귀 계수의 점 추정치는, 말씀드린 바와 같이,
표준편회귀계수=편회귀계수×(설명변수의 표준편차/목적변수의 표준편차)
라는 관계가 있습니다.
그러나 "모델 적합" 의 기본값은 Listwise 방법으로 누락 된 값을 처리하는 것입니다. Listwise 법은 목적 변수 y 및 설명 변수의 쌍 x1, x2, ..., x_p에서 하나라도 결측치가 있으면 그 행을 차분히 계산에서 제외하는 방법입니다.
만약 설명변수가 모두 연속 척도이면, 「다변량의 상관」 에서 리스트와이즈 제거한 후의 평균과 표준편차를 구할 수 있습니다.
(1) 분석 > 다변량 상관 을 선택합니다.
(2) 호출 된 시작 창의 왼쪽 하단에있는 [분산 추정] 의 콤보 상자에서 [목록] 을 선택합니다.
(3) 목적 변수 (y) 및 설명 변수의 쌍 (x1, x2, ... x_p) 모두를 [Y, 열] 로 지정하고 [좋아요] 버튼을 클릭한다.
(3) 선두의 「다변량」 의 빨간색 삼각 버튼을 클릭하고, [기본 통계량] > [다변량의 기본 통계량] 을 선택합니다.
다른 방법으로, 누락된 값 중 하나가 없는 데이터만 추출한 데이터 테이블을 다음 절차에 따라 만들 수도 있습니다.
(1) [테이블] > [결측값 패턴 표시] 를 선택합니다.
(2) 목적 변수 (y) 및 설명 변수의 쌍 (x1, x2, ... x_p) 모두를 [열 추가] 로 지정하고 [좋아요] 버튼을 클릭한다.
(3) 작성한 데이터 테이블의 선두 행을 선택한다. 이 선두의 행은 「결측치가 있는 열수」 가 0으로 되어 있고, 「패턴」 이 모두 0으로 되어 있다.
(4) 원래 데이터 테이블을 활성화합니다. 상기 (3)의 조작에 의해, 결측치가 하나도 없는 행만이 선택 상태로 되어 있다.
(5) 테이블 > 서브세트 를 선택합니다.
(6) 라디오 버튼에서 [선택한 행] 및 [모든 열] 을 선택하고 [좋아요] 버튼을 클릭합니다.
만약 데이터에 결측값이 없고, 또한 손 계산과의 차이가 극히 작은 경우에는, 손 계산을 할 때 수치를 반올림하고 있기 때문일지도 모릅니다. JMP 보고서는 숫자를 반올림하여 표시합니다. 아래 자릿수를 보려면 표의 열을 마우스 오른쪽 버튼으로 클릭하고 호출되는 메뉴에서 [열 표시 형식] 을 선택하고 총 자릿수를 "20"등으로 변경하십시오. 혹은, 테이블을 오른쪽 클릭해 불려 가는 메뉴로부터, [데이터 테이블에의 출력] 을 선택하면, JMP 데이터 테이블에 결과의 테이블이 출력되므로, 그 JMP 데이터 테이블의 셀을 클릭해, 둥글지 않은 세세한 수치를 카피할 수 있습니다.
Listwise 방법에 의한 결측치 처리는, 데이터의 결측 기구가, 완전하게 랜덤한 결측(MCAR; missing completely at random)일 때에만 합리적인 추정 방법이 됩니다. 만약 당신의 JMP가 JMP Pro 혹은 JMP Student Edition이라면, "구조 방정식 모델" 플랫폼에서 다변량 정규 정규 분포를 가정한 완전 정보 최대 우도 추정법(full information maximum likelihood)을 실시할 수 있습니다. 구조 방정식 모델 플랫폼은 분석한다 > 다변량 > 구조 방정식 모델 에서 시작할 수 있습니다. 구조 방정식 모델 플랫폼에서는 경로 다이어그램에서 모델 지정이 필요합니다. 흥미가 있는 경우는 그 취지를 회신해 주십시오. 다변량 정규정규분포를 가정한 완전정보최우 추정법에서는 모집단분포가 다변량정규분포이면, 결측기구가 랜덤한 결측(MAR; missing at random)이면 타당한 추정방법이 됩니다.
■신뢰 구간에 대해 표준 편회귀 계수의 신뢰 구간입니다만, 점 추정치가 b sy/sx_j인 것으로부터 (여기서, b는 편회귀 계수, sy는 목적 변수의 표준 편차, sx_j는 제j번째 설명 변수의 표준 편차), (l sy/sx_j, u sy/sx_j)도 없는 것도 근사적인 신뢰 구. 여기서 l은 신뢰 구간의 하한, u는 신뢰 구간의 상한입니다. 그러나, 이 근사가 좋아지는 것은, sy 및 sx_j 가 꽤 정밀도 좋게 추정되고 있어, sy/sx_i 가 정수와 같이 취급할 수 있는 경우에 한정합니다. 일반적으로 b와 마찬가지로 sy와 sx_j는 변동이 있다고 생각되므로이 방법은 그리 좋지 않다고 생각됩니다.
단일 회귀 계수의 경우 표준 편회귀 계수는 상관 계수와 일치합니다. 모집단 분포가 2변량 정규 분포인 경우의 상관 계수의 표본 분포는 Cramer(1946, pp.397-401) 등에 나타나 있으며, 수치 적분이 필요하지만(모집단 분포가 2변량 정규 분포인 경우에는) 이론적으로는 정확한 신뢰 구간을 구할 수 있습니다. 다만, 수치 적분이 필요하기 때문에, 실용적으로는, 전통적으로 Fisher의 z변환법으로 요구하는 것이 넓어지고 있습니다. JMP의 「다변량의 상관」 에서도 Fisher의 Z변환법으로 상관 계수의 신뢰 구간을 요구하고 있습니다.
표준 편회귀 계수에 한정되지 않고, 좋은 근사를 가지는 표본 분포를 구하기 어려운 상황에서 범용적으로 사용되고 있는 통계 수법에, 부트스트랩법이 있습니다. "모델 적합" 의 선형 회귀 분석 및 "구조 방정식 모델" 플랫폼에서도 부트 스트랩 방법을 수행 할 수 있습니다.
＜ 「모델의 적합」 에서의 선형 회귀 분석의 경우＞
(0) 이하의 (5)의 계산에 시간이 걸리기 때문에, JMP로 작업 도중의 분석이나 데이터 가공이 있는 경우에는, 만일을 위해 보존해 둔다.
(1) 보고서의 "매개 변수 추정치" 표를 마우스 오른쪽 버튼으로 클릭하고 [표준 β] 를 선택합니다.
(2) 표시된 "표준 β" 열을 마우스 오른쪽 버튼으로 클릭하고 [Bootstrap] 을 선택합니다.
(3) [부트 스트랩 샘플 수] 를 지정합니다 (예 : 10000 회)
(4) 재현성을 위해 난수 시드 값도 지정한다.
(5) [좋아요] 버튼을 클릭합니다.
→ 부트 스트랩의 샘플 추출이 시작됩니다. 시간이 걸립니다.
(6) 생성 된 데이터 테이블에서 왼쪽 상단의 "일변량 분포" 테이블 스크립트의 녹색 삼각형 버튼을 클릭합니다.
위의 작업은 부트스트랩 분포와 거기에서 계산된 신뢰 구간을 표시합니다.
"BC"는 "bias-corrected"의 약자이며, Efron (1982, pp.82-84)에서 언급 된 바이어스 보정 백분율 점법 (bias-corrected percentile method)이라는 방식으로 부트 스트랩 신뢰 구간은 계산됩니다.
※ 「모델의 적합」 으로 선형 회귀 분석을 적용하는 경우에 결측치가 있는 경우로 부트스트랩법을 이용하는 경우에는, 상기의 「결측치 패턴 표시」 로 완전 데이터로 한 후에 실행하는 편이 좋을 것 같습니다. 어쨌든 점 추정값과 마찬가지로 완전히 무작위 결측 (MCAR) 때만 합리적입니다.
(0) 이하의 (2)의 계산에 시간이 걸리기 때문에, JMP로 작업 도중의 분석이나 데이터 가공이 있는 경우에는, 만일을 위해 보존해 둔다.
(1) 경로도를 그려 선형 중회귀 모델을 적용한 후, 그 모델의 리포트에서 [표준화된 파라미터 추정치] 를 선택한다.
(2) 리포트 선두의 「구조 방정식 모델」 의 빨간색 삼각 버튼으로부터, [추측 방법] > [부트스트랩 추측] 을 선택한다.
■ 보충
JMP, JMP Pro, JMP Student Edition에서는 할 수 없습니다만, 결측치가 있는 경우의 수법으로서 다중 보완법(multiple imputation method)이라고 하는 방법도 있습니다. 다중 보완 방법은 부트 스트랩 방법과 마찬가지로, 특히 복잡한 분석적 도출 없이 범용적으로 이용 가능한 통계 방법입니다. 다중 보완법을 실시하면서 부트스트랩법을 실시하는 것도 생각할 수 있습니다만, JMP, JMP Pro, JMP Student Edition에서는 다중 보완법은 서포트되고 있지 않습니다. 또, 비록 실행한다고 해도, 계산 시간도 꽤 걸려 버리는 것이 아닐까 생각합니다.
■参考文献
Cramér, H.(1946) 통계의 수학적 방법 . 프린스턴 대학교 출판부.
Efron, B.(1982) Jacknife, Bootstrap 및 기타 재샘플링 계획 . 산업 및 응용수학회.
＜ 「모델의 해당 맞추기」 에서의 선형 회귀 분석의 경우＞에서 설명해 주신 부트스트랩법으로, 단회귀 분석의 표준 편회귀 계수의 95% 신뢰 구간을 구할 수 있었습니다. 감사합니다!
추가로 듣고 싶습니다만, 이 방법은 중회귀 분석으로도 적응 가능합니까? 중회귀 분석의 표준β의 열에서도 「부트스트랩법」을 선택할 수 있어 실제로 실행해 보면, 편회귀 계수의 95% 신뢰 구간×(설명 변수의 표준 편차 / 목적 변수의 표준 편차)의 계산으로부터 구한 값에 가까운 값을 얻을 수 있었습니다. 추가 질문으로 죄송하지만, 잘 부탁드립니다.
부트스트랩 방법은 원본 데이터에서 샘플 재추출을 반복하여 신뢰 구간을 근사하는 방법으로, 중회귀 분석에도 사용할 수 있습니다. 표본 크기가 너무 작거나 설명 변수의 개수가 상당히 많을 경우에는 중회귀 분석의 추정이 실패하는 부트스트랩 표본이 빈번할 수도 있지만 단회귀 분석에서도 중회귀 분석에서도 수행할 수 있습니다. 아래 그림의 적선을 그린 부분이 바이어스 보정 퍼센트 점법에 의한 부트스트랩 신뢰 구간입니다.
부트스트랩 방법이 반드시 실패하는 예는 최대값이나 최소값, 혹은 1%점이나 99%점 등의 분포의 구석 쪽의 파라미터를 추정하는 경우입니다. 부트스트랩 샘플의 최대값(또는 최소값)은 데이터의 최대값(또는 최소값)을 초과하지 않으므로 부트스트랩 방법에 의한 추측이 항상 실패합니다.
다시 답변 해 주셔서 감사합니다. 부트 스트랩 방법으로 작동하지 않는 경우에 대해서도 이해할 수있었습니다.
내가 사용하는 데이터 수는 적은 것도 400 정도는 있고, 「분포」 의 가장자리에 있는 파라미터를 추정할 필요도 없기 때문에, 이 방법을 이용해도 문제 없다고 생각합니다.
다만, 「중회귀」석으로 사용하는 설명 변수의 수가 최대로 19 있어, 만약 이 수가 너무 큰 경우는, 사용하지 않는 편이 좋을 것 같습니다.
