회귀 분석에서 상호작용에만 IV를 중심화여러 곳에서 회귀 분석에서 JMP가 상호작용에 관여하는 중심 IV를 의미하지만, 그 IV의 단순 효과 버전은 중심화하지 않는다는 글을 읽었습니다. 첫째, 이게 사실인가요? 둘째, 만약 사실이라면, 이것이 회귀 분석의 선형 독립성 요건을 어떻게 위반하지 않는 건가요?
예를 들어,
Y = b0 + b1x1 + b2c2 + b3x1x2
JMP가 상호 작용에만 초점을 맞추기 때문에 x1x2를 x1'x2'로 만들면 x2 = 0일 때 상호 작용 항이 더 이상 0이 아니기 때문에 b1은 더 이상 Y에 대한 x1의 효과에 대한 추정치가 아닙니다. b2의 경우도 마찬가지입니다.
이러한 문제들을 고려했을 때, 제가 JMP의 실제 기능을 잘못 이해하고 있는 것 같습니다. 설명해 주실 분 계신가요?
기본 데이터 분석 및 모델링Re: 회귀 분석에서 IV 중심화안녕하세요 @짐바노7 ,
커뮤니티에 오신 것을 환영합니다!
다항식이나 상호 작용 효과를 중심으로 하면 절편 값이 이동하고 계수 값이 변경됩니다.
예를 들어, 중심을 두지 않으면 절편은 b0입니다.
상호 작용 항에서 X1과 X2를 중심에 두었다면, "새로운" 절편은 b0 + X1과 X2의 평균 값과 계수 b'3를 갖는 상호 작용 항에 포함된 부분에 해당합니다.
JMP®가 기본적으로 모델의 다항식을 중심화하는 이유는 무엇인가요? 에서 JMP에서 중심화를 사용하는 이유를 확인하세요. 요인을 입력하면 모델에 상호작용 항이나 다항식 항이 있을 때 다중공선성을 줄이는 데 도움이 되며 , 이로 인해 항 계수가 더 복잡해지고 추정 정확도가 떨어질 수 있습니다(통계적 유의성 평가에 차이가 발생할 수 있음). 실제 예시는 단계적 모형 문제를 참조하세요.
자세한 내용은 이전 토론에서 다항식 계산 중심화 및 포물선의 절편을 참조하세요 .
이것이 상황을 명확히 해주기를 바랍니다.
Re: 회귀 분석에서 IV 중심화안녕하세요 @빅터_G ,
답변해 주셔서 감사하고, 제가 명확하게 설명하지 못한 점 사과드립니다. 왜 평균 중심 변수를 사용하는지 묻는 것이 아닙니다. 저는 이런 일을 자주 합니다.
제가 궁금한 두 가지 질문은 다음과 같습니다.
1) JMP는 상호작용에 관여하는 중심 변수들을 의미하고, 그 변수들의 단순 효과 버전을 중심 변수로 의미하지 않는 건가요? 제 예시를 사용하면, X1은 단순 효과이고 X1'은 상호작용에 포함됩니다.
2) 제가 읽은 대로라면, 다른 변수가 0일 때, b1과 b2는 더 이상 Y에 대한 x1의 효과와 Y에 대한 x2의 효과가 아니므로, b1과 b2의 의미는 무엇입니까?
감사해요,
짐
Re: 회귀 분석에서 IV 중심화안녕하세요 @Jimvano7 님 ,
JMP가 어떻게 작동하는지 알아보려면 실제 예를 보는 것보다 더 좋은 것은 없습니다.
저는 두 개의 요인 X1과 X2, 미리 결정된 반응 표면 방정식 Y가 있는 반응, 그리고 중심화된 X1과 중심화된 X2에 대한 두 개의 계산된 열을 포함하는 데이터 세트를 준비했습니다.
원래 변수와 반응 표면 모델을 사용하여 모델 피팅을 시작할 때 JMP가 원래 변수를 중심으로 하지 않고 상호 작용이나 다항식 항에 포함된 변수를 중심으로 한다는 것을 알 수 있습니다.
중심 변수와 반응 표면 모델을 사용하여 모델 피팅을 시작하면 Xi와 중심 Xi 간의 매개변수 추정치가 동일하고 절편은 다르지만 매개변수 추정치는 이전과 동일함을 알 수 있습니다.
변수를 중심에 두어도 해당 주효과 추정치의 계수는 변하지 않습니다(변수를 중심에 두든 중심에 두지 않든 "기울기"는 동일함). 따라서 해석도 동일하게 유지됩니다.
그래서 이 사용 사례와 데모가 귀하의 두 가지 질문에 대한 답이 될 것 같습니다(두 번째 질문의 문제점을 제대로 이해하지 못하셨는지 모르겠습니다)?
Re: 회귀에서 IV 중심화안녕하세요 @빅터_G ,
첫 번째 질문에 답변해 주시고 예제를 만들어 주셔서 감사합니다. 예제의 문제점은 X1X2를 포함할 때 JMP 평균 중심화 옵션이 켜져 있어서 JMP 평균이 중심화된다는 것입니다. 이 옵션을 끄면 매우 다른 결과가 나옵니다. 데이터셋에서 가져온 데이터는 다음과 같습니다. X1, X2, Y는 모두 연속형 변수입니다. X1의 평균은 9.886이고 X2의 평균은 1.303입니다.
버전 1. JMP 평균 중심화 옵션을 끄고 원시 IV를 사용하면 다음과 같은 결과를 얻을 수 있습니다.
| 용어 |
추정 |
표준 오류 |
t 비율 |
문제>|t| |
| 가로채다 |
164.198 |
36.29445 |
4.52 |
0.0001* |
| 엑스1 |
-50.64385 |
3.103592 |
-16.32 |
<.0001* |
| 엑스2 |
-14.74154 |
8.796501 |
-1.68 |
0.1058 |
| X1*X2 |
-6.260865 |
0.726168 |
-8.62 |
<.0001* |
버전 2. JMP 평균 중심화 옵션이 켜져 있고 원시 단순 효과 항과 평균 중심 상호 작용 항을 사용하면 다음을 얻습니다.
| 용어 |
추정 |
표준 오류 |
t 비율 |
문제>|t| |
| 가로채다 |
83.558404 |
35.53908 |
2.35 |
0.0266* |
| 엑스1 |
-42.48702 |
2.977176 |
-14.27 |
<.0001* |
| 엑스2 |
-76.63734 |
4.675518 |
-16.39 |
<.0001* |
| (X1-9.88614)*(X2+1.30283) |
-6.260865 |
0.726168 |
-8.62 |
<.0001* |
버전 3. 모든 변수에 대해 수동으로 평균 중심화된 변수를 사용하고 JMP 평균 중심화 기능을 끈 상태입니다.
| 용어 |
추정 |
표준 오류 |
t 비율 |
문제>|t| |
| 가로채다 |
-236.6291 |
19.63316 |
-12.05 |
<.0001* |
| 중앙 X1 |
-42.48702 |
2.977176 |
-14.27 |
<.0001* |
| 중앙 X2 |
-76.63734 |
4.675518 |
-16.39 |
<.0001* |
| 중앙 X1*중앙 X2 |
-6.260865 |
0.726168 |
-8.62 |
<.0001* |
보시다시피, b0, b1, b2는 모두 버전 1과 버전 2에서 서로 다른 값을 갖습니다.
버전 1 : 이 방정식에는 교호작용 항이 있으므로, b1(-50.644)의 의미와 b1(H0 = 0)의 유의성을 판단하기 위해 수행된 통계적 검정은 **X2=0일 때** X1이 Y에 미치는 영향과 관련이 있습니다. X1은 주효과가 아니라 X2가 0일 때를 조건으로 하는 단순효과입니다(Jaccard & Turissi, 2003). 마찬가지로, b2는 X1 = 0일 때 X2가 Y에 미치는 영향입니다.
이제 단순 효과 항의 X2가 원시 값이고, 상호 작용 항의 X2도 원시 값일 때, 수학은 완벽하게 작동합니다. b1은 X2가 0일 때 X1이 Y에 미치는 효과입니다. 따라서 b2X2 = 0이고 상호 작용 = 0입니다. X2 = 0일 때 Y = 164.198 - 50.644X1이 됩니다.
버전 3 : 단순 효과 항과 상호 작용 항 모두에 대해 중심 X1을 X1'으로, X2를 X2'로 정의하면 수학적으로도 완벽하게 작동합니다. b1은 X2'가 0일 때(X2가 1.303일 때) X1'이 Y에 미치는 영향입니다. 따라서 b2X2' = 0이고 상호 작용 = 0입니다. X2' = 0일 때 Y = -236.629 + (-42.487)X1'이 되며, 이는 X2 = 1.303일 때를 의미합니다.
버전 2 : 단순 효과 항에 대해 X1과 X2를 그대로 두고 X1'과 X2'를 사용하여 상호 작용 항을 중심에 두는 경우 X2가 0일 때 b1은 더 이상 Y에 대한 X1의 효과가 아닙니다. 이 경우 Y = b0 + b1X1 + b3X1'X2' 또는 Y = 83.558 + (-42.487)X1 + (-6.261)(-1.303)X1'이 되기 때문입니다. 이 경우 기울기는 50.644X1에서 (-42.487)X1 + (8.158)X1'으로 변경됩니다. 제 문제는 이 버전에서 b0, b1, b2의 해석이 무엇인가입니다.
그리고 X1이 X1'을 완벽하게 예측하므로 완벽한 다중공선성이 있는 것입니다. 그런데 JMP가 버전 2에서 오류 없이 모델을 해결하는 이유는 무엇일까요?
Re: 회귀 분석에서 IV 중심화안녕하세요 @짐바노7 ,
죄송합니다. 실제로 모델 테스트에서 평균 중심화 옵션을 끄는 것을 잊었습니다.
저는 아직도 당신의 발언 중 일부에 혼란스러움을 느낍니다.
그리고 X1이 X1'을 완벽하게 예측하므로 완벽한 다중공선성이 있는 것입니다. 그런데 JMP가 버전 2에서 오류 없이 모델을 해결하는 이유는 무엇일까요?
X1과 X'1은 모델에서 변수이며, 둘 중 하나에서 다른 하나로 변환하는 데는 약간의 변환만 사용됩니다. X1과 X1, 또는 X'1과 X'1의 경우도 같은 상황이 발생하는데, 무슨 말인지 잘 모르겠습니다.
문제는 매개변수 추정치(b0, b1, b2 ... 그리고 b'0, b'1, b'2 ...) 간의 상관관계/공선성일 수 있습니다.
테스트를 다시 시작하면 추정 상관관계에 대한 몇 가지 결과가 나와 있습니다.
왼쪽은 "다항식 자동 중심화"가 적용되지 않은 모델 버전입니다. X1/X1² 및 X2 효과에 대해 높은 VIF를 볼 수 있습니다. 추정치의 상관관계를 살펴보면 X1과 X1², X2와 X1*X2 모수 추정치 사이에 강한 상관관계가 있으며, 이러한 주효과 모수 추정치에 대한 표준 오차가 부풀려져 있음을 알 수 있습니다.
오른쪽은 다항식의 자동 중심화를 적용한 모델 버전입니다. 모든 효과(<2)에 대해 낮거나 허용 가능한 VIF를 확인할 수 있으며, 일부 효과 추정값이 상관관계를 가지더라도 모수 추정값 간의 사소한 상관관계(예: X1 효과 추정값과 X1² 효과 추정값 간)를 방지할 수 있습니다. 자동 중심화는 동일한 원래 변수를 공유하는 모수 추정값(예: 주효과와 X1의 다항식 효과)의 인플레이션을 방지합니다.
저는 변환된 변수의 변환으로 인해 이런 상황에서 해석이 다를 수 있다는 데 동의합니다. 왜냐하면 변수의 평균으로부터의 편차를 기준으로 반응 값을 비교하는 것이지, 0으로부터의 편차를 기준으로 비교하는 것이 아니기 때문입니다.
모델의 IV를 평균 중심화하는 것이 권장되지 않는 이유에 대한 좋은 설명을 찾을 수 있습니다. : https://stats.stackexchange.com/questions/65898/why-could-centering-independent-variables-change-the-main-effects-with-moderatio
결론적으로, JMP는 원래의 효과 척도와 해석을 유지하기 위해 평균 중심 IV를 사용하지 않지만, 다항식과 상호작용에 대해서는 공선성을 피하고 모수 추정값의 정확도를 높이기 위해 평균 중심 IV를 사용합니다. 예측 프로파일러는 자동으로 원래 변수를 사용하여 변수 효과를 더 잘 이해하고 (효과와 관계없이 동일한 변수 "좌표"를 유지합니다).
이것이 당신에게 도움이 되기를 바랍니다.
Re: 회귀 분석에서 IV 중심화안녕하세요 @짐바노7 : @빅터_G 의 아주 좋은 지적 외에도, 이 스레드가 도움이 될 수도 있겠습니다.
https://community.jmp.com/t5/Discussions/Intercept-of-a-parabola/mp/805020
Re: 회귀 분석에서 IV 중심화@빅터_G 감사합니다
평균 중심화에 따라 변수 간 상관관계가 어떻게 변하는지 알고 있으며, 중심화하는 것이 적절한 시점과 그렇지 않은 시점을 알고 있습니다. 제가 모르는 것은 위의 JMP 유도 모델(버전 2)에서 원시 변수와 평균 중심 변수를 혼합할 때 b0, b1, b2의 해석입니다. 답변이 제 질문에 대한 답이 아닌 것 같습니다.
버전 2 모델에 대한 논의에서 b1의 의미에 대해 물었습니다. b1을 해석하려고 할 때 X2 = 0으로 설정하면 Y = 83.558 + (-42.487)X1 + (8.158)X1'이 됩니다. 이 경우, X2=0일 때 b1(-42.487)은 X1이 Y에 미치는 영향의 기울기가 아닙니다 . 대신, b1은 해석 가능한 의미가 없는 것으로 보입니다. 이와 동일한 논리가 X2에도 적용됩니다. 또한 X1, X2, X1'X2'가 모두 0인 위치(데이터 집합에서)는 없으므로 두 IV와 두 IV의 곱이 0일 때 b0는 Y의 평균이 아닙니다. 그렇다면 이 세 계수는 무엇을 의미할까요?
Re: 회귀에서 IV 중심화안녕하세요 @짐바노7 : 참고로, 저는 이 스레드를 흥미롭게 지켜보고 있었는데, 제 생각은 이렇습니다.
보시다시피, 평균 중심 모형에서 모수 추정치를 해석하는 것은 어렵습니다. "절편"은 최소제곱 적합을 보장하기 위한 상수일 뿐이며, 계수 또한 쉽게 해석할 수 없습니다. 또한, 표에 나와 있는 해당 p-값(평균 중심 모형과 평균 중심 모형이 아닌 모형) 중 상당수는 동일한 가설을 검정하는 데에도 사용되지 않습니다.
즉, 모든 예측은 동일하며, 주의하면 모든 추론이 동일하다는 것을 보여줄 수 있습니다(동일한 가설을 검정할 때 p-값 등이 동일합니다).
하지만 표시된 출력에 관심이 있고 해당 출력을 쉽게 해석하고 싶다면 평균 중심을 사용하지 마세요.
Re: 회귀에서 IV 중심화@MRB3855
모델의 여러 버전(버전 1~3)은 이전 게시물에서 JMP 출력을 사용하여 보여드렸듯이 동일한 가설을 가지고 있지 않으며 서로 다른 예측을 합니다. 버전 1과 버전 3의 가설은 명확했고 계수(모수 추정치)에 대한 해석은 모두 의미가 있었습니다. 또한, V1과 V3의 답변 질문이 다르기 때문에 예측도 다릅니다. 하지만 버전 2(X1과 X2에 대해 원시 변수와 평균 중심 변수를 혼합한 JMP 버전)의 경우, 제가 아는 한 계수에 아무런 의미가 없기 때문에 가설이 무엇인지 전혀 모르겠습니다.
버전 3에서는 모든 변수가 평균 중심이므로 절편을 포함한 모든 계수가 의미를 갖습니다. b0는 "최소 제곱 적합을 보장하기 위한 단순한 상수"가 아닙니다. b0는 X1'이 0(X1의 평균)이고 X2'가 0(X2의 평균)일 때 Y의 평균입니다.
제게 전혀 의미가 없는 유일한 버전은 JMP에서 파생된 혼합 모델입니다.
Re: 회귀에서 IV 중심화안녕하세요 @짐바노7 : 버전 2와 3의 출력을 기반으로 방정식을 완전히 확장한 다음, 유사한 항을 모아 간소화하면 버전 1과 동일한 방정식을 얻을 수 없는 건가요?
수동으로 하지 않고도 쉽게 할 수 있습니다. 각 버전에 대한 예측 Y값을 데이터 테이블에 세 개의 새 열로 저장하기만 하면 됩니다(출력 화면의 빨간색 삼각형 메뉴에서 '열 저장'을 클릭). 이렇게 하면 예측 Y값이 달라지지 않나요?
Re: 회귀에서 IV 중심화@MRB3855 ,
세 가지 모델 버전에 대한 세 가지 공식은 제가 제공한 세 표에 나와 있습니다. 세 가지 모두 서로 다릅니다. 시간 절약을 위해 여기에 다시 복사했습니다.
버전 1. JMP 평균 중심화 옵션을 끄고 원시 IV를 사용하면 다음과 같은 결과를 얻을 수 있습니다.
| 용어 |
추정 |
표준 오류 |
t 비율 |
문제>|t| |
| 가로채다 |
164.198 |
36.29445 |
4.52 |
0.0001* |
| 엑스1 |
-50.64385 |
3.103592 |
-16.32 |
<.0001* |
| 엑스2 |
-14.74154 |
8.796501 |
-1.68 |
0.1058 |
| X1*X2 |
-6.260865 |
0.726168 |
-8.62 |
<.0001* |
버전 2. JMP 평균 중심화 옵션이 켜져 있고 원시 단순 효과 항과 평균 중심 상호 작용 항을 사용하면 다음을 얻습니다.
| 용어 |
추정 |
표준 오류 |
t 비율 |
문제>|t| |
| 가로채다 |
83.558404 |
35.53908 |
2.35 |
0.0266* |
| 엑스1 |
-42.48702 |
2.977176 |
-14.27 |
<.0001* |
| 엑스2 |
-76.63734 |
4.675518 |
-16.39 |
<.0001* |
| (X1-9.88614)*(X2+1.30283) |
-6.260865 |
0.726168 |
-8.62 |
<.0001* |
버전 3. 모든 변수에 대해 수동으로 평균 중심화된 변수를 사용하고 JMP 평균 중심화 기능을 끈 상태입니다.
| 용어 |
추정 |
표준 오류 |
t 비율 |
문제>|t| |
| 가로채다 |
-236.6291 |
19.63316 |
-12.05 |
<.0001* |
| 중앙 X1 |
-42.48702 |
2.977176 |
-14.27 |
<.0001* |
| 중앙 X2 |
-76.63734 |
4.675518 |
-16.39 |
<.0001* |
| 중앙 X1*중앙 X2 |
-6.260865 |
0.726168 |
-8.62 |
<.0001* |
Re: 회귀 분석에서 IV 중심화@MRB3855
죄송합니다. 문제를 단순화하기 위해 해결해 달라고 요청하신 걸 깨달았습니다. 이전 게시물에서 이 작업을 했습니다. 요약하자면, 버전 1과 2에서는 X2=0이고, 버전 3에서는 X2'=0입니다.
버전 1: Y = 164.198 - 50.644 * X1
버전 2: Y = 83.558 - 42.487 * X1 + 8.158 * X1'
버전 3: Y = -236.629 - 42.487 * X1'
Re: 회귀에서 IV 중심화안녕하세요 @Jimvano7 님 . 계산이 완전하지 않고 정확하지 않습니다. 버전 2에서 8.158 * X1'을 확장해야 합니다.
(여기서 X1' = X1-9.88614) 버전 2의 방정식이 버전 1의 방정식과 정확히 일치하는 것을 볼 수 있습니다.
버전 3에서 X2' = 0은 X2 = 0이라고 가정할 때 올바르지 않습니다. X2 = 0일 때, X2' = 0 + 1.30283 = 1.30283입니다. 그리고 위 문장에서 설명했듯이 X1'에도 주의해야 합니다.
모든 것을 조심스럽게 곱하면 버전 2와 3의 방정식이 버전 1의 방정식과 정확히 일치합니다... 약속드립니다(방금 엑셀에서 했습니다).
Re: 회귀에서 IV 중심화@MRB3855
어떤 이유에서인지 답글이 사라진 것 같습니다. 최대 홍수 한계에 도달했습니까???. 다시 시도해 보세요...
X2의 평균에 음수 부호를 빼먹은 걸 알아봐 주셔서 감사합니다!!! 그리고 버전 3에서는 X2=0이 아니라 X2'=0이라고 했습니다. 버전 3은 원래대로입니다. 여기에 수식을 복사해서 버전 2에서 부호를 수정하고 있습니다(8.158은 -8.158이 됩니다).
요약하자면, 버전 1과 2의 경우 X2=0이고, 버전 3의 경우 X2'=0이면 다음이 성립합니다.
버전 1: Y = 164.198 - 50.644 * X1
버전 2: Y = 83.558 - 42.487 * X1 - 8.158 * X1'
버전 3: Y = -236.629 - 42.487 * X1'
저는 세 가지 공식 모두 X1=0이고 X2=0일 때 Y에 대해 동일한 값을 생성한다는 데 전적으로 동의합니다 .
하지만 제 질문은 이게 아니었습니다.
제 질문은 다음과 같습니다.
버전 2에서 b0, b1, b2의 의미는 무엇입니까?
- 버전 2에서 b1(-42.487)이 X2 = 0일 때 X1이 Y에 미치는 영향으로 가정된다면, 버전 1처럼 b1은 -50.644가 되어야 합니다. 버전 2에서 b1을 버전 1의 b1과 일치시키는 유일한 방법은 b3X1'을 더하는 것입니다. 따라서 X2 = 0일 때 b1은 X1이 Y에 미치는 영향이 될 수 없습니다. b2도 마찬가지입니다.
- 버전 2에서 b1(-42.487)이 X2' = 0일 때 X1'이 Y에 미치는 영향을 나타낸다고 가정하면, 버전 3에서처럼 b0(절편)은 -236.629가 되어야 합니다. 버전 2에서 b0를 버전 3의 b0와 일치시키는 유일한 방법은 b3X1'을 더하는 것입니다. 따라서 X1' = 0이고 X2' = 0일 때, 또는 X1 = 0이고 X2 = 0일 때 b0는 Y의 평균이 될 수 없습니다.
따라서 제 생각에는 b0, b1, b2는 의미가 없습니다. 제가 뭘 놓치고 있는 걸까요???
감사해요,
짐
Re: 회귀에서 IV 중심화@MRB3855님 과 @Victor_G님 의 댓글과 도움에 감사드립니다! 그 과정에서 흥미로운 사실들을 많이 배웠습니다. 이 글은 원본 게시물을 편집한 것입니다.
제가 원래 질문을 요약하자면 다음과 같습니다.
"평균 중심화 다항식"을 켜서 상호 작용의 변수만 평균 중심화한 JMP 혼합 모델(버전 2)에서 b0(절편), b1, b2의 의미는 무엇입니까?
버전 2는 Y = b0 + b1X1 + b2X2 + b3X1'X2'입니다. 여기서 X1'은 연속형 X1의 평균 중심 버전이고 X2'는 연속형 X2의 평균 중심 버전입니다. 또한, X1<>X1' 및 X2<>X2'를 가정합니다.
지금까지 제가 내린 답변은 다음과 같습니다. 제가 내린 결론이 틀렸다면 누구든지 알려주시기 바랍니다.
b0: "절편"으로 표시된 JMP 출력은 실제로 절편이 아닙니다 . 절편은 여러 출처에서 X1과 X2가 0일 때 Y의 값(Y의 평균이 아님!)으로 정의됩니다(예: Montgomery, Peck, & Vining, 2001).
X1=0이고 X2=0일 때, 출력의 절편 계수는 절편이 아닙니다. 실제 절편을 얻으려면 b0 + b3(-X1의 평균)(-X2의 평균)을 더해야 하기 때문입니다. 버전 1과 3 모두에서 절편은 실제 절편입니다. 버전 2 JMP 출력에서 "절편" 계수가 실제 절편인 상황을 찾을 수 없습니다. 그런 경우가 있을까요?
b1: JMP 출력에서 X1로 표시된 계수는 X2=mean(X2)일 때 X1이 Y에 미치는 영향을 측정한 값이며, 버전 1과 3에서처럼 X2=0일 때는 그렇지 않습니다. Jaccard & Turrisi(2003)는 이를 X2=0일 때로 정의했습니다. "절편"은 b0 + b2X2의 합입니다.
b2: JMP 출력에서 X2로 표시된 계수는 X1 = mean(X1)일 때 X2가 Y에 미치는 영향을 측정한 것이며, 버전 1 및 3에서처럼 X1 = 0일 때는 그렇지 않습니다. "절편"은 b0 + b1X1의 합입니다.
Re: 회귀에서 IV 중심화안녕하세요 @Jimvano7 님 . JMP에 대해서는 (근본적인 질문에 답하기 위해) 말씀드릴 수 없습니다. 하지만… "평균 중심"(버전 2)을 선택할지, 아니면 선택하지 않을지(버전 1) 선택할 수 있습니다.
Re: 회귀 분석에서 상호작용에만 IV를 중심화하는 방법안녕하세요 @Jimvano7님 과 다른 모든 분들께,
답변이 좀 늦어져서 모든 부분에 답변하지 못하거나 미묘한 차이를 놓친 점 양해 부탁드립니다. 하지만 약 10년 전 커뮤니티에서 이 주제에 대해 올렸던 답변(그리고 영상)을 다시 한번 공유하고 싶었습니다. 영상에서 예측 프로파일러를 사용한 간단한 시연을 보여드렸는데, 덕분에 일부 추정치를 명확하게 이해하는 데 도움이 되었던 것 같습니다.
https://community.jmp.com/t5/Discussions/estimates-in-multipule-regression/mp/10965/highlight/true#M10565
해당 영상에 대한 직접 링크는 다음과 같습니다.
https://www.youtube.com/watch?v=LLh1V9MtKvs
도움이 되길 바랍니다!
@줄리안
Re: 회귀 분석에서 상호작용에만 IV를 중심화하는 방법@줄리안
고마워요, 줄리안. 정말 도움이 됐어요.
절편이 실제로 절편이 아닐 때 절편의 의미는 무엇일까요? 제가 살펴본 모든 사례에서 실제 절편을 구하려면 "절편" 계수에 다른 값을 더해야 했습니다.
감사해요,
@짐바노7
Re: 회귀 분석에서 상호작용에만 IV를 중심화하는 방법절편은 다른 계수가 아무런 영향을 미치지 않을 때(즉, 0으로 설정될 때) Y축에서 선(또는 두 개 이상의 항을 가진 모형의 회귀 평면)이 위치하는 위치의 변화입니다. 상호작용 항만 중심화하면 주효과의 "아무것도" 의미가 바뀌지 않습니다. 수치적으로는 아닙니다. 항상 각 예측 변수의 0을 이야기하지만, 모집단에서 그 0이 가리키는 것이 바뀌는 이유는 상호작용을 평균 중심화하면 0 상호작용 효과가 예측 변수의 문자 그대로의 원점(0,0)이 아니라 모집단의 평균 행동으로 이동하기 때문입니다.
간단히 말해서, 이러한 모델에서 절편은 공분산 분석의 추정치, 즉 통계적으로 평면에서 상호작용의 평균 효과를 제거하여 조정된 추정치와 더 유사합니다. 저는 이러한 설명이 개념적으로 특별히 도움이 된다고 생각하지 않으므로, 허락해 주시면 앞서 사용했던 예를 통해 자세히 설명하겠습니다.
저는 이런 것들을 시각적으로 보는 것이 항상 도움이 된다고 생각합니다. 이전에 사용했던 예시를 보여드리겠습니다. 중심화된 다항식 모델(왼쪽)과 중심화되지 않은 모델(오른쪽)의 회귀 평면(동일할 것입니다)을 살펴보겠습니다. 두 모델 모두 50(중심화된 모델의 절편)에 반응 격자를 추가했습니다. 또한 모델의 절편이 어디에 있는지 보여주기 위해 파란색 점을 표시했습니다.
오른쪽 에서 시작하여 절편은 매우 쉽게 해석할 수 있습니다. X1과 X2 모두 반응 평면이 0과 교차하는 Y 값입니다. 즉, 학습 시간이 0이고 사전 지식도 0일 때입니다. 쉽습니다. (나중에 중요: 여기서는 교호작용 항은 고려하지 않습니다. 이런 종류의 모델에서는 X1=0이고 X2=0일 때 b3 계수에 0이 곱해지기 때문에 교호작용은 아무런 영향을 미치지 않기 때문입니다.)
왼쪽 중앙 모형의 경우, 모형 절편 50은 두 X가 모두 0일 때의 값보다 훨씬 높습니다. 그런데 왜 시험 점수가 약 20점 정도 증가했을까요?
50점은 이전 지식이 약 40이고 학습 시간이 0인 경우를 의미합니다. 즉, 이전 지식이 0이고 학습 시간이 4인 경우를 의미합니다. 여기서는 값 격자를 토글하여 이전에 표시한 파란색 점과 일치하도록 했습니다.
그래서, 무슨 일이죠?! 이것들이 이전 지식과 학습 시간의 평균이 아니라는 것을 알고 있기 때문에, 한 변수는 일정하게 유지하고 다른 변수는 평균으로 두는 것만큼 간단하지 않습니다. 여기서 한 가지 눈에 띄는 점이 있습니다. 이 점들은 반응 평면에서 "참"(X1=0, X2=0) 절편으로부터 대칭적인 거리에 있습니다. 그리고 우리 모델에서 X1과 X2의 요인에 걸쳐 Y에 대칭적인 영향을 미치는(척도화된 의미에서) 유일한 항은 교호작용 항인 b3입니다.
아직 고려하지 않은 부분은 *상호작용* 항인 B3를 0으로 설정하는 것입니다. 이 0은 X1과 X2가 0인 곳(중심화 때문에)과는 다른 지점에서 발생합니다. 즉, X1과 X2의 평균에서 발생하므로 *평균* 상호 작용에 대해 이야기하는 것입니다. 여기서 50의 절편은 일종의 조정된 기준선을 반영합니다. 모집단에 상호 작용 효과가 없을 경우 (X1 = 0 또는 X2 = 0)에서 얻을 수 있는 값입니다. 개념적으로, 상호 작용의 존재를 고려하여 조정된 절편의 추정치입니다.
제 생각에 이 용어는 일반적인 절편보다 개념적으로 해석하기 훨씬 더 어렵습니다. 하지만 이 경우 제가 제시하는 방식은 다음과 같습니다. 상호작용 항의 계수가 음수이면, 이러한 요인들이 적대적으로 상호작용한다는 것을 알 수 있습니다(한 요인이 더 많을수록 반응 Y와 다른 요인 간의 관계 강도가 감소합니다). 즉, 사람들이 사전에 더 많이 알수록 평균적으로 학습에서 얻는 가치가 줄어듭니다. 또는, 더 많이 학습할수록 평균적으로 그들이 아는 것에서 얻는 가치가 줄어듭니다. 이 모델의 절편은 *그렇지 않다면 * 시험 점수가 어떨지 알려주려고 합니다. 만약 그 상호 작용이 우리가 측정한 세상의 상태가 아니었다면, 0시간 공부한 사람들은 이전 지식에서 더 많은 가치를 얻었을 것이고, 따라서 시험에서 더 나은 성적을 거두었을 것이며, 절편이 30에서 50으로 상승했을 것입니다. 그리고 만약 그 상호 작용이 우리가 측정한 세상의 상태가 아니었다면, 이전 지식이 없는 사람들은 공부에서 더 많은 가치를 얻었을 것이고, 따라서 절편이 30에서 50으로 상승했을 것입니다. ANCOVA와 마찬가지로, 이것은 통계적 "as if" 사고 실험입니다.
도움이 되길 바랍니다!
줄스
