일반화 선형 모델의 절편 계수가 설계 행렬에 따라 달라지는 이유나는 glm의 절편 용어에 대해 많이 생각했습니다.특히 로지스틱 회귀.표준 선형 회귀에서는 설계 행렬에 대한 지식 없이 절편 항을 추정할 수 있습니다.응답의 평균일 뿐입니다.나는 그 원칙이 다른 모델에서도 동일하게 유지될 것이라고 생각했습니다.원칙은
- 응답과 연결 기능을 알게 되면 절편 항을 결정할 수 있습니다.예측 변수(NULL 모델) 없이 glm 대화 상자를 실행하는 것과 동일해야 합니다.
그렇지 않다.절편은 NULL 모델에 매우 가깝습니다.또한 디자인 매트릭스를 변경하면 다른 절편 값을 얻습니다.계수가 검색 알고리즘에 의해 생성된다는 사실 때문일 수 있습니다.나는 또한 Poisson glm에 대해 동일한 작업을 수행했고 동일한 것을 발견했습니다. 절편은 NULL 모델에 가깝지만 동일하지는 않습니다.
흥미롭게도 LASSO를 실행하고 페널티를 계속 높이면 절편이 NULL 모델로 수렴(축소)됩니다.이 결과는 설계 행렬과 무관합니다.
공변량 계수를 추정하기 전에 응답과 연결 함수에서 절편 항을 간단히 계산할 수 있다면 멋질 것 같습니다.모델이 더 좋을까요?
Re: 일반화 선형 모델의 절편 계수가 설계 행렬에 따라 달라지는 이유는 무엇입니까?감사합니다 마크,
응답 중심화의 개념은 응답이 숫자인 경우 이해하기 쉽습니다.{T, F}와 같은 이진 응답이 있고 의도적으로 코드화되지 않은 형식으로 유지한다고 가정합니다.응답 중심에 의미를 부여하는 자연스러운 방법은 없습니다.{0, 1}로 코딩하고 응답을 중앙에 두더라도 일반적으로 0과 1 사이의 값 벡터로 끝납니다. 이 중앙에 배치된 응답은 0과 1의 벡터여야 하는 실현 가능한 응답 벡터 세트에 없습니다.따라서 이 경우 인터셉트 항은 링크 기능을 통해 응답에서 1의 비율과 관련되기 때문에 유지하는 데 매우 중요한 것으로 보입니다.동일한 수의 T와 F가 있으면 절편은 0입니다. 그렇지 않으면 그렇지 않습니다.따라서 응답 벡터에서 절편을 계산한 다음(응답을 중심에 두는 것과 같은 종류) 올가미 또는 학습 알고리즘을 수행하고 다른 열에 집중할 수 있습니다.
따라서 이진 응답을 중앙에 배치하는 것이 좋은 생각이 아니라는 조언을 받았지만 그보다 더 깊다고 생각합니다.절편은 다른 예측 변수의 계수를 이해하는 데 중심이 아니더라도 모델과 함께 수행하는 데 중요합니다.
Re: 일반화 선형 모델의 절편 계수가 설계 행렬에 따라 달라지는 이유는 무엇입니까?안녕 마크,
나는 당신에게서 빠르고 통찰력 있는 대답을 얻을 것이라고 생각했습니다.감사해요.나는 X의 중심을 맞추는 측면에 대해 생각하지 않았습니다.기능 선택을 위한 로지스틱 회귀 문제에 LASSO를 적용하고 있기 때문에 센터링(및 스케일 정규화)을 명시적으로 수행했습니다.이제 디자인 매트릭스를 중심에 두지 않으면 다른 답을 얻게 된다는 것을 알 수 있습니다.중앙에 있을 때 절편은 거의 정확히 평균 반응(긍정의 비율)에 적용되는 연결 함수입니다.아주 멋지다.이 문제는 반응 공간이 이제 단위 큐브의 모서리이기 때문에 LASSO 수축에 대해 제시할 그림에 대해 생각하게 했습니다.여기에 페널티가 증가함에 따라 최적의 솔루션이 평균 응답(시간(1, 1, 1, ...))과 정확히 동일한 내부의 특정 지점으로 축소됩니다.
이 모든 것이 추가 질문으로 이어졌습니다.당신이 즐길 수 있습니다.최대 우도 솔루션이 존재하지 않는 단위 큐브의 일부 모서리가 있습니다.응답을 완벽하게 분류할 수 있는 설계 행렬 열의 일부 선형 조합이 있기 때문에 JMP가 계수가 불안정하다고 알려주는 응답입니다.내가 가진 질문은 ...관찰 수 N의 함수로서 불안정한 모서리의 최대 수는 얼마입니까?불안정한 솔루션을 거의 만나지 않기 때문에 분명히 숫자는 2^N보다 작아야 합니다(이를 방지하기 위해 항상 선형 분류기를 먼저 시도할 수 있음).대답은 꽤 멋지다.이것은 케이크 번호 시퀀스와 관련이 있습니다...예측 변수가 3개인 경우에는 Cake(N -1)입니다.예측 변수가 3개 이상일 경우 정말 어려워집니다.
Re: 일반화 선형 모델의 절편 계수가 설계 행렬에 따라 달라지는 이유는 무엇입니까?첫 번째 분석에서 회귀자에 X를 사용하고 두 번째 분석에서 센터링 후 X를 사용하는 OLS 회귀의 경우 y절편을 생각해 보십시오.
따라서 절편은 일반적으로 평균 응답과 같지 않지만 예측 변수를 중앙에 놓고 항등 연결 기능을 사용하면 됩니다.
Re: 일반화 선형 모델의 절편 계수가 설계 행렬에 따라 달라지는 이유는 무엇입니까?절편(구체적으로 y 절편)은 일반 최소 제곱 회귀, 일반화 선형 모델 및 일반화 회귀(JMP)에 사용되는 선형 예측 변수(선형 조합)의 상수항입니다. 일반적으로 모든 예측 변수가 0으로 설정된 경우 선형 예측 변수의 값입니다. 일반적으로 평균 응답이 아닙니다. 그 결과는 OLS 회귀의 경우 예측 변수 값에 따라 달라집니다. GLM의 경우에도 연결 기능에 따라 다릅니다. 절편이 평균 반응이 되도록 하려면 예측 변수를 중앙에 놓고 항등 연결을 사용해야 합니다.
