정상적인 OLS에 대한 로그 가능성안녕하세요 JMP 커뮤니티입니다!
내 선형 모델의 로그 가능성을 보고 싶습니다(적합 모델 -> 성격: 표준 최소 제곱). "회귀 보고서"에서 해당 옵션으로 AICc를 얻습니다. 하지만 어떻게 로그 가능도를 추출할 수 있습니까?
이 스레드도 찾았습니다. https://community.jmp.com/t5/Discussions/AICc-log-likelihood-where-is-it-reported/td-p/272033?trMode=source
그러나이 -2LL 공식으로 AICc를 재현할 수 없었습니다.
당신의 도움을 주셔서 감사합니다!
기본 데이터 분석 및 모델링Re: 일반 OLS에 대한 로그 가능성안녕 @Halbvoll : AICc 또는 BIC가 있는 경우 대수학(여기의 공식을 통해) https://www.jmp.com/support/help/en/15.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml#ww293087 )는 Loglikelihood를 제공합니다.
LL=(kln(n) - BIC)/2
또는
LL= (2k+2k(k+1)/(nk-1) - AICc)/2
Re: 일반 OLS에 대한 로그 가능성안녕 @MRB3855 ,
답장을 보내 주셔서 감사합니다! 실제로-나는 이미 그런 식으로 LL을 계산했습니다. 그러나 R2, SSE, RMSE 등은 정확히 동일하지만 다른 소프트웨어/파이썬 패키지(정확히 동일한 데이터 및 모델 매개변수 사용)로 LL을 두 번 확인했고 다른 LL을 얻었습니다. 특히 k의 수가 높을수록 LL은 JMP와 Python 패키지 Statsmodels(PpS) 사이에 더 큰 차이를 갖는 경향이 있습니다.
이것이 저를 혼란스럽게 하는 것입니다. PpS와 JMP는 AICc에 대해 동일한 공식을 사용해야 하지만 다른 결과를 얻습니다(LL이 아마도 다르기 때문에).
Re: 일반 OLS에 대한 로그 가능성@Halbvoll 그들은 같은 공식을 사용할 수 없습니다. JMP의 버전은 작은 샘플 크기에 맞게 수정된 버전입니다. 그리고 "특히 k 수가 많을수록 LL은 JMP와 Python 패키지 Statsmodels(PpS) 사이에 더 큰 차이가 있는 경향이 있습니다"라고 말했기 때문에 Python이 수정되지 않은 버전을 사용하고 있는 것으로 의심됩니다. 따라서 동일한 공식을 사용하고 있다는 가정을 확인하고 싶을 수 있습니다.
Re: 일반 OLS에 대한 로그 가능성안녕 @MRB3855 ! 공식이라고 하면 AIC의 공식을 의미합니다. 씨, 오른쪽? 저도 확인했습니다. statsmodels에서 가져온 LL을 사용하여 Python에서 JMP AICc 수식을 다시 구현했습니다. 그러나 statsmodels에서 AICc 함수를 사용하는 것과 동일한 AICc를 얻습니다. 문제는 statsmodels와 JMP 사이의 LL이 다르고 그 이유를 알고 싶습니다.
아니면 LL 공식에 대해 말합니까? 그렇다면 JMP가 LL을 계산하는 방법을 알 수 없지만 이것이 내 질문의 핵심이 될 것입니다.
당신의 도움을 주셔서 감사합니다!
Re: 일반 OLS에 대한 로그 가능성@Halbvoll , Fit Model -> Personality: Generalized Linear Model, Distribution: Normal, Link Function: Identity를 사용해 보셨습니까?
출력 보고서에는 전체 및 축소 모델에 대한 -(LL)이 포함됩니다.
도움이 되었기를 바랍니다.
감사합니다,
MG
Re: 일반 OLS에 대한 로그 가능성모델에 대해 -2LL을 어떻게 계산합니까?
JMP는 모수 추정치를 최적화할 때 종종 커널 밀도 함수를 사용합니다. 이 접근 방식은 -2LL 및 AICc가 절대적인 의미에서 의미나 해석이 없기 때문에 정당화됩니다. 모델을 비교하기 위해 상대적으로 사용되므로 커널로 충분합니다. 대신 커널 밀도를 사용해 보십시오.
Re: 일반 OLS에 대한 로그 가능성이 페이지가 도움이 될 수 있습니다. https://www.jmp.com/support/help/en/15.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml#ww293087
최소 제곱과 관련된 공식을 보려면 아래로 스크롤하십시오.
세 가지 수식 집합에서 조각 간의 관계를 확인합니다.
(1) 해당 페이지의 상단에서
(2) 해당 페이지의 하단에서
(3) 당신이 가리키는 스레드에서
따라서 (1)의 -2Loglikelihood는 (2)에서 강조 표시된 두 조각과 같습니다.
그리고 (1)과 (2)의 -2Loglikelihood는 상수 N만큼 (3)과 다릅니다.
다른 문헌에서는 -2Loglikelihood = N*log(SSE/N)을 볼 수 있습니다. 차이점을 알아차리셨다니 기쁩니다. 문헌에서 loglikelihood의 상수가 떨어지는 것이 일반적입니다.
Re: 일반 OLS에 대한 로그 가능성여러분의 성원에 감사드립니다!
지적해주셔서 감사합니다 @modelFit ! 이것이 내가 찾던 옵션이었습니다. 내 데이터의 경우 statsmodels와 동일한 LL을 얻습니다. 이는 나를 더욱 혼란스럽게 합니다. 내 문제의 스크린샷(해상도가 충분히 높기를 바랍니다)으로 내 문제가 더 명확해질 수 있습니다.
따라서 JMP 16.2.0을 기반으로 다음과 같은 결과를 얻었습니다.
- -LL = 8.3501
- 케이 = 3
- 엔 = 18
- AICc = 27.7869
그러나 -LL, k 및 n을 사용하여 AICc를 수동으로 계산하면(공식(1)) 24.4243 -> statsmodels와 동일한 결과를 얻습니다.
JMP AICc를 사용하고 수식을 LL= (2k+2k(k+1)/(nk-1) - AICc)/2로 재구성하면 -LL이 10.036이 됩니다.
뭔가 합산되지 않거나 내가 뭔가를 놓치고 있습니까?
Re: 일반 OLS에 대한 로그 가능성rmse = 0.421637;
k = 3;
n = 18;
mse = rmse^2;
SSE = mse * (n - k);
//all above uses k=3, for 3 regression coefficients.
k = k+1;
//the above increases the number of parameters by 1, which is the sigma.
AICc = n * log(SSE/n) + 2*k + 2*k*(k+1)/(n-k-1) + n*log(2*pi()) + n;
Re: 일반 OLS에 대한 로그 가능성감사해요 @peng_liu !! 이것은 내 문제를 해결하는 누락된 정보입니다! 그 점에 대해 JMP의 문서를 개선할 가치가 있습니까? 문서에서 k는 다음과 같이 설명되어 있습니다. 케이 모델에서 추정된 매개변수의 수 "( https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml ) 이로 인해 혼란이 생겼습니다.
또한 문서에 참조된 간행물에서 나는 항상 k가 매개변수의 수라고 이해했습니다. 이 k+1은 실제 AICc 계산 전에 어디에서 오는 것입니까? 이 절차를 설명하는 특정 간행물이 있습니까?
편집: 공식이 이 간행물을 기반으로 할 수 있습니까? https://sites.warnercnr.colostate.edu/wp-content/uploads/sites/73/2017/05/Anderson-et-al-1994-Ecology.pdf
Re: 일반 OLS에 대한 로그 가능성안녕 @Halbvoll : 완전한 모델을 고려하십시오. 회귀 계수 외에도 시그마가 있습니다(모델의 리콜 부분은 오차 항, 분포 Normal[mean=0, Sigma] 입니다). 따라서 시그마(RMSE에서 추정)는 모델의 추가 매개변수입니다.
Re: 일반 OLS에 대한 로그 가능성@Halbvoll 그리고 @MRB3855 후속 토론에 감사드립니다.
@Halbvoll 답변을 게시할 때도 같은 고민을 했습니다. @MRB3855 Least Squares에 대한 AICc의 시그마는 RMSE가 아니므로 처음에는 혼란스러웠습니다. 해당 주제에 대해 더 잘 알고 있는 개발자와 대화를 나눈 후 이제 다음과 같이 진행 상황을 설명할 수 있습니다.
- Least Squares는 시그마를 자유 매개변수로 추정하지 않습니다. 따라서 최소 제곱의 매개변수 수는 회귀 계수의 수와 같습니다.
- 시그마의 최소 제곱 추정값은 RMSE이며 sqrt(SSE/DF)입니다. 여기서 DF는 관측치 수 - 계수 수입니다. 이 시그마는 통계적 추정의 의미에서 자유 매개변수가 아닙니다.
- AICc 공식은 MLE가 sqrt(SSE/N)인 Sigma의 정규 밀도 함수를 기반으로 하는 우도를 사용합니다. 다음 스크린샷의 첫 번째 용어는 Sigma의 MLE에서 기여한 것입니다. 그런 의미에서 이런 식으로 AICc를 계산할 때 매개변수의 수는 회귀계수 외에 시그마도 세어야 한다.
나는 전체 증명과 완전한 파생을 보기 위해 다음 기사를 가리켰다. 관심이 있는 경우 Eq 6까지의 모든 파생을 참조하십시오.
https://www.sciencedirect.com/science/article/pii/S0893965917301623?ref=cra_js_challenge&fr=RR-1
HT Banks and ML Joyner, 2017, 최소 제곱 추정의 틀에 따른 AIC, Applied Mathematics Letters, Volume 74.
우리는 문서의 향후 버전에서 설명을 처리할 것입니다. 다시 한번 감사합니다!
Re: 일반 OLS에 대한 로그 가능성안녕 @peng_liu , 자세한 설명과이 출판물에 대해 대단히 감사합니다. 지금까지이 논문에 익숙하지 않았습니다. 그리고 향후 설명서를 업데이트해 주셔서 감사합니다!!
