Logaritmo de verosimilitud para OLS normal¡Hola comunidad JMP!
Me gustaría ver el Loglikelihood de mi modelo lineal (Modelo de ajuste -> Personalidad: Mínimos cuadrados estándar). Obtengo el AICc con la opción correspondiente en "Informes de regresión". Pero, ¿cómo puedo extraer el logaritmo de verosimilitud?
Encontré también este hilo: https://community.jmp.com/t5/Discussions/AICc-log-likelihood-where-is-it-reported/td-p/272033?trMode=source
Sin embargo, no pude reproducir el AICc con esta fórmula -2LL.
¡Gracias por tu ayuda!
Análisis y modelado de datos básicosRe: Logaritmo de verosimilitud para OLS normalHola @Halbvoll : Si tiene AICc o BIC, álgebra (a través de las fórmulas aquí https://www.jmp.com/support/help/en/15.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml#ww293087 ) dará el Loglikelihood:
LL=(kln(n) - BIC)/2
o
LL= (2k+2k(k+1)/(nk-1) - AICc)/2
Re: Logaritmo de verosimilitud para OLS normalHola @MRB3855 ,
¡gracias por tu respuesta! De hecho, ya calculé el LL de esa manera. Sin embargo, verifiqué dos veces el LL con otros paquetes de software/python (usando exactamente los mismos datos y parámetros de modelo) y obtuve un LL diferente, aunque el R2, SSE, RMSE, etc. es exactamente el mismo. Especialmente con un mayor número de k, el LL tiende a tener una mayor diferencia entre JMP y, por ejemplo, los modelos estadísticos del paquete de Python (PpS).
Entonces, esto es lo que me confunde, PpS y JMP deberían usar la misma fórmula para el AICc pero obtengo resultados diferentes (ya que el LL probablemente sea diferente).
Re: Logaritmo de verosimilitud para OLS normal@Halbvoll es posible que no usen la misma fórmula. La versión de JMP es la versión modificada, para ajustarse a tamaños de muestra pequeños. Y dado que dice "Especialmente con un número más alto de k, el LL tiende a tener una mayor diferencia entre JMP y, por ejemplo, Python package Statsmodels (PpS)", sospecho que Python está usando la versión sin modificar; por lo que es posible que desee verificar su suposición de que están usando la misma fórmula.
Re: Logaritmo de verosimilitud para OLS normalHola @MRB3855 ! Cuando hablas de fórmula, te refieres a la fórmula del AIC C, ¿bien? También lo he comprobado. He vuelto a implementar la fórmula AICc de JMP en Python usando el LL que obtengo de statsmodels. Sin embargo, obtengo el mismo AICc que usando la función AICc de statsmodels. Entonces, el problema es que el LL entre statsmodels y JMP es diferente y me gustaría saber por qué.
¿O hablas de la fórmula LL? Si es así, no pude averiguar cómo JMP calcula el LL, pero esta sería la clave para mis preguntas.
¡Gracias por tu ayuda!
Re: Logaritmo de verosimilitud para OLS normal@Halbvoll , ¿ha probado el Modelo de ajuste -> Personalidad: Modelo lineal generalizado, Distribución: Normal, Función de enlace: Identidad?
El informe de salida incluye -(LL) para el modelo completo y reducido.
Espero que esto sea útil para usted.
Atentamente,
mg
Re: Logaritmo de verosimilitud para OLS normal¿Cómo calcula -2LL para su modelo?
JMP a menudo usa la función de densidad del núcleo al optimizar las estimaciones de parámetros. Este enfoque se justifica porque -2LL y AICc no tienen significado ni interpretación en ningún sentido absoluto. Se utilizan de forma relativa para comparar modelos, por lo que el núcleo es suficiente. Intente usar la densidad del kernel en su lugar.
Re: Logaritmo de verosimilitud para OLS normalTal vez esta página pueda ayudar: https://www.jmp.com/support/help/en/15.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml#ww293087
Desplácese hacia abajo para ver la fórmula relacionada con los mínimos cuadrados.
Observe las relaciones entre las piezas en tres conjuntos de fórmula:
(1) de la mitad superior de esa página
(2) de la mitad inferior de esa página
(3) del hilo que señalas
Entonces el -2Logverosimilitud en (1) es igual a las dos partes resaltadas en (2).
Y el -2Logverosimilitud en (1) y (2) son diferentes de (3) por una constante N.
En otra literatura, puede ver -2Loglikelihood = N*log(SSE/N). Me alegro de que notes la diferencia. Es común en la literatura que las constantes de logverosimilitud se eliminen.
Re: Logaritmo de verosimilitud para OLS normal¡Gracias a todos por su apoyo!
Gracias por señalar eso @modelFit ! Esta era la opción que estaba buscando. Para mis datos, obtengo el mismo LL que con statsmodels, lo que me confunde aún más. Tal vez mi problema se vuelve más claro con una captura de pantalla (espero que la resolución sea lo suficientemente alta) de mi problema:
Por lo tanto, tengo los siguientes resultados basados en JMP 16.2.0:
- -LL = 8.3501
- k = 3
- n = 18
- AICc = 27,7869
Sin embargo, si uso -LL, k y n para calcular el AICc manualmente (fórmula (1)) obtengo 24.4243 -> Obtengo el mismo resultado con statsmodels.
Si utilizo JMPs AICc y reformulo la fórmula a LL= (2k+2k(k+1)/(nk-1) - AICc)/2 obtengo un -LL de 10.036.
¿Algo no cuadra, o me estoy perdiendo algo?
Re: Logaritmo de verosimilitud para OLS normalrmse = 0.421637;
k = 3;
n = 18;
mse = rmse^2;
SSE = mse * (n - k);
//all above uses k=3, for 3 regression coefficients.
k = k+1;
//the above increases the number of parameters by 1, which is the sigma.
AICc = n * log(SSE/n) + 2*k + 2*k*(k+1)/(n-k-1) + n*log(2*pi()) + n;
Re: Logaritmo de verosimilitud para OLS normalGracias @peng_liu !! ¡Esta es la información faltante que resuelve mi problema! ¿Valdría la pena mejorar la documentación de JMP sobre ese punto? Porque en la documentación k se describe de la siguiente manera "donde k es el número de parámetros estimados en el modelo " ( https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml ) lo que llevó a mi confusión.
Además, en las publicaciones a las que se hace referencia en la documentación, siempre he entendido que k es el número de parámetros. ¿De dónde viene este k+1 antes del cálculo real de AICc? ¿Hay alguna publicación específica que describa este procedimiento?
Editar: ¿podría ser que la fórmula se base en esta publicación? https://sites.warnercnr.colostate.edu/wp-content/uploads/sites/73/2017/05/Anderson-et-al-1994-Ecology.pdf
Re: Logaritmo de verosimilitud para OLS normalHola @Halbvoll : Considere el modelo completo; Además de los coeficientes de regresión, existe Sigma (recuerde que parte del modelo es el término de error, distribuido Normal[mean=0, Sigma] ). Entonces, Sigma (estimado por el RMSE) es el parámetro adicional en el modelo.
Re: Logaritmo de verosimilitud para OLS normal@Halbvoll y @MRB3855 gracias por la discusión de seguimiento.
@Halbvoll Tuve la misma preocupación cuando publiqué mi respuesta. @MRB3855 el sigma en el AICc para Mínimos cuadrados no es RMSE, que también me confundió inicialmente. Después de comunicarme con un desarrollador que tiene un mejor conocimiento sobre el tema, ahora puedo explicar lo que está pasando de la siguiente manera.
- Least Squares no estima sigma como un parámetro libre. Entonces, el número de parámetros en Mínimos cuadrados es el mismo que el número de coeficientes de regresión.
- La estimación de mínimos cuadrados de Sigma es RMSE, que es sqrt (SSE/DF), donde DF = Número de observaciones - Número de coeficientes. Este Sigma no es un parámetro libre en el sentido de estimación estadística.
- La fórmula AICc utiliza la probabilidad, que se basa en la función de densidad normal con Sigma, cuyo MLE es sqrt(SSE/N). El primer término en la siguiente captura de pantalla es la contribución del MLE de Sigma. En tal sentido, al calcular AICc de esta forma, el número de parámetros debe contar Sigma además de los coeficientes de regresión.
Me señalaron el siguiente artículo para ver la prueba completa y la derivación completa. Si está interesado, vea todas las derivaciones hasta la ecuación 6.
https://www.sciencedirect.com/science/article/pii/S0893965917301623?ref=cra_js_challenge&fr=RR-1
HT Banks y ML Joyner, 2017, AIC bajo el marco de la estimación por mínimos cuadrados, Applied Mathematics Letters, Volumen 74.
Nos ocuparemos de la aclaración en una versión futura de la documentación. ¡Gracias de nuevo!
Re: Logaritmo de verosimilitud para OLS normalHola @peng_liu , muchas gracias por la explicación detallada y esta publicación, no conocía este paper hasta ahora. ¡Y gracias por actualizar la documentación en el futuro!
