Logvraisemblance pour les MCO normalesSalut la communauté JMP !
J'aimerais voir la Loglikelihood de mon modèle linéaire (Fit Model -> Personality: Standard Least Squares). Je reçois l'AICc avec l'option correspondante dans "Rapports de régression". Mais comment puis-je extraire la logvraisemblance?
J'ai trouvé aussi ce fil : https://community.jmp.com/t5/Discussions/AICc-log-likelihood-where-is-it-reported/td-p/272033?trMode=source
Cependant je n'ai pas pu reproduire l'AICc avec cette formule -2LL.
Merci pour votre aide!
Analyse et modélisation de données de baseRe : Log-vraisemblance pour les MCO normalesSalut @Halbvoll : Si vous avez AICc ou BIC, algèbre (via les formules ici https://www.jmp.com/support/help/en/15.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml#ww293087 ) donnera la logvraisemblance :
LL=(kln(n) - BIC)/2
ou
LL= (2k+2k(k+1)/(nk-1) - AICc)/2
Re : Log-vraisemblance pour les MCO normalesSalut @MRB3855 ,
Merci pour votre réponse! En effet - j'ai déjà calculé le LL de cette façon. Cependant, j'ai revérifié le LL avec d'autres packages logiciels/python (en utilisant exactement les mêmes paramètres de données et de modèle) et j'ai obtenu un LL différent, bien que le R2, SSE, RMSE, etc. soit exactement le même. Surtout avec un nombre plus élevé de k, le LL a tendance à avoir une plus grande différence entre JMP et c'est-à-dire le package Python Statsmodels (PpS).
C'est donc ce qui me déroute, PpS et JMP devraient utiliser la même formule pour l'AICc mais j'obtiens des résultats différents (puisque le LL est probablement différent).
Re : Log-vraisemblance pour les MCO normales@Halbvoll ils peuvent ne pas utiliser la même formule. La version de JMP est la version modifiée, pour s'adapter aux petites tailles d'échantillons. Et puisque vous dites "Surtout avec un nombre plus élevé de k, le LL a tendance à avoir une plus grande différence entre JMP et c'est-à-dire le package Python Statsmodels (PpS)", je soupçonne que Python utilise la version non modifiée ; vous voudrez peut-être vérifier votre hypothèse selon laquelle ils utilisent la même formule.
Re : Log-vraisemblance pour les MCO normalesSalut @MRB3855 ! Quand tu parles de formule, tu veux dire la formule de l'AIC c, droite? J'ai vérifié ça aussi. J'ai réimplémenté la formule JMPs AICc en Python en utilisant le LL que j'obtiens de statsmodels. Cependant, j'obtiens le même AICc qu'en utilisant la fonction AICc de statsmodels. Le problème est donc que le LL entre statsmodels et JMP est différent et j'aimerais savoir pourquoi.
Ou parlez-vous de la formule LL ? Si tel est le cas, je ne pourrais pas comprendre comment JMP calcule le LL, mais ce serait la clé de mes questions.
Merci pour votre aide!
Re : Log-vraisemblance pour les MCO normales@Halbvoll , avez-vous essayé Fit Model -> Personality : Generalized Linear Model, Distribution : Normal, Link Function : Identity ?
Le rapport de sortie inclut -(LL) pour le modèle complet et réduit.
J'espère que cela vous sera utile.
Sincèrement,
MG
Re : Log-vraisemblance pour les MCO normalesComment calculez-vous -2LL pour votre modèle ?
JMP utilise souvent la fonction de densité du noyau lors de l'optimisation des estimations de paramètres. Cette approche est justifiée car -2LL et AICc n'ont aucune signification ou interprétation dans un sens absolu. Ils sont utilisés sur une base relative pour comparer des modèles, le noyau est donc suffisant. Essayez plutôt d'utiliser la densité du noyau.
Re : Log-vraisemblance pour les MCO normalesPeut-être que cette page peut vous aider : https://www.jmp.com/support/help/en/15.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml#ww293087
Faites défiler vers le bas pour voir la formule liée aux moindres carrés.
Remarquez les relations entre les pièces dans trois ensembles de formules :
(1) dans la moitié supérieure de cette page
(2) à partir de la moitié inférieure de cette page
(3) à partir du fil vers lequel vous pointez
Ainsi, le -2Loglikelihood dans (1) est égal aux deux pièces en surbrillance dans (2).
Et les -2Logvraisemblance dans (1) et (2) sont différents de (3) par une constante N.
Dans d'autres publications, vous pouvez voir -2Loglikelihood = N*log(SSE/N). Je suis content que tu remarques la différence. Il est courant dans la littérature que les constantes de logvraisemblance soient supprimées.
Re : Log-vraisemblance pour les MCO normalesMerci à tous pour votre soutien !
Merci d'avoir fait remarquer cela @modelFit ! C'était l'option que je cherchais. Pour mes données, j'obtiens le même LL qu'avec les statsmodels - ce qui me déroute encore plus. Peut-être que mon problème devient plus clair avec une capture d'écran (j'espère que la résolution est suffisamment élevée) de mon problème :
Par conséquent, j'ai les résultats suivants basés sur JMP 16.2.0 :
- -LL = 8,3501
- k = 3
- n = 18
- CIAc = 27,7869
Cependant, si j'utilise -LL, k et n pour calculer manuellement l'AICc (formule (1)), j'obtiens 24.4243 -> J'obtiens le même résultat avec statsmodels.
Si j'utilise JMPs AICc et que je reformule la formule en LL= (2k+2k(k+1)/(nk-1) - AICc)/2, j'obtiens un -LL de 10,036.
Quelque chose ne colle pas ou ai-je raté quelque chose ?
Re : Log-vraisemblance pour les MCO normalesrmse = 0.421637;
k = 3;
n = 18;
mse = rmse^2;
SSE = mse * (n - k);
//all above uses k=3, for 3 regression coefficients.
k = k+1;
//the above increases the number of parameters by 1, which is the sigma.
AICc = n * log(SSE/n) + 2*k + 2*k*(k+1)/(n-k-1) + n*log(2*pi()) + n;
Re : Log-vraisemblance pour les MCO normalesMerci @peng_liu !! C'est l'info manquante qui résout mon problème ! Cela vaudrait-il la peine d'enrichir la documentation de JMP sur ce point ? Parce que dans la documentation k est décrit comme suit "où k est le nombre de paramètres estimés dans le modèle " ( https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml ) qui a conduit à ma confusion.
Aussi, dans les publications référencées dans la documentation, j'ai toujours compris que k était le nombre de paramètres. D'où vient ce k+1 avant le calcul réel de l'AICc ? Existe-t-il une publication spécifique décrivant cette procédure ?
Edit : se pourrait-il que la formule soit basée sur cette publication ? https://sites.warnercnr.colostate.edu/wp-content/uploads/sites/73/2017/05/Anderson-et-al-1994-Ecology.pdf
Re : Log-vraisemblance pour les MCO normalesSalut @Halbvoll : Considérez le modèle complet; en plus des coefficients de régression, il y a Sigma (rappelez-vous qu'une partie du modèle est le terme d'erreur, distribué Normal[mean=0, Sigma] ). Ainsi, Sigma (estimé par le RMSE) est le paramètre supplémentaire du modèle.
Re : Log-vraisemblance pour les MCO normales@Halbvoll et @MRB3855 merci pour la suite de la discussion.
@Halbvoll J'avais le même souci quand j'ai posté ma réponse. @MRB3855 le sigma dans l'AICc pour les moindres carrés n'est pas RMSE, ce qui m'a également confondu au départ. Après avoir communiqué avec un développeur qui a de meilleures connaissances sur le sujet, je peux maintenant expliquer ce qui se passe, comme suit.
- Les moindres carrés n'estiment pas sigma en tant que paramètre libre. Ainsi, le nombre de paramètres dans un moindre carré est le même que le nombre de coefficients de régression.
- L'estimation des moindres carrés de Sigma est RMSE, qui est sqrt(SSE/DF), où DF = nombre d'observations - nombre de coefficients. Ce Sigma n'est pas un paramètre libre au sens d'une estimation statistique.
- La formule AICc utilise la vraisemblance, qui est basée sur la fonction de densité normale avec Sigma, dont MLE est sqrt(SSE/N). Le premier terme de la capture d'écran suivante est la contribution du MLE de Sigma. En ce sens, lors du calcul de l'AICc de cette manière, le nombre de paramètres doit compter Sigma en plus des coefficients de régression.
J'ai été dirigé vers l'article suivant pour voir la preuve complète et la dérivation complète. Si cela vous intéresse, voyez toutes les dérivations jusqu'à l'équation 6.
https://www.sciencedirect.com/science/article/pii/S0893965917301623?ref=cra_js_challenge&fr=RR-1
HT Banks et ML Joyner, 2017, AIC dans le cadre de l'estimation des moindres carrés, Applied Mathematics Letters, Volume 74.
Nous nous occuperons de la clarification dans une future version de la documentation. Merci encore!
Re : Log-vraisemblance pour les MCO normalesSalut @peng_liu , merci beaucoup pour l'explication détaillée et cette publication, je ne connaissais pas cet article jusqu'à présent. Et merci pour la mise à jour de la documentation à l'avenir !!
