Différences dans les résultats d'ajustement de la distribution entre les plates-formesSalut tout le monde!
Lors d'un appel récent, un client m'a posé des questions sur la différence de résultats d'ajustement entre Fit Distribution in Distribution et un ajustement équivalent dans Life Distribution. Ils ont utilisé un mélange de 2 normales comme exemple. Intuitivement, je ne suis pas sûr qu'ils devrait donner les mêmes résultats, mais je n'ai rien pour étayer cela.
Vous pouvez voir de quoi ils parlent en regardant l'exemple d'ensemble de données penguins.jmp. Obtenez une distribution sur la longueur Culman et ajustez un mélange 2 normaux. Ensuite, allez dans Life Distribution, définissez Culman Length sur la réponse et ajustez un mélange 2 normal en utilisant l'option Mixture sous le LRT. Vous verrez que les résultats sont assez différents.
Pensées?
M
Re : Différences dans les résultats d'ajustement de la distribution entre les plates-formesCe message de @DonMcCormack est très opportun d'aborder ce sujet: Distribution de la durée de vie - pas seulement pour la fiabilité
J'ai eu une question similaire et j'ai trouvé que parfois la distribution et la distribution de la vie correspondent exactement, et parfois elles seront un peu décalées.Dans le cas de l'ajustement d'un mélange normal 2 dans la distribution par rapport à un mélange de 2 distributions normales dans la vie, les résultats sont nettement plus erronés, indiquant que ces algorithmes ne sont pas des pommes à appliquer.Voici un exemple où les résultats correspondent exactement.
Re : Différences dans les résultats d'ajustement de la distribution entre les plates-formesPour ces données particulières, il s'agit d'un problème multimodal. En d'autres termes, la surface de vraisemblance a plusieurs optimums locaux.
Dans ce cas, différents algorithmes peuvent aboutir à des résultats différents, comme entre Distribution et LD. Même avec le même algorithme, si les valeurs de départ sont différentes ou aléatoires, les résultats peuvent également être différents.
Pour ces données sur les manchots, les deux plates-formes ont trouvé deux optimums locaux différents. Et le résultat de Distribution a une meilleure valeur de vraisemblance.
En général, l'ajustement de la distribution de mélange est un problème difficile. Ce qui se trouve dans Distribution a été optimisé pour traiter ce que l'on appelle le mélange gaussien, c'est-à-dire que tous les composants sont normaux. What in Life Distribution n'est pas optimisé pour un type particulier de composant, car il est prêt à supporter le mélange de tout type de composants.
Donc, si l'on veut ajuster un mélange gaussien avec 2 ou 3 composants, qui sont ce que Distribution prend en charge, je recommande fortement d'utiliser Distribution pour terminer le travail. Dans toutes les autres situations, Life Distribution est le meilleur pari. Mais en cas de doute sur l'exactitude ou l'exactitude, veuillez contacter le support technique et j'examinerai le problème au cas par cas. Je vous en suis reconnaissant.
Re : Différences dans les résultats d'ajustement de la distribution entre les plates-formesMerci @peng_liu .J'avais à l'origine quelque chose dans mon message à ce sujet, mais je l'ai retiré car cela rendait le message trop long. En discutant avec @clay_barker sur la façon dont la plate-forme Distribution correspond aux mélanges gaussiens, il a indiqué qu'il utilise des estimateurs bayésiens pour contourner les problèmes qui @peng_liu pointe vers.
Je prévois de créer un post de suivi pour parler des mélanges dans Life Distribution et discuterai de l'écart entre celui-ci et Distribution.
Re : Différences dans les résultats d'ajustement de la distribution entre les plates-formesMerci à vous deux pour les excellentes réponses ! Très appréciée!
Meilleur,
M
Re : Différences dans les résultats d'ajustement de la distribution entre les plates-formesSalut Peng,
Très intéressant. J'ai un peu joué avec ça hier... J'ai exécuté le script ci-dessous, en mélangeant un normal (10,2) et un normal (12,1) avec p1 = 0,25. Par chance, P1 (échantillon) - était de 0,27.
J'ai ensuite journalisé certains résultats. Comme on pouvait s'y attendre, l'estimation de p1 est cruciale pour l'ajustement (et difficile). J'ai remarqué quelques choses intéressantes, d'autant plus en apprenant la spécificité de Distribution vis-à-vis de Life Distribution :
1) Malgré le réglage de Distribution pour optimiser l'ajustement des mélanges normaux, j'ai l'impression qu'il a été surpassé par Life Distribution sur ce mélange particulier - du moins à certains égards. Les deux plates-formes se sont bien comportées sur la distribution N(12,1), qui représentait l'essentiel des données, et les IC de distribution étaient plus serrés pour p1, u1 et s1... mais comme aucun de ces intervalles ne contenait les valeurs réelles des paramètres, cela était quelque peu insatisfaisant. Les estimations ponctuelles de Life Distribution pour ceux-ci étaient bien meilleures, bien que les IC soient plus larges (en raison de l'absence de restriction au cas normal, je présume). Bien sûr, lorsque Distribution était fourni p1 comme paramètre fixe, cela fonctionnait très bien... mais nous ne connaissons souvent pas p1 a priori.
2) Bien que la relation entre p1 et p2 soit complètement dépendante, il semble que Distribution corresponde à p1 et p2 au moins partiellement indépendamment. La distribution de vie ne correspond qu'à p1, laissant l'analyste déduire p2 comme 1-p1. Le résultat de ceci est que dans Distribution, on ne peut pas simplement obtenir la limite de confiance supérieure pour p2 en soustrayant de 1 la limite de confiance inférieure pour p1, alors que c'est probablement ce que l'on ferait ( ?? ) si l'on utilisait la sortie de Life Distribution pour un 2 -Normal.
3) FWIW, dans ce cas particulier, l'option "méthode du point de départ" de Life Distribution (ou similaire, si ce n'est pas l'expression exacte) n'a eu aucun effet sur l'ajustement. Tous les 3 ont donné les mêmes estimations.
Rapport comparatif et graphique ci-dessous. Comme le montre le graphique (note : il est centré + mis à l'échelle, donc 0 représente toujours la vraie valeur du paramètre), dans ce cas, les méthodes reflètent un compromis entre la précision de l'estimation ponctuelle et la variance : dans tous les cas, les estimations ponctuelles de Vie Distribution étaient plus proches de la "vérité", mais dans tous les cas, les IC de Distribution se situaient complètement dans les IC produits par Life Distribution.
Re : Différences dans les résultats d'ajustement de la distribution entre les plates-formes@brady_brady J'ai regardé les données que vous m'avez envoyées et j'ai creusé. Mes commentaires précédents restent les mêmes. Vos données simulées posent le même problème multimodal. Les deux plates-formes ont convergé vers des optimums locaux différents, et l'analyse ultérieure n'est pas concluante quant à la cohérence et à l'efficacité des deux approches. Permettez-moi de vous montrer le problème multimodal.
Les données que vous m'avez transmises produisent les rapports suivants. Et dans ce cas, LD obtient une probabilité légèrement meilleure.
Regardez maintenant le tracé suivant. Je vais vous expliquer ce que c'est, après la capture d'écran.
Il s'agit des projections de la fonction logvraisemblance sur les espaces de paramètres individuels. Pour obtenir ces points, je crée une table de données. Chaque ligne a un ensemble de valeurs de paramètres, et à la fin je calcule la valeur 2loglikelihood. Les valeurs des paramètres sont échantillonnées uniformément à partir d'intervalles qui incluent les meilleures estimations des deux plates-formes.
La ligne de référence horizontale est la valeur 2loglikelihood de Distribution. Maintenant, vous voyez qu'il y a pas mal de points au-dessus de cette ligne. Et l'impression la plus frappante est leur nombre et leur dispersion. Il existe au moins deux modes distincts. Et un mode semble se propager plus largement que l'autre. Bien que je n'aie pas vérifié, mais il est raisonnable de supposer que certains optimums ont un environnement plus plat que d'autres optimums, ce qui explique pourquoi les CI sont différents.
Mais au final, comparer les deux résultats à l'aide de ces données ne doit pas conduire à une conclusion définitive sur les méthodologies. Si l'on se préoccupe de quel résultat doit-on utiliser. Ensuite, je dois demander quel est l'objectif de l'étude. Si l'objectif est de prédire la probabilité à un endroit donné, les deux résultats donnent des estimations similaires. Si l'objectif est de décider de la proportion, alors je dirais que ce n'est pas concluant dans ce cas.
