L'ajustement continu de la distribution échoue à sélectionner le meilleur ajustement ?J'ai joué pour comprendre la nature de la distribution expérimentale et j'ai utilisé le flux de travail agréable de JMP Pro 15.0 à Win10 pour cela (ajustement continu --> s'adapter à tous).
JMP a montré que la distribution SHASH était la mieux adaptée, où j'ai trouvé un mélange normal pour mieux s'adapter.
J'ai pu reconstruire le problème avec une distribution modélisée, voir le script ci-dessous.
Peut-être que l'AIC négatif est le problème ? Dans le manuel (chapitre 3 Analyse de base, Distributions, p91), j'ai également trouvé que l'AIC pondéré pour la meilleure distribution est le plus proche de 1. C'est le cas pour SHASH, mais c'est visuellement et vraiment faux, je pense.
Une suggestion quel est le problème?
Names Default To Here( 1 );
// Compose a distribution with 70 rows random normal, and 30 rows fixed values
Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 30, 100 );
// this distribution 70/10 would let JMP take the right guess, but with too small difference in AIC?
// Vec = J( 1, 70, Random Normal( 70, 25 ) ) || J( 1, 10, 100 );
// cut off values larger than 100
Vec[Loc( Vec > 100 )] = 100;
// Put it into table
dty = New Table( "yield_distribution", New Column( "yield", set values( Vec ) ) );
dty << Add Properties to Table(
{New Script(
"Distributions_SHASHvsNormal",
Distribution(
Continuous Distribution( Column( :yield ), CDF Plot( 1 ), Fit Normal 2 Mixture, Fit SHASH ),
SendToReport(
Dispatch( {"yield"}, "Quantiles", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Summary Statistics", OutlineBox, {Close( 1 )} ),
Dispatch( {"yield"}, "Fitted Normal 2 Mixture Distribution", OutlineBox, {Close( 1 )} ),
Dispatch(
{"yield", "CDF Plot"},
"Distrib CDF",
FrameBox,
{DispatchSeg(
TopSeg( 2 ),
{Set Script(
Pen Size( 1 );
Pen Color( -2600622 );
Y Function( SHASH Distribution( X, 1.13512094644709, 0.0115544235279409, 100, 9.38305371818249e-80 ), X );
)}
)}
)
)
)
)}
);
dty << run script( "Distributions_SHASHvsNormal" );
AnalytiqueRe : L'ajustement continu de la distribution ne parvient pas à sélectionner le meilleur ajustement ?J'ai contacté l'assistance technique de JMP pour confirmation. Ils sont disposés à approfondir cette question si vous souhaitez les contacter à ce sujet ( support@jmp.com ).
Re : L'ajustement continu de la distribution ne parvient pas à sélectionner le meilleur ajustement ?Vous avez dit, " Il semble que les valeurs à 100 aient plus d'importance (car il y a beaucoup de zones que je n'ai pas vues dans le graphique ci-dessous). " Eh bien, ils représentent 30 % de la masse !
Re : L'ajustement continu de la distribution ne parvient pas à sélectionner le meilleur ajustement ?@Mark_Bailey merci pour la réponse, vous avez raison, ce n'est pas vraiment une distribution normale, mais aussi pas si loin que ça je pense.
La motivation pour moi est de lire dans la distribution ajustée certains maxima locaux, et le modèle normal mixte le fait. C'est-à-dire qu'un maximum local signifie une densité de rendement plus élevée à une certaine valeur conduisant à une cause isolée pour ce problème de rendement. Supposons que la distribution de rendement se compose de plusieurs causes indépendantes à un certain niveau, chacune normalement distribuée.
Regarder le CDF donne la meilleure impression visuelle pour ce que je voulais dire. Là, je vois que le modèle mixte est meilleur (le modèle orange correspond mieux à la courbe rouge que le modèle menthe).
Et l'algorithme JMP avec SHASH modélise le Sharp Edge au meilleur de 100. J'ai été surpris par cette découverte. Il semble que les valeurs à 100 aient plus d'importance (car il y a beaucoup de zones que je n'ai pas vues dans le graphique ci-dessous).
Mais pour le faire correctement à l'avenir, je devrais probablement supprimer les valeurs "100" de ma vraie distribution et essayer de faire à nouveau l'ajustement.
Re : L'ajustement continu de la distribution ne parvient pas à sélectionner le meilleur ajustement ?AICc est un critère. Il n'y a rien de mal avec un AICc négatif, soit dit en passant.
Le modèle SHASH est nettement supérieur au modèle de mélange normal en utilisant ce critère . Et BIC. Et log-vraisemblance négative. C'est aussi la raison de la disparité des poids AICc, qui pourraient être utilisés pour un modèle de distribution d'ensemble.
Quel est votre critère pour choisir le modèle de mélange normal ? Ça ne m'a pas l'air si bon. De plus, je sais que c'est un mauvais modèle sur les premiers principes. Les données sont une combinaison de 70 % normal( 75, 25 ) et 30 % 100, et non une combinaison de deux distributions normales. Cette distribution ressemble plus à une distribution gonflée à zéro, mais à l'autre valeur extrême. La première distribution dépasse 100 et la deuxième distribution a une largeur non nulle.
Ainsi, le modèle de mélange ne serait pas utile pour l'estimation dans les queues.
En revanche, le modèle SHASH respecte la limite de 100. Si le tracé du PDF semble être en désaccord avec l'histogramme, rappelez-vous que le choix des bacs détermine notre impression mais est un algorithme difficile. Vous pouvez remplacer manuellement le nombre de bacs.
Il semble que SHASH soit le meilleur choix des deux candidats, mais aucun n'est probablement un bon modèle pour ces données.
