ajuster des données tronquées à une distribution continueSupposons que j'ai un échantillon de données qui, je pense, sont échantillonnées à partir d'une distribution de Cauchy. Supposons qu'il soit symétrique par rapport à 0.
Cependant, supposons que mes observations soient tronquées à la plage (0,2). Je ne vois donc qu’une vue relativement limitée des données. J'ai généré des variables aléatoires de Cauchy (0,2) et tronqué le tableau de données pour afficher uniquement celles comprises entre 0 et 2 :
Existe-t-il un moyen d'adapter ces données à un Cauchy (0, gamma) pour obtenir une meilleure estimation du gamma ? Plus généralement, JMP prend-il en charge l'ajustement des données tronquées ?
Modélisation statistique avancéeRe : adapter des données tronquées à une distribution continueJe ne sais pas si c'est ce que vous voulez dire, mais je pense que vous parlez de données censurées. JMP doit savoir combien de points de données sont coupés afin de faire une meilleure estimation. En ajoutant la propriété de colonne « Limites de détection », vous pouvez indiquer à JMP que ces données ont été coupées :
Lorsque vous ajustez ensuite votre distribution, il peut mieux estimer les valeurs sur la base de ces informations :
Le problème pour le moment est que si vous présélectionnez une distribution, cela ne semble pas fonctionner. Vous devez intégrer une nouvelle distribution au sein de la plateforme.
Re : adapter des données tronquées à une distribution continueMerci pour la réponse, mais mes données ne sont pas censurées. Dans votre exemple, vous disposez d'un nombre connu d'observations supérieur ou égal à une certaine valeur (dans votre cas, 1900). Ce n'est pas mon cas.
Dans mon exemple, je ne sais pas combien d'observations ont dépassé 2. Je n'ai que des observations comprises entre 0 et 2, sans savoir combien d'observations étaient en dehors de cette plage (car mon mécanisme de collecte de données ne peut pas les capturer ni même les connaître) . Je n’ai donc pas un tas d’observations censurées.
Si vous considérez mon mécanisme de génération de données, cela devrait être plus clair. Supposons que j'ai un engin explosif envoyant des fragments dans toutes les directions avec une uniformité angulaire. Les données de localisation de l'impact ont été collectées à partir d'un écran plat dans le plan xy, où x est latéral et y est vertical. Je n'ai aucune idée du nombre de fragments qui ont dépassé les limites de mon panneau de collecte de données. Mais il n’est pas déraisonnable de penser que la distribution de x est de Cauchy. J'essaie d'estimer les paramètres de ce Cauchy à partir de ma gamme limitée d'observations. Avec cette estimation, j'ai pu caractériser la répartition des fragments sur une surface plus grande.
Re : adapter des données tronquées à une distribution continueSalut @GregChesterton : Ce n'est peut-être pas très satisfaisant, mais cela vaut peut-être la peine d'être exploré ; en supposant que la distribution est Cauchy comme vous le décrivez, vous connaissez la forme fonctionnelle du pdf = f(x| 0, gamma). Alors, vous pourriez utiliser la plateforme non linéaire pour estimer le gamma ?
Re : adapter des données tronquées à une distribution continueEssayez ensuite, cela ajoute des points de données censurés de 1 à 200 et résume l'écart par rapport à la distribution normale à l'ECDF.
La valeur minimale sera affichée à la fin avec le réglage minimum.
données simulées : Norme(0,10)
manquant : 163 points de données au-dessus de 10
estimation du script :
Moyenne : 0,015
Norme : 9,166
Manquant : 133
Vous devez maintenant l'adapter à vos besoins (votre propre distribution).
exécutez simplement le script de table "search n_mising" dans le fichier Cut_Normal.jmp ou le JSL lui-même.
J'ai ajouté la simulation originale sous le nom Cut_Normal_original.jmp.
Voici l'idée derrière tout cela :
J'adapte d'abord une distribution normale avec un point de données censuré supplémentaire et je résume toutes les différences avec l'ECDF :
Ensuite, je parcours tous les points de données censurés supplémentaires, j'ajuste à nouveau la distribution normale jusqu'à ce que j'arrive au dernier :
c'est la somme des différences absolues sur les points supplémentaires :
Le point le plus bas me donne maintenant l'estimation du nombre de points manquants :
Cela me donne alors le « meilleur » ajustement pour la distribution :
J'espère que ça aide.
Re : adapter des données tronquées à une distribution continueSalut @Mauro_Gerber : La méthode que vous proposez est très intéressante ; pouvez-vous donner plus de détails à ce sujet s'il vous plaît ?
Et lorsque j'exécute votre script, j'obtiens l'erreur suivante. L'ensemble de données du premier tracé est généré, mais le deuxième ensemble de données comporte 200 lignes et regorge de valeurs manquantes.
Re : adapter des données tronquées à une distribution continueSalut @MRB3855
Le script dans Cut_Normal devrait fonctionner mais JMP peut rencontrer des problèmes de langage ou de pe-sets.
Je travaille avec la version anglaise de JMP 18.0.1 et je peux avoir d'autres préférences (comme si mes tracés étaient toujours empilés).
Je n'ai pas recherché la Display Box avec une valeur fixe puisque la limite de censure est dans le titre. Vous pourrez peut-être rechercher le titre lorsque vous saurez comment JMP l'analysera dans le titre :
Ces deux nombres peuvent donc être différents dans votre JMP :
Lorsque j'enseigne mes cours de statistiques internes, j'essaie de souligner l'importance que la courbe de distribution (PDF) doit s'adapter aux données, c'est-à-dire. histogramme.
Vous pouvez dire la même chose avec les fonctions ECDF et CDF de la distribution. et à quel point ils s'écartent les uns des autres.
@GregChesterton n'a qu'une partie de la courbe, j'adapte donc un nombre différent de valeurs manquantes et je compare dans quelle mesure l'estimation correspond aux données disponibles.
il s'agit du meilleur ajustement (moindre écart de somme) par rapport à l'ensemble de données normal :
--> 
Dans JMP, vous pouvez également consulter le tracé PP sous la forme qui correspond à la comparaison directe.
Je parcourt les éventuelles valeurs manquantes et j'écris la différence de somme entre l'ECDF et le CDF ajusté de la fonction de probabilité.
Sa "force brute" et peu élégante mais donne un résultat correct.
Une autre option possible consiste à créer un optimiseur numérique simple avec la queue ECDF et la fonction avec la différence de somme comme cible, puis à la minimiser.
Re : adapter des données tronquées à une distribution continueSi vous envisagez d'utiliser la plate-forme non linéaire pour ajuster les données à l'aide de la méthode du maximum de vraisemblance, vous avez besoin des éléments suivants.
Tout d'abord, la fonction de densité de votre Cauchy tronqué (0, gamma).
Référez-vous à la formule PDF sur cette page https://en.wikipedia.org/wiki/Truncated_distribution
Dans votre cas, b = 2 et a = 0.
Au numérateur, c'est la fonction de densité Cauch(0, gamma), dans votre cas. Recherchez-le dans l'index des scripts JMP :
Au dénominateur, la fonction F est la distribution de Cauchy (0, gamma), dans votre cas. Retrouvez-le dans l'index :
Vous devez maintenant regrouper les informations pour créer une colonne de formule de fonction de perte de vraisemblance log-négative.
La formule ressemble à la suivante. (Supposons que votre colonne de données s'appelle "Y".)
Il s'agit d'une fonction JSL "Paramètre". Le premier argument est une liste de paramètres que nous devons ajuster. Dans ce cas, il n’y en a qu’un ici : gamma. Et la valeur 1 est une valeur initiale. Elle doit être aussi proche que possible de l’estimation finale. Alors, utilisez votre meilleur jugement. Ou vous pouvez le tester et l'erreur. Ne vous inquiétez pas s'il n'est pas fermé au départ. La plateforme non linéaire vous permet d'essayer différentes valeurs après le lancement.
Le deuxième argument de l’appel de fonction « Paramètre » est cette fonction de log-vraisemblance négative. Jetez-y un œil et voyez comment cela vient de la fonction de densité de votre troncature de Cauchy.
Nommez la nouvelle colonne « perte ». Et configurez la boîte de dialogue de lancement non linéaire. Cliquez sur OK".
Après le lancement, vous pouvez cliquer sur « Go », ou modifier la valeur de « gamma » puis cliquer sur « Go ». En cas d'échec, vous pouvez changer "gamma" et cliquer à nouveau sur "Go".
Voici les liens vers quelques documentations pertinentes :
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-formulas-in-jmp.shtml#ww96570
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/nonlinear-regression.shtml#
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-formula-columns-for-multiple-columns.shtml
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-a-formula-column.shtml
