Comment les données catégorisées par revenus peuvent-elles être normalisées?Bonjour
J'ai des données catégorisées sur le revenu que je dois normaliser pour les utiliser comme variable continue. Les données proviennent d'un sondage sur la volonté de payer, dans lequel les répondants ont sélectionné une catégorie de revenu sur onze. J'ai un certain nombre d'observations pour chaque catégorie.
Dans un premier temps, j'ai pris le point médian de chaque catégorie pour l'utiliser comme variable continue. La littérature suggère que le revenu suit une distribution logarithmique normale. J'ai pris le ln du milieu et l'ai testé. Cependant, le test de Shapiro-Wilk indique que les données ne sont pas distribuées normalement.
Est-il possible de normaliser ces données?
En outre, la littérature (Hsiao, C., 1983. ANALYSE DE RÉGRESSION AVEC UNE VARIABLE EXPLICATIVE CATÉGORISÉE, dans: Amemiya, T., Goodman, LA (Eds.), Studies in Econometrics, Séries temporelles et statistiques multivariées. Academic Press, p. 93-129. - Hsiao, C., Mountain, D., 1985. Estimation de l'élasticité à court terme de la demande d'électricité à l'égard des revenus à l'aide de données transversales catégorisées. Journal of the American Statistical Association 80, pages 259 à 265) suggère une méthode en deux étapes (méthode de la variable pseudo-instrumentale et moyenne conditionnelle), mais je n'ai pas été en mesure de la mettre en œuvre dans JMP.
Serait-il possible d'utiliser les limites supérieure et inférieure de chaque catégorie, ainsi que le nombre d'observations dans chaque catégorie, pour obtenir des données normalisées?
Mon objectif est d'avoir deux estimations. L’un est le point médian simple de chaque catégorie et l’autre les estimations normalisées. J'aimerais comparer les estimations normalisées avec celles du point médian afin d'évaluer les différences entre ces deux méthodes.
J'apprécierais une explication interactive puisque je suis nouveau sur JMP.
Merci beaucoup!
Re: Comment les données catégorisées par revenu peuvent-elles être normalisées?Vous pouvez également adapter les modèles à des prédicteurs à l'aide de la plate-forme de régression généralisée de JMP Pro avec des réponses censurées.
Re: Comment les données catégorisées par revenu peuvent-elles être normalisées?Toutes les données réelles échouent à ces tests avec une taille d'échantillon suffisante. Je pense que le vieil adage de George Box selon lequel tous les modèles sont incorrects, mais certains d’être utiles s’appliquent tout aussi bien aux modèles de distribution. Une meilleure question à poser à propos de l’ajustement de répartition est de savoir s’il s’agit d’un modèle assez bon pour vous apporter une réponse raisonnable à votre question.
Ce que vous avez, c'est des données censurées par intervalles. Vous pouvez adapter une distribution, voire des modèles, à ce type de données à l'aide des plateformes de fiabilité et de survie dans JMP. Par exemple, vous pouvez utiliser Life Distribution pour adapter différentes distributions à vos données censurées par intervalles et déterminer celle qui convient le mieux.
Ici, j'ai généré 300 données log-normales (2, 0,5) et regroupé les résultats avec une largeur de corbeille de 3. Ce qui suit est les comptes dans chaque casier.
Je rentre cela dans la distribution de la vie avec les valeurs basses et hautes en tant que colonnes de réponse et les valeurs en tant que colonne de fréquence.
Les données ont un très bon ajustement log-normal (comme prévu) avec les paramètres estimés 1.975 et 0.43.
J'ai également testé des ajustements gamma généralisés, Weibull et normaux. Je reçois un tableau comparatif qui montre que lognormal est le meilleur ajustement selon AICc et BIC.
À partir de là, vous pourriez avoir du mal à déterminer la valeur à attribuer à chaque compte dans une corbeille. Par exemple, vous pouvez calculer une valeur attendue pour les données de chaque groupe en utilisant votre ajustement distributionnel et affecter cette valeur à chacun de vos comptages pour vos données "normalisées". Un moyen facile de le faire serait de simuler un très grand échantillon de votre distribution ajustée et de prendre la moyenne des données dans chaque groupe.
Les points médians supposent à peu près une distribution uniforme dans chaque groupe, ce qui n’est pas totalement réaliste. Cependant, je suppose que les valeurs attendues dans une corbeille utilisant la distribution ajustée ne seront pas très différentes des valeurs médianes (bien que je ne sois pas sûr de ce que vous faites à propos de la dernière corbeille ouverte). Je serais intéressé d'entendre les résultats.
Re: Comment les données catégorisées par revenu peuvent-elles être normalisées?Bonjour Dale_lehman
merci beaucoup pour votre réponse. votre approche part de points simulés, puis établit les bacs. Malheureusement, je n'ai pas cette information. Les réponses des répondants indiquaient une catégorie de revenu mais ne donnaient pas de chiffre pour leur revenu. de plus, les fourchettes de revenus ont été sélectionnées sur la base de tranches de salaire minimum avec un intervalle ouvert à la fin. À ce stade, j'envisage d'utiliser les valeurs normalisées (fonction JMP) du point milieu, Ln et Log10, même si les tests de normalité échouent.
Re: Comment les données catégorisées par revenu peuvent-elles être normalisées?D'après ce que j'ai lu, le log-normal n'est peut-être pas le meilleur pour modéliser la distribution des revenus (il semble qu'une distribution gamma soit préférée, entre autres). De plus, je pense avoir rencontré un programme R spécialement pour ajuster les distributions lognormales aux données regroupées, mais je n’ai pas noté où cela se trouvait. Mais j'ai simulé un peu votre question et découvert des surprises.
Dans l'exemple de fichier, j'ai simulé 10 000 points à partir d'une distribution lognormale. Je les ai ensuite classés à l'aide de l'utilitaire de binning (disponible sous Utilitaires de colonne). Le script ci-joint montre la tabulation des moyennes pour chaque bac. J'ai transformé cela en table de données (une option sur la flèche rouge de la tablulation). Dans ce tableau de données, j'ai calculé le point médian de chaque groupe et "l'erreur", c'est-à-dire la différence entre la moyenne des plages inférieure et supérieure de la catégorie et la moyenne réelle des données de chaque catégorie. Je m'attendais à trouver un schéma régulier dans lequel les moyennes de chaque groupe seraient inférieures à la moyenne des points finaux du groupe. Mais je ne l'ai pas fait. Il ne semble pas y avoir de modèle du tout. Si je le faisais correctement, il semblerait que l'utilisation des points médians des bacs ne produit pas de biais systématique des données log-normales initiales.
Si quelqu'un trouve une erreur dans mon approche, faites le moi savoir! Mon intuition suggère que si les cases sont infiniment étroites, les points médians et les moyennes devraient être les mêmes. À l'extrême opposé, s'il y a un bin, alors la moyenne des valeurs log-normales devrait être inférieure au point médian de ce bin. Si cette logique est correcte, mon exemple montre ce qui se passe avec des bacs relativement étroits par rapport à la plage globale des données. Le biais systématique devrait être évident lorsque les bacs deviennent suffisamment larges.
