<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Le Wall Street Journal a récemment publié un joli article graphique interactif intitulé " Combattre les maladies infectieuses au XXe siècle : l’impact des vaccins " qui contient une série de graphiques montrant l'incidence de certaines maladies infectieuses par État et par année. Voici celui pour la rougeole.
Ma première impression a été : « Wow, on dirait que le pays a eu la rougeole et que le vaccin l'a guéri. » Dans la mesure où une visualisation devrait communiquer un point, celle-ci réussit à montrer l’impact général du vaccin. Cependant, plus je le regardais, quelques détails me dérangeaient.
- Il y a beaucoup de détails nécessaires pour faire valoir un seul point (mauvais rapport données/encre).
- La palette de couleurs semblable à un arc-en-ciel rend difficile la comparaison rapide des valeurs. Autrement dit, il n’y a pas d’ordre perceptuel du bleu, du vert et du jaune.
- Le dégradé de couleurs va jusqu'à 4000 mais les données ne vont que jusqu'à 3000.
- La moitié des noms d’État manquent.
- Les États sont classés selon leurs codes postaux mais affichés avec des abréviations standard, c'est pourquoi l'Alaska se trouve avant l'Alabama, par exemple.
- Les données s’arrêtent à 2002, avant la reprise actuelle qui place la vaccination au premier plan de l’actualité.
Robert Allison, " Comment améliorer l'apparence des maladies infectieuses ", et Andy Kirk," Est-ce la visualisation ou les données que nous aimons ," J'ai également jeté un regard critique sur la visualisation si vous souhaitez en savoir plus. J'étais plus intéressé à obtenir les données et à essayer d'autres façons de les visualiser dans JMP.
Obtenir les données
J'ai téléchargé des fichiers CSV depuis Projet Tycho , ce qui posait plus de problèmes que je ne le souhaitais. Les données de chaque état se trouvaient dans deux fichiers distincts et le site nécessite une connexion, je n'ai donc pas pu facilement créer un script pour les téléchargements. 102 téléchargements manuels plus tard, j'avais les fichiers de données brutes.
Après avoir obtenu les données, j'ai rencontré deux surprises :
- Les données sont hebdomadaires au lieu d'annuelles.
- Il manque des données partout, pas seulement là où le graphique du WSJ l'indique.
J'aime créer quelques graphiques occasionnels pour m'assurer que les données semblent raisonnables. Voici l’un de tous les taux d’incidence hebdomadaires. Même si j'ai réduit la transparence, cela ne suffit toujours pas pour dire que la plupart des données concernent moins de 10 cas par semaine pour 100 000 personnes. Vous pouvez cependant voir les valeurs aberrantes, et j’en ai étiqueté quelques-unes. Je ne connais pas suffisamment le sujet pour savoir si ces valeurs aberrantes sont réelles ou non.
Gestion des données manquantes
Avant de pouvoir commencer à créer de vrais graphiques, j'avais besoin d'un plan pour gérer les données manquantes. Le graphique WSJ traite essentiellement toutes les valeurs manquantes comme 0, à moins que l'année entière ne soit manquante - ils affichent alors l'année avec une couleur légèrement différente (blanc au lieu de bleu clair). J'ai décidé d'adopter une approche différente mais toujours artificielle. Je pensais que les données manquantes dans les premières années étaient probablement inconnues, mais dans les années suivantes, il semble plus probable que les données soient réellement nulles et ne soient tout simplement pas signalées parce que la maladie était si rare. Je maintiens donc les valeurs manquantes jusqu'à une certaine année (1975) et traite les valeurs manquantes comme 0 après cette date. Cela évitera au moins les taches sur le côté droit du graphique.
Recréer l'original
Avant d'aller trop loin, j'ai décidé d'essayer de reproduire le graphique WSJ tel qu'il est dans JMP. j'ai dû
- résumer les données en années
- joindre les données avec une autre table de données d'abréviations d'état
- créer un thème de couleurs personnalisé
- créer une carte thermique dans Graph Builder
- ajouter une ligne de référence pour la date d'introduction de la vaccination
Le résultat est assez proche. L'ordre des états est légèrement différent car je n'ai pas pris la peine de trier les états par code postal au lieu de l'abréviation affichée, les couleurs sont légèrement différentes uniquement parce que je n'ai pas copié les couleurs avec soin, et bien sûr le traitement des données manquantes modifie certains éléments manquants. années à 0.
Après avoir recréé le thème des couleurs, j’ai pu en voir une partie de la logique. Les thèmes de couleurs arc-en-ciel sont normalement mauvais pour les valeurs continues, car les différentes teintes sont perçues de manière catégorique plutôt que continue. La palette de couleurs WSJ comprend essentiellement trois palettes différentes :
- un schéma continu jaune-orange-rouge pour les niveaux « élevés »
- un vert solide pour les niveaux « modérés »
- un schéma continu blanc-bleu pour les niveaux "bas"
Je pense que les verts sont ce qui dérange le plus ma perception, alors j'ai pensé essayer la même idée sans le vert.
Nous devons encore choisir une limite arbitraire, mais je préfère cela sans le vert car il y a moins de catégories à trier. Cette coloration limite également la portée à 3000.
Changer les couleurs
Que diriez-vous d’un thème de couleurs véritablement continu ? Robert Allison utilise un schéma allant du blanc au rouge, ce qui semble raisonnable. Le problème avec une seule plage continue est que les données sont faussées, de sorte qu'une application de couleur linéaire ne mettrait en évidence les différences qu'à une extrémité de l'échelle. Nous pouvons contourner ce problème en utilisant une échelle linéaire par morceaux et en personnalisant le thème de couleur.
Étrangement, étant donné la diminution de la gamme de couleurs, la baisse à l’échelle nationale en 1945 est plus facile à constater.
Nous pourrions également essayer de classer les États par incidence moyenne plutôt que par ordre alphabétique. Il est ainsi plus facile de constater que les États ne sont pas aussi uniformément affectés qu’il y paraît.
Jusqu'à présent, j'ai montré les taux d'incidence annuels, comme l'original du WSJ. Cependant, étant donné la quantité de données manquantes, il est logique d'afficher des moyennes hebdomadaires comme le fait Allison afin de ne faire que la moyenne des données dont nous disposons. Afficher les taux annuels revient à traiter les valeurs des semaines manquantes comme 0. Voici le même graphique des tarifs hebdomadaires.
Les différences sont subtiles. Un exemple est celui de la Géorgie en 1934, où seules 27 semaines disposaient de données et les valeurs de ces semaines étaient assez élevées. Dans l'original, la Géorgie de 1934 semblait seulement moyenne parce qu'elle avait été édulcorée par tous les zéros introduits, mais ici elle semble élevée. La vérité est probablement entre les deux : il est peu probable que les valeurs manquantes soient égales à 0 ou identiques aux valeurs non manquantes.
L’approche stricte du « manquant est manquant » n’est pas sans pièges. À titre de comparaison, voici la version d'Allison montrant les moyennes hebdomadaires. Notez la flambée apparente de rougeole au Vermont en 1997. Cela ne représente en réalité qu'une semaine de données. Toutes les données des autres semaines sont manquantes. Cela ressemble donc à une mauvaise année, mais peut-être que ce n’était qu’une mauvaise semaine.
Je ne connais pas la meilleure façon de traiter la quantité variable de données manquantes. J'ai essayé de réduire les carrés lorsque leurs données manquaient. C'est une représentation plus fidèle, mais je ne suis pas sûr que la complexité supplémentaire en vaille la peine. De plus, la différence de taille est à peine perceptible la plupart du temps.
Explorer d'autres vues
Mon idée initiale était de créer un graphique à barres à l'échelle nationale au fil du temps. Cela s'est avéré plus compliqué que je ne le pensais car j'avais besoin de valeurs annuelles de population afin d'agréger correctement les taux d'incidence des États. Les données brutes incluent uniquement les décomptes et les taux pour 100 000 habitants. J'ai pensé que je pourrais estimer les populations de l'État à partir du nombre divisé par le taux (méthode 1), mais cela échoue lorsque le taux est de 0 ou très faible. Mon autre approche (méthode 2) consistait à interpoler à partir de quelques valeurs de population historiques que j'ai trouvées. Après avoir essayé les deux, je les ai comparés avec une intrigue :
Cette ligne horizontale à 10 (millions) correspond à des années avec un décompte de 1 et un taux de 0,01. Les tarifs ne sont fournis qu'à deux décimales près. Des problèmes similaires sont à l'origine de la valeur aberrante de 70 : cette année-là, au Texas, il y avait plusieurs semaines avec un décompte de 1 et un taux de 0,00. J'ai fini par utiliser une formule qui mélangeait les deux estimations, mais en considérant uniquement le ratio calculé, le taux n'était pas très faible.
Voici le graphique à barres du taux d'incidence national, qui illustre assez bien le point initial et permet de voir plus facilement la variation d'une année sur l'autre, y compris la calme année 1945.
Je n'aime pas les graphiques linéaires pointus, mais en voici un pour fournir un contexte au graphique suivant. Chaque ligne est un état.
Je préfère la philosophie du moins c'est plus qu'apportent les lisseurs. Dans ce cas, vous perdez la plage, mais vous obtenez une meilleure idée de la tendance générale et de quelques états aberrants.
Pensées finales
Pour cette étude, je partage les scripts de toutes les étapes de traitement et de représentation graphique que j'ai suivies, dans l'esprit de recherche reproductible . Le fait de disposer des scripts a également permis d'essayer facilement différentes stratégies de valeur manquante. Le fichier ZIP ci-joint contient les fichiers CSV sources (qui valent à eux seuls le prix d'entrée), ainsi que mes scripts JSL et la table de données JMP finale, qui elle-même contient des scripts pour les graphiques. Exécutez le script appelé « Measles Study » pour recréer les fichiers. Vous pouvez modifier le " Manquant est zéro après " variable sur une autre année que 1975 pour essayer un autre seuil de valeur manquante, ou aucun.
Même s’il a fallu un peu de travail pour en arriver là, je pense qu’il reste encore du travail à faire pour une meilleure analyse. Par exemple, il existe une tendance saisonnière dans les cas qui pourrait être utilisée pour imputer certaines des valeurs manquantes. Il peut être intéressant de rechercher des groupes d’États ou des modèles d’épidémies. Visuellement, peut-être que les bandes de distance seraient meilleures que les lignes. J'aimerais explorer l'idée d'Andy Kirk d'essayer les jeux de couleurs sur les données sans une baisse aussi brutale. Et si on utilisait des données nationales après 2002 ? ...
Cependant, je dois m'arrêter quelque part. D’ailleurs, avec toutes les données jointes, peut-être que cher lecteur poursuivra l’exploration.
