Il y a quelques semaines, le Washington Post a fait un graphique largement diffusé de Washington, DC, chiffres de la fréquentation matinale du métro pour les récentes inaugurations et la marche des femmes du 21 janvier. Le nombre de participants aux grands événements peut être difficile et litigieux à calculer, et le nombre d'usagers apporte une objectivité attrayante à la conversation, même si les comptes ne sont que grossièrement corrélés au nombre de participants. Certains participants ne prennent pas le métro et d'autres ne participent pas à l'événement. Cependant, lorsque les comptes sont exceptionnels, il faut que quelque chose se passe.
Pour voir si elles sont exceptionnelles, nous devons mettre les chiffres en contexte. Je me suis donc mis à la recherche de données quotidiennes sur le nombre d'usagers du métro DC. Le meilleur que j'ai trouvé était l'estimation du nombre quotidien d'usagers à Open Data DC pour les années 2004 à 2015. Bien qu’il ne s’agisse pas de la dernière en date, il suffit de donner un peu de contexte aux chiffres cités en examinant les dénombrements typiques, les trois inaugurations et les deux rassemblements du samedi tenus en 2010: Restaurer l'honneur (Glenn Beck) et Restaurer la santé mentale et / ou la peur (Jon Stewart et Stephen Colbert). J'ai assisté au rassemblement Restore Sanity et a pris le métro ce matin-là, et les deux étaient surpeuplés, ce qui en fait une base de référence expérientielle.
Une première vue des données
Voici un premier aperçu des données de comptage au fil du temps JMP . Quelques valeurs aberrantes et modèles ressortent même dans cette vue grossière.
Nous pouvons déjà voir une valeur aberrante importante correspondant à l’inauguration de 2009. Les grappes basse et haute suggèrent qu'il existe au moins deux catégories de jours, et le regroupement par jour de la semaine permet de vérifier que les jours de la semaine sont la plus grande grappe.
Cependant, il existe encore un nombre important de comptages de valeurs aberrantes en semaine, en particulier le lundi. En survolant quelques-uns d'entre eux confirme mes soupçons que ce sont des vacances. Fractionner le graphique en jours de la semaine était une simple transformation par clic droit, mais JMP ne connaissant pas les jours fériés aux États-Unis, j’ai donc écrit un script pour baliser les jours fériés officiels, puis les ai combinés avec les dimanches pour obtenir un graphique général.
J’ai étiqueté quelques jours notables et j’ai ajouté un lissage pour montrer apparent schéma saisonnier (plus sur cela plus tard). Avec la catégorisation, nous pouvons voir que les vacances MLK 2009, qui étaient la veille de l’inauguration 2009, et les vacances d’inauguration / MLK 2013 étaient également exceptionnelles dans le contexte des vacances.
Les comptes d’intérêt récents qui nous intéressent ne figurent pas dans cet ensemble de données. Mais le nombre pour l’inauguration en 2017 était de 570 000, selon la Washington Metropolitan Area Transit Authority (WMATA) citée dans un article du Washington Post alors que pour la Marche des femmes en 2017, il en dépassait tout juste 1 million, selon un tweet de WMATA .
Le rallye Restore Sanity se démarque bien du nombre de passagers du samedi (800 000 contre 300 000); Cependant, il n'est pas facile de déterminer une base de référence appropriée pour les dates d'inauguration. La journée d’inauguration est un jour férié pour les travailleurs fédéraux. Pour estimer son effet, nous pouvons utiliser les données de 2013 du Bureau of Labor Statistics, qui indiquent que DC comptait environ 740 000 travailleurs, dont 200 000 étaient des employés fédéraux. Le nombre moyen de jours de travail journaliers est d’environ 700 000 personnes, ce qui représente presque un trajet par travailleur (vraisemblablement, environ la moitié des travailleurs ont pris le métro deux fois chacun). Suivant ce ratio, il y aurait environ 200 000 cavaliers de travailleurs de moins le jour de l'inauguration, et probablement certains travailleurs non fédéraux auront également un jour de congé d'inauguration. Cela donnerait une clientèle de base du jour de l'inauguration de l'ordre de 400 000 à 500 000.
Au cas où vous vous interrogeriez sur certaines des valeurs aberrantes non étiquetées, vous pouvez essayer cette version interactive du graphique et survolez les points d’intérêt. L’autre grande clientèle du samedi est principalement le festival national des fleurs de cerisier du début avril. La plupart des vacances comptaient pour le Jour de l’Indépendance. Les basses journées d'hiver étaient de mauvaises tempêtes.
Attention aux bugs de l'esprit!
Après avoir partagé le tableau ci-dessus sur Twitter, j'ai examiné plus en détail le modèle saisonnier et réalisé que j'avais craqué pour les trois pièges cognitifs décrits par Alberto Cairo comme des "bogues de l'esprit" dans son livre. L'art véridique : typicité, récit et confirmation.
J'ai vu un va-et-vient modèle dans les points, créé un récit dans mon esprit, la fréquentation était liée aux saisons, et confirmé en ajoutant la spline plus lisse, qui avait une apparence sinusoïdale. Heureusement, je n'ai pas été totalement convaincu par cette confirmation et me suis rendu compte que le lisseur de splines est contraint de l'être, peu importe les données, et 11 années de fluctuations peuvent être trop difficiles à résoudre. Je me suis donc mis à regarder de plus près les données par jour de l'année. Ce graphique montre les jours ouvrables pour les 11 années.
Maintenant, je pouvais voir que le motif n'était pas si sinusoïdal. Plutôt que de suivre le rythme de la fréquentation au fil des saisons, nous avons quelques effets localisés. Le plus important est le déclin des deux dernières semaines de l'année, et cette petite baisse autour du jour 100 est probablement le festival national des fleurs de cerisier au printemps. J'imagine que les touristes sont responsables des bosses de l'été, mais qu'en est-il de la baisse en août? Est-ce le moment où les habitants prennent des vacances pour échapper à la chaleur et à l'humidité? Ou est-ce parce que le Congrès est généralement absent en août? (Résidents de DC: laissez-moi savoir dans les commentaires!)
Après avoir réalisé que mon histoire saisonnière était fausse, j'ai refait tout mon tableau avec un lissage plus simple qui ne faisait que montrer la tendance à long terme de l'achalandage au fil des ans.
Je cherche toujours des données plus complètes, mais cet ensemble de données a été intéressant à explorer. J'ai beaucoup appris sur la façon dont les gens utilisent le métro DC! Faire l'expérience des bugs de l'esprit a fourni une bonne leçon sur l'exploration analytique. En fin de compte, je pense avoir créé un tableau qui fournit un contexte utile.
Intéressant en regardant la version HTML interactive. Il y a quelques jours extrêmement bas. Être capable de voir les dates, semble que beaucoup d'entre elles sont dues à des événements météorologiques. Les 29 et 30 octobre 2012, en particulier, les jours "zéro décompte" et quasi-décompte correspondaient à l'ouragan Sandy. le gouvernement fédéral a fermé le 30 . Un autre jour, en 2010, c'était très bas et c'était pour un " événement blizzard ". Comme pour toute donnée modérée à grande, l’influence de ces points n’est peut-être pas très importante dans votre analyse, mais j’aime toujours comprendre l’origine de ces observations. Un nettoyage plus détaillé des données peut rechercher tous les événements météorologiques violents et les regrouper avec les groupes week-ends et jours fériés.
