<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Das Wall Street Journal hat kürzlich einen schönen, interaktiven Grafikartikel mit dem Titel „ Kampf gegen Infektionskrankheiten im 20. Jahrhundert: Die Auswirkungen von Impfstoffen ", das eine Reihe von Diagrammen enthält, die die Inzidenz ausgewählter Infektionskrankheiten nach Bundesstaat und Jahr zeigen. Hier ist das gegen Masern.
Mein erster Eindruck war: „Wow, es sieht so aus, als hätte das Land die Masern und der Impfstoff hätte sie beseitigt.“ Soweit eine Visualisierung einen Punkt vermitteln sollte, gelingt es dieser, die weitreichende Wirkung des Impfstoffs aufzuzeigen. Doch je länger ich es mir ansah, desto mehr störten mich ein paar Details.
- Es sind viele Details erforderlich, um einen einzelnen Punkt zu erstellen (schlechtes Daten-/Tintenverhältnis).
- Das regenbogenartige Farbschema erschwert einen schnellen Wertevergleich. Das heißt, es gibt keine wahrnehmungsmäßige Reihenfolge von Blau, Grün und Gelb.
- Der Farbverlauf reicht bis 4000, die Daten reichen jedoch nur bis 3000.
- Die Hälfte der Staatsnamen fehlt.
- Die Bundesstaaten sind nach ihren Postleitzahlen sortiert, werden aber mit Standardabkürzungen angezeigt, weshalb beispielsweise Alaska vor Alabama steht.
- Die Daten reichen bis zum Jahr 2002, also vor dem aktuellen Aufschwung, der Impfungen überhaupt erst in die Schlagzeilen bringt.
Robert Allison, „ Wie man Infektionskrankheiten besser aussehen lässt ,“ und Andy Kirk,“ Ist es die Visualisierung oder die Daten, die uns gefallen? ," Ich habe die Visualisierung auch kritisch unter die Lupe genommen, falls Sie mehr lesen möchten. Ich war mehr daran interessiert, die Daten zu erhalten, als andere Möglichkeiten zur Visualisierung in JMP auszuprobieren.
Die Daten abrufen
Ich habe CSV-Dateien heruntergeladen von Projekt Tycho , was mehr Ärger bereitete, als ich wollte. Die Daten jedes Bundesstaats befanden sich in zwei separaten Dateien und die Website erfordert eine Anmeldung, sodass ich die Downloads nicht bequem per Skript ausführen konnte. 102 manuelle Downloads später hatte ich die Rohdatendateien.
Nachdem ich die Daten erhalten hatte, stieß ich auf zwei Überraschungen:
- Die Daten sind wöchentlich statt jährlich.
- Es fehlen überall Daten – nicht nur dort, wo die WSJ-Grafik darauf hindeutet.
Ich erstelle gerne ein paar Nonce-Diagramme, um sicherzustellen, dass die Daten vernünftig aussehen. Hier ist eine aller wöchentlichen Inzidenzraten. Auch wenn ich die Transparenz heruntergefahren habe, reicht es immer noch nicht aus, um zu sagen, dass die meisten Daten weniger als 10 Fälle pro Woche pro 100.000 Personen betragen. Sie können jedoch die Ausreißer sehen, und ich habe einige davon beschriftet. Ich kenne das Thema nicht gut genug, um zu wissen, ob diese Ausreißer real sind oder nicht.
Umgang mit fehlenden Daten
Bevor ich mit der Erstellung echter Diagramme beginnen konnte, brauchte ich einen Plan für den Umgang mit den fehlenden Daten. Das WSJ-Diagramm behandelt grundsätzlich alle fehlenden Werte als 0, es sei denn, das ganze Jahr fehlt – dann wird das Jahr in einer etwas anderen Farbe angezeigt (weiß statt hellblau). Ich entschied mich für einen anderen, aber immer noch künstlichen Ansatz. Ich ging davon aus, dass die fehlenden Daten in den ersten Jahren wahrscheinlich unbekannt sind, aber in den späteren Jahren scheint es wahrscheinlicher, dass die Daten tatsächlich 0 sind und einfach nicht gemeldet werden, weil die Krankheit so selten war. Daher behalte ich das Fehlen bis zu einem Jahr (1975) bei und behandle fehlende Werte nach diesem Datum als 0. Dadurch wird zumindest die Fleckenbildung auf der rechten Seite des Diagramms vermieden.
Das Original neu erschaffen
Bevor ich zu weit gehe, habe ich beschlossen, das WSJ-Diagramm so zu reproduzieren, wie es in JMP ist. Ich musste
- Fassen Sie die Daten in Jahren zusammen
- Verknüpfen Sie die Daten mit einer anderen Datentabelle mit Landesabkürzungen
- Erstellen Sie ein benutzerdefiniertes Farbthema
- Erstellen Sie eine Heatmap im Graph Builder
- Fügen Sie eine Referenzzeile für das Einführungsdatum der Impfung hinzu
Das Ergebnis kommt ziemlich nahe. Die Reihenfolge der Bundesstaaten ist etwas anders, da ich mir nicht die Mühe gemacht habe, die Bundesstaaten nach Postleitzahl statt nach der angezeigten Abkürzung zu sortieren. Die Farben unterscheiden sich geringfügig, nur weil ich die Farben nicht sorgfältig kopiert habe, und natürlich ändert die Behandlung fehlender Daten einige fehlende Jahre auf 0.
Nachdem ich das Farbthema neu erstellt hatte, konnte ich einen Teil der Logik darin erkennen. Regenbogenfarbthemen eignen sich normalerweise nicht für kontinuierliche Werte, da unterschiedliche Farbtöne kategorisch und nicht kontinuierlich wahrgenommen werden. Das WSJ-Farbschema besteht im Wesentlichen aus drei verschiedenen Schemata:
- ein durchgehendes Gelb-Orange-Rot-Schema für „hohe“ Werte
- ein sattes Grün für „moderate“ Level
- ein durchgehendes Weiß-Blau-Schema für „niedrige“ Werte
Ich denke, die Grüntöne stören meine Wahrnehmung am meisten, deshalb dachte ich, ich würde die gleiche Idee auch ohne Grün versuchen.
Wir müssen immer noch einen willkürlichen Cut-off auswählen, aber ohne das Grün gefällt es mir besser, weil es weniger Kategorien zu sortieren gibt. Diese Farbgebung begrenzt auch den Bereich auf 3000.
Ändern der Farben
Wie wäre es mit einem wirklich durchgängigen Farbthema? Robert Allison verwendet ein Weiß-zu-Rot-Schema, was vernünftig erscheint. Das Problem bei einem einzelnen kontinuierlichen Bereich besteht darin, dass die Daten verzerrt sind, sodass eine lineare Farbanwendung nur Unterschiede an einem Ende der Skala hervorheben würde. Wir können dies umgehen, indem wir eine stückweise lineare Skala verwenden und das Farbthema anpassen.
Merkwürdigerweise ist angesichts der verringerten Farbpalette der landesweite Rückgang im Jahr 1945 leichter zu erkennen.
Wir könnten auch versuchen, die Bundesstaaten nach der durchschnittlichen Inzidenz statt alphabetisch zu ordnen. Dies macht es einfacher zu erkennen, dass die Staaten nicht so einheitlich betroffen sind, wie es schien.
Bisher habe ich die jährlichen Inzidenzraten angezeigt, wie im WSJ-Original. Angesichts der Menge an fehlenden Daten ist es jedoch sinnvoll, wöchentliche Durchschnittswerte anzuzeigen, wie Allison es tut, damit wir nur die Daten mitteln, die uns vorliegen. Die Anzeige der Jahresraten ist so, als würde man die Werte der fehlenden Wochen als 0 behandeln. Hier ist die gleiche Grafik der wöchentlichen Preise.
Die Unterschiede sind subtil. Ein Beispiel ist Georgia im Jahr 1934, wo nur für 27 Wochen Daten vorlagen und die Werte dieser Wochen recht hoch waren. Im Original sah Georgia im Jahr 1934 nur durchschnittlich aus, weil es durch die vielen eingeführten Nullen verwässert wurde, aber hier sieht es hoch aus. Die Wahrheit liegt wahrscheinlich dazwischen – es ist unwahrscheinlich, dass die fehlenden Werte entweder 0 sind oder mit den nicht fehlenden Werten identisch sind.
Der strikte Missing-is-missing-Ansatz ist nicht ohne seine eigenen Fallstricke. Zum Vergleich finden Sie hier Allisons Version mit wöchentlichen Durchschnittswerten. Beachten Sie den offensichtlichen Anstieg der Masernfälle in Vermont im Jahr 1997. Das sind wirklich nur Daten einer Woche. Die Daten aller anderen Wochen fehlen. Es sieht also nach einem schlechten Jahr aus, aber vielleicht war es auch nur eine schlechte Woche.
Ich weiß nicht, wie ich die variable Menge an fehlenden Daten am besten beheben kann. Ich habe versucht, die Quadrate kleiner zu machen, als ihre Daten fehlten. Es ist eine wahrheitsgetreuere Darstellung, aber ich bin mir nicht sicher, ob sich die zusätzliche Komplexität lohnt. Außerdem ist der Größenunterschied meist kaum zu erkennen.
Andere Ansichten erkunden
Mein ursprünglicher Gedanke war, im Laufe der Zeit ein landesweites Balkendiagramm zu erstellen. Dies erwies sich als komplizierter als ich dachte, da ich jährliche Bevölkerungswerte benötigte, um die Inzidenzraten der Bundesstaaten richtig zu aggregieren. Die Rohdaten umfassen nur Zählungen und Raten pro 100.000. Ich dachte, ich könnte die Staatsbevölkerung aus der Anzahl dividiert durch die Rate schätzen (Methode 1), aber das schlägt fehl, wenn die Rate 0 oder sehr klein ist. Mein anderer Ansatz (Methode 2) bestand darin, aus einigen historischen Bevölkerungswerten, die ich gefunden habe, zu interpolieren. Nachdem ich beide ausprobiert hatte, verglich ich sie mit einer Handlung:
Diese horizontale Linie bei 10 (Millionen) stammt aus Jahren mit einer Zählung von 1 und einer Rate von 0,01. Die Tarife werden nur mit zwei Dezimalstellen angegeben. Ähnliche Probleme verursachen den Ausreißer bei 70: Dieses Jahr in Texas enthielt mehrere Wochen mit einer Zählung von 1 und einer Rate von 0,00. Am Ende habe ich eine Formel verwendet, die beide Schätzungen gemischt hat, aber nur unter Berücksichtigung des berechneten Verhältnisses war die Rate nicht sehr gering.
Hier ist das Balkendiagramm der nationalen Inzidenzraten, das den ursprünglichen Punkt ziemlich gut verdeutlicht und es einfacher macht, die Schwankungen von Jahr zu Jahr zu erkennen, einschließlich des ruhigen Jahres 1945.
Ich mag keine spitzen Liniendiagramme, aber hier ist eines, um den Kontext für das nächste Diagramm bereitzustellen. Jede Zeile ist ein Zustand.
Ich bevorzuge die „Weniger ist mehr“-Philosophie, die Smoother mit sich bringen. In diesem Fall geht der Bereich verloren, aber Sie erhalten ein besseres Gefühl für den allgemeinen Trend und einige Ausreißerzustände.
Schlussgedanken
Für diese Studie teile ich Skripte aller Verarbeitungs- und Grafikschritte, die ich unternommen habe, ganz im Sinne von reproduzierbare Forschung . Dank der Skripte war es auch einfacher, verschiedene Strategien für fehlende Werte auszuprobieren. Die angehängte ZIP-Datei enthält die Quell-CSV-Dateien (die allein den Eintrittspreis wert sind) sowie meine JSL-Skripte und die endgültige JMP-Datentabelle, die ihrerseits Skripte für die Diagramme enthält. Führen Sie das Skript „Measles Study“ aus, um die Dateien neu zu erstellen. Sie können das „ Fehlt ist Null danach „Verschieben Sie die Variable auf ein anderes Jahr als 1975, um einen anderen oder gar keinen Grenzwert für fehlende Werte auszuprobieren.
Obwohl es ein wenig Arbeit gekostet hat, bis hierher zu kommen, sehe ich, dass für eine bessere Analyse noch mehr Arbeit nötig ist. Beispielsweise weisen die Fälle ein saisonales Muster auf, das zur Imputation einiger der fehlenden Werte herangezogen werden könnte. Es könnte interessant sein, nach Clustern von Staaten oder Ausbruchsmustern zu suchen. Optisch wären Entfernungsbänder vielleicht besser als Linien. Ich würde gerne Andy Kirks Idee untersuchen, die Farbschemata an Daten ohne einen so starken Abfall auszuprobieren. Wie wäre es mit der Verwendung nationaler Daten nach 2002? ...
Allerdings muss ich irgendwo anhalten. Außerdem wird, lieber Leser, mit all den beigefügten Daten die Erkundung vielleicht fortsetzen.
