Das Wall Street Journal hat vor kurzem eine nette, interaktive Grafik mit dem Titel „ Der Kampf gegen Infektionskrankheiten im 20. Jahrhundert: Die Auswirkungen von Impfungen“ veröffentlicht. Darin sind mehrere Diagramme enthalten, die die Häufigkeit ausgewählter Infektionskrankheiten nach Bundesstaaten und Jahren zeigen. Hier ist das Diagramm zu Masern.
Mein erster Eindruck war: „Wow, es sieht so aus, als hätte das Land die Masern gehabt und die Impfung hat sie ausgerottet.“ Soweit eine Visualisierung einen Punkt vermitteln sollte, gelingt es dieser, die weitreichenden Auswirkungen der Impfung zu zeigen. Ich habe sie mir jedoch genauer angesehen und ein paar Details störten mich.
- Um einen einzelnen Punkt zu verdeutlichen, sind viele Details erforderlich (schlechtes Daten-/Tinten-Verhältnis).
- Das regenbogenartige Farbschema erschwert den schnellen Vergleich von Werten. Das heißt, es gibt keine wahrnehmbare Reihenfolge von Blau, Grün und Gelb.
- Der Farbverlauf geht bis 4000, die Daten gehen jedoch nur bis 3000.
- Die Hälfte der Staatsnamen fehlt.
- Die Bundesstaaten sind nach ihren Postleitzahlen sortiert, werden jedoch mit den Standardabkürzungen angezeigt, weshalb beispielsweise Alaska vor Alabama steht.
- Die Daten enden im Jahr 2002, also vor dem gegenwärtigen Aufschwung, der Impfungen überhaupt erst in die Schlagzeilen bringt.
Robert Allison („ Wie man Infektionskrankheiten besser darstellen kann “) und Andy Kirk („ Liegen uns die Visualisierung oder die Daten ?“) haben diese Visualisierung ebenfalls kritisch unter die Lupe genommen. Ich war mehr daran interessiert, die Daten zu erhalten und andere Möglichkeiten auszuprobieren, sie in JMP zu visualisieren.
Abrufen der Daten
Ich habe CSV-Dateien von Project Tycho heruntergeladen, was mehr Mühe machte, als ich erwartet hatte. Anscheinend gibt es einen einfacheren Massendownload, aber ich habe ihn nicht gefunden. Mehr als 100 manuelle Downloads später hatte ich die Rohdatendateien. Nachdem ich die Daten erhalten hatte, erlebte ich zwei Überraschungen:
- Die Daten sind wöchentlich statt jährlich.
- Es fehlen überall Daten – nicht nur dort, wo die WSJ-Grafik darauf hinweist.
Ich erstelle gerne ein paar schnelle, explorative Diagramme, um sicherzustellen, dass die Daten vernünftig aussehen. Hier ist eines mit allen wöchentlichen Inzidenzraten. Obwohl ich die Transparenz heruntergeschraubt habe, reicht es immer noch nicht aus, um zu erkennen, dass die meisten Daten weniger als 10 Fälle pro Woche pro 100.000 Personen aufweisen. Sie können jedoch die Ausreißer sehen, und ich habe einige davon gekennzeichnet. Ich kenne das Thema nicht gut genug, um zu wissen, ob diese Ausreißer verdächtig sind oder nicht.
Umgang mit fehlenden Daten
Bevor ich mit der Erstellung echter Diagramme beginnen konnte, brauchte ich einen Plan für den Umgang mit den fehlenden Daten. Das WSJ-Diagramm behandelt im Wesentlichen alle fehlenden Werte als 0, es sei denn, das ganze Jahr fehlt – dann wird das Jahr in einer leicht anderen Farbe angezeigt (weiß statt hellblau). Ich entschied mich für einen anderen, aber immer noch künstlichen Ansatz. Ich dachte, die fehlenden Daten in den frühen Jahren seien wahrscheinlich unbekannt, aber in den späteren Jahren scheint es wahrscheinlicher, dass die Daten wirklich 0 sind und nur nicht gemeldet wurden, weil die Krankheit zu diesem Zeitpunkt so selten war. Also behalte ich die fehlenden Werte bis zu einem bestimmten Jahr (1975) bei und behandle fehlende Werte nach diesem Datum als 0. Dadurch vermeide ich zumindest die Flecken auf der rechten Seite des Diagramms.
Das Original neu erschaffen
Bevor ich zu weit ging, beschloss ich, das WSJ-Diagramm so zu reproduzieren, wie es in JMP vorliegt. Ich musste:
- Fassen Sie die Daten nach Jahren zusammen.
- Verbinden Sie die Daten mit einer anderen Datentabelle mit Bundesstaatsabkürzungen.
- Erstellen Sie ein benutzerdefiniertes Farbthema.
- Erstellen Sie im Graph Builder eine Heatmap.
- Fügen Sie eine Referenzzeile für das Datum der Impfeinführung hinzu.
Das Ergebnis ist ziemlich nah dran. Die Reihenfolge der Staaten ist etwas anders, weil ich mir nicht die Mühe gemacht habe, die Staaten nach Postleitzahlen zu sortieren, sondern nach der angezeigten Abkürzung. Die Farben können abweichen, weil ich die Farben nicht sorgfältig kopiert habe. Und natürlich ändert die Behandlung fehlender Daten einige fehlende Jahre auf 0.
Nachdem ich das Farbschema nachgebildet hatte, konnte ich einen Teil der Logik dahinter erkennen. Regenbogenfarbschemata sind normalerweise schlecht für kontinuierliche Werte, da unterschiedliche Farbtöne kategorisch und nicht kontinuierlich wahrgenommen werden. Das WSJ-Farbschema besteht im Wesentlichen aus drei verschiedenen Schemata:
- Ein durchgehendes Gelb-Orange-Rot-Schema für „hohe“ Pegel.
- Ein durchgehendes Grün steht für „mittlere“ Pegel.
- Ein durchgehendes weiß-blaues Schema für „niedrige“ Ebenen.
Ich glaube, das Grün stört meine Wahrnehmung am meisten, deshalb dachte ich, ich probiere die gleiche Idee ohne das Grün.
Wir müssen immer noch einen willkürlichen Grenzwert festlegen, aber mir gefällt es besser ohne Grün, da weniger Kategorien zu sortieren sind. Diese Farbe begrenzt den Bereich auch auf 3000.
Ändern der Farben
Wie wäre es mit einem wirklich kontinuierlichen Farbschema? Robert Allison verwendet ein Schema von Weiß nach Rot, was sinnvoll erscheint. Das Problem bei einem einzelnen kontinuierlichen Bereich besteht darin, dass die Daten verzerrt sind, sodass eine lineare Farbanwendung nur Unterschiede an einem Ende der Skala hervorheben würde. Wir können dies umgehen, indem wir eine stückweise lineare Skala verwenden und das Farbschema anpassen.
Seltsamerweise ist der landesweite Einbruch im Jahr 1945 angesichts der geringeren Farbpalette leichter zu erkennen.
Wir könnten auch versuchen, die Bundesstaaten nach der durchschnittlichen Häufigkeit statt alphabetisch zu sortieren. So lässt sich leichter erkennen, dass die Bundesstaaten nicht so gleichmäßig betroffen sind, wie es den Anschein macht.
Bisher habe ich die jährlichen Inzidenzraten gezeigt, wie im WSJ-Original. Angesichts der Menge der fehlenden Daten ist es jedoch sinnvoll, wöchentliche Durchschnittswerte anzuzeigen, wie Allison es tut, sodass wir nur die Daten mitteln, die wir haben. Die Anzeige der jährlichen Raten ist so, als würden die Werte der fehlenden Wochen als 0 behandelt. Hier ist dieselbe Grafik der wöchentlichen Raten:
Die Unterschiede sind subtil. Ein Beispiel ist Georgia im Jahr 1934, wo nur für 27 Wochen Daten vorlagen und die Werte dieser Wochen ziemlich hoch waren. Im Original sah Georgia im Jahr 1934 nur durchschnittlich aus, weil es durch all die fehlenden Werte, die als Nullen behandelt wurden, verwässert wurde, aber hier sieht es hoch aus. Die Wahrheit liegt wahrscheinlich dazwischen – es ist unwahrscheinlich, dass die fehlenden Werte entweder 0 oder so hoch wie die nicht fehlenden Werte waren.
Der strikte Missing-is-Missing-Ansatz ist nicht ohne seine eigenen Fallstricke. Zum Vergleich hier Allisons Version mit wöchentlichen Durchschnittswerten. Beachten Sie den offensichtlichen Anstieg der Masernfälle in Vermont im Jahr 1997. Das sind tatsächlich nur Daten einer Woche. Alle Daten der anderen Wochen fehlen. Es sieht also nach einem schlechten Jahr aus, aber vielleicht war es nur eine schlechte Woche.
Ich weiß nicht, wie ich die variable Menge fehlender Daten am besten behandeln soll. Ich habe versucht, die Quadrate zu verkleinern, wenn die Daten fehlten. Das ist eine realistischere Darstellung, aber ich bin mir nicht sicher, ob sich die zusätzliche Komplexität lohnt. Außerdem kann man den Größenunterschied die meiste Zeit kaum erkennen.
Andere Ansichten erkunden
Ursprünglich wollte ich ein landesweites Balkendiagramm im Zeitverlauf erstellen. Dies erwies sich als komplizierter als gedacht, da ich jährliche Bevölkerungswerte benötigte, um die Inzidenzraten der einzelnen Bundesstaaten richtig zusammenzufassen. Die Rohdaten umfassen nur Zählungen und Raten pro 100.000. Ich dachte, ich könnte die Bevölkerungszahlen der einzelnen Bundesstaaten aus der Zählung geteilt durch die Rate schätzen (Methode 1), aber das funktioniert nicht, wenn die Rate 0 oder sehr niedrig ist. Mein anderer Ansatz (Methode 2) bestand darin, einige historische Bevölkerungswerte zu interpolieren, die ich auf der Website des Census Bureau gefunden hatte. Nachdem ich beides ausprobiert hatte, verglich ich sie mit einem Diagramm:
Die horizontale Linie bei 10 (Millionen) stammt aus Jahren mit einer Zählung von 1 und einer Rate von 0,01. Die Raten werden nur mit zwei Dezimalstellen angegeben. Ähnliche Probleme verursachen den Ausreißer bei 70: In diesem Jahr gab es in Texas mehrere Wochen mit einer Zählung von 1 und einer Rate von 0,00. Ich habe am Ende eine Formel verwendet, die beide Schätzungen vermischte, und nur das berechnete Verhältnis berücksichtigt, dann war die Rate nicht sehr niedrig.
Hier ist das Balkendiagramm der nationalen Inzidenzrate, das den ursprünglichen Punkt ziemlich gut verdeutlicht und es einfacher macht, die Schwankungen von Jahr zu Jahr zu erkennen, einschließlich des ruhigen Jahres 1945.
Ich bin kein Fan von stacheligen Liniendiagrammen, aber hier ist eines, um den Kontext für das nächste Diagramm zu liefern. Jede Linie stellt einen Zustand dar. 
Ich bevorzuge die „Weniger ist mehr“-Philosophie der Glätter. In diesem Fall verlieren Sie zwar den Bereich, bekommen aber ein besseres Gefühl für den allgemeinen Trend und einige Ausreißerzustände.
Abschließende Gedanken
Für diese Studie teile ich im Sinne reproduzierbarer Forschung Skripte aller Verarbeitungs- und Grafikschritte, die ich unternommen habe. Measles Study.ZIP ist meiner Originalversion dieses Beitrags zu The Plot Thickens in der JMP-Benutzercommunity beigefügt. Die Skripte erleichterten es auch, verschiedene Strategien für fehlende Werte auszuprobieren. Die ZIP-Datei enthält die CSV-Quelldateien sowie meine JSL-Skripte und die endgültige JMP-Datentabelle, die selbst Skripte für die Grafiken enthält. Führen Sie das Skript mit dem Namen „Measles Study“ aus, um die Dateien neu zu erstellen. Sie können die Variable „Missing is zero after“ in ein anderes Jahr als 1975 ändern, um einen anderen Grenzwert für fehlende Werte auszuprobieren, oder gar keinen.
Obwohl es ein bisschen Arbeit war, so weit zu kommen, sehe ich, dass für eine bessere Analyse noch mehr Arbeit nötig ist. Beispielsweise gibt es ein saisonales Muster bei den Fällen, das zur Imputation einiger der fehlenden Werte verwendet werden könnte. Es könnte interessant sein, nach Clustern von Staaten oder Ausbruchsmustern zu suchen. Visuell wären vielleicht Spannweiten besser als Linien. Ich würde gerne Andy Kirks Idee untersuchen, die Farbschemata bei Daten ohne einen so starken Abfall auszuprobieren. Wie wäre es, nationale Daten nach 2002 zu verwenden? ...
Irgendwo muss ich jedoch aufhören. Vielleicht werden Sie, lieber Leser, mit all den beigefügten Daten Ihre Erkundung fortsetzen.
