El Wall Street Journal publicó recientemente un bonito gráfico interactivo titulado " La lucha contra las enfermedades infecciosas en el siglo XX: el impacto de las vacunas", que contiene una serie de gráficos que muestran la incidencia de determinadas enfermedades infecciosas por estado y año. Este es el del sarampión.
Mi primera impresión fue: "Vaya, parece que el país tuvo sarampión y la vacuna lo curó". En la medida en que una visualización debe comunicar un punto, esta logra mostrar el amplio impacto de la vacuna. Sin embargo, la observé un poco más y algunos detalles me molestaron.
- Se necesitan muchos detalles para lograr un único punto (mala relación datos/tinta).
- El esquema de colores similar al arco iris dificulta la comparación rápida de valores. Es decir, no existe un orden perceptivo entre el azul, el verde y el amarillo.
- El gradiente de color llega a 4000, pero los datos solo llegan a 3000.
- Faltan la mitad de los nombres de los estados.
- Los estados están ordenados por sus códigos postales, pero se muestran con abreviaturas estándar, por lo que Alaska aparece antes que Alabama, por ejemplo.
- Los datos se detienen en 2002, antes del repunte actual que coloca las vacunaciones en las noticias en primer lugar.
Robert Allison (" Cómo hacer que las enfermedades infecciosas se vean mejor ") y Andy Kirk (" ¿Lo que nos gusta es la visualización o los datos ?") también han analizado críticamente esta visualización. A mí me interesaba más obtener los datos y probar otras formas de visualizarlos en JMP.
Obteniendo los datos
Descargué archivos CSV de Project Tycho , lo que me causó más problemas de los que esperaba. Aparentemente, existe una descarga masiva más sencilla, pero no la encontré. Después de más de 100 descargas manuales, obtuve los archivos de datos sin procesar. Después de obtener los datos, me encontré con dos sorpresas:
- Los datos son semanales en lugar de anuales.
- Faltan datos en todas partes, no solo donde lo indica el gráfico del WSJ.
Me gusta hacer algunos gráficos exploratorios rápidos para asegurarme de que los datos parezcan razonables. Aquí hay uno de todos los índices de incidencia semanales. Aunque reduje la transparencia, aún no es suficiente para saber que la mayoría de los datos están por debajo de los 10 casos por semana por cada 100.000 personas. Sin embargo, se pueden ver los valores atípicos y etiqueté algunos de ellos. No conozco el tema lo suficientemente bien como para saber si esos valores atípicos son sospechosos o no.
Manejo de datos faltantes
Antes de poder empezar a hacer gráficos reales, necesitaba un plan para lidiar con los datos faltantes. El gráfico del WSJ básicamente trata todos los valores faltantes como 0, a menos que falte todo el año; en ese caso, muestran el año con un color ligeramente diferente (blanco en lugar de azul claro). Decidí adoptar un enfoque diferente, pero aún artificial. Supuse que los datos faltantes en los primeros años probablemente sean desconocidos, pero en los años posteriores parece más probable que los datos sean realmente 0 y simplemente no se informen porque la enfermedad era muy rara en ese entonces. Así que mantengo los valores faltantes hasta cierto año (1975) y trato los valores faltantes como 0 después de esa fecha. Eso al menos evitará las manchas en el lado derecho del gráfico.
Recreando el original
Antes de ir demasiado lejos con la exploración, decidí intentar reproducir el gráfico WSJ tal como está en JMP. Tuve que:
- Resuma los datos en años.
- Unir los datos con otra tabla de datos de abreviaturas de estados.
- Crea un tema de color personalizado.
- Crear un mapa de calor en el generador de gráficos.
- Añadir una línea de referencia para la fecha de introducción de la vacunación.
El resultado es bastante parecido. El orden de los estados es ligeramente diferente porque no me molesté en ordenar los estados por código postal en lugar de por la abreviatura que se muestra. Los colores pueden diferir porque no los copié con cuidado. Y, por supuesto, el tratamiento de los datos faltantes cambia algunos años faltantes a 0.
Después de recrear el tema de colores, pude ver algo de lógica en él. Los temas de colores del arco iris normalmente son malos para los valores continuos porque los diferentes tonos se perciben de manera categórica en lugar de continua. El esquema de colores del WSJ consta básicamente de tres esquemas diferentes:
- Un esquema continuo de color amarillo-naranja-rojo para niveles "altos".
- Un verde sólido para niveles "moderados".
- Un esquema continuo blanco-azul para niveles "bajos".
Creo que lo que más molesta a mi percepción son los verdes, así que pensé en probar la misma idea sin el verde.
Todavía tenemos que elegir un valor de corte arbitrario, pero me gusta más sin el verde porque hay menos categorías que clasificar. Este color también limita el rango a 3000.
Cambiando los colores
¿Qué tal un tema de color verdaderamente continuo? Robert Allison utiliza un esquema de blanco a rojo, lo cual parece razonable. El problema con un único rango continuo es que los datos están sesgados, por lo que una aplicación de color lineal solo resaltaría las diferencias en un extremo de la escala. Podemos solucionarlo utilizando una escala lineal por partes y personalizando el tema de color.
Curiosamente, dada la reducida gama de colores, la caída a nivel nacional en 1945 es más fácil de ver.
También podríamos intentar ordenar los estados por incidencia promedio en lugar de hacerlo alfabéticamente. Esto hace que sea más fácil ver que los estados no se ven afectados de manera tan uniforme como parecía.
Hasta ahora, he estado mostrando las tasas de incidencia anuales, como en el original del WSJ. Sin embargo, dada la cantidad de datos faltantes, tiene sentido mostrar los promedios semanales como lo hace Allison, de modo que solo promediemos los datos que tenemos. Mostrar las tasas anuales es como tratar los valores de las semanas faltantes como 0. Aquí está el mismo gráfico de las tasas semanales:
Las diferencias son sutiles. Un ejemplo es Georgia en 1934, donde solo se tenían datos de 27 semanas y los valores de esas semanas eran bastante altos. En el original, Georgia en 1934 parecía solo promedio porque se diluyó con todos los valores faltantes que se trataron como ceros, pero aquí parece alto. La verdad probablemente esté en el medio: es poco probable que los valores faltantes fueran 0 o tan altos como los valores que no faltaban.
El enfoque estricto de "lo que falta es lo que falta" no está exento de sus propios inconvenientes. A modo de comparación, aquí está la versión de Allison que muestra los promedios semanales. Observe el aparente aumento de sarampión en Vermont en 1997. En realidad, se trata de una sola semana de datos. Faltan los datos de todas las demás semanas. Por lo tanto, parece un mal año, pero tal vez fue solo una mala semana.
No sé cuál es la mejor manera de abordar la cantidad variable de datos faltantes. Intenté hacer que los cuadrados se encogieran cuando faltaban los datos. Es una representación más fiel, pero no estoy seguro de que valga la pena la complejidad adicional. Además, la mayoría de las veces apenas se nota la diferencia de tamaño.
Explorando otros puntos de vista
Mi idea original era hacer un gráfico de barras a nivel nacional a lo largo del tiempo. Esto resultó ser más complicado de lo que pensaba porque necesitaba valores de población anuales para agregar correctamente las tasas de incidencia estatales. Los datos brutos solo incluyen recuentos y tasas por cada 100.000. Pensé que podía estimar las poblaciones estatales a partir del recuento dividido por la tasa (método 1), pero eso falla cuando las tasas son cero o muy pequeñas. Mi otro enfoque (método 2) fue interpolar a partir de algunos valores de población históricos que encontré en el sitio de la Oficina del Censo. Después de probar ambos, los comparé con un gráfico:
Esa línea horizontal en 10 (millones) corresponde a años con un recuento de 1 y una tasa de 0,01. Las tasas solo se proporcionan con dos decimales. Problemas similares causan el valor atípico en 70: ese año, Texas contenía varias semanas con un recuento de 1 y una tasa de 0,00. Terminé usando una fórmula que mezclaba ambas estimaciones, considerando solo la proporción calculada; entonces, la tasa no era muy pequeña.
Aquí está el gráfico de barras de la tasa de incidencia nacional, que refleja bastante bien el punto original y permite ver más fácilmente la variación de un año a otro, incluido el tranquilo año 1945.
No me gustan los gráficos de líneas puntiagudas, pero aquí hay uno para brindar contexto para el siguiente gráfico. Cada línea es un estado. 
Prefiero la filosofía de "menos es más" que ofrecen los suavizadores. En este caso, se pierde el alcance, pero se obtiene una mejor idea de la tendencia general y de algunos estados atípicos.
Reflexiones finales
Para este estudio, estoy compartiendo scripts de todos los pasos de procesamiento y gráficos que seguí, con el espíritu de una investigación reproducible . Measles Study.ZIP se adjunta a mi versión original de esta publicación en The Plot Thicks en la comunidad de usuarios de JMP. Tener los scripts también facilitó la prueba de diferentes estrategias de valores faltantes. El archivo ZIP contiene los archivos CSV de origen más mis scripts JSL y la tabla de datos JMP final, que a su vez contiene scripts para los gráficos. Ejecute el script llamado "Measles Study" para recrear los archivos. Puede cambiar la variable "Missing is zero after" a otro año además de 1975 para probar un valor faltante de corte diferente, o ninguno.
Aunque me costó un poco de trabajo llegar hasta aquí, veo que queda mucho por hacer para lograr un mejor análisis. Por ejemplo, hay un patrón estacional en los casos que se podría utilizar para imputar algunos de los valores faltantes. Podría ser interesante buscar grupos de estados o patrones de brotes. Visualmente, tal vez las bandas de rango serían mejores que las líneas. Me gustaría explorar la idea de Andy Kirk de probar los esquemas de color en los datos sin una caída tan pronunciada. ¿Qué tal si utilizamos datos nacionales posteriores a 2002? ...
Sin embargo, en algún punto tengo que detenerme. Además, con todos los datos adjuntos, tal vez usted, querido lector, continúe la exploración.
