<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />El Wall Street Journal publicó recientemente un bonito artículo gráfico interactivo llamado " Luchando contra las enfermedades infecciosas en el siglo XX: el impacto de las vacunas " que contiene una serie de gráficos que muestran la incidencia de enfermedades infecciosas seleccionadas por estado y año. Aquí está el del sarampión.
Mi primera impresión fue: "Vaya, parece que el país tuvo sarampión y la vacuna lo curó". En la medida en que una visualización debería comunicar un punto, ésta logra mostrar el amplio impacto de la vacuna. Sin embargo, cuanto más lo miraba, algunos detalles me molestaban.
- Se necesitan muchos detalles para resaltar un solo punto (proporción pobre de datos/tinta).
- La combinación de colores similar al arco iris dificulta la comparación rápida de valores. Es decir, no existe un orden perceptivo de azul, verde y amarillo.
- El degradado de color llega a 4000 pero los datos solo llegan a 3000.
- Faltan la mitad de los nombres de los estados.
- Los estados están ordenados por sus códigos postales pero se muestran con abreviaturas estándar, razón por la cual Alaska está antes que Alabama, por ejemplo.
- Los datos se detienen en 2002, antes del actual auge que sitúa la vacunación en primer lugar en las noticias.
Robert Allison, " Cómo hacer que las enfermedades infecciosas se vean mejor ," y Andy Kirk," ¿Es la visualización o los datos que nos gustan? ," También he realizado una mirada crítica a la visualización si desea leer más. Estaba más interesado en obtener los datos y probar otras formas de visualizarlos en JMP.
Obteniendo los datos
Descargué archivos CSV de Proyecto Tycho , lo cual fue más problema del que quería. Los datos de cada estado estaban en dos archivos separados y el sitio requiere un inicio de sesión, por lo que no podía programar las descargas cómodamente. 102 descargas manuales después, tenía los archivos de datos sin procesar.
Después de obtener los datos, me encontré con dos sorpresas:
- Los datos son semanales en lugar de anuales.
- Faltan datos en todas partes, no sólo donde indica el gráfico del WSJ.
Me gusta hacer algunos gráficos nonce para asegurarme de que los datos parezcan razonables. Aquí tenéis una de todas las tasas de incidencia semanales. Aunque reduje el nivel de transparencia, todavía no es suficiente para decir que la mayoría de los datos están por debajo de 10 casos por semana por cada 100.000 personas. Sin embargo, puedes ver los valores atípicos y etiqueté algunos de ellos. No conozco el tema lo suficiente como para saber si esos valores atípicos son reales o no.
Manejo de datos faltantes
Antes de poder empezar a hacer gráficos reales, necesitaba un plan para manejar los datos faltantes. El gráfico del WSJ esencialmente trata todos los valores faltantes como 0, a menos que falte todo el año; entonces muestran el año con un color ligeramente diferente (blanco en lugar de azul claro). Decidí adoptar un enfoque diferente pero aún artificial. Supuse que los datos faltantes en los primeros años probablemente se desconozcan, pero en los años posteriores parece más probable que los datos sean realmente 0 y simplemente no se informen porque la enfermedad era muy rara. Así que mantengo la falta hasta algún año (1975) y trato los valores faltantes como 0 después de esa fecha. Eso al menos evitará las manchas en el lado derecho del gráfico.
Recreando el original
Antes de explorar demasiado, decidí intentar reproducir el gráfico WSJ tal como está en JMP. tuve que
- resumir los datos en años
- unir los datos con otra tabla de datos de abreviaturas de estados
- crear un tema de color personalizado
- crear un mapa de calor en Graph Builder
- agregar una línea de referencia para la fecha de introducción de la vacunación
El resultado es bastante cercano. El orden de los estados es ligeramente diferente porque no me molesté en ordenar los estados por código postal en lugar de por la abreviatura mostrada, los colores son ligeramente diferentes solo porque no los copié cuidadosamente y, por supuesto, el tratamiento de los datos faltantes cambia algunos de los que faltan. años a 0.
Después de recrear el tema del color, pude ver algo de lógica en él. Los temas de colores del arco iris normalmente son malos para los valores continuos porque los diferentes tonos se perciben categóricamente en lugar de continuamente. La combinación de colores del WSJ consta esencialmente de tres combinaciones diferentes:
- un esquema continuo amarillo-naranja-rojo para niveles "altos"
- un verde sólido para niveles "moderados"
- un esquema continuo blanco-azul para niveles "bajos"
Creo que los verdes son lo que más molesta mi percepción, así que pensé en probar la misma idea sin el verde.
Todavía tenemos que elegir algún límite arbitrario, pero me gusta más sin el verde porque hay menos categorías para clasificar. Esta coloración también limita el rango a 3000.
Cambiando los colores
¿Qué tal un tema de color verdaderamente continuo? Robert Allison utiliza un esquema de blanco a rojo, lo que parece razonable. El problema con un único rango continuo es que los datos están sesgados, por lo que una aplicación de color lineal solo resaltaría las diferencias en un extremo de la escala. Podemos solucionar esto usando una escala lineal por partes y personalizando el tema de color.
Curiosamente, dada la disminución de la gama de colores, la caída a nivel nacional en 1945 es más fácil de ver.
También podríamos intentar ordenar los estados por incidencia promedio en lugar de alfabéticamente. Esto hace que sea más fácil ver que los estados no se ven afectados de manera tan uniforme como parecía.
Hasta ahora, he estado mostrando las tasas de incidencia anuales, como en el original del WSJ. Sin embargo, dada la cantidad de datos que faltan, tiene sentido mostrar promedios semanales como lo hace Allison para que solo promediemos los datos que tenemos. Mostrar las tarifas anuales es como tratar los valores de las semanas faltantes como 0. Aquí está el mismo gráfico de las tarifas semanales.
Las diferencias son sutiles. Un ejemplo es Georgia en 1934, donde sólo había datos sobre 27 semanas y los valores de esas semanas eran bastante altos. En el original, Georgia en 1934 parecía sólo promedio porque quedó diluida por todos los ceros introducidos, pero aquí parece alta. La verdad probablemente esté en el medio: es poco probable que los valores faltantes sean 0 o iguales a los valores no faltantes.
El enfoque estricto de "faltar lo que falta" no está exento de riesgos. A modo de comparación, aquí está la versión de Allison que muestra los promedios semanales. Nótese el aparente aumento del sarampión en Vermont en 1997. En realidad, eso es solo una semana de datos. Faltan todos los datos de las otras semanas. Parece un mal año, pero tal vez sólo fue una mala semana.
No sé cuál es la mejor manera de abordar la cantidad variable de datos faltantes. Intenté hacer que los cuadrados se redujeran cuando faltaban datos. Es una representación más fiel, pero no estoy seguro de que la complejidad adicional valga la pena. Además, la mayor parte del tiempo apenas se nota la diferencia de tamaño.
Explorando otras vistas
Mi idea original era hacer un gráfico de barras a nivel nacional a lo largo del tiempo. Esto resultó ser más complicado de lo que pensaba porque necesitaba valores de población anuales para poder agregar adecuadamente las tasas de incidencia estatales. Los datos sin procesar solo incluyen recuentos y tasas por 100.000. Pensé que podría estimar las poblaciones estatales a partir del recuento dividido por la tasa (método 1), pero eso falla cuando la tasa es 0 o muy pequeña. Mi otro enfoque (método 2) fue interpolar a partir de algunos valores de población históricos que encontré. Después de probar ambos, los comparé con una trama:
Esa línea horizontal en 10 (millones) es de años con un conteo de 1 y una tasa de 0,01. Las tarifas sólo se proporcionan con dos decimales. Problemas similares causan el valor atípico de 70: ese año en Texas contenía varias semanas con un conteo de 1 y una tasa de 0,00. Terminé usando una fórmula que mezclaba ambas estimaciones, pero considerando solo la proporción calculada, la tasa no era muy pequeña.
Aquí está el gráfico de barras de la tasa de incidencia nacional, que explica bastante bien el punto original y hace que sea más fácil ver la variación de un año a otro, incluido el tranquilo año 1945.
No me gustan los gráficos de líneas puntiagudas, pero aquí hay uno para proporcionar contexto para el siguiente gráfico. Cada línea es un estado.
Prefiero la filosofía de menos es más que aportan los suavizantes. En este caso se pierde el rango, pero se tiene una mejor idea de la tendencia general y de algunos estados atípicos.
Pensamientos finales
Para este estudio, comparto guiones de todos los pasos de procesamiento y gráficos que tomé, en el espíritu de investigación reproducible . Tener los guiones también facilitó la prueba de diferentes estrategias de valor perdido. El archivo ZIP adjunto contiene los archivos CSV de origen (que valen solo el precio de la entrada) además de mis scripts JSL y la tabla de datos JMP final, que a su vez contiene scripts para los gráficos. Ejecute el script llamado "Estudio del sarampión" para recrear los archivos. Puedes cambiar el " Falta cero después "variable a algún otro año además de 1975 para probar un límite de valor faltante diferente, o ninguno en absoluto.
Aunque tomó un poco de trabajo llegar hasta aquí, veo que queda más trabajo por hacer para un mejor análisis. Por ejemplo, existe un patrón estacional en los casos que podría usarse para imputar algunos de los valores faltantes. Podría resultar interesante buscar grupos de estados o patrones de brotes. Visualmente, tal vez las bandas de rango serían mejores que las líneas. Me gustaría explorar la idea de Andy Kirk de probar los esquemas de color en los datos sin una caída tan marcada. ¿Qué tal si utilizamos datos nacionales posteriores a 2002? ...
Sin embargo, tengo que parar en alguna parte. Además, con todos los datos adjuntos quizás querido lector continúe la exploración.
