<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Il Wall Street Journal ha recentemente pubblicato un bel pezzo grafico interattivo chiamato " Combattere le malattie infettive nel 20° secolo: l’impatto dei vaccini " che contiene una serie di grafici che mostrano l'incidenza di malattie infettive selezionate per stato e anno. Ecco quello per il morbillo.
La mia prima impressione è stata: "Wow, sembra che il paese abbia avuto il morbillo e il vaccino lo abbia debellato". Nella misura in cui una visualizzazione dovrebbe comunicare un punto, questa riesce a mostrare l’ampio impatto del vaccino. Tuttavia, più lo guardavo, alcuni dettagli mi davano fastidio.
- Sono necessari molti dettagli per evidenziare un singolo punto (rapporto dati/inchiostro scarso).
- La combinazione di colori simile ad un arcobaleno rende difficile confrontare rapidamente i valori. Cioè, non esiste un ordine percettivo di blu, verde e giallo.
- Il gradiente di colore arriva a 4000 ma i dati arrivano solo fino a 3000.
- Mancano la metà dei nomi degli stati.
- Gli stati sono ordinati in base al codice postale ma visualizzati con abbreviazioni standard, motivo per cui, ad esempio, l'Alaska viene prima dell'Alabama.
- I dati si fermano al 2002, prima dell’attuale ripresa che mette al primo posto le vaccinazioni.
Robert Allison," Come migliorare l'aspetto delle malattie infettive ," e Andy Kirk," È la visualizzazione o i dati che ci piacciono ," ho anche dato uno sguardo critico alla visualizzazione se vuoi saperne di più. Ero più interessato a ottenere i dati che provare altri modi per visualizzarli in JMP.
Ottenere i dati
Ho scaricato file CSV da Progetto Tycho , il che era più un problema di quanto volessi. I dati di ogni stato erano in due file separati e il sito richiede un accesso, quindi non ho potuto eseguire comodamente lo script dei download. Dopo 102 download manuali avevo i file di dati grezzi.
Dopo aver ottenuto i dati, ho riscontrato due sorprese:
- I dati sono settimanali anziché annuali.
- Mancano dati ovunque, non solo dove indica il grafico WSJ.
Mi piace creare alcuni grafici nonce per assicurarmi che i dati appaiano ragionevoli. Ecco uno di tutti i tassi di incidenza settimanale. Anche se ho abbassato la trasparenza, non è ancora sufficiente per dire che la maggior parte dei dati è inferiore a 10 casi a settimana per 100.000 persone. Puoi vedere i valori anomali, però, e ne ho etichettati alcuni. Non conosco abbastanza bene l'argomento per sapere se questi valori anomali sono reali o no.
Gestione dei dati mancanti
Prima di poter iniziare a creare grafici reali, avevo bisogno di un piano per gestire i dati mancanti. Il grafico WSJ tratta essenzialmente tutti i valori mancanti come 0, a meno che non manchi l'intero anno, quindi mostra l'anno con un colore leggermente diverso (bianco anziché azzurro). Ho deciso di adottare un approccio diverso ma pur sempre artificiale. Ho pensato che i dati mancanti nei primi anni fossero probabilmente sconosciuti, ma negli anni successivi sembra più probabile che i dati siano davvero 0 e semplicemente non riportati perché la malattia era così rara. Quindi mantengo la mancanza fino a qualche anno (1975) e tratto i valori mancanti come 0 dopo tale data. Ciò eviterà almeno la chiazzatura sul lato destro del grafico.
Ricreare l'originale
Prima di esplorare troppo ho deciso di provare a riprodurre il grafico WSJ così com'è in JMP. Dovevo
- riassumere i dati in anni
- unire i dati con un'altra tabella dati di abbreviazioni di stato
- creare un tema colore personalizzato
- creare una mappa termica nel Costruttore di grafici
- aggiungere una linea di riferimento per la data di introduzione della vaccinazione
Il risultato è abbastanza vicino. L'ordinamento degli stati è leggermente diverso perché non mi sono preoccupato di ordinare gli stati per codice postale invece che per abbreviazione visualizzata, i colori sono leggermente diversi solo perché non ho copiato attentamente i colori, e ovviamente il trattamento dei dati mancanti ne modifica alcuni mancanti anni a 0.
Dopo aver ricreato il tema del colore, ho potuto vederne parte della logica. I temi dei colori arcobaleno sono normalmente dannosi per i valori continui perché le diverse tonalità vengono percepite categoricamente anziché in modo continuo. La combinazione di colori WSJ è essenzialmente composta da tre schemi diversi:
- uno schema continuo giallo-arancio-rosso per livelli “alti”.
- un verde fisso per livelli "moderati".
- uno schema continuo bianco-blu per i livelli “bassi”.
Penso che i verdi siano ciò che disturba di più la mia percezione, quindi ho pensato di provare la stessa idea senza il verde.
Dobbiamo ancora scegliere qualche limite arbitrario, ma mi piace di più senza il verde perché ci sono meno categorie da sistemare. Questa colorazione limita anche l'intervallo a 3000.
Cambiare i colori
Che ne dici di un tema di colore veramente continuo? Robert Allison utilizza uno schema dal bianco al rosso, che sembra ragionevole. Il problema con un singolo intervallo continuo è che i dati sono distorti, quindi un'applicazione di colore lineare evidenzierebbe solo le differenze su un'estremità della scala. Possiamo aggirare questo problema utilizzando una scala lineare a pezzi e personalizzando il tema del colore.
Stranamente, data la ridotta gamma di colori, il calo a livello nazionale nel 1945 è più facile da vedere.
Potremmo anche provare a ordinare gli stati in base all’incidenza media invece che in ordine alfabetico. Ciò rende più facile vedere che gli Stati non sono colpiti in modo così uniforme come sembrava.
Finora ho mostrato i tassi di incidenza annuali, come l'originale del WSJ. Tuttavia, data la quantità di dati mancanti, ha senso mostrare le medie settimanali come fa Allison in modo da calcolare la media solo dei dati a nostra disposizione. Mostrare le tariffe annuali è come trattare i valori delle settimane mancanti come 0. Ecco lo stesso grafico delle tariffe settimanali.
Le differenze sono sottili. Un esempio è la Georgia nel 1934, dove solo 27 settimane disponevano di dati e i valori di quelle settimane erano piuttosto alti. Nell'originale, la Georgia nel 1934 sembrava solo nella media perché era annacquata da tutti gli zeri introdotti, ma qui sembra alta. La verità probabilmente sta nel mezzo: è improbabile che i valori mancanti siano pari a 0 o uguali ai valori non mancanti.
L’approccio rigoroso “manca manca” non è privo di insidie. Per confronto ecco la versione di Allison che mostra le medie settimanali. Da notare l’apparente picco di casi di morbillo nel Vermont nel 1997. In realtà si tratta solo di una settimana di dati. Mancano tutti i dati delle altre settimane. Quindi sembra un brutto anno, ma forse è stata solo una brutta settimana.
Non conosco il modo migliore per affrontare la quantità variabile di dati mancanti. Ho provato a ridurre i quadrati quando mancavano i loro dati. È una rappresentazione più vera, ma non sono sicuro che ne valga la pena. Inoltre, per la maggior parte del tempo riesci a malapena a notare la differenza di dimensioni.
Esplorare altri punti di vista
Il mio pensiero originale era quello di creare un grafico a barre a livello nazionale nel tempo. Ciò si è rivelato più complicato di quanto pensassi perché avevo bisogno dei valori annuali della popolazione per aggregare correttamente i tassi di incidenza statale. I dati grezzi includono solo conteggi e tassi per 100.000. Ho pensato di poter stimare le popolazioni statali dal conteggio diviso per il tasso (metodo 1), ma ciò fallisce quando il tasso è 0 o molto piccolo. L'altro mio approccio (metodo 2) è stato quello di interpolare alcuni valori storici della popolazione che ho trovato. Dopo averli provati entrambi, li ho confrontati con una trama:
Quella linea orizzontale a 10 (milioni) proviene da anni con un conteggio di 1 e un tasso di 0,01. Le tariffe sono fornite solo con due cifre decimali. Problemi simili causano il valore anomalo di 70: quell'anno in Texas conteneva diverse settimane con un conteggio pari a 1 e un tasso di 0,00. Alla fine ho utilizzato una formula che mescolava entrambe le stime, ma considerando solo il rapporto calcolato il tasso non era molto piccolo.
Ecco il grafico a barre del tasso di incidenza nazionale, che rende abbastanza bene il punto originale e rende più facile vedere la variazione di anno in anno, incluso il tranquillo 1945.
Non mi piacciono i grafici a linee appuntite, ma eccone uno per fornire il contesto per il grafico successivo. Ogni riga è uno stato.
Preferisco la filosofia "less is more" portata dagli smoothers. In questo caso si perde l'intervallo, ma si ottiene una migliore percezione della tendenza generale e di alcuni stati anomali.
Pensieri conclusivi
Per questo studio, condivido gli script di tutti i passaggi di elaborazione e grafica che ho eseguito, nello spirito di ricerca riproducibile . Avere gli script ha anche reso facile provare diverse strategie per i valori mancanti. Il file ZIP allegato contiene i file CSV di origine (che valgono da soli il prezzo del biglietto) più i miei script JSL e la tabella dati JMP finale, che a sua volta contiene gli script per i grafici. Esegui lo script chiamato "Measles Study" per ricreare i file. È possibile modificare il " Quello che manca è zero dopo " variabile a qualche altro anno oltre al 1975 per provare un diverso valore limite mancante, o nessuno.
Anche se c'è voluto un po' di lavoro per arrivare fin qui, vedo che c'è ancora molto lavoro da fare per un'analisi migliore. Ad esempio, esiste uno schema stagionale dei casi che potrebbe essere utilizzato per imputare alcuni dei valori mancanti. Potrebbe essere interessante cercare gruppi di stati o modelli di epidemia. Visivamente, forse le bande di distanza sarebbero migliori delle linee. Mi piacerebbe esplorare l'idea di Andy Kirk di provare le combinazioni di colori sui dati senza un calo così netto. Che ne dici di utilizzare i dati nazionali dopo il 2002? ...
Tuttavia devo fermarmi da qualche parte. Inoltre, con tutti i dati allegati forse il caro lettore continuerà l'esplorazione.
