Il Wall Street Journal ha recentemente pubblicato un bel pezzo grafico interattivo intitolato " Combattere le malattie infettive nel XX secolo: l'impatto dei vaccini", che contiene una serie di grafici che mostrano l'incidenza di malattie infettive selezionate per stato e anno. Ecco quello per il morbillo.
La mia prima impressione è stata: "Wow, sembra che il paese abbia avuto il morbillo e il vaccino l'ha guarito". Nella misura in cui una visualizzazione dovrebbe comunicare un punto, questa riesce a mostrare l'impatto generale del vaccino. Tuttavia, l'ho guardata un po' di più e alcuni dettagli mi hanno infastidito.
- Per esprimere un singolo concetto sono necessari molti dettagli (scarso rapporto dati/inchiostro).
- Lo schema di colori arcobaleno rende difficile confrontare rapidamente i valori. Cioè, non c'è un ordinamento percettivo di blu, verde e giallo.
- Il gradiente di colore arriva a 4000, ma i dati arrivano solo a 3000.
- Mancano metà dei nomi degli stati.
- Gli stati sono ordinati in base ai loro codici postali, ma visualizzati con le abbreviazioni standard: per esempio, l'Alaska viene prima dell'Alabama.
- I dati si fermano al 2002, prima dell'attuale ripresa che ha portato le vaccinazioni al centro dell'attenzione dei media.
Anche Robert Allison (" Come migliorare l'aspetto delle malattie infettive ") e Andy Kirk (" Ci piace la visualizzazione o i dati ") hanno esaminato criticamente questa visualizzazione. Ero più interessato a ottenere i dati e provare altri modi per visualizzarli in JMP.
Ottenere i dati
Ho scaricato i file CSV da Project Tycho , il che è stato più problematico di quanto mi aspettassi. A quanto pare, esiste un download di massa più semplice, ma non l'ho trovato. Dopo più di 100 download manuali, avevo i file di dati grezzi. Dopo aver ottenuto i dati, ho incontrato due sorprese:
- I dati sono settimanali anziché annuali.
- Mancano dati ovunque, non solo dove indicato dal grafico del WSJ.
Mi piace fare qualche grafico rapido ed esplorativo per assicurarmi che i dati sembrino ragionevoli. Ecco uno di tutti i tassi di incidenza settimanali. Anche se ho ridotto la trasparenza, non è ancora abbastanza per dire che la maggior parte dei dati è inferiore a 10 casi a settimana ogni 100.000 persone. Puoi vedere i valori anomali, e ne ho etichettati alcuni. Non conosco abbastanza bene l'argomento per sapere se quei valori anomali sono sospetti o meno.
Gestione dei dati mancanti
Prima di poter iniziare a creare grafici veri e propri, avevo bisogno di un piano per gestire i dati mancanti. Il grafico del WSJ tratta essenzialmente tutti i valori mancanti come 0, a meno che non manchi l'intero anno, in quel caso mostrano l'anno con un colore leggermente diverso (bianco anziché azzurro). Ho deciso di adottare un approccio diverso ma comunque artificiale. Ho pensato che i dati mancanti nei primi anni fossero probabilmente sconosciuti, ma negli anni successivi sembra più probabile che i dati siano in realtà 0 e semplicemente non segnalati perché la malattia era così rara a quel tempo. Quindi mantengo i dati mancanti fino a un certo anno (1975) e tratto i valori mancanti come 0 dopo quella data. Ciò eviterà almeno le macchie sul lato destro del grafico.
Ricreare l'originale
Prima di andare troppo oltre con l'esplorazione, ho deciso di provare a riprodurre il grafico WSJ così com'è in JMP. Ho dovuto:
- Riassumiamo i dati in anni.
- Unisci i dati con un'altra tabella di dati delle abbreviazioni degli stati.
- Crea un tema colore personalizzato.
- Crea una mappa di calore in Graph Builder.
- Aggiungere una riga di riferimento per la data di introduzione della vaccinazione.
Il risultato è abbastanza simile. L'ordinamento degli stati è leggermente diverso perché non mi sono preoccupato di ordinare gli stati per codice postale invece che per abbreviazione visualizzata. I colori potrebbero differire perché non li ho copiati con attenzione. E naturalmente, il trattamento dei dati mancanti modifica alcuni anni mancanti in 0.
Dopo aver ricreato il tema colore, ho potuto vedere un po' di logica in esso. I temi colore arcobaleno sono normalmente negativi per i valori continui perché diverse tonalità sono percepite in modo categoriale anziché continuo. Lo schema colore del WSJ è essenzialmente costituito da tre schemi diversi:
- Uno schema continuo giallo-arancione-rosso per i livelli "alti".
- Un verde pieno per livelli "moderati".
- Uno schema continuo bianco-blu per i livelli "bassi".
Penso che il verde sia ciò che disturba di più la mia percezione, quindi ho pensato di provare la stessa idea senza il verde.
Dobbiamo ancora scegliere un limite arbitrario, ma preferisco senza il verde perché ci sono meno categorie da ordinare. Questa colorazione limita anche l'intervallo a 3000.
Cambiare i colori
Che ne dite di un tema di colore veramente continuo? Robert Allison usa uno schema dal bianco al rosso, che sembra ragionevole. Il problema con un singolo intervallo continuo è che i dati sono distorti, quindi un'applicazione di colore lineare evidenzierebbe solo le differenze su un'estremità della scala. Possiamo aggirare il problema usando una scala lineare a tratti e personalizzando il tema di colore.
Stranamente, data la ridotta gamma di colori, il calo registrato a livello nazionale nel 1945 è più facile da vedere.
Potremmo anche provare a ordinare gli stati in base all'incidenza media anziché in ordine alfabetico. Questo rende più facile vedere che gli stati non sono colpiti in modo uniforme come sembrava.
Finora ho mostrato i tassi di incidenza annuali, come l'originale del WSJ. Tuttavia, data la quantità di dati mancanti, ha senso mostrare le medie settimanali come fa Allison, in modo da fare la media solo dei dati che abbiamo. Mostrare i tassi annuali è come trattare i valori delle settimane mancanti come 0. Ecco lo stesso grafico dei tassi settimanali:
Le differenze sono sottili. Un esempio è la Georgia nel 1934, dove solo 27 settimane avevano dati, e i valori di quelle settimane erano piuttosto alti. Nell'originale, la Georgia nel 1934 sembrava solo nella media perché era annacquata da tutti i valori mancanti che erano trattati come zeri, ma qui sembra alta. La verità è probabilmente nel mezzo: è improbabile che i valori mancanti fossero 0 o alti quanto i valori non mancanti.
L'approccio rigoroso del "mancante è mancante" non è privo di insidie. Per fare un paragone, ecco la versione di Allison che mostra le medie settimanali. Notate l'apparente picco di morbillo nel Vermont nel 1997. In realtà si tratta solo di una settimana di dati. Mancano i dati di tutte le altre settimane. Quindi sembra un anno negativo, ma forse è stata solo una settimana negativa.
Non so qual è il modo migliore per gestire la quantità variabile di dati mancanti. Ho provato a far restringere i quadrati quando mancavano i loro dati. È una rappresentazione più fedele, ma non sono sicuro che la complessità extra ne valga la pena. Inoltre, la maggior parte delle volte si riesce a malapena a percepire la differenza di dimensioni.
Esplorare altre visioni
Il mio pensiero originale era di creare un grafico a barre nazionale nel tempo. Questo si è rivelato più complicato di quanto pensassi perché avevo bisogno di valori annuali della popolazione per aggregare correttamente i tassi di incidenza statali. I dati grezzi includono solo conteggi e tassi per 100.000. Ho pensato di poter stimare le popolazioni statali dal conteggio diviso per il tasso (metodo 1), ma fallisce quando il tasso è 0 o molto piccolo. Il mio altro approccio (metodo 2) è stato quello di interpolare da alcuni valori storici della popolazione che ho trovato sul sito del Census Bureau. Dopo aver provato entrambi, li ho confrontati con un grafico:
Quella linea orizzontale a 10 (milioni) è di anni con un conteggio di 1 e un tasso di 0,01. I tassi sono forniti solo con due cifre decimali. Problemi simili causano il valore anomalo a 70: quell'anno, il Texas conteneva diverse settimane con un conteggio di 1 e un tasso di 0,00. Ho finito per usare una formula che mescolava entrambe le stime, considerando solo il rapporto calcolato, quindi il tasso non era molto piccolo.
Ecco il grafico a barre del tasso di incidenza nazionale, che rende molto bene il concetto originale e rende più facile vedere la variazione annuale, incluso il tranquillo 1945.
Non amo i grafici a linee spigolose, ma eccone uno per fornire contesto al grafico successivo. Ogni linea è uno stato. 
Preferisco la filosofia less-is-more che gli smoother portano con sé. In questo caso si perde la gamma, ma si ottiene un senso migliore della tendenza generale e di alcuni stati anomali.
Considerazioni finali
Per questo studio, sto condividendo gli script di tutti i passaggi di elaborazione e rappresentazione grafica che ho eseguito, nello spirito della ricerca riproducibile . Measles Study.ZIP è allegato alla mia versione originale di questo post su The Plot Thickens nella JMP User Community. Avere gli script ha anche reso facile provare diverse strategie di valori mancanti. Il file ZIP contiene i file CSV di origine più i miei script JSL e la tabella dati JMP finale, che a sua volta contiene script per i grafici. Esegui lo script denominato "Measles Study" per ricreare i file. Puoi modificare la variabile "Missing is zero after" in un altro anno oltre al 1975 per provare un diverso cut-off di valori mancanti o nessuno.
Sebbene ci sia voluto un po' di lavoro per arrivare fin qui, vedo che c'è ancora molto lavoro da fare per un'analisi migliore. Ad esempio, c'è un modello stagionale nei casi che potrebbe essere usato per imputare alcuni dei valori mancanti. Potrebbe essere interessante cercare cluster di stati o modelli di focolai. Visivamente, forse le bande di intervallo sarebbero meglio delle linee. Vorrei esplorare l'idea di Andy Kirk di provare gli schemi di colori sui dati senza un calo così netto. Che ne dite di usare i dati nazionali dopo il 2002? ...
Tuttavia, da qualche parte devo fermarmi. Inoltre, con tutti i dati allegati forse tu, caro lettore, continuerai l'esplorazione.
