Uragano Maria ha colpito Puerto Rico il 20 settembre 2017 e ha lasciato gran parte dell'isola senza elettricità per mesi. Il numero delle vittime ufficiali di 64 è stato ampiamente contestato e un recente articolo sul New England Journal of Medicine, Mortalità in Porto Rico dopo l'uragano Maria , stimato 4500 morti in eccesso a causa dell'uragano (intervallo di confidenza del 95% 800-8000).
I totali di morte mensili ufficiali sono stati rilasciati una settimana fa, e gli autori del documento hanno ottenuto totali di mortalità giornaliere dal 2015 e li hanno condivisi in formato PDF in un Semplice blog post di statistiche che ha ulteriormente analizzato i dati e trovato circa 2000 morti in eccesso. I dati grezzi sono difficili da ignorare e ho dovuto esplorarlo personalmente.
Per prima cosa, esaminiamo i dati così come sono (CSV allegato). Sono solo due campi, data e morte, quindi uno scatterplot cattura tutto.

Possiamo vedere un salto subito dopo l'uragano Maria e, in seguito, probabilmente un aumento dei punti morti: difficile da dire con tutto il rumore. Possiamo anche vedere alcuni picchi invernali negli anni precedenti. C'è un forte calo vicino alla fine dei dati, e immagino che i totali per gli ultimi giorni siano incompleti e li escluderemo.
I dati sono piuttosto rumorosi, il che è comune per i dati degli eventi rari, quindi ho applicato una media mobile per vedere le tendenze. Nel JMP, puoi ottenere una media mobile di una colonna facendo clic con il tasto destro su di essa e selezionando Nuova colonna formula> Riga> Media mobile, quindi seleziona i parametri nella finestra di dialogo.
Ho provato alcune gamme e ne ho selezionato uno che mostrava le grandi tendenze e non molto rumore: +/- 25 giorni con ponderazione lineare. Ho anche usato una variabile BY per ottenere diversi livellatori per prima e dopo l'atterraggio degli uragani. Altrimenti, la media mobile mostrerebbe una rincorsa prima dell'evento.

Gli aumenti invernali sono ancora visibili, e sembra che ci siano alcuni dossi più piccoli in estate. È interessante notare che gli aumenti invernali non sono allineati tra loro ed entrambi i picchi diminuiscono nel 2016, il che rende più difficile confrontare il 2015 e il 2016. Ho esaminato le tendenze influenzali di Puerto Rico al CDC e ho trovato questo grafico come parte del rapporto del Dipartimento della Sanità di Porto Rico.

Mostra che la stagione influenzale 2016-2017 (blu scuro) è stata più forte e prima dell'inverno rispetto alla stagione influenzale 2015-2016 (viola chiaro). Questo potrebbe spiegare perché il 2016 abbia registrato un numero considerevolmente maggiore di morti nel 2015 (oltre ad avere un giorno in più). Ecco i totali annuali per gli anni di calendario:

Da questi totali, possiamo già sospettare che l'uragano abbia provocato circa 2000 morti poiché il totale per il 2017 è di circa 2000 in più rispetto alla media degli anni precedenti. Ma possiamo ottenere una migliore comprensione guardando più da vicino.
Volendo includere i primi mesi del 2018, ho preso spunto dal rapporto sull'influenza e ho spostato gli anni. Ho usato gli anni di maggio - aprile invece di gennaio - dicembre. Che dà a ogni intervallo una stagione influenzale che si verifica dopo la stagione degli uragani. Ecco un grafico a linee di leviganti per ogni intervallo tra maggio e aprile.

Possiamo vedere un grande divario tra l'ultimo "anno" e gli altri. Sarebbe interessante se potessimo calcolare l'area di tale lacuna. E certamente possiamo riassumere queste differenze nei livellatori, ma c'è un modo più diretto che non implica l'assunzione di differenze di livellatori.
Un'altra tecnica per lisciare i dati rumorosi è osservare le somme cumulative. In un certo senso, una media mobile non è tanto diversa da una somma cumulativa poiché una media è solo una somma divisa per il conteggio. Tuttavia, un grafico a somma cumulativa può essere più difficile da leggere poiché la scala dei valori accumulati può sopraffare i singoli valori. Ecco le somme cumulative dei tre anni.

Mentre possiamo vedere un gap, è difficile vedere i dettagli o persino stimare la dimensione del gap. I grafici di somma cumulativa funzionano meglio quando la somma prevista è zero; quindi i valori cumulativi rimangono intorno allo zero e sono simili in scala ai singoli valori. Possiamo ottenere una somma cumulativa guardando la differenza cumulativa tra l'ultimo anno e un tipico anno non uragano per avere un'idea dell'impatto dell'uragano. Abbiamo solo altri due anni di dati, quindi tutto quello che possiamo fare per stimare un anno non uragano è quello di fare una media di questi due insieme (il documento sopra va oltre se sei interessato, tenendo conto dei cambiamenti nella popolazione e nelle età) . Ecco la differenza cumulativa:

L'altopiano è intorno al 1900, e il totale era già in esecuzione di circa 250 sopra il "normale" prima della tempesta. Nei pochi mesi che seguono Maria, sembra che ci siano circa 1650 morti in più rispetto ai due anni precedenti. Questo è in linea con gli approcci più analitici, che dovrai cercare di considerare cose come morti non dichiarati e altri pregiudizi.
Le somme cumulative hanno una lunga storia nel controllo dei processi come Grafici di controllo CUSUM per aiutare a visualizzare i cambiamenti in un processo. In tale contesto, il nostro grafico suggerisce che il passaggio sia durato fino a gennaio 2018, quando circa il 60% dei clienti di elettricità aveva ripristinato l'energia ( rapporti settimanali ).
Grazie a Rafael Irizarry e ai suoi coautori per condividere questi dati giornalieri. Ho allegato un file CSV con i totali giornalieri grezzi del PDF per chiunque altro voglia esplorare.