Stiamo vivendo tempi strani. Al momento della stesura di questo post, sono stato #WFH per due intere settimane. Le città un tempo animate ora si presentano come città fantasma. I media, sia TV che social, sono saturi di un argomento: Covid-19, più colloquialmente denominato coronavirus (anche se è solo uno dei tanti).
Sebbene questa pandemia abbia sicuramente portato con sé molta ansia e difficoltà, ha anche portato con sé alcune sfide interessanti. Grazie a ricercatori come quelli della Johns Hopkins University e altri, abbiamo accesso quotidiano ai dati sul numero di casi confermati da paesi di tutto il mondo. Questo è un vantaggio per i drogati di dati come me! Ma può anche essere una maledizione. Molti di noi prenderanno quei dati e li seguiranno, creando incautamente grafici, grafici e modelli di ogni tipo, quindi utilizzeranno quei risultati per fare affermazioni stravaganti sull'entità e sulla gravità della pandemia. Il mio feed di Twitter negli ultimi giorni è stato riempito di esperti che hanno richiamato grafici e articoli che fanno più male che bene e aiutano a diffondere la paura più velocemente di qualsiasi virus. Per parafrasare un'affermazione che ho trovato, "molti dati, vale a dire, le persone dovranno fare un po' di ricerca interiore dopo che tutto questo sarà stato fatto" ( https://twitter.com/wisevis/status/1237021575926472704 ).
Ora, questo non vuol dire che tracciare e analizzare i dati sia sbagliato in alcun modo. lavoro a JMP , un luogo pieno di drogati di dati, molti dei quali stanno tracciando e tracciando i dati man mano che arrivano. Una rapida occhiata JMP pubblico rivelerà molti grafici sorprendenti, preparati con cura per presentare i dati in modo informativo senza causare allarmi. In effetti, il nostro Byron Wingerd ha recentemente tenuto un webinar e ne ha scritto uno post sul blog sulla corretta tracciatura dei dati Covid-19. Ti consiglio vivamente di dare un'occhiata perché fa diversi punti eccellenti e ha già avuto esperienza con questo tipo di dati. L'unico elemento in comune tra tutti questi è che stanno solo visualizzando i dati correnti. Nessuna modellazione, nessuna previsione. Tutto molto sicuro.
Ebbene, lettore impavido, devo confessare che non ero al sicuro. Come direbbe una certa famosa papera dei cartoni animati, sono "diventato pericoloso". Giusto… Ho realizzato modelli predittivi.
La vita al limite
Ora, prima di prendere torce e forconi, ascoltami. Nel realizzare questi modelli predittivi, non avevo intenzione di renderli pubblici prima d'ora. Erano destinati esclusivamente al mio uso privato. In effetti, il motivo per cui li condivido ora è per illustrare esattamente il motivo per cui tu non dovrebbe riponi così tanta fiducia in loro per cominciare. Come disse così eloquentemente George Box, "Tutti i modelli sono sbagliati, ma alcuni sono utili". E sì, so che la citazione è stata usata e abusata troppo spesso per contare, ma spero che quello che sto per mostrarti la metta sotto una nuova luce. Solo perché si adatta un modello e tutte le metriche indicano che è altamente accurato non significa che sia corretto.
Prima di immergerci, un po' di informazioni di base. I dati che ho usato sono il conteggio giornaliero cumulativo dei casi confermati registrati dalla Johns Hopkins University presso la loro Sito GitHub a partire dal 22 gennaio 2020. Come molti hanno già detto in precedenza, i conteggi sono tanto accurati quanto il test è completo. In altre parole, test limitati significano dati meno affidabili. Inoltre, non ho, né intendo modellare i conteggi cumulativi delle morti per quelle che spero siano ragioni ovvie.
Lezione 1: Conosci i tuoi limiti
Quando ho scelto come modellare i conteggi cumulativi confermati, ho scelto il mio modello in base alla mia conoscenza molto, molto rudimentale dell'epidemiologia. Senza dubbio hai sentito parlare di persone che usano un modello esponenziale. Questo modello si adatta alla rapida accelerazione nei casi confermati che abbiamo riscontrato bene. Tuttavia, non ho usato un modello del genere per un'ottima ragione: Esso semplicemente non è fisicamente accurato.
Mi permetto di illustrare con alcuni dati reali. Di seguito è riportato un dato che mostra l'adattamento esponenziale (in verde, supponendo che questo sia il modello di cui si parla) e logistico (in blu) ai conteggi confermati dell'Italia (al 22 marzo 2020).
Si noti che entrambi i modelli si adattano molto bene ai dati. Tuttavia, il modello esponenziale continua ad aumentare senza limiti mentre il modello logistico alla fine si stabilizza a un valore più alto. Il modello più semplice utilizzato dagli epidemiologi per descrivere il comportamento delle malattie che si diffondono in una popolazione è il Modello SIR . Il nome deriva da come è suddivisa la popolazione: Sensibile alla malattia, Infetto dalla malattia e Rimosso dalla malattia. L'idea di base è che esiste una popolazione fissa di individui che è suscettibile a qualche nuova malattia e una buona parte di questi individui passerà attraverso le fasi di Infetto e Rimosso (attraverso il recupero o...). Se implementi un tale modello e tieni traccia dei conteggi cumulativi di individui infetti, ti ritroverai con qualcosa che assomiglia molto a quella curva logistica. Tutto questo a causa di un fatto chiave: esiste una dimensione fissa della popolazione. Si noti che il modello esponenziale continua su, su e via come un supereroe, ignaro di qualsiasi cosiddetta soglia di popolazione che potrebbe cercare di opporsi ad essa. Ciò chiaramente non corrisponde alla realtà, dove il numero cumulativo di infetti dovrà stabilizzarsi a un certo punto perché sono stati adottati metodi per fermare le infezioni o l'intera popolazione è stata infettata.
Puoi anche vedere questo comportamento chiaramente illustrato da diverse altre fonti. I conteggi registrati dalla Cina seguono chiaramente questa tendenza. Anche le trame mostrate nell'originale Flatten the Curve e le simulazioni dell'ormai celebre Articolo del Washington Post o anche questo fantastico estensione mostra questa tendenza nei conteggi giornalieri (che si traduce nel comportamento nei conteggi cumulativi che ho mostrato nella figura sopra; pensa alla derivata prima di quella curva). Quindi, in sintesi, non ho utilizzato un modello esponenziale. Invece ho iniziato con il modello logistico.
Questo non vuol dire che un modello logistico, o qualsiasi altro modello sigmoideo (sigmoide = a forma di S), non sia privo di punti deboli. Laddove l'esponenziale peccherebbe per essere troppo infiammatorio, la logistica sbaglierebbe per essere troppo ottimista. Qualsiasi modello sigmoideo può essere suddiviso in circa tre parti fondamentali: il tasso di aumento, il punto di flesso e l'asintoto.
La prima parte è autoesplicativa: quanto velocemente aumentano i totali cumulativi da 0. Questa parte è l'unica comune a entrambi i modelli. La seconda parte, il punto di flesso, è il punto del modello in cui il tasso di aumento inizia a passare da veloce a lento. Nella figura sopra, il punto di flesso per il modello logistico riguarda il punto in cui si trova l'ultimo punto, proprio nel mezzo della curva. In termini di conteggi giornalieri, è qui che il numero di casi raggiunge il picco poi inizia a diminuire. La parte finale, l'asintoto, sono i casi massimi possibili che si saranno verificati. In termini di conteggi giornalieri, è qui che il numero di casi finalmente scende a zero (o almeno a un numero molto piccolo).
Ovviamente, l'asintoto e il tasso di aumento sono probabilmente i due aspetti più popolari del modello in quanto ti dicono quanti casi totali aspettarsi e quanto presto. In effetti, l'asintoto potrebbe essere più favorito in quanto ti dice quanto dovresti aspettarti che le cose vadano. Tuttavia, è anche la più grande debolezza. Un asintoto troppo basso ti farà cullare in un falso senso di sicurezza e comprensione. In effetti, direi che il punto di flesso è più importante. Se non sai dove si trova il punto di flesso, non sei in una posizione migliore se utilizzassi un modello esponenziale. Spiegherò di più quando esamineremo i dati.
In sintesi, la prima lezione sulla creazione di modelli è conoscere i limiti non solo dei dati, ma anche del modello. Se capisci le parti operative del tuo modello, ne capirai i punti di forza e di debolezza e, soprattutto, dove ha il potenziale per rompersi. Inoltre, è importante comprendere il contesto in cui opererà il modello. Quando possibile, dovrebbe essere preferito un modello più in linea con le competenze in materia rispetto a un modello rapido fuori dagli schemi. E infine, comprendi come il tuo modello verrà interpretato, utilizzato e possibilmente abusato. Nel contesto di questa pandemia, un modello esponenziale afferma che non c'è speranza di ripresa; un modello logistico dice che si calmerà. È solo una questione di tempo.
Lezione 2: Nessun piano sopravvive al campo di battaglia
Il giorno: 23 marzo 2020. L'ora: mattina presto immagino? Non importa. Il fine settimana precedente, stavo già giocando con i dati e provando gli adattamenti del modello logistico utilizzando la piattaforma Fit Curve in JMP (questo è il modello Logistic 3P per coloro che seguono a casa). Quel lunedì decisi di mettere alla prova i miei modelli.
Ora, stavo solo modellando i dati da quattro località: Italia (all'epoca la seconda più casi dietro la Cina), New York, California (due stati con un gran numero di casi confermati) e Carolina del Nord (perché ovviamente lo farei). Sebbene abbia utilizzato lo stesso modulo modello, mi sono assicurato che le singole posizioni avessero ciascuna le proprie stime dei parametri (utilizzando la posizione come Per gruppo). Questa è la mia tendenza naturale quando si adattano i modelli all'interno di un raggruppamento naturale. Riflette anche il fatto che ogni luogo è unico e dovrebbe essere trattato in modo diverso l'uno dall'altro. Il modo in cui i test e il trattamento sono stati eseguiti in Italia è molto diverso da qui negli Stati Uniti e ci sono differenze anche tra i singoli stati. La modellizzazione dei dati dovrebbe riflettere questo fatto.
Di seguito sono riportati gli attacchi che ho ottenuto utilizzando i conteggi cumulativi giornalieri fino al 22 marzo 2020, circa due mesi di dati:
Guarda quanto sono incredibili quegli attacchi! Riesco solo a sentire il rapporto che dice “Cos'è questo?! Dati così puliti tutti in fila e così ben educati. E quella tendenza quasi perfetta?!! Oh che giorno glorioso! Signore, è da lodare per dati così squisiti! Bravo, buon signore, bravo!» Scommetto che molti analisti di dati lo vedrebbero e ribollerebbero di gelosia per quanto siano quasi perfetti questi adattamenti. E chi deve biasimarli? Guarda come sono puliti i dati! Sarei sorpreso se non riuscissi a ottenere degli attacchi così fantastici!Con valori p così bassi accoppiati con valori R^2 oh così vicini a 1, questi modelli dovrebbero essere azzeccati, giusto? Bene…
Come probabilmente puoi intuire dal mio tono apertamente sarcastico, questi modelli non sono le gemme che le metriche pretendono che siano. Il nostro primo segnale di avvertimento che qualcosa potrebbe non funzionare è guardare le stesse stime dei parametri. Annotare le stime del punto di flesso (ricorda che ho detto che era il parametro più importante) per ciascuna posizione. Sono più o meno tutti uguali... e sono tutti l'ultimo giorno di dati registrati. Sì, il modello dice che hai appena colto il momento in cui il tasso di casi inizierà a rallentare e i casi dovrebbero iniziare a diminuire molto presto! Che fortuna! Ci scusiamo ancora per il tono sarcastico, ma dovrebbe essere ovvio che si tratta di un colpo di fortuna della procedura di stima del modello. In effetti, non me ne sono nemmeno accorto finché non ho scritto questo blog. È così facile perdersi.
Ma facciamo finta che tu fossi proprio come me quel giorno e che ti sia sfuggito quel fatto importante. Dopo aver stimato il modello, mi sono reso conto che avrei avuto la possibilità di testarlo tenendo traccia delle previsioni del modello rispetto ai conteggi effettivi nei prossimi giorni. Quindi, è esattamente quello che ho fatto.
Martedì mattina (nota che c'è un giorno di ritardo nell'ottenere i dati di conteggio... questa è solo la natura), ho inserito i conteggi del giorno precedente e li ho confrontati con le previsioni del mio modello, insieme a intervalli di confidenza puntuali al 95% (perché i pronostici senza incertezza sono un modo rapido per perdere la mia licenza di pratica delle statistiche). Allora come sono andata?
Posizione
|
Conteggio effettivo
|
Predizione
|
95% in meno
|
95% superiore
|
Italia
|
63927
|
64721.72
|
63662.40
|
65781.04
|
California degli Stati Uniti
|
2108
|
1829.92
|
1758.63
|
1901.21
|
Stati Uniti New York
|
20884
|
19171.40
|
18616.80
|
19726.00
|
Stati Uniti Carolina del Nord
|
353
|
386.29
|
367.21
|
405.37
|
Un giorno. Un giorno fuori dal cancello e la mia precisione scende a un misero 25%. Tutti i miei modelli americani hanno bombardato quasi immediatamente. I modelli della California e di New York stanno sottovalutando i conteggi reali mentre il modello della Carolina del Nord ha sovrastimato i conteggi reali. Anche il modello Italia ha tecnicamente sovrastimato i conteggi reali, ma il limite di incertezza inferiore lo cattura comunque. Ma ehi, forse è solo un colpo di fortuna? Forse in realtà c'è più rumore nei dati rispetto a prima vista e devo solo dare ai modelli il tempo di entrare in azione, giusto?
Ecco i dati per il resto della settimana fino al conteggio di giovedì.
Posizione
|
Giorno
|
Conteggio effettivo
|
Predizione
|
95% in meno
|
95% superiore
|
Italia
|
Martedì
|
69176
|
70487.69
|
68933.02
|
72042.36
|
Mercoledì
|
74386
|
76058.94
|
73906.42
|
78211.46
|
Giovedì
|
80589
|
81345.24
|
78513.24
|
84177.24
|
California degli Stati Uniti
|
Martedì
|
2538
|
2041.74
|
1925.52
|
2157.95
|
Mercoledì
|
2998
|
2238.73
|
2067.96
|
2409.51
|
Giovedì
|
3899
|
2415.94
|
2184.81
|
2647.07
|
Stati Uniti New York
|
Martedì
|
25681
|
21698.12
|
20692.37
|
22703.87
|
Mercoledì
|
30841
|
23357.28
|
21946.15
|
24768.41
|
Giovedì
|
37877
|
24361.26
|
22648.06
|
26074.46
|
Stati Uniti Carolina del Nord
|
Martedì
|
495
|
461.98
|
422.16
|
501.77
|
Mercoledì
|
590
|
530.14
|
463.68
|
596.59
|
Giovedì
|
738
|
586.96
|
491.78
|
682.14
|
Soooo... la prospettiva decisamente non sembra buona. Almeno per alcuni giorni, ho avuto 2 su 4 corretti. Ma, in generale, i miei modelli si sono comportati in modo orribile. Soprattutto i modelli della California e di New York, che stanno gravemente sottovalutando i veri conteggi.
"Come ho risposto?", potresti chiedere. “E con io intendevo te”, potresti anche chiarire. Mi sono accartocciato in un mucchio, guardando ogni giorno mentre la maggior parte dei miei modelli si schiantava e bruciava, fumo e fiamme che si alzavano dalle macerie? In realtà, sono rimasto piuttosto colpito dai risultati.
Per quanto contraddittorio possa sembrare, ho trovato questo un perfetto esempio del perché non dovresti fidarti ciecamente delle metriche che utilizziamo nella valutazione del modello. Presenta anche un ottimo motivo per cui dovresti sempre convalidare e testare i tuoi modelli, non importa quanto siano perfetti le metriche. Ecco perché tecniche come la convalida incrociata sono diventate così popolari nella comunità dei modelli statistici. Potresti avere il modello più bello, che si adatta quasi perfettamente ai dati. Ma una volta che non riesce a fare previsioni accurate, è una spazzatura completa. Un modello è buono solo quanto la sua capacità di prevedere oltre i dati.
Rimani sintonizzato…
Allora cosa succede dopo? Come farà il nostro eroe a risorgere da questa tragedia? Quali nuove sfide lo aspettano? Quali nuove lezioni imparerà? E, soprattutto, quando potrò tornare in ufficio?
Guardare la parte successiva di questa serie , dove discuto di più lezioni apprese e spero di rispondere a tutte le tue domande. Tranne quest'ultimo. Come puoi vedere chiaramente, non sono nella posizione di darti una risposta onesta.
