Estamos viviendo en tiempos extraños. Al momento de escribir esta publicación, he estado en la #WFH durante dos semanas completas. Las ciudades que alguna vez fueron bulliciosas ahora se yerguen como pueblos fantasmas. Los medios, tanto televisivos como sociales, están saturados con un tema: Covid-19, más coloquialmente conocido como coronavirus (aunque es solo uno de varios).
Si bien esta pandemia ciertamente ha traído consigo mucha ansiedad y dificultades, también ha traído consigo algunos desafíos interesantes. Gracias a investigadores como los de la Universidad Johns Hopkins y otros, tenemos acceso diario a datos sobre la cantidad de casos confirmados de países de todo el mundo. ¡Esto es una bendición para los adictos a los datos como yo! Pero también puede ser una maldición. Muchos de nosotros tomaremos esos datos y trabajaremos con ellos, creando imprudentemente diagramas, gráficos y modelos de todo tipo, y luego usaremos esos resultados para hacer afirmaciones extravagantes sobre el alcance y la gravedad de la pandemia. Mi cuenta de Twitter en los últimos días se ha llenado de expertos que mencionan gráficos y artículos que hacen más daño que bien y ayudan a propagar el miedo más rápido que cualquier virus. Parafraseando una declaración que encontré, "una gran cantidad de datos, a saber, la gente tendrá que hacer un examen de conciencia después de que todo esto esté hecho" ( https://twitter.com/wisevis/status/1237021575926472704 ).
Ahora bien, esto no quiere decir que trazar y analizar los datos sea incorrecto de ninguna manera. trabajo en JMP , un lugar lleno de adictos a los datos, muchos de los cuales rastrean y trazan los datos a medida que ingresan. Un vistazo rápido a través JMP Público revelará muchos gráficos sorprendentes, cuidadosamente preparados para presentar los datos de manera informativa sin causar alarma. De hecho, nuestro propio Byron Wingerd recientemente dio un seminario web y escribió su propio entrada en el blog en el trazado adecuado de los datos de Covid-19. Le recomiendo encarecidamente que lo consulte, ya que hace varios puntos excelentes y ha tenido experiencia con este tipo de datos antes. El único punto en común entre todos estos es que solo están visualizando los datos actuales. Sin modelado, sin predicciones. Todo muy seguro.
Bueno, intrépido lector, debo confesar que no estuve a salvo. Como diría un famoso pato de dibujos animados, "me volví peligroso". Así es… Hice modelos predictivos.
La vida al límite
Ahora, antes de que agarres tus antorchas y horquillas, escúchame. Al hacer estos modelos predictivos, no tenía intención de hacerlos públicos hasta ahora. Fueron destinados solo para mi uso privado. De hecho, la razón por la que los comparto ahora es para ilustrar precisamente por qué no debería poner tanta confianza en ellos para empezar. Como dijo tan elocuentemente George Box, “Todos los modelos están equivocados, pero algunos son útiles”. Y sí, sé que esa cita se ha usado y abusado con demasiada frecuencia como para contarla, pero espero que lo que estoy a punto de mostrarles la ponga bajo una nueva luz. El hecho de que ajuste un modelo y todas las métricas apunten a que es muy preciso no significa que sea correcto.
Antes de sumergirnos, un poco de información de fondo. Los datos que he estado usando son el conteo diario acumulativo de casos confirmados según lo registrado por la Universidad Johns Hopkins en su sitio GitHub a partir del 22 de enero de 2020. Como muchos han dicho antes, los conteos son tan precisos como la prueba es completa. En otras palabras, las pruebas limitadas significan datos menos confiables. Además, no he modelado ni tengo la intención de modelar los recuentos acumulados de muertes por lo que espero que sean razones obvias.
Lección 1: Conoce tus límites
Al elegir cómo modelar los recuentos acumulados confirmados, elegí mi modelo en función de mi conocimiento muy, muy rudimentario de epidemiología. Sin duda has oído hablar de personas que usan un modelo exponencial. Este modelo se ajusta bien a la rápida aceleración en casos confirmados que hemos estado experimentando. Sin embargo, no utilicé ese modelo por una muy buena razón: Eso simplemente no es físicamente exacto.
Permítanme ilustrar con algunos datos reales. A continuación se muestra una figura que muestra ajustes exponenciales (en verde, suponiendo que este sea el modelo del que habla la gente) y logísticos (en azul) con los recuentos confirmados de Italia (al 22 de marzo de 2020).
Observe que ambos modelos se ajustan muy bien a los datos. Sin embargo, el modelo exponencial continúa aumentando sin límite mientras que el modelo logístico finalmente se estabiliza en algún valor más alto. El modelo más simple que usan los epidemiólogos para describir el comportamiento de las enfermedades que se propagan en una población es el modelo señor . El nombre proviene de cómo se divide la población: Susceptibles a la enfermedad, Infectados con la enfermedad y Eliminados de la enfermedad. La idea básica es que hay una población fija de individuos que son susceptibles a alguna enfermedad nueva y una buena parte de estos individuos pasarán por las fases de Infectado y Eliminado (ya sea a través de la recuperación o...). Si implementa un modelo de este tipo y realiza un seguimiento de los recuentos acumulados de personas infectadas, terminará con algo que se parece mucho a esa curva logística. Todo esto se debe a un hecho clave: hay un tamaño de población fijo. Tenga en cuenta que el modelo exponencial continúa hacia arriba, hacia arriba y hacia afuera como un superhéroe, ajeno a cualquier supuesto umbral de población que pueda intentar oponerse a él. Esto claramente no coincide con la realidad, donde el número acumulado de infectados tendrá que estabilizarse en algún momento, ya sea porque se tomaron métodos para detener las infecciones o porque toda la población se infectó.
También puede ver este comportamiento claramente ilustrado de varias otras fuentes. Los recuentos registrados en China siguen claramente esta tendencia. Incluso las tramas que se muestran en el Flatten the Curve original y las simulaciones del ahora famoso Artículo del Washington Post o incluso este increíble extensión muestre esta tendencia en los recuentos diarios (lo que se traduce en el comportamiento de los recuentos acumulativos que mostré en la figura anterior; piense en la primera derivada de esa curva). Entonces, en resumen, no usé un modelo exponencial. En cambio, comencé con el modelo logístico.
Esto no quiere decir que un modelo logístico, o cualquier otro modelo sigmoide (sigmoide = en forma de S), no esté exento de debilidades también. Donde lo exponencial se equivoca por ser demasiado incendiario, la logística se equivocaría por ser demasiado optimista. Cualquier modelo sigmoide se puede dividir en aproximadamente tres partes básicas: la tasa de aumento, el punto de inflexión y la asíntota.
La primera parte se explica por sí misma: qué tan rápido aumentan los totales acumulativos desde 0. Esta pieza es la única común a ambos modelos. La segunda parte, el punto de inflexión, es el punto del modelo donde la tasa de aumento comienza a pasar de rápido a lento. En la figura de arriba, el punto de inflexión para el modelo logístico es donde se ubica el último punto, justo en el medio de la curva. En términos de recuentos diarios, es donde el número de casos alcanza su punto máximo y luego comienza a disminuir. La parte final, la asíntota, son los máximos casos posibles que habrán ocurrido. En términos de conteos diarios, es donde el número de casos finalmente cae a cero (o al menos a un número muy pequeño).
Obviamente, la asíntota y la tasa de aumento son probablemente los dos aspectos más populares del modelo, ya que le indican cuántos casos totales esperar y cuándo. De hecho, la asíntota puede verse más favorecida, ya que le dice qué tan mal debe esperar que sean las cosas. Sin embargo, también es la mayor debilidad. Una asíntota demasiado baja lo adormecerá con una falsa sensación de seguridad y comprensión. De hecho, diría que el punto de inflexión es más importante. Si no sabe dónde está el punto de inflexión, no está en una mejor posición que si estuviera usando un modelo exponencial. Explicaré más cuando veamos los datos.
En resumen, la primera lección al construir modelos es conocer los límites no solo de sus datos, sino también de su modelo. Si comprende las partes funcionales de su modelo, comprenderá sus fortalezas y debilidades y, lo que es más importante, dónde tiene el potencial de fallar. Además, es importante comprender el contexto en el que operará su modelo. Siempre que sea posible, se debe preferir un modelo que esté más en línea con la experiencia en la materia en lugar de un modelo rápido listo para usar. Y finalmente, comprenda cómo su modelo será interpretado, utilizado y posiblemente abusado. En el contexto de esta pandemia, un modelo exponencial dice que no hay esperanza de recuperación; un modelo logístico dice que se calmará. Es solo cuestión de tiempo.
Lección 2: Ningún plan sobrevive al campo de batalla
El día: 23 de marzo de 2020. La hora: temprano en la mañana, supongo. No importa El fin de semana anterior, ya había estado jugando con los datos y probando los ajustes del modelo logístico utilizando la plataforma Fit Curve en JMP (ese es el modelo Logistic 3P para los que siguen en casa). Ese lunes, decidí poner a prueba mis modelos.
Ahora, solo estaba modelando datos de cuatro ubicaciones: Italia (el segundo país con más casos detrás de China en ese momento), Nueva York, California (dos estados con una gran cantidad de casos confirmados) y Carolina del Norte (por supuesto que lo haría). Si bien usé el mismo formulario modelo, me aseguré de que las ubicaciones individuales tuvieran sus propias estimaciones de parámetros (usando la ubicación como Por grupo). Esta es mi tendencia natural cuando encajo modelos dentro de una agrupación natural. También refleja el hecho de que cada lugar es único y debe tratarse de manera diferente. La forma en que se realizaron las pruebas y el tratamiento en Italia es muy diferente a la de los EE. UU., y existen diferencias incluso entre estados individuales. El modelado de los datos debe reflejar este hecho.
A continuación se muestran los ajustes que obtuve usando los recuentos acumulados diarios hasta el 22 de marzo de 2020, aproximadamente dos meses de datos:
¡Mira lo increíbles que son esos ajustes! Solo puedo escuchar el informe diciendo “¿¡Qué es esto!? Tales datos limpios, todos alineados y tan bien comportados. ¿Y esa tendencia casi perfecta?!! ¡Oh, qué glorioso día! ¡Señor, debe ser elogiado por tan exquisitos datos! ¡Bravo, buen señor, bravo!” Apuesto a que muchos analistas de datos verían esto y se enojarían por lo casi perfectos que son estos ajustes. ¿Y quién tiene la culpa de ellos? ¡Solo mire qué tan limpios se ven los datos! ¡Me sorprendería si no tuviera tan buenos ajustes!Con valores p tan bajos junto con valores R ^ 2 tan cerca de 1, estos modelos deberían ser acertados, ¿verdad? Bien…
Como probablemente puedas adivinar por mi tono abiertamente sarcástico, estos modelos no son las gemas que las métricas pretenden que sean. Nuestra primera señal de advertencia de que algo puede estar mal es observar las estimaciones de los parámetros. Tenga en cuenta las estimaciones del punto de inflexión (recuerde que dije que era el parámetro más importante) para cada ubicación. Todos son más o menos iguales... y todos son del último día de datos registrados. Sí, el modelo dice que simplemente captó el momento exacto en el que la tasa de casos comenzará a disminuir y los casos deberían comenzar a disminuir muy pronto. ¡Qué suerte! Disculpas por el tono sarcástico nuevamente, pero debería ser obvio que esto es una casualidad del procedimiento de estimación del modelo. De hecho, ni siquiera me di cuenta hasta que estaba escribiendo este blog. Es así de fácil perderse.
Pero supongamos que eras como yo ese día y te perdiste ese hecho importante. Después de estimar el modelo, me di cuenta de que tendría la oportunidad de probarlo haciendo un seguimiento de las predicciones del modelo frente a los recuentos reales durante los próximos días. Entonces, eso es precisamente lo que hice.
Llegó el martes por la mañana (tenga en cuenta que hay un retraso de un día en obtener los datos de conteo... esa es su naturaleza), marqué los conteos del día anterior y los comparé con las predicciones de mi modelo, junto con intervalos de confianza puntuales del 95 % (porque las predicciones sin incertidumbre son una forma rápida de perder mi licencia de práctica estadística). Entonces, ¿cómo me fue?
Ubicación
|
Recuento real
|
Predicción
|
95% inferior
|
95% superior
|
Italia
|
63927
|
64721.72
|
63662.40
|
65781.04
|
EE.UU. California
|
2108
|
1829.92
|
1758.63
|
1901.21
|
Estados Unidos Nueva York
|
20884
|
19171.40
|
18616.80
|
19726.00
|
Carolina del Norte de EE. UU.
|
353
|
386.29
|
367.21
|
405.37
|
Un día. Un día fuera de la puerta y mi precisión cae a un mísero 25%. Todos mis modelos estadounidenses bombardearon casi de inmediato. Los modelos de California y Nueva York están subestimando los recuentos reales, mientras que el modelo de Carolina del Norte los ha sobreestimado. El modelo de Italia también ha sobrestimado técnicamente los recuentos reales, pero el límite inferior de incertidumbre aún lo captura. Pero bueno, ¿quizás todo sea solo una casualidad? Tal vez en realidad hay más ruido en los datos que a primera vista y solo necesito darles tiempo a los modelos para que se activen, ¿verdad?
Aquí están los datos del resto de la semana hasta el conteo del jueves.
Ubicación
|
Día
|
Recuento real
|
Predicción
|
95% inferior
|
95% superior
|
Italia
|
martes
|
69176
|
70487.69
|
68933.02
|
72042.36
|
miércoles
|
74386
|
76058.94
|
73906.42
|
78211.46
|
jueves
|
80589
|
81345.24
|
78513.24
|
84177.24
|
EE.UU. California
|
martes
|
2538
|
2041.74
|
1925.52
|
2157.95
|
miércoles
|
2998
|
2238.73
|
2067.96
|
2409.51
|
jueves
|
3899
|
2415.94
|
2184.81
|
2647.07
|
Estados Unidos Nueva York
|
martes
|
25681
|
21698.12
|
20692.37
|
22703.87
|
miércoles
|
30841
|
23357.28
|
21946.15
|
24768.41
|
jueves
|
37877
|
24361.26
|
22648.06
|
26074.46
|
Carolina del Norte de EE. UU.
|
martes
|
495
|
461.98
|
422.16
|
501.77
|
miércoles
|
590
|
530.14
|
463.68
|
596.59
|
jueves
|
738
|
586.96
|
491.78
|
682.14
|
Así que... definitivamente, la perspectiva no se ve bien. Al menos durante unos días, tuve 2 de 4 correctos. Pero, en general, mis modelos funcionaron horriblemente. Especialmente los modelos de California y Nueva York, que subestiman gravemente los recuentos reales.
“¿Cómo respondí?”, te preguntarás. “Y por yo me refiero a ti”, también podrías aclarar. ¿Me derrumbé en un montón, mirando todos los días cómo la mayoría de mis modelos chocaban y se quemaban, con humo y llamas saliendo de los escombros? En realidad, me quedé muy impresionado con los resultados.
Por contradictorio que parezca, encontré que este es un ejemplo perfecto de por qué no debe confiar ciegamente en las métricas que usamos en la evaluación de modelos. También presenta una excelente razón por la que siempre debe validar y probar sus modelos, sin importar cuán perfectos los hagan parecer las métricas. Es por eso que técnicas como la validación cruzada se han vuelto tan populares en la comunidad de modelado estadístico. Podrías tener el modelo más hermoso, que se ajuste a los datos casi a la perfección. Pero una vez que falla en hacer predicciones precisas, es una completa basura. Un modelo es tan bueno como su capacidad de predecir más allá de los datos.
Manténganse al tanto…
Entonces, ¿qué sucede después? ¿Cómo se levantará nuestro héroe de esta tragedia? ¿Qué nuevos retos le esperan? ¿Qué nuevas lecciones aprenderá? Y, lo más importante, ¿cuándo podré volver a la oficina?
Verificar la siguiente parte de esta serie , donde analizo más lecciones aprendidas y, con suerte, respondo todas sus preguntas. Excepto ese último. Como puede ver claramente, no estoy en condiciones de darle una respuesta honesta.
