Nous vivons une époque étrange. Au moment de la rédaction de cet article, je suis #WFH depuis deux semaines entières maintenant. Les villes autrefois animées ressemblent maintenant à des villes fantômes. Les médias, télévisuels et sociaux, sont saturés d'un sujet : le Covid-19, plus familièrement appelé le coronavirus (même s'il n'en est qu'un parmi plusieurs).
Bien que cette pandémie ait certainement entraîné beaucoup d'anxiété et de difficultés, elle a également entraîné des défis intéressants. Grâce à des chercheurs comme ceux de l'Université Johns Hopkins et d'autres, nous avons quotidiennement accès à des données sur le nombre de cas confirmés dans des pays du monde entier. C'est une aubaine pour les accros aux données comme moi ! Mais cela peut aussi être une malédiction. Beaucoup d'entre nous vont prendre ces données et les utiliser, créer imprudemment des graphiques, des graphiques et des modèles de toutes sortes, puis continuer à utiliser ces résultats pour faire des déclarations farfelues sur l'étendue et la gravité de la pandémie. Mon fil Twitter ces derniers jours a été rempli d'experts appelant des graphiques et des articles qui font plus de mal que de bien et contribuent à répandre la peur plus rapidement que n'importe quel virus. Pour paraphraser une déclaration que j'ai trouvée, "beaucoup de gens de données vont devoir faire une introspection une fois que tout cela sera fait" ( https://twitter.com/wisevis/status/1237021575926472704 ).
Maintenant, cela ne veut pas dire que le traçage et l'analyse des données sont erronés. je travaille à JMP , un lieu rempli d'accros aux données, dont beaucoup suivent et tracent les données au fur et à mesure qu'elles arrivent. Un rapide coup d'œil à travers Publique JMP révélera de nombreux graphiques étonnants, soigneusement préparés pour présenter les données de manière informative sans provoquer d'alarme. En fait, notre propre Byron Wingerd a récemment donné un webinaire et a écrit son propre article de blog sur le bon traçage des données Covid-19. Je vous recommande fortement de le vérifier car il fait plusieurs excellents points et a déjà eu de l'expérience avec ce type de données. Le point commun entre tous ces éléments est qu'ils ne visualisent que les données actuelles. Pas de modélisation, pas de prédictions. Tous très sûrs.
Eh bien, lecteur intrépide, je dois avouer que je n'étais pas en sécurité. Comme le dirait un certain canard de dessin animé célèbre, je « suis devenu dangereux ». C'est vrai… J'ai fait des modèles prédictifs.
La vie sur le bord
Maintenant, avant de prendre vos torches et vos fourches, écoutez-moi. En créant ces modèles prédictifs, je n'avais pas l'intention de les rendre publics avant maintenant. Ils étaient destinés à mon usage privé uniquement. En fait, la raison pour laquelle je les partage maintenant est d'illustrer précisément pourquoi vous ne devrait pas mettre tellement de confiance en eux pour commencer. Comme George Box l'a dit avec tant d'éloquence, "Tous les modèles sont faux, mais certains sont utiles". Et oui, je sais que cette citation a été utilisée et abusée trop souvent pour compter, mais j'espère que ce que je vais vous montrer la met sous un jour nouveau. Ce n'est pas parce que vous correspondez à un modèle et que toutes les mesures indiquent qu'il est très précis qu'il est correct.
Avant de plonger, quelques informations de fond. Les données que j'ai utilisées sont le décompte quotidien cumulé des cas confirmés enregistrés par l'Université Johns Hopkins à leur Site GitHub à partir du 22 janvier 2020. Comme beaucoup l'ont déjà dit, les décomptes ne sont aussi précis que si les tests sont complets. En d'autres termes, des tests limités signifient des données moins fiables. De plus, je n'ai pas, et je n'ai pas l'intention de modéliser le nombre cumulé de décès pour ce que j'espère être des raisons évidentes.
Leçon 1 : Connaissez vos limites
Au moment de choisir comment modéliser les décomptes cumulatifs confirmés, j'ai choisi mon modèle en fonction de mes connaissances très, très rudimentaires en épidémiologie. Vous avez sans doute entendu parler de personnes utilisant un modèle exponentiel. Ce modèle correspond à l'accélération rapide des cas confirmés que nous avons bien connus. Cependant, je n'ai pas utilisé un tel modèle pour une très bonne raison : Ce n'est tout simplement pas physiquement exact.
Permettez-moi d'illustrer avec quelques données réelles. Vous trouverez ci-dessous une figure montrant les ajustements exponentiels (en vert, en supposant que c'est le modèle dont les gens parlent) et logistiques (en bleu) aux décomptes confirmés de l'Italie (au 22 mars 2020).
Notez que les deux modèles correspondent très bien aux données. Cependant, le modèle exponentiel continue d'augmenter sans limite tandis que le modèle logistique finit par se stabiliser à une valeur plus élevée. Le modèle le plus simple utilisé par les épidémiologistes pour décrire le comportement des maladies se propageant dans une population est le Modèle RAS . Le nom vient de la façon dont la population est divisée : sensible à la maladie, infectée par la maladie et retirée de la maladie. L'idée de base est qu'il existe une population fixe d'individus sensibles à une nouvelle maladie et qu'une bonne partie de ces individus passera par les phases d'infection et d'élimination (soit par la guérison, soit…). Si vous implémentez un tel modèle et suivez le nombre cumulé d'individus infectés, vous vous retrouverez avec quelque chose qui ressemble beaucoup à cette courbe logistique. Tout cela est dû à un fait clé : la taille de la population est fixe. Notez que le modèle exponentiel continue de monter, de monter et de s'éloigner comme un super-héros, inconscient de tout soi-disant seuil de population qui pourrait chercher à s'y opposer. Cela ne correspond clairement pas à la réalité, où le nombre cumulé de personnes infectées devra se stabiliser à un moment donné, soit parce que des méthodes ont été prises pour arrêter les infections, soit parce que toute la population a été infectée.
Vous pouvez également voir ce comportement clairement illustré à partir de plusieurs autres sources. Les comptages enregistrés en Chine suivent clairement cette tendance. Même les tracés montrés dans l'original Flatten the Curve et les simulations du désormais célèbre Article du Washington Post ou même cet incroyable extension montrer cette tendance dans les décomptes quotidiens (qui se traduit par le comportement des décomptes cumulés que j'ai montré dans la figure ci-dessus ; pensez à la dérivée première de cette courbe). Donc, en résumé, je n'ai pas utilisé de modèle exponentiel. Au lieu de cela, j'ai commencé avec le modèle logistique.
Cela ne veut pas dire qu'un modèle logistique, ou tout autre modèle sigmoïde (sigmoïde = en forme de S), n'est pas non plus sans faiblesses. Là où l'exponentielle se trompe du côté d'être trop incendiaire, la logistique se tromperait du côté d'être trop optimiste. Tout modèle sigmoïde peut être décomposé en trois parties de base : le taux d'augmentation, le point d'inflexion et l'asymptote.
La première partie est explicite : à quelle vitesse les totaux cumulés augmentent-ils à partir de 0. Cette pièce est la seule commune aux deux modèles. La deuxième partie, le point d'inflexion, est le point du modèle où le taux d'augmentation commence à passer de rapide à lent. Dans la figure ci-dessus, le point d'inflexion du modèle logistique se situe à peu près à l'emplacement de ce dernier point, en plein milieu de la courbe. En termes de décompte quotidien, c'est là que le nombre de cas culmine puis commence à baisser. La dernière partie, l'asymptote, est le maximum de cas possibles qui se seront produits. En termes de comptage quotidien, c'est là que le nombre de cas tombe finalement à zéro (ou du moins à un très petit nombre).
De toute évidence, l'asymptote et le taux d'augmentation sont probablement les deux aspects les plus populaires du modèle, car ils vous indiquent le nombre total de cas à prévoir et dans quel délai. En fait, l'asymptote peut être plus favorisée car elle vous indique à quel point vous devez vous attendre à ce que les choses soient mauvaises. Cependant, c'est aussi la plus grande faiblesse. Une asymptote trop basse vous plongera dans un faux sentiment de sécurité et de compréhension. En fait, je dirais que le point d'inflexion est plus important. Si vous ne savez pas où se trouve le point d'inflexion, vous n'êtes pas mieux placé que si vous utilisiez un modèle exponentiel. J'expliquerai plus quand nous regarderons les données.
En résumé, la première leçon lors de la construction de modèles est de connaître les limites non seulement de vos données, mais aussi de votre modèle. Si vous comprenez les parties fonctionnelles de votre modèle, vous comprendrez ses forces et ses faiblesses et, plus important encore, où il a le potentiel de tomber en panne. De plus, il est important de comprendre le contexte dans lequel votre modèle fonctionnera. Un modèle qui correspond davantage à l'expertise en la matière doit être préféré dans la mesure du possible à un modèle rapide prêt à l'emploi. Et enfin, comprenez comment votre modèle sera interprété, utilisé et éventuellement abusé. Dans le contexte de cette pandémie, un modèle exponentiel dit qu'il n'y a aucun espoir de reprise ; un modèle logistique dit qu'il va s'atténuer. C'est juste une question de temps.
Leçon 2 : Aucun plan ne survit au champ de bataille
Le jour : 23 mars 2020. L'heure : tôt le matin je suppose ? Peu importe. Le week-end précédent, j'avais déjà joué avec les données et essayé des ajustements de modèles logistiques à l'aide de la plate-forme Fit Curve dans JMP (c'est le modèle logistique 3P pour ceux qui suivent à la maison). Ce lundi-là, j'ai décidé de mettre mes modèles à l'épreuve.
Maintenant, je ne modélisais que les données de quatre endroits : l'Italie (deuxième plus grand nombre de cas derrière la Chine à l'époque), New York, Californie (deux États avec un grand nombre de cas confirmés) et Caroline du Nord (parce que bien sûr je le ferais). Alors que j'utilisais le même formulaire de modèle, je me suis assuré que les emplacements individuels avaient chacun leurs propres estimations de paramètres (en utilisant l'emplacement comme groupe Par). C'est ma tendance naturelle lorsque j'intègre des modèles dans un groupement naturel. Cela reflète également le fait que chaque emplacement est unique et doit être traité différemment les uns des autres. La façon dont les tests et les traitements ont été effectués en Italie est très différente de celle des États-Unis, et il existe des différences même entre les États. La modélisation des données devrait refléter ce fait.
Vous trouverez ci-dessous les ajustements que j'ai obtenus en utilisant les décomptes cumulés quotidiens jusqu'au 22 mars 2020, soit environ deux mois de données :
Regardez à quel point ces coupes sont incroyables ! Je peux juste entendre le rapport dire "Qu'est-ce que c'est ?! Ces données propres toutes alignées et si bien comportées. Et cette tendance presque parfaite ?!! Oh quelle journée glorieuse ! Vous, monsieur, méritez des félicitations pour ces données exquises ! Bravo, bon monsieur, bravo ! Je parie que de nombreux analystes de données verraient cela et seraient jaloux de voir à quel point ces ajustements sont presque parfaits. Et qui les blâmer ? Regardez à quel point les données ont l'air propres ! Je serais surpris si je n'obtenais pas d'aussi bons ajustements!Avec des valeurs p aussi basses couplées à des valeurs R^2 si proches de 1, ces modèles devraient être parfaits, n'est-ce pas ? Bien…
Comme vous pouvez probablement le deviner d'après mon ton ouvertement sarcastique, ces modèles ne sont pas les joyaux que les métriques prétendent être. Notre premier signe d'avertissement que quelque chose ne va pas est de regarder les estimations des paramètres elles-mêmes. Notez les estimations du point d'inflexion (rappelez-vous que j'ai dit que c'était le paramètre le plus important) pour chaque emplacement. Ils sont tous à peu près les mêmes… et ils sont tous le tout dernier jour de données enregistrées. Oui, le modèle dit que vous venez de saisir le moment même où le taux de cas commencera à ralentir et les cas devraient commencer à diminuer très bientôt ! Quelle chance ! Toutes mes excuses pour le ton sarcastique, mais il devrait être évident qu'il s'agit d'un coup de chance de la procédure d'estimation du modèle. En fait, je ne l'avais même pas remarqué jusqu'à ce que j'écrive ce blog. C'est si facile à rater.
Mais supposons que vous étiez comme moi ce jour-là et que vous avez manqué ce fait important. Après avoir estimé le modèle, j'ai alors réalisé que j'aurais une chance de le tester en gardant une trace des prédictions du modèle par rapport aux décomptes réels au cours des prochains jours. Alors, c'est exactement ce que j'ai fait.
Venez mardi matin (notez qu'il y a un décalage d'un jour dans l'obtention des données de comptage… c'est juste la nature de celui-ci), j'ai saisi les comptages de la veille et les ai comparés aux prédictions de mon modèle, avec des intervalles de confiance ponctuels à 95% (parce que les prédictions sans incertitude sont un moyen rapide de perdre ma licence de pratique des statistiques). Alors, comment ai-je fait?
Emplacement
|
Nombre réel
|
Prédiction
|
95 % inférieur
|
95 % supérieur
|
Italie
|
63927
|
64721.72
|
63662.40
|
65781.04
|
Californie américaine
|
2108
|
1829.92
|
1758.63
|
1901.21
|
États-Unis New York
|
20884
|
19171.40
|
18616.80
|
19726.00
|
Caroline du Nord des États-Unis
|
353
|
386.29
|
367.21
|
405.37
|
Un jour. Un jour hors de la porte et ma précision tombe à un maigre 25%. Tous mes modèles américains ont bombardé presque immédiatement. Les modèles californien et new-yorkais sous-estiment les chiffres réels tandis que le modèle de la Caroline du Nord les surestime. Le modèle italien a également techniquement surestimé les chiffres réels, mais la limite inférieure d'incertitude le capture toujours. Mais bon, ce n'est peut-être qu'un coup de chance ? Peut-être y a-t-il en fait plus de bruit dans les données qu'à première vue et j'ai juste besoin de donner aux modèles le temps de démarrer, n'est-ce pas ?
Voici les données pour le reste de la semaine jusqu'au décompte de jeudi.
Emplacement
|
Jour
|
Nombre réel
|
Prédiction
|
95 % inférieur
|
95 % supérieur
|
Italie
|
Mardi
|
69176
|
70487.69
|
68933.02
|
72042.36
|
Mercredi
|
74386
|
76058.94
|
73906.42
|
78211.46
|
Jeudi
|
80589
|
81345.24
|
78513.24
|
84177.24
|
Californie américaine
|
Mardi
|
2538
|
2041.74
|
1925.52
|
2157.95
|
Mercredi
|
2998
|
2238.73
|
2067.96
|
2409.51
|
Jeudi
|
3899
|
2415.94
|
2184.81
|
2647.07
|
États-Unis New York
|
Mardi
|
25681
|
21698.12
|
20692.37
|
22703.87
|
Mercredi
|
30841
|
23357.28
|
21946.15
|
24768.41
|
Jeudi
|
37877
|
24361.26
|
22648.06
|
26074.46
|
Caroline du Nord des États-Unis
|
Mardi
|
495
|
461,98
|
422.16
|
501.77
|
Mercredi
|
590
|
530.14
|
463,68
|
596,59
|
Jeudi
|
738
|
586,96
|
491,78
|
682.14
|
Soooo… les perspectives ne semblent certainement pas bonnes. Au moins pendant quelques jours, j'avais 2 corrects sur 4. Mais, en général, mes modèles ont des performances horribles. Surtout les modèles californien et new-yorkais, qui sous-estiment gravement les vrais chiffres.
"Comment ai-je répondu?", Vous pourriez demander. "Et par moi, je voulais dire vous", vous pourriez également préciser. Me suis-je effondré en un tas, regardant quotidiennement la plupart de mes modèles s'écraser et brûler, de la fumée et des flammes s'élever de l'épave ? En fait, j'ai été assez impressionné par les résultats.
Aussi contradictoire que cela puisse paraître, j'ai trouvé que c'était un exemple parfait de la raison pour laquelle vous ne devriez pas faire aveuglément confiance aux mesures que nous utilisons dans l'évaluation des modèles. Cela présente également une excellente raison pour laquelle vous devez toujours valider et tester vos modèles, quelle que soit la perfection des métriques qui les rendent. C'est pourquoi des techniques telles que la validation croisée sont devenues si populaires dans la communauté de la modélisation statistique. Vous pourriez avoir le plus beau modèle, qui correspond presque parfaitement aux données. Mais une fois qu'il ne parvient pas à faire des prédictions précises, c'est une poubelle complète. Un modèle est seulement aussi bon que sa capacité à prédire au-delà des données.
Restez à l'écoute…
Alors que se passe-t-il ensuite ? Comment notre héros sortira-t-il de cette tragédie ? Quels nouveaux défis l'attendent ? Quelles nouvelles leçons apprendra-t-il ? Et surtout, quand vais-je pouvoir retourner au bureau ?
Vérifier la suite de cette série , où je discute d'autres leçons apprises et j'espère répondre à toutes vos questions. Sauf ce dernier. Comme vous pouvez le voir clairement, je ne suis pas en mesure de vous donner une réponse honnête.
