Wir leben in seltsamen Zeiten. Zum Zeitpunkt des Schreibens dieses Beitrags bin ich jetzt seit zwei Wochen #WFH. Einst geschäftige Städte stehen heute wie Geisterstädte da. Die Medien, sowohl das Fernsehen als auch die sozialen Medien, sind mit einem Thema übersättigt: Covid-19, umgangssprachlich als Coronavirus bezeichnet (obwohl es nur eines von mehreren ist).
Während diese Pandemie sicherlich viel Angst und Not mit sich gebracht hat, hat sie auch einige interessante Herausforderungen mit sich gebracht. Dank Forschern wie denen der Johns Hopkins University und anderen haben wir täglich Zugriff auf Daten über die Anzahl bestätigter Fälle aus Ländern auf der ganzen Welt. Das ist ein Segen für Datenjunkies wie mich! Aber es kann auch ein Fluch sein. Viele von uns werden diese Daten nehmen und damit rennen, rücksichtslos Diagramme und Diagramme und Modelle aller Art erstellen und diese Ergebnisse dann verwenden, um ausgefallene Behauptungen über das Ausmaß und die Schwere der Pandemie aufzustellen. Mein Twitter-Feed war in den letzten Tagen mit Experten gefüllt, die Diagramme und Artikel aufriefen, die mehr schaden als nützen und dazu beitragen, Angst schneller zu verbreiten, als es ein Virus könnte. Um eine Aussage, die ich gefunden habe, zu paraphrasieren: „Eine Menge Daten, nämlich Leute, die nach all dem fertig sind, müssen in sich gehen“ ( https://twitter.com/wisevis/status/1237021575926472704 ).
Das soll jetzt nicht heißen, dass das Plotten und Analysieren der Daten keineswegs falsch ist. ich arbeite bei JMP , ein Ort voller Datenjunkies, von denen viele die eingehenden Daten verfolgen und aufzeichnen. Ein kurzer Blick durch JMP-Öffentlichkeit wird viele erstaunliche Diagramme enthüllen, die sorgfältig vorbereitet wurden, um die Daten auf informative Weise zu präsentieren, ohne Alarm auszulösen. Tatsächlich hat unser eigener Byron Wingerd kürzlich ein Webinar gehalten und sein eigenes geschrieben Blogeintrag auf die richtige Darstellung der Covid-19-Daten. Ich empfehle Ihnen dringend, es sich anzusehen, da er mehrere hervorragende Punkte anführt und bereits Erfahrungen mit dieser Art von Daten gemacht hat. Allen gemeinsam ist, dass sie nur die aktuellen Daten visualisieren. Keine Modellierung, keine Vorhersagen. Alles sehr sicher.
Nun, furchtloser Leser, ich muss gestehen, dass ich nicht sicher war. Wie es eine gewisse berühmte Zeichentrick-Ente ausdrücken würde, ich wurde „gefährlich“. Das stimmt… Ich habe Vorhersagemodelle erstellt.
Ein Leben am Abgrund
Bevor Sie jetzt Ihre Fackeln und Mistgabeln schnappen, hören Sie mir zu. Als ich diese Vorhersagemodelle erstellte, hatte ich vorher nicht die Absicht, sie öffentlich zu machen. Sie waren nur für meinen privaten Gebrauch bestimmt. Tatsächlich ist der Grund, warum ich sie jetzt teile, genau zu veranschaulichen, warum Sie sollte nicht setze so viel Vertrauen in sie, um damit anzufangen. Wie George Box es so eloquent ausdrückte: „Alle Modelle sind falsch, aber einige sind nützlich“. Und ja, ich weiß, dass dieses Zitat zu oft verwendet und missbraucht wurde, um es zu zählen, aber ich hoffe, was ich Ihnen zeigen werde, wirft es in ein neues Licht. Nur weil Sie ein Modell anpassen und alle Metriken darauf hindeuten, dass es sehr genau ist, heißt das nicht, dass es korrekt ist.
Bevor wir eintauchen, ein paar Hintergrundinformationen. Die Daten, die ich verwendet habe, sind die kumulierte tägliche Anzahl bestätigter Fälle, wie sie von der Johns Hopkins University an ihrer Universität aufgezeichnet wurden GitHub-Site ab 22. Januar 2020. Wie viele bereits gesagt haben, sind die Zählungen nur so genau, wie die Tests umfassend sind. Mit anderen Worten, begrenzte Tests bedeuten weniger vertrauenswürdige Daten. Darüber hinaus habe ich die kumulativen Todeszahlen aus hoffentlich offensichtlichen Gründen nicht modelliert und habe auch nicht die Absicht, dies zu tun.
Lektion 1: Kenne deine Grenzen
Bei der Wahl, wie die kumulativen bestätigten Zahlen modelliert werden sollen, habe ich mein Modell basierend auf meinen sehr, sehr rudimentären Kenntnissen der Epidemiologie gewählt. Zweifellos haben Sie schon von Menschen gehört, die ein Exponentialmodell verwenden. Dieses Modell passt zu der schnellen Beschleunigung in bestätigten Fällen, die wir gut erlebt haben. Allerdings habe ich ein solches Modell aus einem sehr guten Grund nicht verwendet: Es ist physikalisch einfach nicht korrekt.
Erlauben Sie mir, dies mit einigen realen Daten zu veranschaulichen. Unten ist eine Abbildung, die exponentielle (in Grün, vorausgesetzt, dies ist das Modell, von dem die Leute sprechen) und logistische (in Blau) Anpassungen an die bestätigten Zahlen Italiens (Stand: 22. März 2020) zeigt.
Beachten Sie, dass beide Modelle sehr gut zu den Daten passen. Das exponentielle Modell steigt jedoch ohne Begrenzung weiter an, während sich das logistische Modell schließlich bei einem höheren Wert einpendelt. Das einfachste Modell, das Epidemiologen verwenden, um das Verhalten von Krankheiten zu beschreiben, die sich in einer Bevölkerung ausbreiten, ist das SIR-Modell . Der Name kommt von der Einteilung der Bevölkerung: Anfällig für die Krankheit, Infiziert mit der Krankheit und Von der Krankheit entfernt. Die Grundidee ist, dass es eine feste Population von Personen gibt, die für eine neue Krankheit anfällig sind, und ein guter Teil dieser Personen durchläuft die Phasen von Infiziert und Entfernt (entweder durch Genesung oder …). Wenn Sie ein solches Modell implementieren und die kumulierten Zahlen der infizierten Personen verfolgen, erhalten Sie am Ende etwas, das dieser logistischen Kurve sehr ähnlich sieht. All dies liegt an einer zentralen Tatsache: Es gibt eine feste Populationsgröße. Beachten Sie, dass das exponentielle Modell wie ein Superheld immer weiter aufwärts und immer weiter geht und sich keiner sogenannten Bevölkerungsschwelle bewusst ist, die sich ihm entgegenstellen könnte. Dies entspricht eindeutig nicht der Realität, in der sich die kumulierte Zahl der Infizierten irgendwann einpendeln muss, weil entweder Methoden ergriffen wurden, um die Infektionen zu stoppen, oder die gesamte Bevölkerung infiziert wurde.
Sie können dieses Verhalten auch aus mehreren anderen Quellen deutlich illustriert sehen. Die erfassten Zählungen aus China folgen eindeutig diesem Trend. Sogar die im Original gezeigten Plots Flatten the Curve und die Simulationen des mittlerweile berühmten Artikel der Washington Post oder sogar so erstaunlich Verlängerung Zeigen Sie diesen Trend in den täglichen Zählungen (was zu dem Verhalten in kumulativen Zählungen führt, das ich in der obigen Abbildung gezeigt habe; denken Sie an die erste Ableitung dieser Kurve). Zusammenfassend habe ich also kein Exponentialmodell verwendet. Stattdessen begann ich mit dem logistischen Modell.
Das soll nicht heißen, dass ein Logistikmodell oder jedes andere Sigmoid-Modell (Sigmoid = S-förmig) nicht auch ohne Schwächen ist. Wo das Exponential zu aufrührerisch ist, würde die Logistik zu optimistisch sein. Jedes Sigmoid-Modell kann grob in drei grundlegende Teile zerlegt werden: die Anstiegsrate, den Wendepunkt und die Asymptote.
Der erste Teil ist selbsterklärend: Wie schnell steigen die kumulativen Summen von 0. Dieser Teil ist der einzige, den beide Modelle gemeinsam haben. Der zweite Teil, der Wendepunkt, ist der Punkt des Modells, an dem die Anstiegsrate beginnt, von schnell zu langsam überzugehen. In der obigen Abbildung befindet sich der Wendepunkt für das logistische Modell ungefähr dort, wo sich dieser letzte Punkt befindet, genau in der Mitte der Kurve. In Bezug auf die täglichen Zählungen beginnen die Fallzahlen dann zu fallen. Der letzte Teil, die Asymptote, sind die maximal möglichen Fälle, die aufgetreten sind. In Bezug auf die täglichen Zählungen sinkt die Zahl der Fälle schließlich auf Null (oder zumindest auf eine sehr kleine Zahl).
Offensichtlich sind die Asymptote und die Steigerungsrate wahrscheinlich die beiden beliebtesten Aspekte des Modells, da sie Ihnen sagen, wie viele Fälle insgesamt zu erwarten sind und wie bald. Tatsächlich ist die Asymptote möglicherweise bevorzugter, da sie Ihnen sagt, wie schlimm Sie mit den Dingen rechnen sollten. Allerdings ist es auch die größte Schwäche. Eine zu niedrige Asymptote wiegt Sie in einem falschen Gefühl von Sicherheit und Verständnis. Tatsächlich würde ich argumentieren, dass der Wendepunkt wichtiger ist. Wenn Sie nicht wissen, wo der Wendepunkt liegt, sind Sie in keiner besseren Position, als wenn Sie ein Exponentialmodell verwenden würden. Ich werde mehr erklären, wenn wir uns die Daten ansehen.
Zusammenfassend lässt sich sagen, dass die erste Lektion beim Erstellen von Modellen darin besteht, die Grenzen nicht nur Ihrer Daten, sondern auch Ihres Modells zu kennen. Wenn Sie die funktionierenden Teile Ihres Modells verstehen, verstehen Sie seine Stärken und Schwächen und vor allem, wo es potenziell zusammenbrechen kann. Außerdem ist es wichtig, den Kontext zu verstehen, in dem Ihr Modell betrieben wird. Ein Modell, das eher der Fachkompetenz entspricht, sollte nach Möglichkeit einem schnellen Out-of-the-Toolbox-Modell vorgezogen werden. Und verstehen Sie schließlich, wie Ihr Modell interpretiert, verwendet und möglicherweise missbraucht wird. Im Zusammenhang mit dieser Pandemie sagt ein exponentielles Modell, dass es keine Hoffnung auf Erholung gibt; ein logistisches Modell sagt, dass es nachlassen wird. Es ist nur eine Frage der Zeit.
Lektion 2: Kein Plan überlebt das Schlachtfeld
Der Tag: 23. März 2020. Die Zeit: am frühen Morgen, schätze ich? Egal. Am vergangenen Wochenende hatte ich bereits mit den Daten herumgespielt und logistische Modellanpassungen mit der Fit Curve-Plattform in JMP ausprobiert (das ist das logistische 3P-Modell für diejenigen, die zu Hause folgen). An diesem Montag beschloss ich, meine Modelle auf die Probe zu stellen.
Jetzt habe ich nur Daten von vier Standorten modelliert: Italien (damals zweithäufigste Fälle hinter China), New York, Kalifornien (zwei Bundesstaaten mit einer großen Anzahl bestätigter Fälle) und North Carolina (weil ich das natürlich tun würde). Obwohl ich das gleiche Modellformular verwendet habe, habe ich sichergestellt, dass die einzelnen Standorte jeweils ihre eigenen Parameterschätzungen hatten (unter Verwendung des Standorts als „Nach Gruppe“). Dies ist meine natürliche Tendenz, wenn ich Modelle in eine natürliche Gruppierung einpasse. Es spiegelt auch die Tatsache wider, dass jeder Standort einzigartig ist und unterschiedlich behandelt werden sollte. Wie in Italien getestet und behandelt wurde, ist ganz anders als hier in den USA, und es gibt sogar Unterschiede zwischen den einzelnen Bundesstaaten. Die Modellierung der Daten sollte diese Tatsache widerspiegeln.
Unten sind die Anfälle, die ich mit den täglichen kumulativen Zählungen bis zum 22. März 2020 erhalten habe, Daten im Wert von ungefähr zwei Monaten:
Schau dir an, wie toll diese Anfälle sind! Ich kann nur den Bericht hören, der sagt: „Was ist das?! Solche sauberen Daten, alle aufgereiht und so brav. Und dieser nahezu perfekte Trend?!! Oh, was für ein herrlicher Tag! Sie, mein Herr, müssen für solch exquisite Daten gelobt werden! Bravo, guter Herr, bravo!“ Ich wette, viele Datenanalysten würden das sehen und vor Eifersucht darüber brodeln, wie nahezu perfekt diese Anpassungen sind. Und wer ist ihnen schuld? Schauen Sie sich nur an, wie sauber die Daten aussehen! Ich wäre überrascht, wenn ich nicht so tolle Anfälle bekommen würde!Mit solch niedrigen p-Werten in Verbindung mit R^2-Werten, die so nahe bei 1 liegen, sollten diese Modelle genau richtig sein, oder? Brunnen…
Wie Sie wahrscheinlich anhand meines offen sarkastischen Tons erraten können, sind diese Modelle nicht die Edelsteine, für die die Metriken sie vorgeben. Unser erstes Warnsignal, dass etwas nicht stimmt, ist ein Blick auf die Parameterschätzungen selbst. Beachten Sie die Schätzungen des Wendepunkts (ich erinnere mich, dass dies der wichtigste Parameter war) für jeden Standort. Sie sind alle ungefähr gleich … und sie sind alle der allerletzte Tag der aufgezeichneten Daten. Ja, das Modell besagt, dass Sie gerade genau den Moment erwischt haben, in dem sich die Fallrate verlangsamen wird und die Fälle sehr bald abnehmen sollten! Welch ein Glück! Entschuldigung für den sarkastischen Ton, aber es sollte offensichtlich sein, dass dies ein Zufall des Modellschätzverfahrens ist. Tatsächlich ist es mir nicht einmal aufgefallen, bis ich diesen Blog geschrieben habe. Es ist so leicht zu übersehen.
Aber lass uns so tun, als ob du an diesem Tag genau wie ich warst und diese wichtige Tatsache verpasst hast. Nachdem ich das Modell geschätzt hatte, wurde mir klar, dass ich die Möglichkeit haben würde, es zu testen, indem ich die Modellvorhersagen im Vergleich zu den tatsächlichen Zahlen in den nächsten Tagen im Auge behalte. Also, genau das habe ich getan.
Am Dienstagmorgen (beachten Sie, dass es einen Tag Verzögerung beim Abrufen der Zähldaten gibt ... das ist einfach die Natur der Sache), habe ich die Zählungen vom Vortag eingegeben und sie mit meinen Modellvorhersagen verglichen, zusammen mit punktuellen 95% -Konfidenzintervallen (weil Vorhersagen ohne Unsicherheit sind ein schneller Weg, um meine Statistik-Übungslizenz zu verlieren). Wie ist es mir ergangen?
Ort
|
Tatsächliche Anzahl
|
Vorhersage
|
95 % niedriger
|
95 % oben
|
Italien
|
63927
|
64721.72
|
63662.40
|
65781.04
|
US-Kalifornien
|
2108
|
1829.92
|
1758.63
|
1901.21
|
USA New York
|
20884
|
19171.40
|
18616.80
|
19726,00
|
USA North Carolina
|
353
|
386.29
|
367.21
|
405.37
|
Eines Tages. Ein Tag aus dem Tor und meine Genauigkeit sinkt auf schlappe 25 %. Alle meine US-Modelle bombardierten fast sofort. Die Modelle für Kalifornien und New York unterschätzen die wahren Zählwerte, während das Modell für North Carolina die wahren Zählwerte überschätzt. Das italienische Modell hat die wahren Zählwerte auch technisch überschätzt, aber die untere Unsicherheitsgrenze erfasst sie immer noch. Aber hey, vielleicht ist das alles nur ein Zufall? Vielleicht gibt es in den Daten tatsächlich mehr Rauschen als auf den ersten Blick und ich muss den Modellen nur Zeit geben, sich zu entfalten, oder?
Hier sind die Daten für den Rest der Woche bis zur Zählung vom Donnerstag.
Ort
|
Tag
|
Tatsächliche Anzahl
|
Vorhersage
|
95 % niedriger
|
95 % oben
|
Italien
|
Dienstag
|
69176
|
70487.69
|
68933.02
|
72042.36
|
Mittwoch
|
74386
|
76058.94
|
73906.42
|
78211.46
|
Donnerstag
|
80589
|
81345.24
|
78513.24
|
84177.24
|
US-Kalifornien
|
Dienstag
|
2538
|
2041.74
|
1925.52
|
2157,95
|
Mittwoch
|
2998
|
2238.73
|
2067.96
|
2409.51
|
Donnerstag
|
3899
|
2415.94
|
2184.81
|
2647.07
|
USA New York
|
Dienstag
|
25681
|
21698.12
|
20692.37
|
22703.87
|
Mittwoch
|
30841
|
23357.28
|
21946.15
|
24768.41
|
Donnerstag
|
37877
|
24361.26
|
22648.06
|
26074.46
|
USA North Carolina
|
Dienstag
|
495
|
461,98
|
422.16
|
501.77
|
Mittwoch
|
590
|
530.14
|
463,68
|
596,59
|
Donnerstag
|
738
|
586,96
|
491.78
|
682.14
|
Soooo… die Aussichten sehen definitiv nicht gut aus. Zumindest für ein paar Tage hatte ich 2 von 4 richtig. Aber im Allgemeinen haben meine Modelle eine schreckliche Leistung gezeigt. Besonders die kalifornischen und New Yorker Modelle, die die wahren Zahlen stark unterschätzen.
„Wie habe ich reagiert?“, werden Sie vielleicht fragen. „Und mit ich meinte ich dich“, könntest du auch verdeutlichen. Bin ich zu einem Haufen zusammengebrochen und habe täglich zugesehen, wie die meisten meiner Modelle zusammenbrachen und verbrannten, Rauch und Flammen aus den Trümmern aufstiegen? Eigentlich war ich ziemlich beeindruckt von den Ergebnissen.
So widersprüchlich es klingen mag, ich fand dies ein perfektes Beispiel dafür, warum Sie den Metriken, die wir bei der Modellbewertung verwenden, nicht blind vertrauen sollten. Es ist auch ein ausgezeichneter Grund, warum Sie Ihre Modelle immer validieren und testen sollten, egal wie perfekt die Metriken sie aussehen lassen. Aus diesem Grund sind Techniken wie die Kreuzvalidierung in der Community der statistischen Modellierung so beliebt geworden. Sie könnten das schönste Modell haben, das nahezu perfekt zu den Daten passt. Aber sobald es keine genauen Vorhersagen macht, ist es kompletter Müll. Ein Modell ist nur so gut wie seine Fähigkeit, über die Daten hinaus Vorhersagen zu treffen.
Bleib dran…
Was passiert als nächstes? Wie wird sich unser Held aus dieser Tragödie erheben? Welche neuen Herausforderungen warten auf ihn? Welche neuen Lektionen wird er lernen? Und vor allem, wann darf ich wieder ins Büro?
Kasse der nächste Teil dieser Serie , wo ich weitere gewonnene Erkenntnisse bespreche und hoffentlich alle Ihre Fragen beantworte. Außer dem letzten. Wie Sie deutlich sehen können, bin ich nicht in der Lage, Ihnen eine ehrliche Antwort zu geben.
