私たちは奇妙な時代に生きています。 この投稿を書いている時点で、私は丸2週間#WFHを務めています。 かつて賑やかな都市は今ではゴーストタウンのように立っています。 テレビとソーシャルの両方のメディアは、1つのトピックで飽和しています：Covid-19、より口語的にコロナウイルスと呼ばれます（それはいくつかの1つにすぎませんが）。
このパンデミックは確かに多くの不安と困難をもたらしましたが、いくつかの興味深い課題ももたらしました。 ジョンズホプキンス大学などの研究者のおかげで、世界中の国々から確認された症例数のデータに毎日アクセスできます。 これは、私のようなデータ中毒者にとっては朗報です。 しかし、それは呪いにもなり得ます。 私たちの多くは、そのデータを取得して実行し、あらゆる種類のプロットやチャート、モデルを無謀に作成し、それらの結果を使用して、パンデミックの程度と深刻さについて異様な主張をします。 最近の私のTwitterフィードは、善よりも害を及ぼし、どのウイルスよりも早く恐怖を広めるのに役立つチャートや記事を呼び出す専門家でいっぱいになっています。 私が見つけた1つのステートメントを言い換えると、「多くのデータ、つまり人々は、これがすべて行われた後、何らかの魂の探求をしなければならないでしょう」（ https://twitter.com/wisevis/status/1237021575926472704 ）。
これは、データのプロットと分析が決して間違っているということではありません。 私は〜で働いていますJMP 、データジャンキーでいっぱいの場所で、その多くはデータが入ってくるときにデータを追跡してプロットしています。 一瞥JMPパブリックアラームを発生させることなく有益な方法でデータを提示するために注意深く準備された多くの驚くべきチャートを明らかにします。 実際、私たち自身のByron Wingerdが最近ウェビナーを開催し、彼自身のウェビナーを作成しましたブログ投稿Covid-19データの適切なプロットについて。 彼はいくつかの優れた点を指摘しており、この種のデータを以前に経験したことがあるので、ぜひチェックしてみることを強くお勧めします。 これらすべての共通点の1つは、現在のデータのみを視覚化していることです。 モデリングも予測もありません。 すべて非常に安全です。
さて、大胆不敵な読者、私は私が安全ではなかったことを告白しなければなりません。 ある有名な漫画のアヒルが言うように、私は「危険になりました」。 それは正しい… 予測モデルを作成しました。
エッジでの生活
松明と熊手をつかむ前に、私に聞いてください。 これらの予測モデルを作成するにあたり、私はこれまでそれらを公開するつもりはありませんでした。 それらは私の私的使用のみを目的としていました。 実際、私が今それらを共有している理由は、あなたがなぜあなたがすべきではないそもそも彼らにとても自信を持ってください。 ジョージボックスが雄弁に言っているように、「すべてのモデルは間違っていますが、いくつかは便利です」。 そして、はい、私は引用があまりにも頻繁に使用され、乱用されて数えられないことを知っていますが、私があなたに見せようとしていることはそれを新しい光に当てることを願っています。 モデルを適合させ、すべてのメトリックがモデルが非常に正確であることを示しているからといって、それが正しいことを意味するわけではありません。
飛び込む前に、少し背景情報を説明します。 私が使用しているデータは、ジョンズホプキンス大学が記録した確認済みの症例の1日あたりの累積数です。 GitHubサイト2020年1月22日から。 多くの人が以前に言ったように、カウントはテストが包括的である場合にのみ正確です。 つまり、テストが限られているということは、データの信頼性が低いことを意味します。 さらに、明らかな理由であると私が望むもののために、累積死亡数をモデル化していないし、モデル化するつもりもありません。
レッスン1：自分の限界を知る
累積確認数をモデル化する方法を選択するとき、私は疫学の非常に基本的な知識に基づいてモデルを選択しました。 指数モデルを使用している人々について聞いたことは間違いありません。 このモデルは、私たちがよく経験している確認されたケースの急速な加速に適合します。 ただし、非常に理由の1つとして、このようなモデルを使用しませんでした。これ単に物理的に正確ではありません。
実際のデータで説明させてください。 以下は、指数関数（これが人々が話しているモデルであると仮定して緑色）とロジスティック（青色）がイタリアの確認された数（2020年3月22日現在）に適合することを示す図です。
どちらのモデルもデータに非常によく適合していることに注意してください。 ただし、指数モデルは際限なく増加し続けますが、ロジスティックモデルは最終的にはより高い値で横ばいになります。 疫学者が集団全体に広がる病気の行動を説明するために使用する最も単純なモデルは、 SIRモデル。 名前は、人口がどのように分割されているかに由来します：病気にかかりやすい、病気に感染している、そして病気から取り除かれています。 基本的な考え方は、いくつかの新しい病気にかかりやすい個人の固定された集団があり、これらの個人のかなりの部分が感染と除去の段階を経て（回復または…のいずれかによって）移行するということです。 このようなモデルを実装し、感染した個人の累積数を追跡すると、そのロジスティック曲線によく似たものになります。 これはすべて、1つの重要な事実によるものです。固定された人口サイズがあります。 指数モデルは、スーパーヒーローのように上下に動き続け、それに反対しようとする可能性のあるいわゆる人口のしきい値に気づかないことに注意してください。 これは明らかに現実とは一致しません。感染を阻止する方法が取られたか、集団全体が感染したために、感染の累積数はある時点で横ばいになる必要があります。
また、他のいくつかのソースからこの動作が明確に示されていることもわかります。 中国からの記録されたカウントは明らかにこの傾向に従います。 オリジナルの「流行の平坦化」に示されているプロットや、今では有名なシミュレーションもワシントンポストの記事またはこの驚くべき拡大この傾向を日次カウントで示します（これは、上の図で示した累積カウントの動作に変換されます。その曲線の一次導関数を考えてください）。 したがって、要約すると、私は指数モデルを使用しませんでした。 代わりに、ロジスティックモデルから始めました。
これは、ロジスティックモデルまたはその他のシグモイドモデル（シグモイド= S字型）にも弱点がないわけではないということではありません。 指数関数が炎症を起こしすぎるという側面で誤りを犯す場合、ロジスティックは楽観的すぎるという側面で誤りを犯します。 シグモイドモデルは、大きく3つの基本的な部分に分類できます。増加率、変曲点、および漸近線です。
最初の部分は自明です。累積合計が0からどれだけ速く増加するかです。 この部分は、両方のモデルに共通する唯一の部分です。 2番目の部分である変曲点は、増加率が高速から低速に移行し始めるモデルのポイントです。 上の図では、ロジスティックモデルの変曲点は、曲線の真ん中の最後の点が配置されている場所に関するものです。 1日のカウントに関しては、ケースの数がピークに達し、その後減少し始める場所です。 最後の部分である漸近線は、発生する可能性のある最大のケースです。 1日のカウントに関しては、ケースの数が最終的にゼロ（または少なくとも非常に少ない数）に低下する場所です。
明らかに、漸近線と増加率は、予想される合計ケースの数とその時期を示しているため、モデルの2つの最も人気のある側面である可能性があります。 実際、漸近線は、物事がどれほど悪いと予想すべきかを示しているため、より好まれている可能性があります。 しかし、それは最大の弱点でもあります。 漸近線が低すぎると、誤った安心感と理解に陥ります。 実際、私は変曲点がより重要であると主張します。 変曲点がどこにあるかわからない場合は、指数モデルを使用している場合よりも良い位置にいることはできません。 データを見て詳しく説明します。
要約すると、モデルを構築する際の最初の教訓は、データだけでなくモデルの限界も知ることです。 モデルの動作部分を理解すれば、モデルの長所と短所、そして最も重要なこととして、モデルが故障する可能性がある場所を理解できます。 また、モデルが動作するコンテキストを理解することも重要です。 可能な限り、ツールボックスからすぐに使用できるモデルよりも、対象分野の専門知識に沿ったモデルを優先する必要があります。 そして最後に、モデルがどのように解釈され、使用され、場合によっては悪用されるかを理解します。 このパンデミックの文脈では、指数モデルは回復の希望がないと言っています。ロジスティックモデルは、それがおさまると言っています。 それは時間の問題です。
レッスン2：戦場を生き残る計画はない
当日：2020年3月23日。 時間：早朝だと思いますか？ 関係ない。 前の週末、私はすでにデータをいじって、JMPのFit Curveプラットフォームを使用してロジスティックモデルの適合を試していました（これは、自宅でフォローしている人のためのロジスティック3Pモデルです）。 その月曜日、私は自分のモデルをテストすることにしました。
現在、私は4つの場所からのデータのみをモデル化していました：イタリア（当時中国に次ぐ2番目に多い症例）、ニューヨーク、カリフォルニア（確認された症例が多数ある2つの州）、およびノースカロライナ（もちろん私がそうするため）。 同じモデルフォームを使用しましたが、個々の場所にそれぞれ独自のパラメーター推定値があることを確認しました（場所をグループ別として使用）。 これは、モデルを自然なグループに収めるときの私の自然な傾向です。 また、各場所は一意であり、互いに異なる方法で処理する必要があるという事実も反映しています。 イタリアでの検査と治療の方法は、ここ米国とは大きく異なり、州によっても違いがあります。 データのモデリングは、この事実を反映する必要があります。
以下は、2020年3月22日までの1日の累積カウントを使用して得た近似であり、約2か月分のデータです。
それらのフィットがどれほど素晴らしいか見てください！ 「なにこれ？！」という報告が聞こえてきます。 そのようなクリーンなデータはすべて並んでいて、とても行儀が良いです。 そして、そのほぼ完璧なトレンド？!! なんて素晴らしい日でしょう。 あなたはそのような絶妙なデータのために賞賛されるべきです！ ブラボー、いいサー、ブラボー！」多くのデータアナリストがこれを見て、これらの適合がどれほど完璧に近いかについて嫉妬して見るでしょう。 そして、誰が彼らを責めるのですか？ データがどれほどきれいに見えるかを見てください！ こんなにフィットしなかったらびっくり！このように低いp値と1に非常に近いR^2値を組み合わせると、これらのモデルは正確に表示されるはずです。 良い…
私のあからさまな皮肉な口調からおそらく推測できるように、これらのモデルは、メトリックがそれらを意図している宝石ではありません。 何かが間違っている可能性があるという最初の警告サインは、パラメーター推定値自体を調べることです。 各場所の変曲点の推定値に注意してください（これが最も重要なパラメーターであると言ったことを思い出してください）。 それらはすべてほぼ同じです…そしてそれらはすべて記録されたデータの最後の日です。 うん、モデルはあなたがたまたまケースの割合が遅くなり始め、ケースがすぐに減少し始めるまさにその瞬間を捕らえたと言っています！ なんて幸運なことでしょう。 皮肉な口調でお詫びしますが、これがモデル推定手順のまぐれであることは明らかです。 実際、私はこのブログを書くまで気づいていませんでした。 見逃しがちです。
しかし、あなたがその日の私のようであり、その重要な事実を見逃したとしましょう。 モデルを推定した後、モデルの予測と実際のカウントを今後数日間追跡することで、モデルをテストする機会があることに気付きました。 だから、それはまさに私がしたことです。
火曜日の朝に来て（カウントデータの取得には1日遅れがあることに注意してください...それはまさにその性質です）、前日のカウントをパンチして、ポイントごとの95％信頼区間とともにモデル予測と比較しました（不確実性のない予測は、私の統計実践ライセンスを失うための迅速な方法です）。 それで、私はどのように運賃を払いましたか？
位置
|
実際の数
|
予測
|
95％低い
|
95％アッパー
|
イタリア
|
63927
|
64721.72
|
63662.40
|
65781.04
|
米国カリフォルニア
|
2108
|
1829.92
|
1758.63
|
1901.21
|
米国ニューヨーク
|
20884
|
19171.40
|
18616.80
|
19726.00
|
米国ノースカロライナ
|
353
|
386.29
|
367.21
|
405.37
|
いつか。 ある日、門を出て、私の精度はわずか25％に低下します。 私の米国のモデルはすべて、ほぼ即座に爆撃しました。 カリフォルニアとニューヨークのモデルは真の数を過小評価していますが、ノースカロライナのモデルは真の数を過大評価しています。 イタリアのモデルも技術的に真の数を過大評価していますが、不確実性の下限は依然としてそれを捉えています。 しかしねえ、多分それはすべてただのまぐれですか？ たぶん、実際には一見したよりもデータにノイズが多く、モデルにキックインする時間を与える必要がありますよね？
木曜日のカウントまでの残りの週のデータは次のとおりです。
位置
|
日
|
実際の数
|
予測
|
95％低い
|
95％アッパー
|
イタリア
|
火曜日
|
69176
|
70487.69
|
68933.02
|
72042.36
|
水曜日
|
74386
|
76058.94
|
73906.42
|
78211.46
|
木曜日
|
80589
|
81345.24
|
78513.24
|
84177.24
|
米国カリフォルニア
|
火曜日
|
2538
|
2041.74
|
1925.52
|
2157.95
|
水曜日
|
2998
|
2238.73
|
2067.96
|
2409.51
|
木曜日
|
3899
|
2415.94
|
2184.81
|
2647.07
|
米国ニューヨーク
|
火曜日
|
25681
|
21698.12
|
20692.37
|
22703.87
|
水曜日
|
30841
|
23357.28
|
21946.15
|
24768.41
|
木曜日
|
37877
|
24361.26
|
22648.06
|
26074.46
|
米国ノースカロライナ
|
火曜日
|
495
|
461.98
|
422.16
|
501.77
|
水曜日
|
590
|
530.14
|
463.68
|
596.59
|
木曜日
|
738
|
586.96
|
491.78
|
682.14
|
すっごく…見通しは間違いなく良く見えません。 少なくとも数日間は、4つのうち2つが正しかった。 しかし、一般的に、私のモデルはひどいパフォーマンスをしました。 特にカリフォルニアとニューヨークのモデルは、真の数を大幅に過小評価しています。
「私はどのように対応しましたか？」とあなたは尋ねるかもしれません。 「そして私によって、私はあなたを意味しました」、あなたも明らかにするかもしれません。 私のモデルのほとんどが墜落して燃え、残骸から煙と炎が上がるのを毎日見ながら、私は山に崩れ落ちましたか？ 実際、私はその結果に非常に感銘を受けました。
矛盾しているように聞こえるかもしれませんが、これは、モデル評価で使用するメトリックを盲目的に信頼してはならない理由の完璧な例であることがわかりました。 また、メトリックによってモデルがどれほど完璧に見えるかに関係なく、モデルを常に検証およびテストする必要があるという優れた理由も示されています。 そのため、クロスバリデーションなどの手法が統計モデリングコミュニティで非常に人気があります。 データにほぼ完全に適合する最も美しいモデルを作成できます。 しかし、正確な予測に失敗すると、それは完全なゴミになります。 モデルは、データを超えて予測する能力と同じくらい優れています。
乞うご期待…
では、次に何が起こりますか？ 私たちのヒーローはこの悲劇からどのように立ち上がるのでしょうか？ 彼にはどのような新しい挑戦が待っていますか？ 彼はどのような新しい教訓を学びますか？ そして、最も重要なのは、いつオフィスに戻ることができるのでしょうか。
チェックアウトこのシリーズの次のパート、ここで私は学んだ教訓について話し合い、うまくいけばすべての質問に答えます。 その最後のものを除いて。 ご覧のとおり、私はあなたに正直な答えを与える立場にはありません。
素晴らしい記事カレブ！ 継続を楽しみにしています。 サンディアであなたがいなくて寂しいです！
ありがとう@matteo_patelmo ！
いろいろなモデルで遊んでくれてうれしいです。 これは実際、フォローアップの投稿で話し合う予定です。 私は実際にあなたとまったく同じものを使用していたので、私は正しい軌道に乗っているように感じます。 実際のところ、ロジスティックモデルとゴンペルツモデルはどちらも、より多くの特殊なケースであることがわかります。一般化されたロジスティックモデル、私も使い始めました。 これには、最大の増加率が発生する場所に影響を与える追加のパラメーターがあります。 フォローアップの投稿でもそれについて話すつもりですが、それがあなたのデータでどのように機能するかを見たいと思っています。
相互検証について考えていましたが、ここで最も一般的な形式でどれだけうまくいくかはわかりません。 最も近い方法は、最新のデータの一部をサブセット化し、それを検証に使用することです。 @russ_wolfingerが金曜日のJMPOnAirプレゼンテーションで行ったように、彼は検証のために先週のデータを使用しました。
やあ@コーキング、非常に興味深い投稿。
また、covid19の症例を予測するためのモデルの予測精度についても少し遊んだので、調査結果をコミュニティと共有したいと思います。
Logistic3PとGompertz3Pの機能を比較して、特定の日付までに収集されたデータに基づいて将来のデータを予測しました。下のグラフは、イタリアで最も深刻な被害を受けている地域であるロンバルディアの結果を表しています。曲線は、95年（4月5日）の予測を表しており、特定の日（x軸）にデータが利用可能です。4月5日、ロンバルディアの実際の総症例数は49118でした。
ゴンペルツ3Pモデル（ちなみに、一貫して最低のAICcを持っています）は、何日もの間この値を過大評価しており、最後の数日で実際の値に収束しました。反対側のロジスティック3Pは、常に実際の価値を過小評価しています。これから得られる主な教訓は、長期予測（非常に数日を超える）が非常に不正確になる可能性があり、この種のモデル選択には最小AICcを非常に慎重に使用する必要があるということです。相互検証をどのように適用できるかわかりません。
