ウォール ストリート ジャーナルは最近、「 20 世紀の感染症との戦い: ワクチンの影響」というインタラクティブなグラフィック記事を掲載しました。この記事には、州別および年別の特定の感染症の発生率を示す一連のグラフが含まれています。以下は麻疹のグラフです。
私の第一印象は、「わあ、この国では麻疹が流行していたが、ワクチンで治ったようだ」というものでした。視覚化によってポイントが伝わるという点では、この視覚化はワクチンの幅広い影響を示すことに成功しています。しかし、さらによく見てみると、いくつかの詳細が気になりました。
- 1 つのポイントを表現するのに多くの詳細が必要です (データ/インク比率が悪い)。
- 虹のような配色では、値を素早く比較することが困難です。つまり、青、緑、黄色の順序が知覚できないのです。
- 色のグラデーションは 4000 までですが、データは 3000 までしか上がりません。
- 州は郵便番号順に並べられていますが、標準の略語で表示されます。たとえば、アラスカはアラバマの前に表示されます。
- データは、ワクチン接種がそもそもニュースになる現在の増加傾向より前の 2002 年までです。
Robert Allison (「 感染症をより良く見せる方法」) と Andy Kirk (「 私たちが気に入っているのは視覚化かデータか」) も、この視覚化を批判的に検討しています。私は、データを取得して、JMP で視覚化する他の方法を試すことに興味がありました。
データの取得
Project Tychoから CSV ファイルをダウンロードしましたが、予想以上に面倒でした。どうやら、もっと簡単な一括ダウンロードがあるようですが、見つけられませんでした。100 回以上手動でダウンロードした後、生データ ファイルを入手しました。データを入手した後、2 つの驚きに遭遇しました。
- WSJ のグラフが示す場所だけでなく、全体的にデータが欠落しています。
データが妥当であるかどうかを確認するために、いくつかの簡単な調査グラフを作成するのが好きです。これは、すべての週ごとの発生率の 1 つです。透明度を下げましたが、それでも、ほとんどのデータが 10 万人あたり週 10 件未満であることがわかります。ただし、外れ値が表示されており、いくつかにラベルを付けました。これらの外れ値が疑わしいかどうかは、この主題を十分に理解していないためわかりません。
欠損データの処理
実際のグラフを作成する前に、欠損データの処理方法を考えておく必要がありました。WSJ のグラフは、基本的に、年全体が欠損していない限り、欠損値をすべて 0 として扱います。欠損している場合は、その年をわずかに異なる色 (水色ではなく白) で表示します。私は、別の、しかしやはり人工的なアプローチを取ることにしました。初期の欠損データは不明である可能性が高いと考えましたが、後期の欠損データは実際には 0 で、その時点では病気が非常にまれであったために報告されなかっただけである可能性が高いようです。そのため、ある年 (1975 年) までは欠損値を維持し、それ以降は欠損値を 0 として扱います。そうすれば、少なくともグラフの右側の斑点は避けられます。
オリジナルを再現
探索を進めすぎる前に、WSJ グラフを JMP でそのまま再現してみることにしました。次の操作を行う必要がありました。
- データを州の略語の別のデータ テーブルと結合します。
結果は非常に近いです。州の順序が少し異なるのは、表示されている略語ではなく郵便番号で州を並べ替えなかったためです。色は慎重にコピーしなかったため、異なる場合があります。そしてもちろん、欠損データの処理により、欠損している年が 0 に変更されます。
カラー テーマを再作成した後、そのロジックの一部がわかりました。虹色のカラー テーマは、通常、連続値には適していません。異なる色相が連続的ではなくカテゴリ的に認識されるためです。WSJ のカラー スキームは、基本的に 3 つの異なるスキームです。
- 「高」レベルの場合は、連続した黄色、オレンジ色、赤色のスキームになります。
私にとって最も気になるのは緑色だと思うので、緑色なしで同じアイデアを試してみようと思いました。
まだ任意のカットオフを選択する必要がありますが、分類するカテゴリが少なくなるため、緑色がない方がよいと思います。この色分けにより、範囲も 3000 に制限されます。
色を変える
本当に連続したカラー テーマはどうでしょうか。Robert Allison は白から赤までのスキームを使用しており、これは妥当なようです。単一の連続範囲の問題は、データが歪んでいるため、線形カラー アプリケーションではスケールの一方の端の違いのみが強調表示されることです。この問題は、区分線形スケールを使用し、カラー テーマをカスタマイズすることで回避できます。
不思議なことに、色の範囲が狭まっているため、1945 年の全国的な落ち込みがより分かりやすくなっています。
また、アルファベット順ではなく、平均発生率で州を並べてみるのもよいでしょう。こうすることで、各州が見た目ほど均一に影響されていないことがわかりやすくなります。
これまで、WSJ のオリジナルと同様に、年間発生率を示してきました。ただし、欠落データの量を考えると、Allison のように週平均を示して、保有しているデータのみを平均するのが理にかなっています。年間率を示すことは、欠落週の値を 0 として扱うのと同じです。以下は週ごとの発生率の同じグラフです。
違いは微妙です。1 つの例は 1934 年のジョージア州です。この州では 27 週間しかデータがなく、それらの週の値はかなり高くなっていました。元のデータでは、1934 年のジョージア州は、ゼロとして扱われたすべての欠損値によって薄められたため、平均にしか見えませんでしたが、ここでは高く見えます。真実はおそらくその中間です。欠損値が 0 か、欠損していない値と同じ高さだった可能性は低いです。
厳密に欠落しているものは欠落しているというアプローチには、独自の落とし穴がないわけではありません。比較のために、週ごとの平均を示すアリソンのバージョンを示します。1997 年にバーモント州で麻疹が急増したのがわかります。これは実際には 1 週間のデータにすぎません。他のすべての週のデータは欠落しています。そのため、悪い年のように見えますが、悪いのは 1 週間だけだったのかもしれません。
欠損データの量が変動する場合の最適な対処法がわかりません。データが欠損しているときに四角形を縮小するようにしてみました。より正確な表現ではありますが、複雑さが増すほどの価値があるかどうかはわかりません。それに、ほとんどの場合、サイズの違いはほとんどわかりません。
他の視点を探る
当初の考えは、時系列で全国的な棒グラフを作ることでした。しかし、州の発生率を適切に集計するには、年間の人口値が必要だったため、思ったよりも複雑であることがわかりました。生データには、100,000 人あたりの数と率しか含まれていません。数を率で割ることで州の人口を推定できると考えましたが (方法 1)、率が 0 または非常に小さい場合は失敗します。もう 1 つのアプローチ (方法 2) は、国勢調査局のサイトで見つけたいくつかの過去の人口値から補間することでした。両方を試した後、プロットで比較しました。
10 (百万) の水平線は、カウントが 1、レートが 0.01 の年からのものです。レートは小数点以下 2 桁までしか提供されません。同様の問題により、70 の外れ値も発生します。その年、テキサスにはカウントが 1、レートが 0.00 の週がいくつかありました。私は最終的に、両方の推定値を混合した式を使用し、計算された比率のみを考慮したため、レートはそれほど小さくありませんでした。
これは全国的な罹患率の棒グラフです。これは元の論点を非常によく表しており、平穏だった 1945 年を含め、年ごとの変動を簡単に確認できます。
私は尖った折れ線グラフが好きではありませんが、次のグラフの背景を説明するために、1 つ示します。各線は状態を表します。 
私は、スムーザーがもたらす「少ないほど良い」という哲学を好みます。この場合、範囲は失われますが、全体的な傾向といくつかの外れ値の状態をよりよく把握できます。
終わりに
この研究では、 再現可能な研究という精神で、私が行ったすべての処理およびグラフ作成手順のスクリプトを共有しています。Measles Study.ZIPは、JMP ユーザー コミュニティのThe Plot Thickensのこの投稿の元のバージョンに添付されています。スクリプトがあることで、さまざまな欠損値戦略を簡単に試すことができました。ZIP ファイルには、ソース CSV ファイルに加えて、私の JSL スクリプトと最終的な JMP データ テーブルが含まれており、このテーブル自体にグラフ用のスクリプトが含まれています。ファイルを再作成するには、「Measles Study」というスクリプトを実行します。「Missing is zero after」変数を 1975 年以外の年に変更して、別の欠損値カットオフを試すか、まったくカットオフを試みることができます。
ここまで来るのに少し手間がかかりましたが、より良い分析のためには、さらに作業が必要だと思います。たとえば、症例には季節的なパターンがあり、これを使用して、欠損値の一部を補完できるかもしれません。州のクラスターや発生パターンを探すのは興味深いかもしれません。視覚的には、範囲のバンドのほうが線よりも適しているかもしれません。Andy Kirk のアイデア、つまり、急激な落ち込みのないデータにカラー スキームを試す方法を検討してみたいと思います。2002 年以降の全国データを使用するのはどうでしょうか。...
しかし、どこかで立ち止まらなければなりません。それに、添付されているすべてのデータがあれば、読者の皆さんはおそらく探索を続けるでしょう。
クリス・グロンは次のように書いています。
毎年のデータを表示する動的な米国地理マップはどうでしょうか? 病気がどのように広がったか、ホットスポットはどこか、そしてどのように進化したかがわかります。
本当に興味深い記事です! しかし、従来のヒストグラムや棒グラフは依然としてベストなのでしょうか? 
データビズニュース [82] | Visualoop は次のように書いています:
[â ¦] グラフの作り直し: 麻疹ヒートマップ | JMP ブログ [â ¦]
リサはこう書いています:
素晴らしい投稿ですね。ご尽力に本当に感謝しています。
私を含め、すべての読者がその投稿から多くのことを学ぶと思います。
再度、感謝します！
