<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />ウォール・ストリート・ジャーナルは最近、「」という素晴らしいインタラクティブなグラフィック作品を公開しました。 20世紀の感染症との闘い: ワクチンの影響」には、選択された感染症の発生率を州別および年別に示す一連のグラフが含まれています。 麻疹についてはこちら。
私の第一印象は、「おお、この国では麻疹が流行していて、ワクチンのおかげで治ったようだな」というものでした。 視覚化で要点を伝える必要がある限り、この視覚化はワクチンの広範な影響を示すことに成功しています。 しかし、見れば見るほど、いくつかの詳細が気になりました。
- 単一のポイントを作成するには多くの詳細が必要です (データとインクの比率が低い)。
- 虹のような配色のため、値をすぐに比較するのが難しくなります。 つまり、青、緑、黄色には知覚的な順序はありません。
- カラー グラデーションは 4000 までですが、データは 3000 までしかありません。
- 半分の州名が欠落しています。
- 州は郵便番号順に並べられていますが、標準の略語で表示されます。たとえば、アラスカ州がアラバマ州の前にあるのはこのためです。
- このデータは、ワクチン接種が最初にニュースになる現在の景気上昇に先立って、2002 年で止まっています。
ロバート・アリソン」感染症を良く見せる方法「そしてアンディ・カーク」それは視覚化ですか、それとも私たちが好むデータですか、」さらに詳しく知りたい場合は、ビジュアライゼーションに対する批判的な考察も行っています。 私はデータを取得することにもっと興味があり、JMP でデータを視覚化する他の方法を試してみました。
データの取得
CSV ファイルをダウンロードしましたプロジェクト・ティコ、思った以上に面倒でした。 各州のデータは 2 つの別々のファイルに含まれており、サイトにはログインが必要なので、ダウンロードのスクリプトを簡単に作成することはできませんでした。 102 個のマニュアルをダウンロードした後、生データ ファイルが入手できました。
データを取得した後、2 つの驚きに遭遇しました。
- データは年単位ではなく週単位です。
- WSJのグラフが示す箇所だけでなく、全体にわたってデータが欠落している。
私は、データが妥当であるかどうかを確認するために、いくつかのノンス グラフを作成するのが好きです。 以下は週ごとの発生率の 1 つです。 透明性を段階的に下げたとしても、ほとんどのデータが人口 10 万人あたり週 10 件未満であることを伝えるにはまだ十分ではありません。 ただし、外れ値が確認できるので、そのうちのいくつかにラベルを付けました。 私はその件についてよく知らないので、これらの異常値が本物かどうかを知ることができません。
欠損データの処理
実際のグラフの作成を始める前に、欠落したデータを処理するための計画が必要でした。 WSJ グラフでは、年全体が欠落している場合を除き、基本的にすべての欠損値が 0 として扱われます。その場合は、年がわずかに異なる色 (水色ではなく白) で表示されます。 私は別の、しかし人工的なアプローチを取ることにしました。 初期の欠落データはおそらく不明であると考えましたが、後年になるとデータは実際には 0 であり、この病気が非常にまれであったために単に報告されなかった可能性が高いように思えます。 そこで、ある年 (1975 年) までは欠損値を維持し、それ以降は欠損値を 0 として扱います。 これにより、少なくともグラフの右側の斑点が回避されます。
オリジナルの再作成
深く調べる前に、WSJ グラフをそのまま JMP で再現してみることにしました。 そうしなければならなかった
- データを年ごとに要約する
- データを州の略語の別のデータ テーブルと結合する
- カスタムカラーテーマを作成する
- グラフビルダーでヒートマップを作成する
- ワクチン接種の導入日の基準線を追加する
結果はかなり近いです。 表示される略語ではなく郵便番号で州を並べ替えなかったため、州の順序がわずかに異なります。色がわずかに異なるのは、色を慎重にコピーしなかったためです。もちろん、欠損データの処理により、欠損データの一部が変更されます。年から0年。
カラーテーマを再作成した後、その中にあるロジックの一部を確認することができました。 虹色のテーマは通常、異なる色相が連続的ではなくカテゴリ的に認識されるため、連続値には適していません。 WSJ の配色は基本的に 3 つの異なる配色です。
- 「高」レベルの連続的な黄、オレンジ、赤のスキーム
- 「中程度」レベルの場合は緑色に点灯
- 「低」レベルの連続白青スキーム
私の認識を最も気にするのは緑だと思うので、緑なしで同じアイデアを試してみようと思いました。
まだ任意のカットオフを選択する必要がありますが、分類するカテゴリが少なくなるため、緑がない方が良いと思います。 このカラーリングでは範囲も 3000 に制限されます。
色の変更
本当に連続的な色のテーマはどうでしょうか? ロバート・アリソンは白から赤へのスキームを使用していますが、これは合理的だと思われます。 単一の連続範囲の問題は、データが歪んでいるため、線形カラー アプリケーションではスケールの一方の端の違いのみが強調表示されることです。 この問題は、区分的線形スケールを使用し、カラー テーマをカスタマイズすることで回避できます。
奇妙なことに、色の範囲が減少していることを考えると、1945 年の全国的な落ち込みがより見やすくなりました。
アルファベット順ではなく、平均発生率によって州を並べてみることもできます。 これにより、各州が思ったほど均一に影響を受けていないことが簡単にわかります。
ここまではWSJオリジナルと同様に、年間の発生率を示してきた。 ただし、欠損データの量を考慮すると、アリソンのように週平均を表示して、所有しているデータのみを平均することが合理的です。 年率を表示することは、欠落している週の値を 0 として扱うのと同じです。 こちらは同じ週間レートのグラフです。
違いは微妙です。 1 つの例は 1934 年のジョージア州で、データが存在するのは 27 週間のみで、それらの週の値は非常に高かったです。 オリジナルでは、1934 年のジョージア州は、導入されたすべてのゼロによって薄められたため、平均的なものにしか見えませんでしたが、ここでは高く見えます。 真実はおそらくその中間にあります。欠損値が 0 であるか、欠損していない値と同じである可能性は低いです。
厳密な欠落は欠落のアプローチには、落とし穴がないわけではありません。 比較のために、週平均を示すアリソンのバージョンをここに示します。 1997 年にバーモント州で麻疹が明らかに急増したことに注目してください。 これは実際には 1 週間分のデータです。 他の週のデータはすべて欠落しています。 ということで、今年は悪い年のように見えますが、もしかしたら悪い一週間だっただけなのかもしれません。
変動する量の欠落データに対処する最善の方法がわかりません。 データが欠落している四角形を縮小させてみました。 これはより正確な表現ですが、余分な複雑さにそれだけの価値があるかどうかはわかりません。 さらに、ほとんどの場合、サイズの違いはほとんどわかりません。
他のビューを探索する
私の当初の考えは、全国規模の棒グラフを時系列で作成することでした。 州の罹患率を適切に集計するには年間の人口値が必要だったので、これは思ったよりも複雑であることがわかりました。 生データには、100,000 あたりの数とレートのみが含まれます。 カウントを比率で割って州の人口を推定できると考えましたが (方法 1)、比率が 0 または非常に小さい場合は失敗します。 私のもう 1 つのアプローチ (方法 2) は、見つけたいくつかの過去の人口値から内挿することでした。 両方を試した後、プロットで比較してみました。
10 (百万) の水平線は、カウントが 1、レートが 0.01 の年からのものです。 料金は小数点第 2 位までのみ表示されます。 同様の問題により、70 という外れ値が発生しました。その年のテキサス州には、カウント 1、レート 0.00 の週が数週間含まれていました。 最終的には両方の推定値を混合した式を使用することになりましたが、計算された比率のみを考慮すると、比率はそれほど小さくありませんでした。
これは全国的な罹患率の棒グラフです。これにより、元のポイントが非常によく分かり、静かな 1945 年を含めた年ごとの変動が見やすくなります。
私はとがった折れ線グラフは好きではありませんが、次のグラフのコンテキストを提供するためにここに折れ線グラフを示します。 各行は状態です。
私は、スムーザーがもたらす少ないほど良いという哲学を好みます。 この場合、範囲は失われますが、全体的な傾向といくつかの外れ値の状態をよりよく理解できます。
最後に
この研究では、次の精神に基づいて、私が行ったすべての処理およびグラフ化ステップのスクリプトを共有しています。再現可能な研究。 スクリプトがあることで、さまざまな欠損値戦略を簡単に試すこともできました。 添付された ZIP ファイルには、ソース CSV ファイル (入場料だけでも価値があります) に加えて、私の JSL スクリプトと最終的な JMP データ テーブル (それ自体にグラフ用のスクリプトが含まれています) が含まれています。 「Measles Study」というスクリプトを実行してファイルを再作成します。 「」を変更できます。欠落しているのは次のゼロです" 1975 年以外の別の年に変数を設定して、別の欠損値カットオフを試すか、まったくカットオフを試行しません。
ここまでたどり着くまでに少しの作業が必要でしたが、より良い分析を行うためにはさらに作業が必要であることがわかりました。 たとえば、欠損値の一部を代入するために使用される可能性のあるケースには季節的なパターンがあります。 州のクラスターや発生パターンを探すと興味深いかもしれません。 視覚的には、ラインよりも範囲バンドの方が優れているかもしれません。 このような急激な低下を生じさせずにデータの配色を試すという Andy Kirk のアイデアを探ってみたいと思います。 2002年以降の国のデータを使うのはどうでしょうか？ ...
しかし、どこかで立ち止まらなければなりません。 さらに、すべてのデータが添付されているので、親愛なる読者はおそらく探索を続けるでしょう。
