월스트리트 저널은 최근 " 20세기의 전염병과의 싸움: 백신의 영향"이라는 멋지고 상호 작용적인 그래픽 기사를 게재했는데, 여기에는 주와 연도별 선택된 전염병의 발생률을 보여주는 일련의 그래프가 들어 있습니다. 홍역에 대한 그래프는 다음과 같습니다.
제 첫 인상은 "와, 이 나라에 홍역이 있었고 백신이 그것을 없앴구나."였습니다. 시각화가 요점을 전달해야 하는 한, 이 시각화는 백신의 광범위한 영향을 보여주는 데 성공했습니다. 하지만 좀 더 살펴보니 몇 가지 세부 사항이 마음에 들지 않았습니다.
- 한 가지 요점을 강조하려면 많은 세부 정보가 필요합니다(데이터/잉크 비율이 낮음).
- 무지개 같은 색상 구성표는 값을 빠르게 비교하기 어렵게 만듭니다. 즉, 파란색, 초록색, 노란색의 지각적 순서가 없습니다.
- 색상 그라데이션은 4000까지 올라가지만 데이터는 3000까지만 올라갑니다.
- 각 주는 우편번호순으로 정렬되어 있지만 표준 약어를 사용하여 표시됩니다. 예를 들어 알래스카가 앨라배마보다 앞에 오는 것입니다.
- 이 데이터는 백신 접종이 뉴스에 처음 오르기 전인 2002년까지의 데이터입니다.
로버트 앨리슨(" 감염성 질병을 더 잘 보이게 하는 방법 ")과 앤디 커크(" 시각화인가, 우리가 좋아하는 데이터인가 ")도 이 시각화에 대해 비판적인 시각을 취했습니다. 저는 데이터를 얻고 JMP에서 시각화하는 다른 방법을 시도하는 데 더 관심이 있었습니다.
데이터 얻기
Project Tycho 에서 CSV 파일을 다운로드했는데, 예상보다 더 힘들었습니다. 더 쉬운 대량 다운로드가 있는 것 같지만, 찾지 못했습니다. 100번 이상 수동으로 다운로드한 후에 원시 데이터 파일을 얻었습니다. 데이터를 받은 후에 두 가지 놀라운 일이 발생했습니다.
- WSJ 그래프에 표시된 곳뿐만 아니라 전체적으로 누락된 데이터가 있습니다.
저는 데이터가 타당해 보이는지 확인하기 위해 몇 가지 빠르고 탐색적인 그래프를 만들고 싶습니다. 여기 모든 주간 발생률 중 하나가 있습니다. 투명도를 낮추었지만, 대부분 데이터가 100,000명당 주당 10건 미만이라는 것을 말하기에는 여전히 충분하지 않습니다. 하지만 이상치는 볼 수 있고, 저는 그 중 몇 개에 레이블을 붙였습니다. 저는 그 이상치가 의심스러운지 아닌지 알 만큼 그 주제에 대해 잘 모릅니다.
누락된 데이터 처리
실제 그래프를 만들기 전에 누락된 데이터를 처리할 계획이 필요했습니다. WSJ 그래프는 기본적으로 모든 누락된 값을 0으로 처리하지만, 1년 전체가 누락된 경우에는 1년을 약간 다른 색상(연한 파란색 대신 흰색)으로 표시합니다. 저는 다르지만 여전히 인위적인 접근 방식을 취하기로 했습니다. 초기에 누락된 데이터는 알려지지 않았을 가능성이 높지만, 나중에는 데이터가 실제로 0일 가능성이 더 높고 질병이 그때까지 매우 드물었기 때문에 보고되지 않았을 가능성이 더 높아 보입니다. 그래서 저는 1975년까지 누락을 유지하고 그 날짜 이후에는 누락된 값을 0으로 처리합니다. 그러면 최소한 그래프 오른쪽의 얼룩덜룩함은 피할 수 있을 것입니다.
원본을 재현하다
탐색을 너무 멀리 하기 전에, 저는 WSJ 그래프를 JMP에 있는 그대로 재현해보기로 했습니다. 저는 다음을 해야 했습니다.
- 해당 데이터를 주 약어의 다른 데이터 테이블과 연결합니다.
- 예방접종 시작 날짜에 대한 참조란을 추가합니다.
결과는 꽤 비슷합니다. 주 순서가 약간 다른데, 표시된 약어 대신 우편번호로 주를 정렬하지 않았기 때문입니다. 색상을 주의 깊게 복사하지 않았기 때문에 색상이 다를 수 있습니다. 그리고 물론 누락된 데이터 처리로 인해 누락된 연도가 0으로 변경됩니다.
색상 테마를 다시 만든 후, 그 안에 있는 논리를 어느 정도 볼 수 있었습니다. 무지개 색상 테마는 일반적으로 연속적인 값에 좋지 않습니다. 왜냐하면 서로 다른 색조가 연속적으로 인식되는 대신 범주적으로 인식되기 때문입니다. WSJ 색상 구성표는 본질적으로 세 가지 다른 구성표입니다.
- "높은" 수준을 나타내는 연속적인 노랑-주황-빨강 구성표입니다.
- "낮은" 수준을 나타내는 연속적인 흰색-파란색 구성표입니다.
저는 녹색이 제 인식을 가장 불편하게 하는 것 같아서 녹색 없이 같은 아이디어를 시도해보려고 했습니다.
우리는 여전히 임의의 컷오프를 선택해야 하지만, 저는 녹색이 없는 것이 더 좋습니다. 왜냐하면 분류할 카테고리가 적기 때문입니다. 이 색상은 또한 범위를 3000으로 제한합니다.
색상 변경
진정으로 연속적인 색상 테마는 어떨까요? 로버트 앨리슨은 흰색에서 빨간색으로의 체계를 사용하는데, 이는 타당해 보입니다. 단일 연속 범위의 문제점은 데이터가 왜곡되어 선형 색상 적용은 스케일의 한쪽 끝에서만 차이점을 강조한다는 것입니다. 조각별 선형 스케일을 사용하고 색상 테마를 사용자 지정하면 이를 해결할 수 있습니다.
이상하게도 색상의 범위가 줄어든 덕분에 1945년 전국적인 감소가 더 쉽게 눈에 띕니다.
또한 알파벳순이 아닌 평균 발생률로 주를 정렬해 볼 수도 있습니다. 이렇게 하면 주가 보이는 것만큼 균일하게 영향을 받지 않는다는 것을 더 쉽게 알 수 있습니다.
지금까지 저는 WSJ 원본처럼 연간 발생률을 보여왔습니다. 그러나 누락된 데이터의 양을 감안할 때, Allison이 하는 것처럼 주간 평균을 보여주는 것이 합리적입니다. 그러면 우리가 가진 데이터의 평균만 낼 수 있습니다. 연간 비율을 보여주는 것은 누락된 주의 값을 0으로 처리하는 것과 같습니다. 주간 비율의 동일한 그래프는 다음과 같습니다.
차이는 미묘합니다. 한 가지 예가 1934년 조지아인데, 데이터가 있는 주는 27주뿐이었고, 그 주의 값은 상당히 높았습니다. 원래 1934년 조지아는 누락된 값이 모두 0으로 처리되어 희석되었기 때문에 평균으로 보였지만, 여기서는 높게 보입니다. 진실은 아마도 그 중간일 것입니다. 누락된 값이 0이거나 누락되지 않은 값만큼 높을 가능성은 낮습니다.
엄격한 누락은 누락이라는 접근 방식에는 함정이 없는 것은 아닙니다. 비교를 위해, 여기 주간 평균을 보여주는 Allison의 버전이 있습니다. 1997년 버몬트에서 홍역이 급증한 것을 주목하세요. 그것은 실제로 단지 한 주 동안의 데이터입니다. 다른 모든 주의 데이터는 누락되었습니다. 그래서 나쁜 해처럼 보이지만, 어쩌면 나쁜 주일 뿐일 수도 있습니다.
누락된 데이터의 가변적인 양을 해결하는 가장 좋은 방법은 모르겠습니다. 데이터가 누락되었을 때 사각형을 줄이려고 했습니다. 더 정확한 표현이지만, 추가 복잡성이 그만한 가치가 있는지 잘 모르겠습니다. 게다가 대부분의 경우 크기 차이를 거의 알 수 없습니다.
다른 관점 탐색
원래 제 생각은 시간에 따른 전국적인 막대 그래프를 만드는 것이었습니다. 이 방법은 제가 생각했던 것보다 더 복잡했습니다. 주 발병률을 제대로 집계하려면 연간 인구 수치가 필요했기 때문입니다. 원시 데이터에는 100,000명당 카운트와 비율만 포함됩니다. 저는 카운트를 비율로 나누어 주 인구를 추정할 수 있을 것이라고 생각했지만(방법 1), 비율이 0이거나 매우 작을 때는 실패합니다. 다른 방법(방법 2)은 인구조사국 사이트에서 찾은 몇 가지 과거 인구 수치를 보간하는 것이었습니다. 두 가지를 모두 시도한 후 플롯과 비교했습니다.
10(백만)의 수평선은 카운트가 1이고 비율이 0.01인 해에서 나온 것입니다. 비율은 소수점 두 자리까지만 제공됩니다. 비슷한 문제로 인해 70의 이상치가 발생합니다. 그 해 텍사스에는 카운트가 1이고 비율이 0.00인 주가 여러 개 있었습니다. 저는 두 추정치를 혼합한 공식을 사용했고, 계산된 비율만 고려했기 때문에 비율이 그렇게 작지 않았습니다.
다음은 원래 요점을 꽤 잘 설명하고 있으며, 조용했던 1945년을 포함하여 연간 변화를 더 쉽게 볼 수 있게 해주는 전국 발병률 막대 차트입니다.
나는 뾰족한 선 그래프를 좋아하지 않지만, 다음 그래프의 맥락을 제공하기 위해 여기 하나를 소개합니다. 각 선은 주입니다. 
저는 스무더가 가져오는 덜한 것이 더 많은 철학을 선호합니다. 이 경우 범위는 잃지만, 전반적인 추세와 몇 가지 이상치 상태에 대한 더 나은 감각을 얻게 됩니다.
마무리 생각
이 연구에서는 재현 가능한 연구 의 정신에 따라 내가 수행한 모든 처리 및 그래프 작성 단계의 스크립트를 공유합니다. Measles Study.ZIP은 JMP 사용자 커뮤니티의 The Plot Thickens 에 있는 이 게시물의 원래 버전에 첨부되어 있습니다. 스크립트가 있으면 다양한 누락 값 전략을 쉽게 시도할 수 있습니다. ZIP 파일에는 소스 CSV 파일과 JSL 스크립트, 최종 JMP 데이터 테이블이 포함되어 있으며, 이 데이터 테이블 자체에 그래프 스크립트가 포함되어 있습니다. "Measles Study"라는 스크립트를 실행하여 파일을 다시 만듭니다. "Missing is zero after" 변수를 1975년이 아닌 다른 연도로 변경하여 다른 누락 값 차단값을 시도하거나 전혀 시도하지 않을 수 있습니다.
여기까지 오는 데 약간의 노력이 필요했지만, 더 나은 분석을 위해 더 많은 작업이 필요할 것 같습니다. 예를 들어, 누락된 값 중 일부를 대체하는 데 사용할 수 있는 사례에 계절적 패턴이 있습니다. 주 클러스터 또는 발병 패턴을 찾는 것이 흥미로울 수 있습니다. 시각적으로 범위 밴드가 선보다 더 나을 수도 있습니다. 저는 Andy Kirk가 급격한 감소 없이 데이터에 색 구성표를 시도하는 아이디어를 알아보고 싶습니다. 2002년 이후의 국가 데이터를 사용하는 것은 어떨까요? ...
하지만, 어딘가에서 멈춰야 합니다. 게다가, 모든 데이터가 첨부되어 있으니, 친애하는 독자 여러분, 탐험을 계속하실 수 있을 것입니다.
크리스 글론은 다음과 같이 썼습니다.
매년 데이터를 보여주는 역동적인 미국 지도는 어떨까요? 질병이 어떻게 퍼졌는지, 핫스팟이 어디인지, 어떻게 진화했는지 보여줄 것입니다.
정말 흥미로운 글이네요! 하지만 전통적인 히스토그램이 최고일까요, 아니면 막대형 차트가 최고일까요? 
