<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />월스트리트저널(Wall Street Journal)은 최근 " 20세기 전염병 퇴치: 백신의 영향 "에는 주별, 연도별로 선별된 감염병 발생률을 보여주는 일련의 그래프가 포함되어 있습니다. 여기 홍역에 대한 것이 있습니다.
나의 첫인상은 '와, 이 나라에 홍역이 있었는데 백신이 나았구나' 하는 것 같았다. 시각화가 요점을 전달해야 하는 한, 이는 백신의 광범위한 영향을 보여주는 데 성공합니다. 그러나 자세히 볼수록 몇 가지 세부 사항이 나를 괴롭혔습니다.
- 단일 지점을 만들려면 세부 사항이 많이 필요합니다(데이터/잉크 비율이 좋지 않음).
- 무지개 같은 색 구성표로 인해 값을 빠르게 비교하기가 어렵습니다. 즉, 파란색, 녹색, 노란색의 인식 순서가 없습니다.
- 색상 그라데이션은 4000까지 올라가지만 데이터는 3000까지만 올라갑니다.
- 주 이름의 절반이 누락되었습니다.
- 주는 우편번호를 기준으로 정렬되어 있지만 표준 약어로 표시됩니다. 예를 들어 알래스카가 앨라배마보다 앞에 있는 이유도 바로 이 때문입니다.
- 데이터는 백신 접종을 뉴스에 처음으로 올리는 현재의 상승세 이전인 2002년에 중단됩니다.
로버트 앨리슨, " 전염병을 더 좋게 만드는 방법 ," 그리고 앤디 커크," 시각화인가, 아니면 우리가 좋아하는 데이터인가 ," 더 많은 내용을 읽고 싶다면 시각화를 비판적으로 살펴보세요. 저는 JMP에서 데이터를 시각화하는 다른 방법을 시도하면서 데이터를 얻는 데 더 관심이 있었습니다.
데이터 가져오기
다음에서 CSV 파일을 다운로드했습니다. 프로젝트 타이코 , 내가 원했던 것보다 더 많은 문제가 있었습니다. 각 주의 데이터는 두 개의 개별 파일에 있었고 사이트에 로그인이 필요했기 때문에 다운로드 스크립트를 편리하게 작성할 수 없었습니다. 102번의 수동 다운로드 후에 원시 데이터 파일이 생겼습니다.
데이터를 얻은 후 두 가지 놀라운 사실을 발견했습니다.
- 데이터는 연간이 아닌 주간입니다.
- WSJ 그래프가 나타내는 곳뿐만 아니라 전체적으로 누락된 데이터가 있습니다.
나는 데이터가 합리적으로 보이는지 확인하기 위해 몇 가지 논스 그래프를 만드는 것을 좋아합니다. 다음은 주간 발생률 중 하나입니다. 투명성을 높였음에도 불구하고 대부분의 데이터가 10만명당 주당 10건 미만이라고 말하기엔 부족합니다. 하지만 이상값을 볼 수 있으며 그 중 몇 가지에 라벨을 붙였습니다. 나는 그 이상치가 실제인지 아닌지를 알 만큼 주제를 잘 알지 못합니다.
누락된 데이터 처리
실제 그래프를 만들기 전에 누락된 데이터를 처리하기 위한 계획이 필요했습니다. WSJ 그래프는 연도 전체가 누락되지 않는 한 본질적으로 모든 결측값을 0으로 처리합니다. 그런 다음 연도를 약간 다른 색상(연한 파란색 대신 흰색)으로 표시합니다. 나는 다르지만 여전히 인위적인 접근 방식을 취하기로 결정했습니다. 나는 초기에 누락된 데이터가 알려지지 않았을 가능성이 높다고 생각했지만, 나중에는 데이터가 실제로 0이고 질병이 매우 드물기 때문에 보고되지 않았을 가능성이 더 높아 보입니다. 그래서 저는 몇 년(1975년)까지 결측값을 유지하고 그 날짜 이후에는 결측값을 0으로 처리합니다. 그러면 최소한 그래프 오른쪽의 얼룩은 피할 수 있습니다.
원본 재현
더 자세히 알아보기 전에 WSJ 그래프를 JMP에 있는 그대로 재현해 보기로 결정했습니다. 나는해야만했다
- 데이터를 연도별로 요약하다
- 상태 약어의 다른 데이터 테이블과 데이터를 결합합니다.
- 사용자 정의 색상 테마 만들기
- Graph Builder에서 히트 맵 생성
- 예방접종 도입일 기준선 추가
결과는 꽤 가깝습니다. 표시된 약어 대신 우편번호별로 주를 정렬하지 않았기 때문에 주 순서가 약간 다르고, 색상을 주의 깊게 복사하지 않았기 때문에 색상이 약간 다르며, 물론 누락된 데이터 처리로 일부 누락이 변경됩니다. 년에서 0으로.
색상 테마를 재현한 후 그 안에 있는 논리 중 일부를 볼 수 있었습니다. 무지개 색상 테마는 일반적으로 서로 다른 색상이 연속이 아닌 범주적으로 인식되기 때문에 연속 값에 적합하지 않습니다. WSJ 색 구성표는 기본적으로 세 가지 다른 구성표입니다.
- "높은" 수준에 대한 연속적인 노란색-주황색-빨간색 구성표
- "보통" 수준의 경우 녹색이 계속 켜져 있습니다.
- "낮은" 수준에 대한 연속적인 흰색-파란색 구성표
녹색이 내 인식을 가장 방해하는 것 같아서 녹색 없이도 같은 아이디어를 시도해 볼까 생각했습니다.
여전히 임의의 컷오프를 선택해야 하지만 분류할 카테고리가 적기 때문에 그린이 없는 것이 더 좋습니다. 이 색상은 또한 범위를 3000으로 제한합니다.
색상 변경
진정으로 연속적인 색상 테마는 어떻습니까? Robert Allison은 흰색에서 빨간색으로의 구성표를 사용하는데 이는 합리적으로 보입니다. 단일 연속 범위의 문제점은 데이터가 왜곡된다는 것입니다. 따라서 선형 색상 적용은 척도의 한쪽 끝에서만 차이를 강조합니다. 조각별 선형 척도를 사용하고 색상 테마를 사용자 정의하여 이 문제를 해결할 수 있습니다.
이상하게도 색상의 범위가 줄어들면서 1945년의 전국적 하락세를 더 쉽게 확인할 수 있습니다.
알파벳순 대신 평균 발생률을 기준으로 주를 정렬해 볼 수도 있습니다. 이렇게 하면 상태가 보이는 것만큼 균일하게 영향을 받지 않는다는 것을 더 쉽게 알 수 있습니다.
지금까지 WSJ 원본처럼 연간 발생률을 보여 드렸습니다. 그러나 누락된 데이터의 양을 고려하면 Allison처럼 주간 평균을 표시하여 보유한 데이터만 평균화하는 것이 합리적입니다. 연간 요율을 표시하는 것은 누락된 주의 값을 0으로 처리하는 것과 같습니다. 다음은 주간 요율에 대한 동일한 그래프입니다.
차이점은 미묘합니다. 한 가지 예는 1934년 조지아에서 27주에만 데이터가 있었고 해당 주의 값은 상당히 높았습니다. 원본에서 1934년의 조지아는 도입된 모든 0으로 인해 약해졌기 때문에 평균으로만 보였지만 여기서는 높아 보입니다. 진실은 아마도 그 사이에 있을 것입니다. 누락된 값이 0이거나 누락되지 않은 값과 같을 가능성은 거의 없습니다.
엄격한 누락-누락 접근 방식에는 자체 함정이 있습니다. 비교를 위해 여기에 주간 평균을 보여주는 Allison의 버전이 있습니다. 1997년 버몬트에서 홍역이 급증했다는 사실에 주목하십시오. 그것은 실제로 단지 일주일 간의 데이터입니다. 다른 주의 데이터는 모두 누락되었습니다. 그래서 올해는 나쁜 해처럼 보이지만 어쩌면 단지 나쁜 한 주였을 수도 있습니다.
다양한 양의 누락된 데이터를 해결하는 가장 좋은 방법을 모르겠습니다. 데이터가 누락되었을 때 사각형을 축소해 보았습니다. 더 정확한 표현이지만 추가 복잡성이 그만한 가치가 있는지 잘 모르겠습니다. 게다가 대부분의 경우 크기 차이를 거의 알 수 없습니다.
다른 보기 탐색
나의 원래 생각은 시간이 지남에 따라 전국적인 막대 차트를 만드는 것이었습니다. 주 발생률을 적절하게 집계하려면 연간 인구 값이 필요했기 때문에 이것이 생각보다 복잡하다는 것이 입증되었습니다. 원시 데이터에는 100,000당 개수와 비율만 포함됩니다. 개수를 비율로 나눈 값(방법 1)으로 주 인구를 추정할 수 있다고 생각했지만 비율이 0이거나 매우 작으면 실패합니다. 나의 다른 접근 방식(방법 2)은 내가 찾은 몇 가지 역사적 인구 값을 보간하는 것이었습니다. 두 가지를 모두 시도한 후 플롯과 비교했습니다.
10(백만)이라는 수평선은 개수가 1이고 비율이 0.01인 연도에서 나온 것입니다. 요금은 소수점 이하 두 자리까지만 제공됩니다. 유사한 문제로 인해 이상값이 70으로 발생합니다. 텍사스의 해당 연도에는 개수가 1이고 비율이 0.00인 몇 주가 포함되었습니다. 결국 두 추정치를 혼합한 공식을 사용하게 되었는데, 계산된 비율만 고려하면 그 비율은 그리 작지 않았습니다.
다음은 원래 지점을 꽤 잘 설명하고 조용한 1945년을 포함하여 연도별 변화를 더 쉽게 볼 수 있게 해주는 전국 발병률 막대 차트입니다.
나는 뾰족한 선 그래프를 좋아하지 않지만 다음 그래프에 대한 컨텍스트를 제공하기 위한 그래프가 있습니다. 각 줄은 상태입니다.
나는 스무더(Smoother)가 가져오는 적을수록 좋다는 철학을 선호합니다. 이 경우 범위는 손실되지만 일반적인 추세와 몇 가지 이상치 상태를 더 잘 이해할 수 있습니다.
마무리 생각
이 연구를 위해 저는 다음의 정신으로 제가 취한 모든 처리 및 그래프 작성 단계의 스크립트를 공유하고 있습니다. 재현 가능한 연구 . 또한 스크립트가 있으면 다양한 결측값 전략을 쉽게 시도할 수 있습니다. 첨부된 ZIP 파일에는 소스 CSV 파일(입장료만으로도 가치가 있음)과 JSL 스크립트 및 그래프용 스크립트가 포함된 최종 JMP 데이터 테이블이 포함되어 있습니다. "홍역 연구"라는 스크립트를 실행하여 파일을 다시 만듭니다. "를 변경할 수 있습니다. 다음 이후에는 누락이 0입니다. " 다른 결측값 구분을 시도하거나 전혀 적용하지 않으려면 1975년 이외의 다른 연도로 변수를 지정합니다.
여기까지 도달하는 데 약간의 작업이 필요했지만 더 나은 분석을 위해 수행해야 할 작업이 더 많습니다. 예를 들어, 일부 결측값을 대치하는 데 사용될 수 있는 사례에는 계절적 패턴이 있습니다. 상태 클러스터 또는 발생 패턴을 찾는 것이 흥미로울 수 있습니다. 시각적으로 라인보다 범위 밴드가 더 나을 수도 있습니다. 나는 급격한 감소 없이 데이터의 색 구성표를 시도하는 Andy Kirk의 아이디어를 탐구하고 싶습니다. 2002년 이후에는 국가자료를 활용하면 어떨까? ...
하지만 어디선가 멈춰야 합니다. 게다가 첨부된 모든 데이터를 통해 독자 여러분은 탐색을 계속할 것입니다.
