重新創建圖表是我的一個愛好。它都有助於我測試極限 JMP 並提高我自己的數據處理和可視化技能。這一次,有第三個好處:在已發布的圖表中發現重大數據錯誤。
我最近看到這個有趣的蚊子趨勢圖作為文章的一部分,“ 當蚊子在你的州咬人的時候 ,“華盛頓郵報的Wonk博客。它顯示谷歌搜索州的“蚊子”一詞的趨勢,每個州都有不同的規模。

這不是一個典型的分析圖,但我認為佈局對Graph Builder的小倍數分組是一個很好的測試,我對整體缺乏地理模式感到好奇。例如,文章提到田納西州與鄰國不同,其他州也是如此。使用地圖的要點是顯示地理模式,但這裡的連接相當薄弱。
獲取數據
該文章很好地包含了一個指向Google趨勢頁面的鏈接蚊子趨勢對於整個美國,那個頁面很好地有一個以CSV格式下載菜單項。
然而,這就是獲得數據的好處。每個狀態趨勢都在一個單獨的頁面上,沒有單獨的下載URL,而CSV文件實際上不是純CSV文件。至少狀態URL遵循一種模式,因此我編寫了一個腳本來在Web瀏覽器的單獨選項卡中打開每個狀態。然後我不得不手動點擊以CSV格式下載每個選項卡的菜單項。每個“CSV”遵循常規模式,其中包括一些描述性文本和多個嵌入式表。一個示例代碼段:
Web Search interest: Mosquito
Wisconsin (United States) 2014-2015
Interest over time
Week,Mosquito
2014-01-05 - 2014-01-11,4
2014-01-12 - 2014-01-18,3
2014-01-19 - 2014-01-25,4
...
2015-12-27 - 2016-01-02,4
Top metros for Mosquito
Metro,Mosquito
Duluth MN-Superior WI,100
Wausau-Rhinelander WI,85
幸運的是,JMP的文本導入嚮導讓我告訴它要跳過多少行以及要讀取多少行。在嚮導中執行一次之後,我查看了生成的腳本,並能夠將其置於循環中以相同的方式讀取其他文件:
Open( "report (" || Char(i) || ").csv",
Columns( Column( "Week", Character), Column( "Mosquito") ),
Import Settings( Column Names Start( 5 ),
Data Starts( 6 ), Lines To Read( 104 ) )
);
在完成所有這些並將第一個字段拆分為單獨的開始和結束日期之後,我可以將所有表連接成一個包含所有狀態數據的大表,這是兩週的每週數據。
首先看看數據
在這個以年份為重疊的小倍數折線圖中,我們可以很好地看到所有數據。

我們沒有地理安排,但我們已經可以看到足以與原始版本進行比較,並且有兩個功能對我來說很突出:
- 有時在一個州(特別是亞利桑那州和夏威夷州),年份差異很大。
- 田納西州沒有原始的尖銳。
第一個觀察結果表明,我們可能需要更多年的數據才能確定文章稱之為“典型”的年份,而我還沒有追求這一點。第二項更神秘。我最初認為這是分檔的工件,因為原始圖表按月而不是按周顯示數據,但是當我仔細觀察數據時,這並沒有成功。我在田納西州的Google趨勢頁面上仔細檢查了我的圖表,他們同意了。我繼續,希望找到差異的根源。
安排國家
上圖使用Graph Builder中的Group Wrap角色按字母順序排列網格中的狀態。為了完全控制,我為每個狀態分配了行和列值,並在組Y和組X角色中使用這些值。

為了近似原始圖表,我從疊加線切換到平滑區域圖表。(我沒有做酒吧,因為我還沒有嘗試過幾周到幾個月的轉換 - 或者也許有辦法從谷歌趨勢中獲取月度數據。)這足以讓我注意到我的一些州看起來像原來的其他州。最初的田納西州和俄亥俄州看起來很像我的南達科他州和北達科他州;賓夕法尼亞州原來看起來很像我的俄勒岡州。幸運的是,我發現了一種模式。原始圖表的狀態按字母順序排列!
無論如何,差不多。經過進一步研究,我只意識到了各州後哥倫比亞特區一個人關閉。我們的圖表同意其他州。巧合的是,我的數據中也有類似的錯誤,我曾兩次下載DC數據,而我的初始圖表卻被一個之前 DC。奇怪的。過了一些 Twitter消息 ,作者證實了我的發現,並迅速更新了Wonk Blog帖子圖和評論。
擴展數據
在Google趨勢的數據中,每個州的興趣級別都會縮放,因此最大值為100。這意味著各個州的數量級別與您所期望的小倍數圖表無法相比。在這種情況下,可以比較模式(例如,尖刺)。
如何將狀態數據轉換為相同的比例?整個美國的Google趨勢頁麵包含每個州的摘要級別列表。如果這些摘要代表每個州的平均值,我們可以用比例因子進行調整。這是所有州在共同規模上的結果。

請注意,我還使用了自己設計的不同狀態佈局,試圖讓我的家鄉北卡羅來納州更加真實。在等大小矩形的約束下,不可能保留所有地理屬性。原始圖表中的佈局來自Jon Schwabish at PolicyViz 並且具有良好的特性,整體形狀類似於該國家的整體形狀。
鑑於許多曲線的薄度,我根據狀態的平均值添加了背景顏色,除了允許每年模式的大圖片視圖外,還有助於將區域固定在其單元格中並使標籤清晰。

獲得的見解
儘管Wonk博客的文章清楚地表明Google趨勢數據可能無法代表任何現實世界的趨勢,但通過重做分析,我確實獲得了一些我從原始文章和圖表中無法獲得的見解:
我意識到自己重新製作圖形和分析並不總是切實可行,但這是真正理解數據細微差別的好方法。
Xan Gregg 中寫道:
確實。他們有文本的複制編輯和事實檢查員(不是嗎?),但數據和圖表提出了更難的質量問題。
羅伯特艾莉森中寫道:
這是好東西,Xan!- Kinda讓你想知道國家新聞來源中有多少其他圖表中存在數據完整性錯誤!