Gerhard Svolba是一名同事 SAS 他不僅是一位經驗豐富的分析師和充滿愛心的父親,還是SAS Press的作者和熱情的水手。他做過有價值的研究檢測數據質量問題和他們的數據分析的後果 。

帆船賽的開始(照片使用Gerhard Svolba提供)
作為一名統計學家,我非常清楚可靠的數據質量評估的重要性和負擔。因為我正在進行風帆衝浪和潛水,Gerhard和我在見面時總是談論很多。最近,他告訴我,他記錄了他最後一次帆船賽,並提議向我提供日誌文件。我接受了,幾天后我收到了 JMP 數據表(非常友好!),包含他的GPX記錄器中的數據,以及一些有關數據查找內容的建議。

帶有記錄數據的數據表
對我來說,沒有數據文件像GPX日誌一樣無聊。它只是一個時間戳,坐標,速度和指南針標題。
你能從這樣的文件中得到什麼?更糟糕的是,我的標準初始分析 - 將數據帶入Graph Builder - 只顯示了一些奇怪的線條。

奧地利和新錫德爾湖
嗯,縮小圖片顯示,帆船賽發生在一個湖泊 - 奧地利東部地區。是的,格哈德是奧地利人,你不僅要聽他講的話,還要聽他的美妙口音。
回到帆船賽本身。隨著航行,看到比賽如何進行是很有趣的,因為只有一些浮標可以通過,但浮標之間沒有規定的軌道。在本地數據過濾器的幫助下,我可以使用時間戳來跟踪帆船的移動。

Graph Builder中的點,本地數據過濾器和圖表選項
在顯示所有航點的圖表中,我首先從熱點設置“鎖定比例”,因為我不想放大所選區域,而是按照整個航線的路線。

課程的各個部分顯示在不同的滑塊位置
使用滑塊,我選擇了一個很小的時間片並將其移動到刻度上。我可以看到他們如何將船停在該地區的西部,然後向東南方向做了一條長腿,然後是一些黏合在向北急轉彎之前(可能在浮標周圍)進行操縱。他們直奔北部,西北部,然後開始第二輪採用不同的定位策略。

沒有錄音的時間範圍
令我驚訝的是,在第二輪之後所有點都消失了,我找到了一個沒有任何活動的合理時間段。沒有比告訴同事他們的錯誤更有趣了!所以我打電話給格哈德告訴他我的發現。
“好吧,”他說; “我忘了告訴你:數據來自三場比賽,一個接一個。”很高興知道。
現在我想通過數據集中的變量識別不同的種族。沒有什麼比使用JMP的交互功能更容易了。我只是將左滑塊手柄移動到刻度的原點。現在展示了第一場比賽的兩輪比賽。從上下文菜單中,我選擇了“列中的名稱選擇”,將列命名並賦值1。然後我分別為接下來的兩場比賽做了相同的數字2和3,併計算了第四列中所有的總和。現在我能夠在一個圖表中疊加比賽。

數據點的圖形子集和標記

覆蓋三個已識別比賽的圖表
到目前為止,在玩完滑塊和撥打電話之後,我才知道我有三場比賽的數據。一旦我添加了一些主題知識,我也能夠了解我沒有數據的事情。我知道浮標放在哪裡,我有很好的信息,關於風向的方向。
當帆船從後面航行時,帆船應該在地面上獲得最高速度。數據有羅盤標題和速度,所以我看了這些。

在分佈中選擇的西北偏北的課程
風吹向北方向西北方向。考慮到帆船不能提供堅固的地面,我選擇了北方路線周圍的一系列指南針標題,包括300度到360度的高度和20度以下的高度,以找到最快的部分。為了仔細檢查我的選擇,我查看了位置圖並稍微糾正了我的選擇,以便我真正覆蓋了沒有定位的整個距離。

南方大頭釘的北羅盤讀數?
想像一下,當我發現一些選定的數據點出現時,我感到驚訝南行腿當然,因為我以為我只選擇了北方課程。現在我有另一個理由打電話給格哈德,這次答案並不那麼容易。GPX記錄器將其數據導出為未格式化的流。通常標題為兩位小數。但是如果記錄的方向恰好是整數,則該記錄器只是跳過小數位。數據導入首先忽略該行為,並始終將最後兩位數字解釋為小數。例如,34815被正確導入為348.15度,但348被錯誤地導入為3.48度。
這個發現的有趣之處在於它只是通過一些邏輯(選擇北方路線)和一個圖形(顯示帆船的位置)的組合來揭示。僅邏輯就不會發現這個錯誤。如果沒有JMP中的交互式圖形,我們就無法發現這個問題。而對於邏輯部分,則無需編寫代碼;所有這一切都是在直方圖中滑動一些條形圖。
我不會得出結論,使用JMP評估給定數據集的質量很有趣。但至少,JMP讓它變得非常簡單。它提供了您無法使用其他策略或工具的洞察力,並且速度很快。當我被提醒這些數據時,找到問題通常比找出原因更容易。