Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?現實生活中的資料集通常有各種各樣的陷阱、陷阱和陷阱，就像加拿大西部的天氣、海浪和熊一樣。 我們到底如何以及從哪裡開始處理這些資料清理和資料準備任務？
幾年前，我和我的兩個好朋友史蒂夫和亞倫父子一起去加拿大荒野探險，他們都是經驗豐富的加納克樵夫。 我們把所有的裝備裝進亞倫那輛破舊的皮卡里，徑直向北行駛，穿過不列顛哥倫比亞省令人驚嘆的峽灣，在一個偏遠而原始的高山峽谷下車，峽谷周圍長滿了芳香的常綠樹，周圍環繞著一個長長的、深邃的、晶瑩剔透的湖泊。
當我們出發在水面上時，一種深深的寧靜和逃避的感覺被腎上腺素激增所取代，因為天氣突然從溫暖晴朗變成了惡劣、寒冷、狂風大雨。 我們的皮划艇和獨木舟幾乎在白浪中傾覆，我們不得不奮力劃向岸邊。 在乾燥和重組之後，接下來的四天是精彩的。我們從未見過另一個人，但目睹了令人驚嘆的野禽和駝鹿動物園，品嚐了在明火上煎的美味新鮮的科卡尼，懸崖跳入冰冷的水中，並在天然溫泉中恢復了幾個小時的溫暖。 由於亞倫每晚都會熟練地密封並把我們徹底清潔的食物懸掛在遠離營地的地方，所以我們沒有引來灰熊。 天氣確實又襲擊了我們幾次，我記得我一直顫抖著直到我找到安全的避難所。
由於返回時出現了一些意外的延誤，史蒂夫和亞倫匆忙而友善地把我送到溫哥華市中心的酒店，因為我的聯合統計會議演講是在第一場會議上。 我的幾位同事同時登記入住，在打招呼之前不得不三連拍，因為我全身都被粗暴地對待了，而且身上還帶著所有骯髒的裝備。 我不記得在房間裡洗過一次熱水澡的感覺像那次一樣好，而且在會議上與統計朋友重新接觸，在戶外的自然興奮感的鼓舞下，感覺也很棒。
我發現自己現在剛從不同類型的漫長旅程中歸來，盡了全力探索應用統計學和資料科學之間的波濤洶湧的水域。 我兩年的旅行需要深入研究 Kaggle 和 DREAM 的數據科學競賽，我很感謝這些組織以如此吸引人的形式舉辦。 我還要在無數個「缺席」時間裡向我的家人、朋友和同事致以深深的謝意。很多人一直鼓勵我分享成功故事和經驗教訓，而這個冗長的部落格是這方面的第一次嘗試。
一個自然的起點是資料清理和準備。 建造一些有價值的東西需要弄髒並弄得一團糟，對吧孩子？ 然後我們需要進行清理。 對於好的數據集來說確實如此，即使是準備充分的比賽也有很多問題。 現實生活中的資料集通常更糟糕，有各種陷阱、陷阱和陷阱，就像加拿大西部的天氣、海浪和熊一樣。 我們究竟如何以及從哪裡開始處理這些問題？
分而治之，一步一步探索。 最近的一篇關於這些方面的不錯的新教程是可用的5 天資料清理挑戰來自 Kaggle 的 Rachael Tatman。 它使用幾個有趣的資料集（房地產、kickstarters、自然災害、自殺式爆炸）作為 Python 筆記本中的詳細實踐範例，對幾個主要清潔主題進行了友好、深入的處理。 感謝 Rachael 和同事花時間將這些內容按照有意義的順序和流程整合在一起。
為了實現真正深入、有效和高效的資料清理目標，我發現可視化互動式探索和功能性的滑鼠點擊非常有幫助。 我在這裡選擇的工具是聯合管理計劃。 它是我在使用表格資料的 Kaggle 和 DREAM 挑戰中取得成功的秘密武器。 它對圖形和統計進行了獨特而複雜的集成，這是純可視化軟體包或 Python 或 R 等數據分析語言中所沒有的。 借助滑鼠驅動的視覺互動和即時方便且豐富的分析庫，我可以非常快速地發現隱藏的問題並清理髒數據，通常比直接編寫程式碼更有效。 此外，作為一個胖客戶端，JMP 可以即時回應跨多個連結圖表和內建即時儀表板的滑鼠操作，這對於不間斷地沉浸在資料中並發現有時惡意嵌入的污垢至關重要。 聯合管理計劃是任何新表格資料集的首選工具，即使我打算編寫自訂分析程式碼也是如此。
JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.對於任何新的表格資料集，JMP 都是我首選的工具，即使我打算編寫自訂分析程式碼也是如此。
但請稍等，有一個大問題：誰真的喜歡清潔任何東西？ 掃一眼我的辦公桌、電腦桌面和數十個開啟的瀏覽器分頁就會發現，這通常不是我的首要任務。 難道其他人或某個人工智慧機器人不能為我們做這件事，這樣我們就可以得到整合梯度增強樹模型或調整深度學習架構的有趣東西嗎？ 唉，每個資料集都會帶來不同的混亂問題，需要人類的深思熟慮。 我在這裡發現了一個秘密，那就是對真正理解數據的強烈好奇心，然後在發現事物的過程中進行整理，所有這些都帶著冒險精神和信心，即深度清理幾乎總是會帶來更好的深度學習。 與花費時間和精力總是用鍵盤輸入和調試一次性代碼相比，滑鼠的功能非常強大，甚至可以讓這個過程變得有趣。
我已經放在一起了詳細的清潔清單每當查看專門用於預測建模的新資料集時，我都會使用它，並希望盡快與範例分享。 此外，以下是我的同事 Don McCormack、Olivia Lippincott、Rob Carver 和 Trevor Bihl 提供的一些精彩 JMP 資料清理資料的連結：
很棒的帖子，拉斯！要添加到您的清單中，請參閱 Rob Carver 最近的白皮書的清單： 使用 JMP 擺脫數據爭論的困擾。
