Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?现实生活中的数据集通常有各种各样的陷阱、陷阱和陷阱，就像加拿大西部的天气、海浪和熊一样。 我们到底如何以及从哪里开始处理这些数据清理和数据准备任务？
几年前，我和我的两个好朋友史蒂夫和亚伦父子一起去加拿大荒野探险，他们都是经验丰富的加纳克樵夫。 我们把所有的装备装进亚伦那辆破旧的皮卡里，径直向北行驶，穿过不列颠哥伦比亚省令人惊叹的峡湾，在一个偏远而原始的高山峡谷下车，峡谷周围长满了芳香的常青树，周围环绕着一个长长的、深邃的、晶莹剔透的湖泊。
当我们出发在水面上时，一种深深的宁静和逃避的感觉被肾上腺素激增所取代，因为天气突然从温暖晴朗变成了恶劣、寒冷、狂风大雨。 我们的皮划艇和独木舟几乎在白浪中倾覆，我们不得不奋力划向岸边。 在干燥和重组之后，接下来的四天是精彩的。我们一直没有看到另一个人，但目睹了令人惊叹的野禽和驼鹿动物园，品尝了在明火上煎的美味新鲜的科卡尼，悬崖跳入冰冷的水中，并在天然温泉中恢复了几个小时的温暖。 由于亚伦每晚都会熟练地密封并把我们彻底清洁的食物悬挂在远离营地的地方，所以我们没有引来灰熊。 天气确实又袭击了我们几次，我记得我一直颤抖着直到找到安全的避难所。
由于返回时出现了一些意外的延误，史蒂夫和亚伦匆忙而友善地把我送到温哥华市中心的酒店，因为我的联合统计会议演讲是在第一场会议上。 我的几位同事同时登记入住，在打招呼之前不得不三连拍，因为我全身都被粗暴地对待了，而且身上还带着所有肮脏的装备。 我不记得在房间里洗过一次热水澡的感觉像那次一样好，而且在会议上与统计朋友重新接触，在户外的自然兴奋感的鼓舞下，感觉也很棒。
我发现自己现在刚刚从一次不同类型的漫长旅程中归来，尽了全力探索应用统计学和数据科学之间的波涛汹涌的水域。 我两年的旅行需要深入研究 Kaggle 和 DREAM 的数据科学竞赛，我很感谢这些组织以如此吸引人的形式举办。 我还要在无数个“缺席”时间里向我的家人、朋友和同事致以深深的谢意。很多人一直鼓励我分享成功故事和经验教训，而这个冗长的博客是这方面的第一次尝试。
一个自然的起点是数据清理和准备。 建造一些有价值的东西需要弄脏并弄得一团糟，对吧孩子们？ 然后我们需要进行清理。 对于好的数据集来说确实如此，即使是准备充分的比赛也有很多问题。 现实生活中的数据集通常更糟糕，存在各种陷阱、陷阱和陷阱，就像加拿大西部的天气、海浪和熊一样。 我们究竟如何以及从哪里开始处理这些问题？
分而治之，一步一步探索。 最近的一篇关于这些方面的不错的新教程是可用的5 天数据清理挑战来自 Kaggle 的 Rachael Tatman。 它使用几个有趣的数据集（房地产、kickstarters、自然灾害、自杀式爆炸）作为 Python 笔记本中的详细实践示例，对几个主要清洁主题进行了友好、深入的处理。 感谢 Rachael 和同事花时间将这些内容按照有意义的顺序和流程整合在一起。
为了实现真正深入、有效和高效的数据清理目标，我发现可视化交互式探索和功能性的鼠标点击非常有帮助。 我在这里选择的工具是联合管理计划。 它是我在使用表格数据的 Kaggle 和 DREAM 挑战中取得成功的秘密武器。 它对图形和统计进行了独特而复杂的集成，这是纯可视化软件包或 Python 或 R 等数据分析语言中所没有的。 借助鼠标驱动的视觉交互和即时方便且丰富的分析库，我可以非常快速地发现隐藏的问题并清理脏数据，通常比直接编写代码更有效。 此外，作为一个胖客户端，JMP 可以即时响应跨多个链接图表和内置即时仪表板的鼠标操作，这对于不间断地沉浸在数据中并发现有时恶意嵌入的污垢至关重要。 联合管理计划是任何新表格数据集的首选工具，即使我打算编写自定义分析代码也是如此。
JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.对于任何新的表格数据集，JMP 都是我首选的工具，即使我打算编写自定义分析代码也是如此。
但请稍等，有一个大问题：谁真的喜欢清洁任何东西？ 扫一眼我的办公桌、电脑桌面和数十个打开的浏览器选项卡就会发现，这通常不是我的首要任务。 难道其他人或某个人工智能机器人不能为我们做这件事，这样我们就可以得到集成梯度增强树模型或调整深度学习架构的有趣东西吗？ 唉，每个数据集都会带来不同的混乱问题，需要人类的深思熟虑。 我在这里发现了一个秘密，那就是对真正理解数据的强烈好奇心，然后在发现事物的过程中进行整理，所有这些都带着冒险精神和信心，即深度清理几乎总是会带来更好的深度学习。 与花费时间和精力总是用键盘输入和调试一次性代码相比，鼠标的功能非常强大，甚至可以让这一过程变得有趣。
我已经放在一起了详细的清洁清单每当查看专门用于预测建模的新数据集时，我都会使用它，并希望尽快与示例一起分享。 此外，以下是我的同事 Don McCormack、Olivia Lippincott、Rob Carver 和 Trevor Bihl 提供的一些精彩 JMP 数据清理材料的链接：
很棒的帖子，Russ！为了添加到您的列表中，以下是 Rob Carver 的最新白皮书列表： 使用 JMP 消除数据争论的困扰。
