现实生活中的数据集通常具有各种陷阱，陷阱和陷阱，就像加拿大西部的天气，海浪和熊熊一样。我们如何以及在何处开始处理这些数据清理和数据准备任务？
几年前，我和我的两个好朋友，父亲和儿子史蒂夫和亚伦一起去了加拿大荒野冒险，他们都是经验丰富的加纳克wood夫。我们将所有装备装入亚伦的破旧皮卡中，直驶向北，穿越不列颠哥伦比亚省令人惊叹的峡湾，在偏远原始的高山峡谷中下车，四周是芳香的常绿植物壁，环绕着长长而深且晶莹剔透的湖泊。
当我们踏上水面时，由于天气突然从温暖和晴朗变为讨厌，寒冷，狂风和雨水，肾上腺素激增使人们对宁静和逃脱的深刻感觉被取代。我们的皮划艇和独木舟几乎翻倒在白浪中，我们不得不疯狂地划桨到岸边。干drying并重新分组后，接下来的四天非常壮观；我们一直没有看到另一个灵魂，而是目睹了令人惊叹的野禽和驼鹿的传说，品尝了在明火下煮熟的美味可口的新鲜kokanee，悬崖跳入冰冷的水中，并在天然温泉中重新加热了数小时。得益于Aaron的灵巧的密封和每天晚上都远离营地的彻底清洁的食物的悬挂，我们没有遇到任何灰熊。天气确实使我们住了几次，我回想起一直颤抖，直到找到安全的庇护所。
由于回国时出了一些意外的延误，自从我的联合统计会议的演讲是在第一场会议之后，史蒂夫和亚伦就匆匆忙忙地将我送下了我在温哥华市区的旅馆。我的几个同事在同一时间检查登机，并且在我说“嗨”之前不得不做三下，因为我已经完全被拖走了，所有的脏衣服都被剃光了。我不记得房间里曾经有过那种温暖的淋浴，而且在户外自然高涨的推动下，与会议的主要朋友重新接触也感到非常高兴。
我发现自己现在已从另一种漫长的旅程中回来，全力以赴地探索了应用统计与数据科学之间的波澜起伏的水域。两年的旅行使我深入了Kaggle和DREAM的数据科学竞赛，对于这些组织以如此吸引人的形式成立，我深表感谢。我还要在无数小时的“缺勤”中向我的家人，朋友和同事致以深深的谢意。不少人一直在鼓励我分享成功的故事和经验教训，这个冗长的博客是对此的第一次尝试。
一个自然的起点是数据清理和准备。建立有价值的东西需要变脏并弄得一团糟，对的孩子？然后，我们需要清理。可以肯定的是，好的数据集确实如此，即使准备充分的比赛也有很多问题。现实生活中的数据集通常更糟，存在各种陷阱，陷阱和陷阱，就像加拿大西部的天气，海浪和熊熊一样。我们如何以及在何处开始处理这些问题？
分而治之，一次探索一步。最近的版本提供了一个不错的新教程。 5天数据清理挑战来自Kaggle的Rachael Tatman。它是使用几个有趣的数据集（房地产，kickstarter，自然灾害，自杀炸弹）作为Python笔记本中动手的详细示例，对几个主要的清洁主题进行了友好而深入的处理。感谢Rachael及其同事花时间将它们整理成有意义的顺序和流程。
我朝着真正深入，有效和高效的数据清理的目标迈进，发现使用鼠标进行视觉交互式探索和功能性点击非常有用。我在这里选择的工具是 JMP 。它一直是我在表格数据方面成功完成Kaggle和DREAM挑战的秘密武器。它具有独特的，复杂的图形和统计信息集成，这些视图和统计信息在纯可视化软件包或Python或R之类的数据分析语言中都找不到。借助鼠标驱动的可视化交互以及立即方便且丰富的分析库，我可以非常迅速地发现隐藏的问题和清除脏数据，通常比直接编写代码要有效得多。此外，作为一个胖客户端，JMP可即时响应多个链接图和动态仪表板上的鼠标动作，这对于不间断地将自己沉入数据中并发现有时有害的嵌入式污垢至关重要。 JMP 是我用于所有新表格数据集的首选工具，即使我打算编写自定义分析代码也是如此。
对于任何新的表格数据集，JMP都是我的首选工具，即使我打算编写自定义分析代码也是如此。
不过，还有一个大问题：谁真的喜欢清洁任何东西？一眼看向我的办公桌，计算机桌面和数十个打开的浏览器选项卡，可以发现通常这并不是我的首要任务。别人或某个AI机器人不能为我们做到这一点，这样我们就可以得到有趣的东西，例如组合梯度增强树模型或调整深度学习架构吗？las，每个数据集都有各自不同的麻烦问题，需要引起人类的深切关注。我发现这里的一个秘诀是非常好奇，真正了解您的数据，然后在发现事物时进行整理，所有这些都具有冒险精神和信心，深层清洁几乎总能带来更好的深度学习。同样，与花时间和精力来始终用键盘键入和调试一次性代码相比，鼠标可能强大，甚至使它变得有趣。
我们整理了一份详细的清理清单，供我在查看专门用于预测建模的新数据集时亲自使用，并希望与示例一起在不久的将来分享。我的同事Don McCormack，Olivia Lippincott，Rob Carver和Trevor Bihl：
伟大的帖子，拉斯！要添加到列表中，下面是Rob Carver最近的白皮书列表： 使用JMP摆脱数据争用 。
感谢您的分享，Russ。
了解JMP中这些工具的人们几乎比其他任何人都更欣赏它们。一个JMP用户曾经告诉我，他向同事展示了如何使用Recode，他们“好像他是上帝一样”看着他！
顺便说一句，不列颠哥伦比亚省听起来很棒。
菲尔
