Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Los conjuntos de datos de la vida real suelen tener todo tipo de trampas, escollos y errores, al igual que el clima, las olas y los osos del oeste de Canadá. ¿Cómo y dónde exactamente comenzamos a manejar estas tareas de limpieza y preparación de datos?
Hace varios años, emprendí una aventura en la naturaleza canadiense con dos de mis buenos amigos, Steve y Aaron, padre e hijo, ambos experimentados leñadores de Canuck. Cargamos todo nuestro equipo en la desgastada camioneta de Aaron y condujimos directamente hacia el norte a través de los increíbles fiordos de la Columbia Británica, desembarcando en un desfiladero alpino remoto y prístino con paredes de árboles de hoja perenne aromáticos que rodeaban un lago largo, profundo y cristalino.
Cuando salimos al agua, un profundo sentimiento de serenidad y escape fue superado por una oleada de adrenalina cuando el clima cambió repentinamente de cálido y soleado a viento y lluvia desagradables, fríos y fuertes. Nuestro kayak y nuestra canoa estuvieron a punto de volcarse en las cabrillas, y tuvimos que remar furiosamente hasta la orilla. Después de secarse y reagruparse, los siguientes cuatro días fueron espectaculares; no vimos otra alma en todo el tiempo, pero fuimos testigos de una asombrosa colección de aves salvajes y alces, saboreamos el delicioso kokanee fresco cocinado en una sartén sobre una llama abierta, saltamos del acantilado al agua helada y recalentamos durante horas en aguas termales naturales. No atrajimos osos grizzly gracias a la habilidad de Aaron para sellar y colgar nuestras provisiones bien limpias bien lejos del campamento cada noche. El clima nos atrapó unas cuantas veces más, y recuerdo temblar hasta los huesos hasta encontrar un refugio seguro.
Debido a algunos retrasos inesperados al regresar, Steve y Aaron me dejaron apresuradamente y amablemente en mi hotel en el centro de Vancouver, ya que mi charla en las Reuniones estadísticas conjuntas estaba en la primera sesión. Varios de mis colegas se estaban registrando al mismo tiempo, y tuvieron que hacer tomas triples antes de decir "hola", ya que estaba completamente maltratado y sin afeitar con todo mi equipo sucio a cuestas. No recuerdo que una ducha tibia en la habitación se sintiera tan bien como esa, y también se sintió genial volver a conectar con los amigos de la conferencia en la conferencia animada por un subidón natural del aire libre.
Ahora me encuentro regresando de un largo viaje de un tipo diferente, después de haber hecho un esfuerzo total para explorar las aguas agitadas entre la estadística aplicada y la ciencia de datos. Mi excursión de dos años implicó una inmersión profunda en las competencias de ciencia de datos en Kaggle y DREAM, y estoy agradecido con estas organizaciones por organizarse en formatos tan atractivos. También me gustaría extender un gran aprecio a mi familia, amigos y compañeros de trabajo durante innumerables horas de “ausencia”. Bastantes personas me han animado a compartir historias de éxito y lecciones aprendidas, y este extenso blog es un primer intento de hacerlo.
Un lugar natural para comenzar es la limpieza y preparación de datos. Construir algo que valga la pena requiere ensuciarse y hacer un gran desastre, ¿verdad, niños? Entonces tenemos que limpiar. Esto es cierto para los buenos conjuntos de datos, e incluso las competiciones bien preparadas tienen numerosos problemas. Los conjuntos de datos de la vida real suelen ser peores, con todo tipo de trampas, escollos y errores, al igual que el clima, las olas y los osos del oeste de Canadá. ¿Cómo y dónde exactamente comenzamos a manejar esto?
Divide y vencerás, explorando un paso a la vez. Un buen tutorial nuevo en este sentido está disponible en el reciente Desafío de limpieza de datos de 5 días de Rachael Tatman en Kaggle. Es un tratamiento amigable y en profundidad de varios de los principales temas de limpieza utilizando varios conjuntos de datos interesantes (bienes raíces, kickstarters, desastres naturales, atentados suicidas) como ejemplos prácticos detallados en cuadernos de Python. Felicitaciones a Rachael y sus colegas por tomarse el tiempo para armarlos en un orden y flujo que tiene sentido.
Empujando hacia el destino de una limpieza de datos verdaderamente profunda, efectiva y eficiente, he encontrado que la exploración interactiva visual y el apuntar y hacer clic funcional con un mouse son extremadamente útiles. Mi herramienta de elección aquí es JMP . Ha sido mi arma secreta para el éxito en los desafíos de Kaggle y DREAM con datos tabulares. Tiene una integración única e intrincada de gráficos y estadísticas que no se encuentran en paquetes visuales de juego puro o lenguajes de análisis de datos como Python o R. Con la interacción visual impulsada por el mouse y una biblioteca de análisis útil y rica de inmediato, puedo descubrir rápidamente problemas ocultos y limpiar datos sucios, a menudo de manera mucho más eficiente que escribir código directamente. Además, al ser un cliente pesado, JMP responde instantáneamente a las acciones del mouse en múltiples gráficos vinculados y paneles integrados sobre la marcha, lo que es esencial para sumergirse ininterrumpidamente en sus datos y descubrir, a veces, la suciedad incrustada. JMP es mi herramienta de primera vista para cualquier nuevo conjunto de datos tabulares, incluso cuando tengo la intención de escribir un código de análisis personalizado.
JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP es mi herramienta de primera vista para cualquier nuevo conjunto de datos tabulares, incluso cuando tengo la intención de escribir un código de análisis personalizado.
Espera, sin embargo, un gran problema: ¿A quién realmente le gusta limpiar algo? Un vistazo a mi escritorio, el escritorio de la computadora y docenas de pestañas abiertas del navegador revela que, por lo general, no es mi principal prioridad. ¿No puede alguien más o algún bot de IA hacer esto por nosotros para que podamos pasar a la parte divertida de ensamblar modelos de árboles potenciados por gradientes o ajustar una arquitectura de aprendizaje profundo? Por desgracia, cada conjunto de datos trae su propio conjunto diferente de problemas complicados que requieren una atención humana reflexiva. Encontré un secreto aquí que es una gran curiosidad por comprender realmente sus datos y luego ordenarlos en el camino a medida que descubre cosas, todo con un espíritu aventurero y la confianza de que la limpieza profunda casi siempre conduce a un mejor aprendizaje profundo. Una vez más, el mouse puede ser poderoso e incluso hacer que esto sea divertido en comparación con tomarse el tiempo y la energía para escribir y depurar siempre un código único con su teclado.
he reunido una lista de verificación de limpieza detallada que uso cada vez que miro un nuevo conjunto de datos específicamente para el modelado predictivo y espero compartirlo relativamente pronto junto con ejemplos. Además, aquí hay algunos enlaces a algunos excelentes materiales de limpieza de datos de JMP de mis colegas Don McCormack, Olivia Lippincott, Rob Carver y Trevor Bihl:
