Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Real-life data sets usually have all kinds of traps, pitfalls, and gotchas, much like western Canadian weather, waves, and bears. How and where exactly do we start to handle these data cleaning and data preparation tasks?Les ensembles de données réelles comportent généralement toutes sortes de pièges, d'embûches et de pièges, un peu comme la météo, les vagues et les ours dans l'Ouest canadien. Comment et où exactement pouvons-nous commencer à gérer ces tâches de nettoyage et de préparation des données ?
Il y a plusieurs années, je suis parti à l'aventure dans la nature canadienne avec deux de mes bons amis, Steve et Aaron, père et fils, tous deux bûcherons canucks expérimentés. Nous avons chargé tout notre équipement dans le pick-up bien usé d'Aaron et avons roulé tout droit vers le nord à travers les incroyables fjords de la Colombie-Britannique, débarquant dans une gorge alpine isolée et immaculée avec des murs de conifères aromatiques entourant un lac long, profond et cristallin.
Alors que nous partions sur l'eau, un profond sentiment de sérénité et d'évasion a été remplacé par une montée d'adrénaline lorsque le temps est passé soudainement d'un temps chaud et ensoleillé à un vent et une pluie désagréables, froids et violents. Notre kayak et notre canot ont failli chavirer dans les crêtes blanches et nous avons dû pagayer furieusement jusqu'au rivage. Après séchage et regroupement, les quatre jours suivants furent spectaculaires ; nous n'avons pas vu une autre âme pendant tout ce temps, mais avons été témoins d'une étonnante ménagerie de volailles sauvages et d'orignaux, savourant un délicieux kokanee frais cuit à la poêle sur une flamme nue, une falaise sautée dans l'eau glacée et réchauffée pendant des heures dans des sources chaudes naturelles. Nous n'avons attiré aucun grizzli grâce à l'habileté d'Aaron à sceller et à suspendre nos provisions soigneusement nettoyées bien loin du camp chaque nuit. Le temps nous a rattrapés encore quelques fois et je me souviens avoir frissonné jusqu'aux os jusqu'à trouver un abri sûr.
En raison de quelques retards inattendus lors de mon retour, Steve et Aaron m'ont déposé à la hâte et gentiment à mon hôtel du centre-ville de Vancouver, car ma conférence sur les réunions statistiques conjointes en était à la première session. Plusieurs de mes collègues s'enregistraient en même temps et ont dû faire trois prises avant de dire "bonjour", car j'étais complètement malmené et mal rasé avec tout mon équipement sale en remorque. Je ne me souviens pas qu'une douche chaude dans la pièce ait jamais été aussi agréable que celle-là, et c'était également agréable de renouer avec des amis statistiques lors de la conférence, soutenu par un effet naturel venant du grand air.
Je reviens maintenant d’un long voyage d’un genre différent, après avoir tout mis en œuvre pour explorer les eaux agitées entre les statistiques appliquées et la science des données. Mon excursion de deux ans a consisté en une plongée approfondie dans les concours de science des données chez Kaggle et DREAM, et je suis reconnaissant à ces organisations de s'être mises en place dans des formats aussi attrayants. Je voudrais également exprimer ma profonde gratitude à ma famille, à mes amis et à mes collègues de travail pendant les innombrables heures d’« absence ». De nombreuses personnes m'ont encouragé à partager des histoires de réussite et des leçons apprises, et ce long blog est une première tentative dans ce sens.
Un point de départ naturel est le nettoyage et la préparation des données. Construire quelque chose de valable nécessite de se salir et de faire un gros gâchis, n'est-ce pas les enfants ? Il faudra ensuite faire le ménage. Cela est certainement vrai pour les bons ensembles de données, et même les compétitions bien préparées rencontrent de nombreux problèmes. Les ensembles de données réelles sont généralement pires, avec toutes sortes de pièges, d'embûches et de pièges, un peu comme la météo, les vagues et les ours dans l'Ouest canadien. Comment et où exactement pouvons-nous commencer à gérer ces problèmes ?
Divisez pour régner, en explorant une étape à la fois. Un nouveau tutoriel intéressant dans ce sens est disponible dans le récent Défi de nettoyage des données de 5 jours de Rachael Tatman chez Kaggle. Il s'agit d'un traitement convivial et approfondi de plusieurs principaux sujets de nettoyage en utilisant plusieurs ensembles de données intéressants (immobilier, kickstarters, catastrophes naturelles, attentats suicides) comme exemples pratiques et détaillés dans des cahiers Python. Félicitations à Rachael et à ses collègues pour avoir pris le temps de les rassembler dans un ordre et un déroulement logiques.
En poussant vers la destination d’un nettoyage des données vraiment profond, efficace et efficient, j’ai trouvé que l’exploration visuelle interactive et le pointer-cliquer fonctionnel avec une souris étaient extrêmement utiles. Mon outil de prédilection ici est JMP . Cela a été mon arme secrète pour réussir les défis Kaggle et DREAM avec des données tabulaires. Il dispose d'une intégration unique et complexe de graphiques et de statistiques que l'on ne trouve ni dans les packages visuels purs ni dans les langages d'analyse de données comme Python ou R. Grâce à une interaction visuelle pilotée par la souris et à une bibliothèque d'analyses riche et immédiatement pratique, je peux très rapidement découvrir des problèmes cachés et nettoyer les données sales, souvent beaucoup plus efficacement que d'écrire directement du code. De plus, étant un client lourd, JMP réagit instantanément aux actions de la souris sur plusieurs graphiques liés et tableaux de bord intégrés à la volée, essentiels pour vous immerger sans interruption dans vos données et découvrir des saletés parfois néfastes intégrées. JMP est mon outil de premier choix pour tout nouvel ensemble de données tabulaires, même lorsque j'ai l'intention d'écrire du code d'analyse personnalisé.
JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP is my go-to first-look tool for any new tabular data set, even when I intend to write custom analytics code.JMP est mon outil de premier choix pour tout nouvel ensemble de données tabulaires, même lorsque j'ai l'intention d'écrire du code d'analyse personnalisé.
Attendez, un gros problème : qui aime vraiment nettoyer quoi que ce soit ? Un coup d'œil à mon bureau, à mon ordinateur et à des dizaines d'onglets de navigateur ouverts révèle que ce n'est généralement pas ma priorité absolue. Quelqu'un d'autre ou un robot IA ne peut-il pas faire cela pour nous afin que nous puissions passer aux choses amusantes consistant à assembler des modèles d'arbres améliorés par gradient ou à régler une architecture d'apprentissage en profondeur ? Hélas, chaque ensemble de données apporte son propre ensemble de problèmes complexes qui nécessitent une attention humaine réfléchie. J'ai trouvé ici un secret : une grande curiosité pour vraiment comprendre vos données, puis pour les ranger en cours de route au fur et à mesure que vous découvrez des choses, le tout avec un esprit aventureux et la certitude qu'un nettoyage en profondeur conduit presque toujours à un meilleur apprentissage en profondeur. Là encore, la souris peut être puissante et même rendre cela amusant par rapport au temps et à l'énergie nécessaires pour toujours taper et déboguer du code unique avec votre clavier.
j'ai rassemblé une liste de contrôle de nettoyage détaillée que j'utilise chaque fois que j'examine un nouvel ensemble de données spécifiquement pour la modélisation prédictive et j'espère le partager relativement bientôt avec des exemples. De plus, voici quelques liens vers d'excellents supports de nettoyage de données JMP rédigés par mes collègues Don McCormack, Olivia Lippincott, Rob Carver et Trevor Bihl :
