Le nettoyage des données de texte est une étape peu glorieuse mais importante des statistiques et des analyses. Les données saisies manuellement sont pleines d'orthographes, d'erreurs typographiques et d'incohérences. Même les données générées par la machine peuvent poser problème si deux sources de données ne sont pas d’accord sur le formatage. Les erreurs doivent être corrigées avant l'analyse des données, car la moindre différence fait que deux éléments de texte semblent différents de l'ordinateur. Un New York Times 2014 article On estime que les scientifiques consacrent 50 à 80% de leur temps à nettoyer les données.
Nous reconnaissons que le nettoyage des données est une étape critique. Nous avons donc ajouté plusieurs nouvelles fonctionnalités à JMP 12 pour faciliter les choses. La commande Recode révisée dans JMP est l'un d'eux. Nous avons étendu Recode avec des algorithmes de nettoyage automatique des données et une interface utilisateur améliorée pour les tâches de nettoyage manuel.
La nouvelle commande "Group Similar Values" de Recode corrige automatiquement les petites erreurs de saisie de données. Les typos et les orthographes incohérentes apparaissent sous la forme d'un petit nombre de caractères manquants, supplémentaires ou incorrects dans un texte par ailleurs identique. Par exemple, le "rythme" mal orthographié peut être corrigé en "rythme" en supprimant le caractère "i". Les valeurs similaires au groupe identifient de telles erreurs dans la table de données et les regroupent, ce qui permet de deviner l'orthographe correcte du groupe. Il offre un contrôle manuel du seuil de différence, ainsi que des espaces, de la ponctuation et de la casse.
Les outils automatiques permettent d'économiser des efforts considérables, mais ils ne peuvent pas toujours obtenir la bonne réponse. Dans ces cas, nous avons repensé l'interface utilisateur pour la modification manuelle, ce qui facilite le travail avec de grands ensembles de données et vérifie que les valeurs recodées sont correctes.
Capture d'écran de Recode montrant les résultats des valeurs similaires du groupe avec certains groupes réduits.
Le nouvel "affichage groupé" de Recode indique clairement lorsque deux chaînes différentes sont recodées dans la même chaîne. Les groupes peuvent être réduits ou filtrés par une requête de recherche, ce qui permet de se concentrer facilement sur des domaines d'intérêt au sein d'un grand ensemble de données. Le menu contextuel permet de contrôler manuellement la création et le fractionnement de groupes. Chaque opération est maintenant annulable.
Enfin, nous avons ajouté de nombreuses nouvelles méthodes pour enregistrer, charger, modifier et fusionner les scripts Recode pour les tâches répétitives de nettoyage des données. Les scripts peuvent maintenant être enregistrés dans un fichier autonome en plus du tableau de données. Le chargement d'un script dans la boîte de dialogue Recoder affiche l'effet du script sur les données de la table en cours et permet une édition ultérieure. Les scripts peuvent être fusionnés intelligemment lors du chargement ou de la sauvegarde.
Note de l'éditeur: Ce post fait partie d'un série d'aperçus de JMP 12 écrit par les personnes qui développent le logiciel.
Melvin Alexander a écrit:
J'ai récemment donné une présentation avec une table de données (contenant des scripts intégrés) et un diaporama décrivant des façons de nettoyer et de transformer des données la fonction SVD (), etc.).
La présentation est située à:
https://community.jmp.com/docs/DOC-7473
J'espère que cela t'aides
James Preiss a écrit:
Bonjour Michael, merci pour vos commentaires. Nous n'avons actuellement aucun exemple de nettoyage de données importées de bases de données ou d'Excel. Le sujet est sur notre liste de suggestions pour la prochaine version. En attendant, il y aura un post plus détaillé sur Recode après JMP 12. Si vous (ou des lecteurs) avez des exemples de données ou un problème de nettoyage de texte que vous souhaitez partager, publiez-les dans la rubrique Communauté d'utilisateurs JMP afin que nous puissions en apprendre davantage sur les besoins de nos clients en matière de nettoyage des données.
Michael Clayton a écrit:
Merci pour l’effort de rendre les données compliquées plus faciles à analyser.
Espérons que les outils d’aide sont également mis à jour, et peut-être de nouveaux tutoriels, études de cas, etc. sur tout ce qui touche à TOUT moyen de déplacer des données en désordre à partir de DB ou d’Excel (généralement) et de les réorganiser au besoin.
