Les données saisies manuellement ne sont généralement ni propres ni cohérentes. Même lorsque les données sont entrées par des champs à choix multiples plutôt que par des champs de saisie de texte, des travaux supplémentaires peuvent être nécessaires si elles sont combinées avec des données qui peuvent ne pas utiliser les mêmes catégories dans toutes les sources. Parfois, les mêmes catégories sont orthographiées différemment, abrégées différemment, capitalisées différemment ou simplement mal saisies, ce qui entraîne beaucoup plus de catégories et une analyse non valide lorsqu'elles sont utilisées dans un modèle.
Par exemple, considérons le champ client dans les données "Bandes de cylindre" qui peut être téléchargé depuis le laboratoire UCI Machine Learning (à l’origine de Bob Evans, RR Donnelly & Sons).
Lorsque vous importez ces données, vous constaterez qu'il existe 83 valeurs uniques de "Client". Il y a beaucoup moins de clients que cela - il y a simplement plusieurs codages du même client. Par exemple, le client Abbey Press est codé de trois manières: «ABBEY», «ABBEYPRESS» et «ABBYPRESS».
Dans les premières versions de JMP, nous utilisions des astuces pour recoder les valeurs. Par exemple, nous pourrions copier “ABBEYPRESS” dans le presse-papiers, puis utiliser un histogramme pour sélectionner les lignes correspondant à “ABBEY”, sélectionner la colonne “Client” puis coller, ce qui changerait chaque “ABBEY” en “ABBEYPRESS”.
Une fois que la commande Recode est devenue disponible, nous n'avons plus qu'à copier «ABBEYPRESS» et à le coller dans les autres valeurs de recodage pour «ABBEY» et «ABBYPRESS» dans la boîte de dialogue Recode.
Tout cela fonctionne si vous n'avez pas trop de catégories, mais que se passe-t-il si vous avez des centaines de catégories? Il peut être très laborieux d’effectuer toutes ces copies et ces pâtes.
Il existe deux manières très importantes d’améliorer le recodage dans la nouvelle fonction Recode de JMP 12.
Tout d'abord, vous pouvez créer un groupe entier en sélectionnant toutes les valeurs de recodage et en cliquant avec le bouton droit de la souris pour sélectionner la catégorie choisie. Maintenant, ils apparaissent comme un groupe, tous ensemble, même si les valeurs d'origine ont été séparées. Plus besoin de copier et coller; c'est simplement sélectionner et choisir, les résultats formant un groupe visible.
Mais la fonctionnalité vraiment étonnante du nouveau Recode est celle qui vous permet de rechercher automatiquement des groupes de valeurs similaires.
Dans cet exemple, la fonction a automatiquement formé 16 groupes. Vous pouvez ensuite vérifier si les groupes résultants ont toutes les catégories souhaitées, mais pas trop.
Comment détermine-t-il les valeurs à combiner? Il examine chaque paire d'étiquettes de catégorie et détermine la distance d'édition entre les deux chaînes de caractères. Également appelée distance de Levenshtein, il s'agit du nombre minimal d'opérations d'édition à convertir d'une chaîne à l'autre. Lorsque vous exécutez la commande “Group Similar Values”, une boîte de dialogue s'affiche pour vous permettre de choisir le type de modification à prendre en compte lors du calcul de cette distance et le critère à utiliser pour l'appeler correspondance. Les choix par défaut pour cette boîte de dialogue fonctionnent généralement bien.
Certains des groupes ont été parfaitement réalisés, comme pour «ECKERD»:
Parce que “ABBEY” est si différent de “ABBEYPRESS”, il ne satisfait pas le critère pour les combiner. Vous devez donc sélectionner et faire un clic droit sur “Groupe” pour le faire.
De même, l’abréviation de «CAS» pour «CASUAL» n’apparaît pas dans ces deux catégories:
Et il n’a reçu que cinq des six «HANVERHOUSES»:
Bien que vous deviez vérifier les résultats, la fonctionnalité automatisée en récupère la plupart.
Après recodage, nous avons réduit le nombre de catégories de 83 à 56.
Une inspection plus minutieuse révèle que d’autres recodages sont nécessaires; en fait, les entrées après la ligne 503 semblent être passées des majuscules aux minuscules. En cliquant tout en maintenant la touche Ctrl enfoncée sur l'élément de menu «Convertir en minuscule», nous pourrons tous les réparer.
Au fur et à mesure que vous avancez dans des tables de données plus volumineuses nécessitant un nettoyage, il peut s'avérer très utile de disposer de fonctionnalités automatisées telles que «Group Similar Values» (Valeurs similaires au groupe) et d'un flux d'interface utilisateur amélioré, tels que la sélection et le regroupement au lieu de la copie et de la copie multiple.
(Les nouvelles fonctionnalités de Recode, introduit dans un article de blog précédent, ont été mis en œuvre par James Preiss.)
Remarque: Cela fait partie d'un Big Statistics série d'articles de blog de John Sall. Lire tout son Big statistiques posts .
Emil Friedman a écrit:
Cela rendra la vie beaucoup plus facile. Merci.
Un problème similaire se produit lors de la concaténation de plusieurs fichiers (Tables-> Concaténation) dans lesquels les noms de colonne sont presque identiques. Je finis par écrire des formules de colonne qui recherchent des versions alternatives de la même métrique et renvoient celle qui ne manque pas. C'est beaucoup plus sûr que copier / coller et me donne une piste de documentation. Je me demande si ce genre de chose pourrait être intégré dans une future version.
