Apprenez-en plus dans notre cours en ligne gratuit :
Pensée statistique pour la résolution de problèmes industriels
Dans cette vidéo, vous apprendrez à traiter des données textuelles non structurées à l'aide du fichier Pet Owner.jmp. Cet exemple est basé sur le fichier Pet Survey.jmp, dans la bibliothèque d'exemples de données JMP.
Dans ce scénario, on a demandé à 150 propriétaires de chiens et de chats : "Pensez à votre chat ou à votre chien. Quelle est la première pensée qui vous vient à l'esprit ?"
Les réponses se trouvent dans la colonne Réponse à l'enquête. Étant donné que ces données sont du texte non structuré, le type de modélisation Texte non structuré a été appliqué.
Pour analyser ces données, nous sélectionnons Text Explorer dans le menu d'analyse de JMP.
Nous sélectionnons Survey Response comme colonne de texte.
La langue par défaut est l'anglais, mais d'autres langues sont également disponibles.
Il existe plusieurs options pour la tokenisation, la terminologie et la formulation.
Vous pouvez utiliser les options de phrase pour spécifier le nombre maximum de mots par phrase et le nombre maximum de phrases à afficher.
Vous pouvez utiliser les options de mot pour spécifier la taille de mot minimale et le nombre maximal de caractères par mot.
Vous pouvez utiliser l'option de racine pour combiner automatiquement les termes avec la même racine.
Il y a deux options sous Tokenizing : Regex et mots de base. La valeur par défaut est Regex ou expression régulière. Lorsque Regex est utilisé, les documents sont analysés à l'aide d'expressions et de symboles intégrés, y compris la ponctuation courante, les espaces et les tabulations. Vous pouvez utiliser l'option Personnaliser Regex pour ajouter votre propre expression personnalisée.
Nous allons utiliser les options par défaut et cliquer sur OK.
Dans les coulisses, JMP a tokenisé les données. La ponctuation, l'espacement et les symboles ont été supprimés, ainsi que les mots de base comme "un", "un" et "le".
Le résumé en haut indique le nombre de termes uniques, le nombre de documents (ou cas), le nombre total de jetons et le nombre moyen de jetons par cas.
La liste de termes et la liste de phrases sont également fournies.
Il y a plusieurs phrases intéressantes. Par exemple, l'expression "chasse au canard" a plus de sens que les mots "canard" et "chasse".
Pour ajouter les principales phrases à la liste des termes, nous allons sélectionner les phrases, cliquer avec le bouton droit de la souris et sélectionner Ajouter une phrase.
Examinons de plus près la liste des termes. Nous allons cliquer sur le mot "Terme" dans la liste des termes pour trier par ordre alphabétique.
Au fur et à mesure que nous parcourons la liste, vous pouvez voir quelques erreurs typographiques. Par exemple, le terme "doggs" devrait être orthographié "dogs".
Si vous souhaitez corriger des erreurs typographiques ou combiner des termes ayant la même signification en un seul terme, vous pouvez sélectionner les termes, cliquer avec le bouton droit de la souris et sélectionner Recoder. Par exemple, supposons que nous voulions regrouper ces deux termes en un seul terme, "chiens". Nous allons sélectionner les deux valeurs, cliquer sur Groupe, renommer le groupe "chiens", puis cliquer sur Recoder.
Qu'en est-il des termes "chien" et "chiens", ou "canard" et "canards" ?Ces mots ont la même base, ou racine. Si vous souhaitez combiner des termes avec la même racine, vous pouvez utiliser la racine.
Pour ce faire, nous cliquons sur le triangle rouge supérieur, puis sélectionnons Term Options, Stemming, puis Stemm for Combining.
Le point à la fin des termes indique que les termes radicaux ont été combinés. Lorsque nous positionnons le curseur sur ces termes radicaux, nous voyons la liste des termes qui ont été combinés.
Nous allons cliquer deux fois sur la colonne Nombre pour trier par ordre décroissant. Notez que les principaux termes sont "chat" et "chien". Comme nous savons que ces données proviennent d'une enquête sur les chats et les chiens, ces termes ne sont pas particulièrement utiles.
Pour supprimer ces termes, nous pouvons les ajouter comme mots vides. Pour ce faire, nous sélectionnons les termes,
cliquez avec le bouton droit de la souris et sélectionnez Ajouter un mot vide.
Vous pouvez maintenant voir que les principaux termes concernent les aboiements, la marche, les sauts et les vidéos.
Nous enregistrerons le script de cette analyse dans la table de données afin de pouvoir répéter cette même analyse ultérieurement.
