Text Explorer est utile pour explorer du texte non structuré, comme des champs de réponse libre d'enquête ou des rapports d'incident, afin d'en comprendre le sens. Il s'agit souvent d'un processus itératif, dans lequel vous alternez entre la conservation et l'analyse d'une liste de termes et d'expressions.
Consultez deux études de cas (Europe Vacation et Which Wine?) pour voir comment :
Kemal @kemal_oflus , Olivia @O_Lippincott et Ross @Ross_Metusalem ont répondu aux questions lors des webinaires en direct :
Q : Comment puis-je voir le menu de l’Explorateur de texte ?
R : Dans Fichier > Préférences, cliquez sur le groupe Menu à gauche. Vérifiez si « Modélisation avancée » est coché ou non. Si ce n'est pas le cas, cochez la case et cliquez sur OK. Les préférences du menu vous permettent d'afficher ou de masquer des éléments de menu pour personnaliser votre interface JMP.
Q : Est-il possible de définir une préférence utilisateur pour toujours utiliser par défaut une disposition centrée pour le nuage de mots ?
R : Oui, sous Fichier > Préférences, vous pouvez définir des préférences de plateforme spécifiques. Sous la plateforme Text Explorer, dans les préférences, il existe une option permettant de modifier la mise en page par défaut en la centrant pour le nuage de mots.
Q : Pourriez-vous s'il vous plaît expliquer comment configurer correctement la colonne binaire et son utilisation pour l'analyse ?
R : La matrice de termes du document fournit une colonne binaire pour chaque terme de la liste de termes. Cela transforme le texte en un ensemble de données numériques qui peut être utilisé dans la modélisation ou la création de graphiques. Consultez également les questions-réponses dans la vidéo à environ 32:20 pour plus de détails.
Q : Qu'est-ce que la matrice des termes locaux dans le document ?
R : Local utilise uniquement les mots vides dans la plateforme Text Explorer actuelle. Si vous souhaitez utiliser les mots vides avec un autre ensemble de données ou un autre lancement de la plateforme avec la table actuelle, vous pouvez créer une bibliothèque utilisateur avec l'option utilisateur. Consultez également les questions-réponses dans la vidéo à environ 32:20 pour plus de détails.
Q : Puis-je utiliser RegEx pour explorer du texte ?
R : Oui. Un article de blog sur le nettoyage des données fournit quelques informations, tout comme cette présentation du Discovery Summit .
Q : Le présentateur a utilisé la pondération binaire dans l'analyse initiale du texte, mais a utilisé la méthode TF IDF pour l'analyse SVD. Devriez-vous vous en tenir à une seule pondération tout au long de l'analyse, ou est-il utile d'utiliser des pondérations différentes pour différentes parties de l'analyse ?
R : TF IDF est la pondération par défaut pour une analyse SVD. Binaire est la valeur par défaut, sauf si une analyse SVD a été exécutée. Les autres options de pondération ont des cas d'utilisation spécifiques. Consultez également les questions-réponses dans la vidéo à environ 32:20 pour plus de détails.
Q : Avez-vous envisagé d’ajouter une fonctionnalité pour le texte « codé »/la cryptographie afin d’aider à reconnaître et à analyser les modèles dans le texte codé ?
R : Certains de ces problèmes peuvent être résolus en utilisant des expressions régulières personnalisées. Il existe une option pour cela dans la fenêtre de lancement initiale. Vous pouvez alors apprendre à JMP comment identifier de nombreux modèles et ce qu'il doit faire lorsqu'il les trouve.
Q : Pouvez-vous faire un nuage de mots pour les phrases au lieu des mots ?
R : Le nuage de mots utilise la liste de termes pour générer le nuage de mots. Si vous ajoutez des phrases à la liste de termes comme Kemal l'a fait dans l'exemple, le nuage de mots affichera également les phrases.
Q : Avez-vous l'habitude de modifier les options par défaut de l'explorateur de texte (nombre maximal de caractères par mot, radicalisation, nombre maximal de mots par phrase) ? En général, je les laisse telles quelles et je me demande s'il est important de les modifier.
R : Dans la plupart des cas, je les laisse tels quels, à l'exception du nombre minimum de caractères par mot. Les experts en la matière peuvent avoir leur mot à dire ici. Si vous souhaitez personnaliser une expression régulière et que vous avez des termes uniques, vous pouvez les personnaliser. Voir la vidéo ci-dessous.
Q : L’analyse des sentiments est-elle disponible uniquement dans JMP Pro ?
R : Oui, découvrez-en plus sur l’analyse des sentiments à l’aide de JMP Pro.
Q : Avez-vous des conseils pour travailler avec des expressions régulières personnalisées avec JMP et l'analyse de texte ? Je trouve que je passe beaucoup de temps à essayer de faire cela et que j'obtiens des résultats limités.
R : Nous proposons un cours sur l'analyse de texte qui pourrait vous être utile. Il comprend divers exemples d'utilisation de Regex. Il existe un article de blog JMP sur Regex pour le nettoyage des données qui sera publié dans un blog communautaire JMP .
Q : graphique t-SNE : que signifie xy #s ?
R : Pour cela, je vous recommande de regarder une vidéo sur le clustering multivarié ou sur l'enseignement du clustering . Dans ce cas, nous avions 25 colonnes différentes et avons réduit cet espace multidimensionnel à 2. Considérez cela comme similaire aux composants principaux. Vous pouvez choisir le nombre de sorties (ou composants) que vous souhaitez.
Q : Il y a parfois du texte en rouge dans la liste des phrases. Qu'est-ce que cela signifie ?
R : Il identifie une couleur par défaut dans notre bibliothèque.
Questions répondues lors d'une démo précédente sur ce sujet :
Q : Devez-vous préconfigurer le nuage de mots pour ignorer les mots très courants, comme « le » ?
R : Il existe une liste de « mots vides » qui sont des mots très courants, comme « the », que JMP utilise pour exclure de l'analyse. Consultez la documentation sur l'utilisation des mots vides et les rubriques associées .
Q : Pouvons-nous importer des fichiers txt délimités et analyser les colonnes individuellement ?
R : JMP peut importer des fichiers texte délimités dans une table de données JMP. Vous pouvez analyser plusieurs colonnes de texte individuellement, ce qui donne une sortie distincte pour chaque colonne de texte.
Q : Dans son exemple, si la couleur rouge montre le mot le plus fréquent, pourquoi le mot le plus important n'est-il pas « rouge » ?
R : La colonne score moyen dans le tableau de données sert de base à la coloration dans son exemple. La taille correspond au mot/terme le plus fréquent. Dans cet exemple, Kemal a précisé que la coloration de ce nuage de mots doit être contrôlée par la colonne score moyen du tableau de données. Ainsi, score_moyen ne provient pas de JMP, mais du tableau de données. Pour en savoir plus sur les options du nuage de mots .
Q : Que sont les jetons ?
R : Les jetons sont des mots/termes plus des phrases/cas ou une combinaison de ceux-ci. Dans ce cas, j'avais 15 792 termes, 59 360 cas (ou phrases) et environ 17 de ceux-ci par ligne (Total des jetons par cas). Voir plus de détails.
L'étape de tokenisation convertit le texte en minuscules, puis applique une méthode de « tokenisation » (mots de base ou Regex) pour regrouper les caractères en tokens, puis recode les tokens en fonction des définitions de recodage spécifiées. Notez que le recodage se produit avant que les opérations de stemming et de recodage ne soient traitées en interne en un seul passage, quel que soit l'ordre dans lequel elles sont spécifiées dans la fenêtre de rapport. Pour en savoir plus sur les étapes de traitement de texte .
TokensTokensTokensJetons
Q : Pouvez-vous créer un nuage de phrases plutôt qu’un nuage de mots ?
R : Nous avons contacté le développeur JMP, Xan Gregg @XanGregg , après le webinaire en direct. Il a suggéré que le nuage de mots pourrait être appelé plus précisément un nuage de termes. Il affiche tous les mots de la liste de termes. Je suppose que vous pourriez ajouter beaucoup de phrases comme termes et supprimer des mots en les transformant en mots vides, et vous obtiendriez alors un nuage de phrases. Si vous souhaitez demander des nuages de phrases, n'hésitez pas à poster votre demande et votre justification sur la liste de souhaits du logiciel JMP.
Q : Je suis vraiment intéressé par le « regroupement de documents » que vous avez mentionné plus tôt. Où puis-je trouver des informations à ce sujet parmi des centaines de documents texte et je souhaite savoir lesquels se trouvent dans un groupe similaire ?
R : Vous pouvez utiliser JMP Pro pour l’analyse de classe latente et l’analyse sémantique latente .
Latent Analysis OptionsLatent Analysis OptionsLatent Analysis OptionsOptions d'analyse latente
Consultez ce bref aperçu de la manière d’utiliser les analyses latentes.
R : Que sont les documents et comment les importer dans JMP ?
Q : Chaque ligne est considérée comme un document et vous pouvez l'importer à partir de n'importe quel fichier qui la capture sous forme de lignes. Par exemple, vous pouvez importer le texte à partir d'Excel. Dans cet exemple, les avis ont été capturés sous forme de lignes dans un fichier Excel.
Ressources
