Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Les données textuelles présentent des défis particuliers pour l'analyste de données. Un nouveau cours de formation aide à guider l'exploration et l'analyse de textes.
Le texte est une forme courante de données, mais il présente des défis inhabituels pour l'analyste de données.
Premièrement, le texte est disponible dans de nombreux formats de fichiers et les caractères d'un fichier texte peuvent utiliser l'un des nombreux codages différents. Les fichiers individuels doivent être importés dans une seule table de données JMP à des fins de traitement et d'analyse.
Deuxièmement, le texte est données non structurées . Il n'apparaît pas de la même manière que les mesures (variables continues), les comptages ou les catégories. Une seule valeur de données textuelles est appelée un document . Cette valeur peut être une seule phrase, quelques paragraphes ou un livre entier. La valeur peut être un SMS ou un e-mail, un article de blog, une critique de restaurant ou un rapport de garantie sur le terrain pour ne citer que quelques-unes des possibilités. Un échantillon de documents est appelé un corpus . JMP stocke l'intégralité du corpus dans une seule colonne de données avec le type de données caractère et le type de modélisation de texte non structuré. Chaque document occupe une ligne dans la colonne de données.
Troisièmement, le texte est hétérogène ! Un document peut contenir de nombreux types d'informations telles que les noms de personnes, de lieux, de produits, de pannes ou de fonctionnalités ; numéros de téléphone; dates et heures; âge; le sexe; devise; les numéros de sécurité sociale, les numéros de produit ou toute autre chose. Le contenu de l'information peut ne pas être cohérent d'un document à l'autre. Une grande partie du contenu peut ne pas être informative ou utile du tout. Comment les informations sont-elles trouvées ? Comment décide-t-on s'il s'agit d'information?
Quatrièmement, le texte est désordonné ! Les données structurées, par comparaison, peuvent être facilement recodées, transformées ou regroupées. Comment un document est-il recodé ? Comment gérer les acronymes, les abréviations, les synonymes, les ponctuations et les majuscules incohérentes et les fautes d'orthographe ?
Nous avons développé nouvelle formation sur l'exploration et l'analyse de données textuelles avec Text Explorer dans JMP Pro 14 . (Notez que la première moitié du cours ne nécessite que JMP 14.)
Une grande partie du travail d'analyse des données textuelles porte sur soigne la liste de termes . Une grande partie du temps de la formation est consacrée à un flux de travail qui commence par le corpus brut et se termine par la liste de termes organisée. Cette liste devient le cœur des analyses ultérieures, la qualité de la liste est donc importante. Lorsque la liste est terminée, elle peut être exportée vers la table d'origine ou sous la forme d'une nouvelle table de données sous la forme de nouvelles variables structurées. Ces nouvelles variables peuvent être explorées seules ou en combinaison avec d'autres variables structurées avec l'une des autres plates-formes JMP.
L'explorateur de texte de JMP Pro fournit trois méthodes puissantes à plusieurs variables pour extraire davantage d'informations de la liste de termes. Analyse de classe latente découvre des groupes de documents qui partagent un modèle commun de termes. Analyse sémantique latente découvre des sujets implicites dans le corpus. Analyse discriminante classe les documents dans les catégories fournies par une autre variable.
Avez-vous des données textuelles en attente d'analyse ? Voulez-vous de l'aide sur l'utilisation de l'explorateur de texte avec les meilleures pratiques ? Les nouveau cours sera présenté en première comme formation préconférence au prochain Sommet Découverte JMP les 22 et 23 octobre 2018, à Cary, Caroline du Nord, au siège social de SAS. On se voit là-bas!
