Puis-je utiliser JMP pour analyser des articles de revues en texte intégral dans des colonnes distinctes pour les méthodes, les résultats, la discussion ?Bonjour à tous,
Je suis intéressé à faire des analyses de texte sur la façon dont les mots-clés/phrases varient entre les sections thématiques dans les articles de revues scientifiques. Je me demande s'il est possible de commencer avec un pdf, puis de générer des colonnes séparées pour les morceaux de texte contenus dans chacune des sections identifiables de la structure de l'article. Par exemple, pourrais-je créer 8 colonnes différentes avec des morceaux de texte à partir des sections titre, résumé, mots-clés, introduction, méthodes, résultats, discussion et littérature citée ?
Mon point de départ pour cela pourrait être : a) un dossier de fichiers pdf ou b) une table jmp où chaque ligne est un article et il y a une colonne qui contient tout le texte de chaque article que j'ai déjà créé dans JMP. Aucune suggestion? Remarque : je n'ai que JMP, pas JMP Pro, donc je dois comprendre comment faire cela avec cette contrainte.
Merci à tous ceux qui peuvent donner un aperçu.
Re : Puis-je utiliser JMP pour analyser des articles de revues en texte intégral dans des colonnes distinctes pour les méthodes, les résultats, la discussion ? TABLEAU JMP CI-JOINTJe ne pense pas que traiter manuellement autant de documents soit faisable !
N'abandonnez pas si tôt. La Communauté aime les défis !
Re : Puis-je utiliser JMP pour analyser des articles de revues en texte intégral dans des colonnes distinctes pour les méthodes, les résultats, la discussion ? TABLEAU JMP CI-JOINTMerci, @Mark_Bailey . Je pense que tu as raison. Ce serait probablement un projet difficile même avec un tas d'expérience dans le domaine, que je n'ai pas. Dans mon cas, j'ai environ 5 700 fichiers PDF. Se frayer un chemin à travers ceux-ci de manière brutale, principalement manuelle, est probablement l'alternative la plus réalisable pour moi en ce moment. Merci d'avoir pris le temps de répondre.
Re : Puis-je utiliser JMP pour analyser des articles de revues en texte intégral dans des colonnes distinctes pour les méthodes, les résultats, la discussion ? TABLEAU JMP CI-JOINTJe pense que ce projet ne va pas être facile. Cela pourrait ne pas être approprié pour une discussion ici en raison de la longueur et de la complexité du problème. Mais voyons ce que nous pouvons faire.
Mon expérience avec l'analyse de texte a toujours été avec un corpus d'une seule population. Par exemple, j'ai utilisé des récits sur l'admission de patients dans les services d'urgence de 100 hôpitaux pour écrire un cours basé sur FDE il y a deux ans. les objectifs de cette analyse de texte. Vous ne voulez pas vraiment d'analyse de texte (c'est-à-dire une matrice de termes de document) à ce stade. Vous souhaitez analyser les documents dans leurs sections.
Je pense qu'une solution nécessitera une grande expertise du domaine. J'ai choisi au hasard plusieurs documents et je n'ai rien trouvé dans une poignée de documents que je pourrais utiliser comme base pour analyser les sections que vous voulez. Il semble y avoir de nombreuses conventions au travail et de nombreux cas qui ne semblent suivre aucune convention du tout.
Regex n'est peut-être pas le bon niveau de traitement dans ce cas. Les modèles JMP sont très puissants. Je les comprends à un niveau de base, mais je ne suis pas un expert.Peut-être que d'autres membres de la Communauté ont l'expérience nécessaire pour le démonter.
Re : Puis-je utiliser JMP pour analyser des articles de revues en texte intégral dans des colonnes distinctes pour les méthodes, les résultats, la discussion ? TABLEAU JMP CI-JOINTSalut tout le monde,
J'ai joint un tableau JMP à ce message qui illustre où je suis bloqué à ce stade. J'aimerais utiliser le texte de la colonne "Texte en minuscules et espaces blancs réduits" pour créer les morceaux de texte dans les colonnes vides.
Je comprends que ce processus sera probablement difficile et que je devrai traiter de nombreux cas particuliers (par exemple, des articles où les titres de section diffèrent, par exemple, "introduction" par rapport à "contexte").J'ai commencé à regarder les formules de caractères et de motifs de caractères, ce qui semble assez prometteur, et j'ai été submergé assez rapidement. J'ai juste une formation en analyse de chiffres, pas de texte, donc je rattrape toujours mon retard. Si quelqu'un pouvait me diriger vers quelques formules de caractères qui pourraient être particulièrement utiles ici, je serais reconnaissant.
Re : Puis-je utiliser JMP pour analyser des articles de revues en texte intégral dans des colonnes distinctes pour les méthodes, les résultats, la discussion ?Salut @Mark_Bailey et merci pour la réponse. J'ai compris une partie de votre réponse, mais peut-être pas tout. Voici ce que je sais déjà faire : 1) importer un tas de fichiers PDF dans une table jmp afin que chaque article soit sur une ligne et que tout le texte de l'article soit dans une seule colonne ; 2) explorer ce corpus à l'aide des fonctions standard de Text Explorer (ajouter des phrases aux listes de termes, créer des nuages de mots, créer des matrices de termes de document, etc.).
Ce que je ne sais pas comment faire, c'est de séparer le texte de chaque document de cette colonne en plusieurs colonnes, appelées, par exemple, Introduction (avec uniquement le texte de l'introduction d'un article), Résumé (avec uniquement le texte du résumé de l'article ), etc. J'étais juste en train d'expérimenter un moyen potentiel de le faire en utilisant Text to Columns, où je trouve et remplace le mot "Introduction") par "Introduction (suivi ici d'un caractère farfelu qui n'apparaît nulle part dans le corpus)". Ensuite, j'ai divisé le texte en colonnes en utilisant le caractère farfelu. Cela fonctionnerait très bien si le mot "introduction" ou "résultat" n'apparaissait qu'une seule fois dans chaque document. Lorsque cela se produit plus d'une fois, j'obtiens des colonnes mal alignées dans les articles. La seule façon de résoudre ce problème consiste à évaluer chaque cas du mot "Introduction" lors de l'opération de recherche et de remplacement, en n'insérant le caractère délimiteur que lorsque le mot Introduction est utilisé comme véritable saut de section. Étant donné que je suis un écologiste et que je suis assez nouveau dans l'analyse de texte, c'est assez typique des types d'approches inefficaces que j'ai truquées par des jurys pour des problèmes comme celui-ci.
Cela vous dérangerait-il de donner un exemple de la façon dont on pourrait utiliser n'importe quelle autre commande de table ou regex pour analyser la colonne unique avec tout le texte en plusieurs colonnes avec du texte pour différentes sections de contenu ? Remarque : Je suis un vrai débutant avec regex, alors supposez que je n'ai pratiquement aucune connaissance sur ce sujet et je commencerai à lire.
Merci encore. Casey
Re : Puis-je utiliser JMP pour analyser des articles de revues en texte intégral dans des colonnes distinctes pour les méthodes, les résultats, la discussion ?Oui, avec la commande Importation de fichiers multiples et l'explorateur de texte.
La formation de la liste de termes est basée sur des mots de base (faciles mais simples) ou des expressions régulières (plus difficiles mais plus spécifiques). La méthode regex serait préférable pour trouver des informations spécifiques à partir du document. Vous pouvez personnaliser l'expression régulière appliquée aux documents. Vous pouvez sélectionner des phrases et les ajouter à la liste de termes. Vous pouvez ensuite enregistrer les colonnes d'indicateur ou de fréquence dans le tableau de données d'origine.
Cette table de données peut également être créée avec des commandes de table et des formules de colonne qui utilisent des expressions régulières, des modèles de texte JMP et d'autres fonctions de chaîne de caractères.
