我可以使用 JMP 将全文期刊文章解析为方法、结果和讨论的单独列吗?大家好,
我有兴趣对科学期刊文章中主题部分的关键字/短语如何变化进行一些文本分析。 我想知道是否可以从 pdf 开始,然后为文章结构的每个可识别部分中包含的文本块生成单独的列。 例如,我可以创建 8 个不同的列,其中包含来自标题、摘要、关键字、介绍、方法、结果、讨论和文献引用部分的文本块?
我的出发点可以是:a)一个pdf文件夹或b)一个jmp表,其中每一行都是一篇文章,并且有一列包含我已经在JMP中创建的每篇文章的所有文本。 有什么建议么? 注意:我只有 JMP,没有 JMP Pro,所以我需要弄清楚如何使用这个约束来做到这一点。
感谢任何可以提供见解的人。
回复:我可以使用 JMP 将全文期刊文章解析为方法、结果和讨论的单独列吗? 附有 JMP 表我不认为手动处理这么多文件是可行的!
不要这么快就放弃。 社区喜欢挑战!
回复:我可以使用 JMP 将全文期刊文章解析为方法、结果和讨论的单独列吗? 附有 JMP 表谢谢, @Mark_Bailey . 我想你是对的。 即使有很多我没有的领域经验,这也可能是一个困难的项目。 就我而言,我有大约 5,700 个 pdf。 以蛮力(主要是手动方式)通过这些方式来模仿我的方式,这对我来说可能是目前最可行的选择。 感谢您花时间回复。
回复:我可以使用 JMP 将全文期刊文章解析为方法、结果和讨论的单独列吗? 附有 JMP 表我认为这个项目并不容易。 由于问题的长度和复杂性,这里可能不适合讨论。 但让我们看看我们能做些什么。
我在文本分析方面的经验一直是来自单一人群的语料库。 例如,两年前,我使用关于 100 家医院急诊科患者入院的叙述编写了一个基于 FDE 的课程。该案例提出了无数挑战,但至少文档之间有足够的一致性,使这组正则表达式可以完成文本分析的目标。 此时您并不真正需要文本分析(即文档术语矩阵)。 您想将文档解析为它们的部分。
我认为解决方案需要大量的领域专业知识。 我随机挑选了几个文档,但在我可能用作解析所需部分的基础的少数文档中找不到任何内容。 似乎有许多惯例在起作用,许多情况似乎根本不遵循任何惯例。
在这种情况下,正则表达式可能不是正确的处理级别。 JMP 模式非常强大。 我在基本层面上了解它们,但我不是专家。也许社区中的其他人有必要的经验来拆开它。
回复:我可以使用 JMP 将全文期刊文章解析为方法、结果和讨论的单独列吗? 附有 JMP 表大家好,
我在这篇文章中附加了一个 JMP 表,说明了我在这一点上遇到的问题。 我想使用“小写和折叠空白文本”列中的文本在空列中创建文本块。
我知道这个过程可能具有挑战性,我将不得不处理许多特殊情况(例如,章节标题不同的论文,例如“介绍”与“背景”)。我开始研究字符和字符模式公式,这看起来很有希望,但很快就不知所措。 我的背景只是分析数字,而不是文本,所以我还在追赶。 如果有人能指出一些在这里可能特别有用的字符公式,我将不胜感激。
回复:我可以使用 JMP 将全文期刊文章解析为方法、结果和讨论的单独列吗?你好@Mark_Bailey并感谢您的回复。 我理解您的部分回复,但可能不是全部。 这是我已经知道该怎么做的事情:1)将一堆pdf导入到jmp表中,这样每篇文章都是一行,文章的所有文本都在一个列中; 2) 使用标准文本浏览器功能探索这个语料库(将短语添加到术语列表、创建词云、创建文档术语矩阵等)。
我不知道该怎么做是将这一列中的每个文档文本分成多个列,例如,称为简介(仅包含文章介绍中的文本),摘要(仅包含文章摘要中的文本) ), 等等。 我只是在尝试一种使用文本到列的潜在方法来执行此操作,我在其中找到单词“介绍”并将其替换为“介绍(后面是一个在语料库中任何地方都没有出现的古怪字符)”。 然后,我使用古怪的字符将文本拆分为列。 如果“介绍”或“结果”这个词在每个文档中只出现一次,这将非常有用。 当它不止一次发生时,我会在文章中得到未对齐的列。 我能想到解决此问题的唯一方法是在查找和替换操作期间评估“介绍”一词的每种情况,仅在“介绍”一词用作真正的分节符时插入分隔符。 由于我是一名生态学家并且对文本分析非常陌生,因此这是我一直在为此类问题进行陪审团操纵的各种低效方法的典型代表。
您是否介意举例说明如何使用任何其他表命令或正则表达式将包含所有文本的单列解析为具有不同内容部分的文本的多列? 注意:我是一个真正的正则表达式初学者,所以假设我对这个主题几乎一无所知,我会开始阅读。
再次感谢。 凯西
回复:我可以使用 JMP 将全文期刊文章解析为方法、结果和讨论的单独列吗?是的,使用多文件导入命令和文本资源管理器。
术语列表的形成基于基本单词(简单但简单)或正则表达式(更难但更具体)。 正则表达式方法更适合从文档中查找特定信息。 您可以自定义应用于文档的正则表达式。 您可以选择短语并将其添加到术语列表中。 然后,您可以将指标或频率列保存回原始数据表。
该数据表也可以通过使用正则表达式、JMP 文本模式和其他字符串函数的表命令和列公式来制作。