大家好,
我有一個JMP表,其中包含一堆期刊文章的全文。 每條記錄的每一列都具有文章標題(作為ID),而另一列則具有文章全文。 我感興趣的是創建一個僅包含每篇論文“方法”部分中的文本的新列。 我開始認為看完@brady_brady “重新編碼審查”教程https://community.jmp.com/t5/JMP-On-Air/Recode-Review/ta-p/261025 。 我的想法是為每個記錄在全文字段中搜索“方法”一詞,然後將其替換為任意且不常見的定界符(例如$%^)。 接下來,我將在每個文檔的全文本字段中搜索“結果”一詞,並將其替換為不同的任意定界符(例如,!@#)。 然後,我可以以某種方式使用文本作為列或RegEx來僅將這兩個定界符之間的文本作為子集。 從理論上講這似乎是可能的。 但是,我猜想如果在文檔中多次出現“方法”或“結果”一詞,這會很複雜(如果不是不切實際的話)。 有什麼建議/警告的話嗎?
你好,
這是可用於直接提取單詞“ Methods”第一次出現和單詞“ Results”第一次出現之間的文本的最基本公式。
Munger(
:TEXT,
Contains( Uppercase( :TEXT ), "METHODS" ),
Contains( Uppercase( :TEXT ), "RESULTS" )
-Contains( Uppercase( :TEXT ), "METHODS" )
)
我非常確定這僅適用於全文數據的一部分,因為這兩個詞在科學論文中極為常見,但是它使您了解瞭如何使用JMP公式而不必插入特殊字符和使用正則表達式。
最好的,
TS
與許多(幾乎所有?)情況一樣,“取決於”。 如果數據結構合理,則可以使用其他功能來解決此問題。 例如,如果所有論文都來自同一期刊,則您可以利用它們之間的結構一致性。 有時,您確實確實需要發揮創造力,有時,幾乎不可能想出一種通過綜合分析規則來分解所需文本的方法。 當然,更多的工具可以帶來更多的創造力和力量。
確保查看Recode的“提取段”功能,以及您提到的某些正則表達式。
抱歉,我在這裡沒有更多幫助了-
乾杯,
布雷迪
你好,我們又見面了,
經過一些實驗,我找到了一種方法,可以使用由...提供的簡單公式來完成我的期刊文章文本分析目標@Thierry_S 。 我面臨的挑戰是,我的“文章”來自大量不同的期刊,所有期刊都有不同的格式和副標題標籤。 因此,沒有標準的面向模式的方法將起作用。 我最終要做的事情是需要對pdf進行一些手動編輯,但這並不是那麼糟糕,它似乎是100%有效的。
首先,我打開每個pdf文件並編輯文本,以便不同的標準內容塊具有自己的定界符。 就我而言,我想要引用的摘要,簡介,方法,結果,討論和文獻的標準類別。 因此,在每篇論文中,我找到了與我的“方法”概念相符的第一個標題。 在某些情況下,這實際上是“方法”一詞,但在其他情況下,則是“材料和方法”或“研究領域”之類的東西。 無論哪種方式,我都在所需子標題的末尾添加了唯一的定界符(例如CCCCC)。 然後,我找到了與我的“結果”概念相匹配的第一個小標題,通常是“結果”一詞,但每個期刊都不相同,有時還會使用其他詞。 無論副標題如何,我都添加了唯一的定界符(例如DDDDD)。 對於整個語料庫中我想要的六個標準內容塊,我都執行了相同的操作。
接下來,我將所有編輯的pdf文件轉換為.txt文件(使用JMP之外的其他軟件)。
然後,我使用JMP中的AWESOME“導入多個文件”工具創建了一個數據表,該數據表每篇文章有一行,而每篇文章的全文都放在一列中。
在這一點上,我要做的就是創建6個新列,每個標題一個,然後使用Thierry_S提供的公式的變體來收集我想要的內容塊。 例如,要創建“方法”列,我使用了公式
Munger(
:TEXT,
Contains( Uppercase( :TEXT ), "CCCCC" ),
Contains( Uppercase( :TEXT ), "DDDDD" )
-Contains( Uppercase( :TEXT ), "CCCCC" )
)
然後,使用“公式”創建一個“結果”列
Munger(
:TEXT,
Contains( Uppercase( :TEXT ), "DDDDD" ),
Contains( Uppercase( :TEXT ), "EEEEE" )
-Contains( Uppercase( :TEXT ), "DDDDD" )
)
最後,我有一個800篇文章的數據表,其中每篇文章在標準的摘要,介紹,方法,結果,討論和引用的文獻列中都有信息。 賓果,哈利路亞!
儘管此方法確實需要手動將定界符插入PDF文件中的步驟,但該過程只花了一天的時間。 考慮到文章格式的巨大差異,以及文章之間沒有一致的“標記”元數據,這是一個非常簡單的方法。 也許有一種方法可以通過搜索可能符合本節條件的單詞列表(例如“方法”,“結果”)自動插入這些標籤,但是正如該線程中其他地方提到的那樣,這些單詞在幾乎任何部分都可能出現的期刊文章。 手動方法使我能夠從我所有的pdf文件中捕獲文本,無論它們是來自期刊的pdf文件還是在過去30年中受到OCR掃描的報告質量較差的報告。
再一次謝謝你@Thierry_S為您的帖子。 JMP的靈活性再次來襲!
凱西