Kann ich JMP verwenden, um Volltext-Journalartikel in separate Spalten für Methoden, Ergebnisse und Diskussion zu parsen?Hallo alle,
Ich interessiere mich für einige Textanalysen darüber, wie Schlüsselwörter/Phrasen zwischen thematischen Abschnitten in wissenschaftlichen Zeitschriftenartikeln variieren. Ich frage mich, ob es möglich ist, mit einem PDF zu beginnen und dann separate Spalten für die Textblöcke zu generieren, die in jedem der identifizierbaren Abschnitte der Artikelstruktur enthalten sind. Könnte ich zum Beispiel 8 verschiedene Spalten mit Textblöcken aus den Abschnitten Titel, Zusammenfassung, Schlüsselwörter, Einführung, Methoden, Ergebnisse, Diskussion und zitierte Literatur erstellen?
Mein Ausgangspunkt dafür könnte entweder: a) ein Ordner mit PDFs oder b) eine jmp-Tabelle sein, in der jede Zeile ein Artikel ist und es eine Spalte gibt, die den gesamten Text von jedem Artikel enthält, den ich bereits in JMP erstellt habe. Irgendwelche Vorschläge? Hinweis: Ich habe nur JMP, nicht JMP Pro, also muss ich herausfinden, wie ich das mit dieser Einschränkung mache.
Danke an jeden, der Einblick geben kann.
Betreff: Kann ich JMP verwenden, um Volltext-Journalartikel in separate Spalten für Methoden, Ergebnisse und Diskussion zu parsen? JMP-TABELLE BEIGEFÜGTIch glaube nicht, dass die manuelle Verarbeitung so vieler Dokumente machbar ist!
Gib nicht so schnell auf. Die Community liebt Herausforderungen!
Betreff: Kann ich JMP verwenden, um Volltext-Journalartikel in separate Spalten für Methoden, Ergebnisse und Diskussion zu parsen? JMP-TABELLE BEIGEFÜGTVielen Dank, @Mark_Bailey . Ich glaube, Du hast recht. Es wäre wahrscheinlich ein schwieriges Projekt, selbst mit einer Menge Domänenerfahrung, die ich nicht habe. In meinem Fall habe ich ungefähr 5.700 PDFs. Mich durch diese auf brachiale, meist manuelle Weise durchzuschlagen, ist derzeit wahrscheinlich die praktikabelste Alternative für mich. Vielen Dank, dass Sie sich die Zeit genommen haben, um zu antworten.
Betreff: Kann ich JMP verwenden, um Volltext-Journalartikel in separate Spalten für Methoden, Ergebnisse und Diskussion zu parsen? JMP-TABELLE BEIGEFÜGTIch denke, dass dieses Projekt nicht einfach werden wird. Aufgrund der Länge und Komplexität des Problems ist es möglicherweise nicht für eine Diskussion hier geeignet. Aber mal sehen, was wir tun können.
Meine Erfahrung mit Textanalyse war immer mit einem Korpus aus einer einzigen Population. Zum Beispiel habe ich Erzählungen über die Aufnahme von Patienten in Notaufnahmen in 100 Krankenhäusern verwendet, um vor zwei Jahren einen Kurs auf der Grundlage von FDE zu schreiben. Dieser Fall stellte unzählige Herausforderungen dar, aber zumindest gab es genug Konsistenz zwischen den Dokumenten, um den Satz von Regex zu erreichen die Ziele dieser Textanalyse. An dieser Stelle möchten Sie nicht wirklich eine Textanalyse (dh eine Dokumentbegriffsmatrix). Sie möchten die Dokumente in ihre Abschnitte zerlegen.
Ich denke, dass eine Lösung viel Domänenwissen erfordern wird. Ich habe nach dem Zufallsprinzip mehrere Dokumente ausgewählt und konnte in nur einer Handvoll Dokumenten nichts finden, das ich als Grundlage für die Analyse der gewünschten Abschnitte verwenden könnte. Es scheint viele Konventionen zu geben und viele Fälle, die überhaupt keiner Konvention zu folgen scheinen.
Regex ist in diesem Fall möglicherweise nicht die richtige Verarbeitungsstufe. JMP Patterns sind sehr leistungsfähig. Ich verstehe sie auf einer grundlegenden Ebene, aber ich bin kein Experte.Vielleicht haben andere in der Community die nötige Erfahrung, um es auseinander zu nehmen.
Betreff: Kann ich JMP verwenden, um Volltext-Journalartikel in separate Spalten für Methoden, Ergebnisse und Diskussion zu parsen? JMP-TABELLE BEIGEFÜGTHallo alle,
Ich habe diesem Beitrag eine JMP-Tabelle angehängt, die veranschaulicht, wo ich an diesem Punkt feststecke. Ich möchte den Text in der Spalte "Kleinbuchstaben und reduzierter Leerzeichentext" verwenden, um die Textblöcke in den leeren Spalten zu erstellen.
Ich verstehe, dass dieser Prozess wahrscheinlich eine Herausforderung sein wird und ich mich mit vielen Sonderfällen befassen muss (z. B. Arbeiten mit unterschiedlichen Abschnittsüberschriften, z. B. „Einführung“ versus „Hintergrund“).Ich fing an, mir Formeln für Charaktere und Charaktermuster anzusehen, was ziemlich vielversprechend erscheint, und war ziemlich schnell überwältigt. Mein Hintergrund ist nur die Analyse von Zahlen, nicht Text, also hole ich immer noch auf. Wenn mir jemand ein paar Zeichenformeln nennen könnte, die hier besonders nützlich sein könnten, wäre ich dankbar.
Betreff: Kann ich JMP verwenden, um Volltext-Journalartikel in separate Spalten für Methoden, Ergebnisse und Diskussion zu parsen?Hi @Mark_Bailey und danke für die antwort. Ich habe einen Teil Ihrer Antwort verstanden, aber vielleicht nicht alles. Hier ist, was ich bereits kann: 1) Importieren Sie eine Reihe von PDFs in eine JMP-Tabelle, sodass jeder Artikel eine Zeile und der gesamte Text des Artikels in einer einzelnen Spalte steht. 2) Durchsuchen Sie dieses Korpus mit Standard-Text-Explorer-Funktionen (fügen Sie Phrasen zu Begriffslisten hinzu, erstellen Sie Wortwolken, erstellen Sie Dokumentbegriffsmatrizen usw.).
Ich weiß nicht, wie ich den Text jedes Dokuments aus dieser einen Spalte in mehrere Spalten aufteilen soll, die beispielsweise als Einführung (mit nur dem Text aus der Einführung eines Artikels), Zusammenfassung (mit nur dem Text aus der Zusammenfassung des Artikels) bezeichnet werden ), usw. Ich habe gerade mit einer möglichen Möglichkeit experimentiert, dies mit Text to Columns zu tun, wo ich das Wort "Introduction" finde und durch "Introduction (hier gefolgt von einem verrückten Zeichen, das nirgendwo im Korpus vorkommt)" ersetzt. Dann habe ich den Text mit dem verrückten Zeichen in Spalten aufgeteilt. Das würde gut funktionieren, wenn das Wort „Einleitung“ oder „Ergebnis“ in jedem Dokument nur einmal vorkommen würde. Wenn es mehr als einmal vorkommt, bekomme ich falsch ausgerichtete Spalten über Artikel hinweg. Die einzige Möglichkeit, dies zu beheben, besteht darin, jeden Fall des Wortes "Einführung" während des Such- und Ersetzungsvorgangs auszuwerten und das Trennzeichen nur einzufügen, wenn das Wort Einführung als echter Abschnittsumbruch verwendet wird. Da ich Ökologe und ziemlich neu in der Textanalyse bin, ist dies ziemlich typisch für die Art von ineffizienten Ansätzen, die ich für Probleme wie dieses juristisch manipuliert habe.
Würde es Ihnen etwas ausmachen, ein Beispiel dafür zu geben, wie man einen anderen Tabellenbefehl oder Regex verwenden könnte, um die einzelne Spalte mit dem gesamten Text in mehrere Spalten mit Text für verschiedene Inhaltsabschnitte zu zerlegen? Hinweis: Ich bin ein echter Regex-Anfänger, gehe also davon aus, dass ich so gut wie keine Kenntnisse zu diesem Thema habe, und beginne mit dem Lesen.
Danke noch einmal. Casey
Betreff: Kann ich JMP verwenden, um Volltext-Journalartikel in separate Spalten für Methoden, Ergebnisse und Diskussion zu parsen?Ja, mit dem Befehl Multiple File Import und dem Text Explorer.
Die Bildung der Begriffsliste basiert auf Basic Words (einfach, aber einfach) oder Regular Expressions (schwieriger, aber spezifischer). Die Regex-Methode wäre besser geeignet, um bestimmte Informationen aus dem Dokument zu finden. Sie können den Regex anpassen, der auf die Dokumente angewendet wird. Sie können Phrasen auswählen und sie der Begriffsliste hinzufügen. Sie können dann Indikator- oder Häufigkeitsspalten wieder in der ursprünglichen Datentabelle speichern.
Diese Datentabelle könnte auch mit Tabellenbefehlen und Spaltenformeln erstellt werden, die reguläre Ausdrücke, JMP-Textmuster und andere Zeichenfolgenfunktionen verwenden.
