Datenextraktion aus PDF-Dateien
Manchmal analysiere ich veröffentlichte Daten und manchmal möchte ich, dass eine Tabelle in einer PDF-Datei eine Datentabelle ist. Insbesondere die von Behörden etc. veröffentlichten Daten werden erstaunlich oft als Tabelle in eine PDF-Datei eingebettet, nicht im Excel- oder CSV-Format.
Damals, bis vor 4 oder 5 Jahren, habe ich die entsprechende Tabelle in der PDF-Datei ausgewählt, kopiert und in Excel oder JMP eingefügt, aber es gibt viele Fälle, in denen sie nicht richtig als Daten erkannt wird, und das im schlimmsten Fall case Manchmal habe ich aufgegeben und die Daten manuell erstellt.
Zu diesem Zeitpunkt wurde JMP Version 15 hinzugefügt Der „PDF-Import-Assistent“ war für mich das Evangelium. Die Datenerstellung aus PDF, die früher zeitaufwändig war, ist jetzt in wenigen Sekunden erledigt! ! Dadurch bleibt Zeit für eine tiefgreifende Analyse der Daten.
Das letzte Mal habe ich geschrieben Blogbeitrag (Gender Gap Index) zitierte eine Tabelle in einem PDF-Bericht, aber ohne die Funktion des PDF-Importassistenten wäre die Erstellung der Daten mühsam und frustrierend gewesen.
Deshalb, in diesem Blog, Ich werde den erstaunlichen Teil des „PDF-Import-Assistenten“ vorstellen. Auch wenn Sie diese Funktion bereits nutzen, gibt es möglicherweise Dinge, die Sie nicht wissen. Lesen Sie sie daher bitte durch.
Was Sie mit dem PDF-Import-Assistenten tun können
„PDF-Import-Assistent“ ist eine Funktion, die die zu lesenden Daten anpasst und dabei vor dem Lesen der PDF-Datei auf die Vorschau verweist.
Wählen Sie in der JMP-Menüleiste [Datei] > [Öffnen] und wählen Sie die zu ladende PDF-Datei aus, um automatisch den „PDF-Import-Assistenten“ (*1) zu starten.
Auf der linken Seite des Assistenten wird eine Vorschau angezeigt, wie oben gezeigt. Es erkennt die Tabellen im PDF automatisch und zeigt die erkannten in der „Tabellenvorschau“ rechts an.
Überprüfen Sie, ob die Tabelle, die Sie lesen möchten, hier erkannt wird. Wenn kein Problem vorliegt, klicken Sie auf die Schaltfläche [OK], um sie als JMP-Datentabelle zu öffnen.
In diesem Beispiel können wir die im Artikel angegebenen experimentellen Daten problemlos laden.
Anschließend werde ich zwei erstaunliche Punkte zusammen mit tatsächlichen Beispielen aufgreifen und sie vorstellen.
Erstaunlicher Teil 1: Verkettet Tabellen mit demselben Spaltennamen automatisch zu einer
Im Folgenden finden Sie eine PDF-Datei der vom Kabinettssekretariat (*2) veröffentlichten Statistiken über den Beschäftigungsstatus allgemeiner nationaler Beamter. Aus dieser Tabelle möchten wir eine JMP-Datentabelle für die Anzahl der Teilzeitbeschäftigten in jedem Ministerium, die jährliche Veränderung (Personen) und die jährliche Veränderung (%) erstellen.
Die Möglichkeit, Tabellen in einer PDF-Datei automatisch zu erkennen, kann nützlich sein, aber in der Praxis ist es selten, alle Tabellen in einer PDF-Datei zu lesen, und es gibt viele Fälle, in denen Sie nur bestimmte Tabellen lesen möchten.
In einem solchen Fall wird oben rechts im Assistenten Folgendes angezeigt: Alle Tabellen ignorieren Klicken Sie auf die Schaltfläche, um die automatische Auswahl abzubrechen.
Gehen Sie anschließend in der Vorschau links auf die Seite mit der Tabelle, die Sie lesen möchten, und klicken Sie oben links auf der Seite auf die Schaltfläche mit dem roten Dreieck. [Diese Seite automatisch erkennen] um nur die Tabellen auf dieser Seite automatisch zu erkennen.
Allerdings gibt es einige Tabellen, bei denen die automatische Erkennung nicht gut funktioniert. Ziehen Sie in diesem Fall an die Stelle, an der Sie eine Tabelle erstellen möchten, um ein Rechteck zu erstellen. Die Tabelle innerhalb des rechteckigen Rahmens wird dann erkannt. In der Praxis ist diese Methode der Tabellenauswahl durch Ziehen praktisch.
Nach Auswahl der entsprechenden Tabelle erscheint auf der rechten Seite die Vorschau „Tabellen mit passenden Spaltennamen verketten“ , und klicken Sie auf die Schaltfläche [OK].
Anschließend werden die Tabellen, die in zwei getrennten Tabellen angezeigt wurden, in einer Tabelle zusammengelesen.
Normalerweise würden zwei Tabellen geladen, und Sie müssten sie dann mit [Verketten] zu einer zusammenfassen, aber dieser Assistent erledigt das für Sie.
Daher konnten wir durch leichte Modifikation der erstellten Datentabelle Histogramme der Anzahl der Mitarbeiter, der Veränderungen im Jahresvergleich und der Veränderungen im Jahresvergleich erstellen und die Ministerien und Behörden untersuchen, bei denen es sich um Ausreißer handelt.
Erstaunlicher Teil 2: Verkettet mehrere Tabellenseiten zu einer
Diese PDF-Datei zeigt die Ergebnisse des Skisprung-Teamwettbewerbs nach Ländern (*3). Die Ergebnisse vom 1. bis 8. Platz werden angezeigt, allerdings nicht auf einer Seite, sondern auf zwei Seiten verteilt. Obwohl es sich um ein Tabellenformat nach Ländern handelt, möchte ich diese Tabellen in einer Tabelle zusammenfassen.
Sie sehen sich dieses PDF in der Vorschau an. Wählen Sie die Zieltabelle aus und „Alle Tabellen zu einer verketten“ und klicken Sie auf die Schaltfläche [OK].
Es lädt mehrere Tabellen in eine. Anders als im vorherigen Beispiel enthält die hier verwendete PDF-Datei Tabellen, die keine Spaltennamen haben, daher habe ich „Alle Tabellen zu einer verketten“ verwendet.
Danach ist etwas Datenverarbeitung erforderlich, aber ich konnte ohne großen Zeitaufwand Punktediagramme für jedes Team (für 4 Spieler) erstellen. Es ist interessant zu sehen, dass es Teams mit 4 Spielern gibt, die Streupunkte erzielen, und Teams, die dies nicht tun.
Wir werden diese wunderbare Funktion weiterhin voll ausnutzen und intensiv an der Datenanalyse arbeiten! !
von Naohiro Masukawa (JMP Japan)
Zitat aus der PDF-Datei
*1: Rationeller Entwurf einer skalierbaren Bioprozessplattform für die Produktion von bakterieller Zellulose
https://www.sciencedirect.com/science/article/abs/pii/S0144861718312839
*2: Statistiktabelle des Kabinettssekretariats zum Beschäftigungsstatus nationaler Beamter
https://www.cas.go.jp/jp/gaiyou/jimu/jinjikyoku/files/20220701_toukeihyou_gaiyou.pdf
*3: Offizielle Ergebnisse des FIS SKISPRING-WELTCUP
https://medias2.fis-ski.com/pdf/2023/JP/3093/2023JP3093RL.pdf
