Datenextraktion aus PDF-Dateien
Ich analysiere oft öffentlich verfügbare Daten und manchmal möchte ich eine Tabelle in einer PDF-Datei in eine Datentabelle umwandeln. Insbesondere die von Behörden veröffentlichten Daten liegen erstaunlich oft nicht im Excel- oder CSV-Format vor, sondern sind als Tabellen in PDF-Dateien eingebettet.
In solchen Fällen wählte ich bis vor vier oder fünf Jahren die entsprechende Tabelle in der PDF-Datei aus, kopierte sie und fügte sie in Excel oder JMP ein, aber es gab viele Fälle, in denen sie nicht richtig als Daten erkannt wurde und in der Im schlimmsten Fall gab es Zeiten, in denen ich aufgab und die Daten manuell erstellte.
Für einen solchen Fall gibt es in JMP Version 15 eine neue Funktion. „PDF-Ladeassistent“ war für mich ein Segen. Das Erstellen von Daten aus einem PDF, das früher zeitaufwändig war, ist jetzt in wenigen Sekunden erledigt! ! Dadurch gewinnen Sie Zeit für eine tiefgreifende Analyse Ihrer Daten.
Das letzte Mal habe ich geschrieben Blogartikel (Gender Gap Index) zitiert eine Tabelle in einem PDF-Bericht, aber ohne den PDF-Import-Assistenten wäre ich über den Aufwand beim Erstellen der Daten frustriert gewesen.
Deshalb, in diesem Blog, Lassen Sie mich Ihnen die tollen Funktionen des „PDF Load Wizard“ vorstellen. Auch wenn Sie diese Funktion bereits nutzen, kann es sein, dass Sie einige Dinge nicht wissen. Lesen Sie sie daher bitte sorgfältig durch.
Was Sie mit dem PDF-Importassistenten tun können
„PDF-Import-Assistent“ ist eine Funktion, die es Ihnen ermöglicht, die zu importierenden Daten anzupassen und dabei vor dem Import der PDF-Datei die Vorschau zu prüfen.
Wenn Sie in der JMP-Menüleiste [Datei] > [Öffnen] auswählen und die zu importierende PDF-Datei auswählen, wird der „PDF-Importassistent“ automatisch gestartet (*1).
Auf der linken Seite des Assistenten wird eine Vorschau angezeigt, wie oben gezeigt. Tabellen im PDF werden automatisch erkannt und rechts in der „Tabellenvorschau“ angezeigt.
Überprüfen Sie, ob die Tabelle, die Sie laden möchten, hier erkannt wird. Wenn keine Probleme vorliegen, klicken Sie auf die Schaltfläche [OK] und sie wird als JMP-Datentabelle geöffnet.
In diesem Beispiel können wir die im Artikel beschriebenen experimentellen Daten problemlos laden.
Danach werde ich zwei erstaunliche Dinge zusammen mit tatsächlichen Beispielen vorstellen.
Erstaunlicher Teil 1: Tabellen mit denselben Spaltennamen werden automatisch zu einer verkettet
Im Folgenden finden Sie eine PDF-Datei der vom Kabinettssekretariat veröffentlichten statistischen Tabelle zum Beschäftigungsstatus allgemeiner nationaler Beamter (*2). Angenommen, Sie möchten diese Tabelle verwenden, um in JMP eine Datentabelle zu erstellen, die die Anzahl der Teilzeitmitarbeiter in jedem Ministerium und jeder Agentur, die Differenz zum Vorjahr (Personen) und die Veränderung gegenüber dem Vorjahr (%) anzeigt. .
Eine Funktion, die Tabellen in einem PDF automatisch erkennt, kann nützlich sein, aber in der Praxis gibt es nicht viele Fälle, in denen Sie alle Tabellen in einem PDF lesen möchten, sondern nur eine bestimmte Tabelle.
In einem solchen Fall oben rechts im Assistenten [Alle Tabellen ignorieren] Klicken Sie auf die Schaltfläche, um die automatische Auswahl abzubrechen.
Gehen Sie anschließend mithilfe der Vorschau auf der linken Seite zu der Seite mit der Tabelle, die Sie laden möchten, und klicken Sie oben links auf der Seite auf die Schaltfläche mit dem roten Dreieck. [Diese Seite automatisch erkennen] Wenn Sie auswählen, werden nur die Tabellen auf dieser Seite automatisch erkannt.
Bei einigen Tabellen funktioniert die automatische Erkennung jedoch möglicherweise nicht. Erstellen Sie in diesem Fall ein Rechteck, indem Sie an die Stelle ziehen, an der die Tabelle platziert werden soll. Die Tabelle wird dann innerhalb des Rechteckrahmens erkannt. In der Praxis ist diese Methode zum Ziehen und Auswählen von Tabellen praktisch.
Nach Auswahl der entsprechenden Tabelle erscheint auf der rechten Seite die Vorschau „Tabellen mit passenden Spaltennamen verketten“ Wählen Sie aus und klicken Sie auf die Schaltfläche [OK].
Anschließend werden die in zwei Teilen angezeigten Tabellen zu einer Tabelle zusammengefasst und geladen.
Normalerweise müssten Sie zwei Tabellen laden und sie dann mit [Verketten] zu einer zusammenfassen, aber dieser Assistent erledigt das für Sie.
Indem wir die erstellte Datentabelle einfach ein wenig modifizierten, konnten wir Histogramme der Anzahl der Mitarbeiter, der Veränderungen im Jahresvergleich und der Veränderungen im Jahresvergleich erstellen und die Ministerien und Behörden untersuchen, bei denen es sich um Ausreißer handelte.
Großartiger Teil 2: Kombinieren Sie Tabellen, die sich über mehrere Seiten erstrecken, zu einer
Diese PDF-Datei zeigt die Ergebnisse des Skisprung-Nationalmannschaftswettbewerbs (*3). Es werden die Ergebnisse vom 1. bis zum 8. Platz angezeigt, diese sind jedoch nicht auf einer Seite, sondern auf zwei Seiten zusammengefasst. Das Tabellenformat ist nach Ländern geordnet, ich möchte diese Tabellen jedoch gerne in einer Tabelle zusammenfassen.
Dieses PDF wird in der Vorschau angezeigt. Wählen Sie die Zieltabelle aus und „Alle Tabellen zu einer verketten“ Überprüfen Sie dies und klicken Sie auf die Schaltfläche [OK].
Es lädt mehrere Tabellen in eine. Anders als im vorherigen Beispiel enthält die hier verwendete PDF-Datei einige Tabellen, die keine Spaltennamen haben, daher habe ich „Alle Tabellen zu einer verketten“ verwendet.
Danach war etwas Datenverarbeitung erforderlich, aber ich konnte ohne großen Zeitaufwand für jedes Team (für 4 Spieler) ein Ergebnisdiagramm erstellen. Es gibt Mannschaften, bei denen die Ergebnisse der vier Spieler unterschiedlich sind, und Mannschaften, bei denen dies nicht der Fall ist, was ein interessantes Ergebnis ist.
Wir werden diese wunderbare Funktion weiterhin voll ausnutzen und intensiv an der Datenanalyse arbeiten! !
von Naohiro Masukawa (JMP Japan)
Zitieren von PDF-Dateien
*1: Rationeller Entwurf einer skalierbaren Bioprozessplattform für die Produktion von bakterieller Zellulose
https://www.sciencedirect.com/science/article/abs/pii/S0144861718312839
*2: Statistiktabelle zum Beschäftigungsstatus nationaler Beamter des Kabinettssekretariats auf Generalebene
https://www.cas.go.jp/jp/gaiyou/jimu/jinjikyoku/files/20220701_toukeihyou_gaiyou.pdf
*3: Offizielle Ergebnisse des FIS SKISPRING-WELTCUP
https://medias2.fis-ski.com/pdf/2023/JP/3093/2023JP3093RL.pdf
