Hilfe bei der Regex-Analyse einer PDF-Textdatei<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Ich arbeite also an einem tollen Datensatz, den ich gefunden habe:
https://data.montgomerycountymd.gov/Public-Safety/Traffic-Violations/4mse-ku6q?
~ 600.000 Verkehrsverstöße über einen Zeitraum von 3 Jahren. Viele Dinge, die neu codiert werden müssen, viele Textdaten und einige interessante Geodaten.
Eine der Spalten ist „Gebühr“, also die tatsächliche Gebühr, die dem Fahrer berechnet wurde. Ich habe eine PDF-Datei mit allen Ausweisen gefunden, was sie sind und wie viel das Ticket kostet und wie viele Punkte die Gebühr wert ist. Ich konnte nur ein PDF finden, das in eine Textdatei konvertiert wurde (im Anhang).
Wenn jemand eine gute Idee hat, wie man das in eine JMP-Tabelle bringt, damit ich es mit der Verstößetabelle verknüpfen kann, wäre das wirklich hilfreich. Ich denke, dass ich dazu eine Regex-Analyse brauche und dann die X XYZ (X)-Struktur der .txt-Tabelle in die X.XYZ(X)-Struktur umwandeln muss, die die Gebühr darstellt.
Ich habe die Rohdaten auch hier abgelegt, falls es jemanden interessiert: smb://JMPSMD/Users2/Valente-D/TrafficData
Danke!
Betreff: Hilfe beim Regex-Parsen einer PDF-TextdateiDan,
Vielleicht habe ich am Ende der Woche etwas Zeit, daran zu arbeiten. Es wäre hilfreich, eine etwas klarere Version der TXT-Datei zu erhalten. Insbesondere wurden einige Zeilen (z. B. 266) so behandelt, als wären die Spalten in Zweier- oder Dreiergruppen gestapelt. Die meisten Einträge mit einer Länge von mehr als etwa 300 wurden auf diese Weise behandelt (ca. 200/1376). Die Werte in der Spalte Text wurden nur durch Parsen der Originaldatei bei Wagenrückläufen und neuen Zeilen (\!r, \!n) erstellt.
Don
Betreff: Hilfe beim Regex-Parsen einer PDF-TextdateiDanke, Don. Ich dachte, es würde eine Herausforderung werden. Das ist ein guter Anfang. Lassen Sie mich es mit dem Master-Tisch verbinden und sehen, was ich bekomme. Es muss nicht perfekt sein. Ich habe 650.000 Datensätze, sodass selbst 20–30 % davon einen angemessenen Demodatensatz ergeben würden. Ich schätze die Hilfe! Ich lasse es dich wissen.
-Dan
Betreff: Hilfe beim Regex-Parsen einer PDF-TextdateiDan,
Ich habe ein paar Stunden daran gearbeitet. Bei der PDF-zu-Text-Übersetzung gibt es viele Fehler, etwa ein Drittel der Eingaben weisen Probleme auf. Die Reinigung würde viel Zeit in Anspruch nehmen. Wenn Sie eine sauberere Übersetzung bekommen, kann ich vielleicht etwas zum Laufen bringen, aber leider habe ich nicht die Zeit, mich wirklich darauf einzulassen. Ich füge eine Tabelle mit dem bei, was ich bisher gemacht habe, falls Sie einen Blick darauf werfen möchten.
Don
Betreff: Hilfe beim Regex-Parsen einer PDF-TextdateiDan,
Das ist sehr hilfreich. Lass mich sehen was ich machen kann.
Don
Betreff: Hilfe beim Regex-Parsen einer PDF-TextdateiHallo Don –
Ich habe kein Ticket bekommen. Ich suche einfach nach interessanten, branchenübergreifenden Datensätzen, die unübersichtlich und umfangreich sind.
Hier ist das Original-PDF:
http://www.courts.state.md.us/district/forms/criminal/dccr090.pdf
Sehen Sie, was Sie denken. Vielen Dank für Ihre Hilfe.
Dan
Betreff: Hilfe beim Regex-Parsen einer PDF-TextdateiDan,
Ich habe mir die Textdatei angesehen und denke, dass die Konvertierung möglicherweise das Format verändert hat. Wenn Sie bei der Struktur helfen können, kann ich wahrscheinlich etwas mit Regex zusammenstellen.
...es sei denn, Sie versuchen natürlich, ein Ticket zu vergleichen, das Sie kürzlich erhalten haben. In diesem Fall würde mir mein Vorgesetzter dies strikt verbieten.
Don
Betreff: Hilfe beim Regex-Parsen einer PDF-TextdateiDan,
Ich hoffe, das liegt nicht daran, dass Sie kürzlich ein Strafmaß erhalten haben und versucht haben, es mit anderen Bußgeldern zu vergleichen.
Lou
