Aiuto con l'analisi Regex di file di testo trasformati in PDF<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Quindi, sto lavorando su un fantastico set di dati che ho trovato:
https://data.montgomerycountymd.gov/Public-Safety/Traffic-Violations/4mse-ku6q?
~ 600.000 violazioni del codice stradale in un periodo di 3 anni. Molte cose che necessitano di essere ricodificate, molti dati di testo e alcune cose geospaziali interessanti.
Una delle colonne è "Addebito", ovvero l'importo effettivamente addebitato all'autista. Ho trovato un file PDF con tutti gli ID, cosa sono, quanto costa il biglietto e quanti punti vale la ricarica. Ho trovato solo un PDF, che è stato convertito in un file di testo (allegato).
Se qualcuno avesse una buona idea su come inserirlo in una tabella JMP in modo che io possa unirmi alla tabella delle violazioni, sarebbe davvero utile. Penso che l'analisi regex sia ciò di cui avrò bisogno per far sì che ciò accada, e quindi conformare la struttura X XYZ (X) della tabella .txt nella struttura X.XYZ(X) che è l'addebito.
Metto i dati grezzi anche qui se qualcuno è interessato: smb://JMPSMD/Users2/Valente-D/TrafficData
Grazie!
Ri: Aiuto con l'analisi Regex del file di testo PDF convertitoDan,
Forse avrò un po' di tempo per lavorarci alla fine della settimana. Sarebbe utile ottenere una versione leggermente più chiara del file TXT. In particolare, alcune righe (come la 266) venivano trattate come se le colonne fossero impilate in gruppi di due o tre. La maggior parte delle voci con lunghezza superiore a circa 300 sono state trattate in questo modo (circa 200/1376). I valori nella colonna Testo sono stati creati analizzando il file originale solo durante i ritorni a capo e le nuove righe (\!r, \!n).
Assistente
Ri: Aiuto con l'analisi Regex del file di testo PDF trasformatoGrazie, Don. Ho pensato che sarebbe stata una sfida. Questo è un buon inizio. Vorrei unirlo al tavolo principale e vedere cosa ottengo. Non è necessario che sia perfetto. Ho 650.000 record, quindi anche ottenerne il 20-30% costituirebbe un set di dati dimostrativi ragionevole. Apprezzo l'aiuto! Ti farò sapere.
-Dan
Ri: Aiuto con l'analisi Regex del file di testo PDF trasformatoDan,
Ci ho lavorato per alcune ore. Ci sono molti errori nella traduzione da pdf a testo, circa un terzo degli input presenta problemi. Ci vorrebbe molto tempo per ripulirlo. Se riesci a ottenere una traduzione più pulita, potrei riuscire a far funzionare qualcosa, ma sfortunatamente non ho il tempo di lavorarci davvero. Allego una tabella di quello che ho fatto finora, se vuoi dare un'occhiata.
Assistente
Ri: Aiuto con l'analisi Regex del file di testo PDF trasformatoDan,
Questo è molto utile Fammi vedere cosa posso fare.
Assistente
Ri: Aiuto con l'analisi Regex del file di testo PDF convertitoCiao Don...
Non ho ricevuto il biglietto. Sto solo cercando interessanti set di dati intersettoriali che siano disordinati e di grandi dimensioni.
Ecco il PDF originale:
http://www.courts.state.md.us/district/forms/criminal/dccr090.pdf
Vedi cosa ne pensi. Grazie per l'aiuto.
Dan
Ri: Aiuto con l'analisi Regex del file di testo PDF trasformatoDan,
Ho dato un'occhiata al file di testo e penso che la conversione potrebbe aver alterato il formato. Se puoi aiutarmi con la struttura, probabilmente posso mettere insieme qualcosa con regex.
...a meno che, ovviamente, tu non stia cercando di confrontare un ticket che hai ricevuto di recente. In tal caso, il mio manager me lo vieterebbe severamente.
Assistente
Ri: Aiuto con l'analisi Regex del file di testo PDF convertitoDan,
Spero che ciò non sia dovuto al fatto che di recente hai ricevuto una multa e stavi cercando di confrontarla con altre multe.
Lou
