Aide à l'analyse Regex du fichier PDF transformé en fichier texte<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Je travaille donc sur un ensemble de données génial que j'ai trouvé :
https://data.montgomerycountymd.gov/Public-Safety/Traffic-Violations/4mse-ku6q?
~ 600 000 infractions au code de la route sur une période de 3 ans. Beaucoup de choses qui nécessitent un recodage, beaucoup de données textuelles et des éléments géospatiaux intéressants.
L'une des colonnes est « Frais », qui correspond au montant réel facturé au conducteur. J'ai trouvé un fichier PDF de toutes les pièces d'identité, de quoi il s'agit, du montant du billet et du nombre de points facturés. Je n'ai trouvé qu'un PDF converti en fichier texte (ci-joint).
Si quelqu'un a une bonne idée sur la façon d'intégrer cela dans une table JMP afin que je puisse le joindre à la table des violations, ce serait vraiment utile. Je pense que l'analyse des expressions régulières est ce dont j'aurai besoin pour que cela se produise, puis la conformité de la structure X XYZ (X) de la table .txt à la structure X.XYZ (X) correspondant à la charge.
Je mets aussi les données brutes ici si quelqu'un est intéressé : smb://JMPSMD/Users2/Valente-D/TrafficData
Merci!
Re : Aide pour l'analyse Regex d'un PDF transformé en fichier texteDan,
J'aurai peut-être le temps d'y travailler à la fin de la semaine. Il serait utile d'obtenir une version légèrement plus claire du fichier TXT. En particulier, certaines lignes (comme la 266) étaient traitées comme si les colonnes étaient empilées par groupes de deux ou trois. La plupart des entrées d'une longueur supérieure à environ 300 ont été traitées de cette façon (environ 200/1376). Les valeurs de la colonne Texte ont été créées en analysant le fichier d'origine au niveau des retours chariot et des nouvelles lignes (\!r, \!n) uniquement.
Enfiler
Re : Aide pour l'analyse Regex d'un PDF transformé en fichier texteMerci, Don. Je pensais que ça allait être un défi. C'est un bon début. Permettez-moi de le joindre à la table principale et de voir ce que j'obtiens. Il n’est pas nécessaire que ce soit parfait. J'ai 650 000 enregistrements, donc même en obtenir 20 à 30 % constituerait un ensemble de données de démonstration raisonnable. J'apprécie l'aide! Je vous le ferai savoir.
-Dan
Re : Aide pour l'analyse Regex d'un PDF transformé en fichier texteDan,
J'ai travaillé dessus pendant quelques heures. Il y a beaucoup d'erreurs dans la traduction du pdf en texte, environ un tiers des entrées présentent des problèmes. Il faudrait beaucoup de temps pour le nettoyer. Si vous pouvez obtenir une traduction plus claire, je pourrai peut-être faire fonctionner quelque chose, mais malheureusement, je n'ai pas le temps de vraiment m'y atteler. Je joins un tableau de ce que j'ai fait jusqu'à présent, si vous voulez y jeter un œil.
Enfiler
Re : Aide pour l'analyse Regex d'un PDF transformé en fichier texteDan,
C'est très utile. Laisse moi voir ce que je peux faire.
Enfiler
Re : Aide pour l'analyse Regex d'un PDF transformé en fichier texteSalut Don --
Je n'ai pas reçu de billet. Je recherche simplement des ensembles de données intersectoriels intéressants, désordonnés et volumineux.
Voici le PDF original :
http://www.courts.state.md.us/district/forms/criminal/dccr090.pdf
Voyez ce que vous en pensez. Merci pour votre aide.
Dan
Re : Aide pour l'analyse Regex d'un PDF transformé en fichier texteDan,
J'ai jeté un œil au fichier texte et je pense que la conversion a pu modifier le format. Si vous pouvez m'aider avec la structure, je peux probablement créer quelque chose avec regex.
... à moins, bien sûr, que vous essayiez de comparer un ticket que vous avez récemment reçu. Dans ce cas, mon manager m’interdirait strictement de le faire.
Enfiler
Re : Aide pour l'analyse Regex d'un PDF transformé en fichier texteDan,
J'espère que ce n'est pas parce que vous avez récemment reçu une contravention et que vous essayiez de la comparer à d'autres amendes.
Lou
