Ayuda con el análisis Regex de un archivo PDF convertido en texto<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Entonces, estoy trabajando en un conjunto de datos increíble que encontré:
https://data.montgomerycountymd.gov/Public-Safety/Traffic-Violations/4mse-ku6q?
~ 600.000 infracciones de tráfico en un período de 3 años. Hay muchas cosas que necesitan recodificarse, muchos datos de texto y algunas cosas geoespaciales interesantes.
Una de las columnas es "Cargo", que es el cargo real que se le dio al conductor. Encontré un archivo PDF con todas las identificaciones, cuáles son, cuánto cuesta el boleto y cuántos puntos vale el cargo. Sólo pude encontrar un PDF, que fue convertido a un archivo de texto (adjunto).
Si alguien tiene una buena idea sobre cómo incluir esto en una tabla JMP para poder unirlo a la tabla de infracciones, sería de gran ayuda. Creo que el análisis de expresiones regulares es lo que necesitaré para que esto suceda y luego conformar la estructura X XYZ (X) de la tabla .txt en la estructura X.XYZ(X) que es la carga.
También pongo los datos sin procesar aquí si alguien está interesado: smb://JMPSMD/Users2/Valente-D/TrafficData
¡Gracias!
Re: Ayuda con el análisis Regex de un archivo PDF convertido en textoDan,
Quizás tenga algo de tiempo para trabajar en ello al final de la semana. Sería útil obtener una versión un poco más clara del archivo TXT. En particular, algunas líneas (como 266) se trataron como si las columnas estuvieran apiladas en grupos de dos o tres. La mayoría de las entradas con una longitud superior a aproximadamente 300 fueron tratadas de esta manera (aprox. 200/1376). Los valores de la columna Texto se crearon analizando el archivo original en retornos de carro y líneas nuevas (\!r, \!n) únicamente.
Don
Re: Ayuda con el análisis Regex de un archivo PDF convertido en textoGracias Don. Pensé que iba a ser un desafío. Este es un buen comienzo. Déjame unirlo a la mesa principal y ver qué obtengo. No es necesario que sea perfecto. Tengo 650.000 registros, por lo que incluso obtener entre el 20 y el 30 % de ellos sería un conjunto de datos de demostración razonable. ¡Agradezco la ayuda! Yo lo haré saber.
-dan
Re: Ayuda con el análisis Regex de un archivo PDF convertido en textoDan,
He trabajado en esto durante unas horas. Hay muchos errores en la traducción de PDF a texto, aproximadamente un tercio de la entrada tiene problemas. Se necesitaría una cantidad considerable de tiempo para limpiarlo. Si puede obtener una traducción más limpia, es posible que pueda hacer que algo funcione, pero desafortunadamente no tengo tiempo para hacerlo. Te adjunto una tabla de lo que he hecho hasta ahora, por si quieres echarle un vistazo.
Don
Re: Ayuda con el análisis Regex de un archivo PDF convertido en textoDan,
Esto es muy útil. Déjame ver qué puedo hacer.
Don
Re: Ayuda con el análisis Regex de un archivo PDF convertido en textoHola Don-
No recibí un boleto. Solo busco conjuntos de datos interesantes entre industrias que sean grandes y desordenados.
Aquí está el PDF original:
http://www.courts.state.md.us/district/forms/criminal/dccr090.pdf
Mira lo que piensas. Gracias por tu ayuda.
Dan
Re: Ayuda con el análisis Regex de un archivo PDF convertido en textoDan,
Eché un vistazo al archivo de texto y creo que la conversión podría haber alterado el formato. Si puedes ayudar con la estructura, probablemente pueda armar algo con expresiones regulares.
...a menos, por supuesto, que estés intentando comparar un ticket que recibiste recientemente. En cuyo caso, mi jefe me prohibiría estrictamente hacerlo.
Don
Re: Ayuda con el análisis Regex de un archivo PDF convertido en textoDan,
Espero que esto no se deba a que recientemente haya recibido una multa y esté tratando de compararla con otras multas.
lou
