Formato de archivo de texto rápido para importar a JMPProduzco archivos de datos delimitados de gran tamaño (normalmente, csv o tsv) que los usuarios importarán en última instancia a JMP. Normalmente, su tamaño oscila entre 1 y 3 GB. Puedo especificar el formato de los archivos y me gustaría conocer su opinión sobre cuál es el mejor formato distinto de JMP para utilizar y si existen trucos para acelerar la importación de archivos de datos de gran tamaño basados en texto.
Saludos, Troy
Automatización y scriptingRe: Formato de archivo de texto rápido para importar a JMPDependiendo de la configuración en las preferencias, es posible importar archivos txt, con punto y coma .
"no es posible" significa: se pueden importar datos, pero los números se interpretarán como caracteres, con pérdida de tiempo y memoria:
JMP puede manejar números de manera mucho más eficiente que texto. El cuello de botella para importarlos como cadenas y luego convertirlos en números podría ser demasiado extremo para que entren entre 1 y 3 GB en la memoria de la computadora.
Con JMP 17(?), se introdujeron las columnas compactas. Esto permite almacenar columnas de caracteres (con entradas repetidas) de forma mucho más eficiente en la memoria de la computadora. Sin embargo, podría haber un cuello de botella para obtener los datos de un archivo csv en la columna compacta.
Si desea cargar datos numéricos en una "cuadrícula", consulte el formato de datos hdf5 .
JMP puede importar dichos archivos, pero la funcionalidad es limitada. Es mejor cargar los datos a través de Python.
Re: Formato de archivo de texto rápido para importar a JMPSi hay datos de fecha y hora en el archivo de entrada, existen algunas restricciones:
La importación de CSV fuerza el formato de fecha MDY o DMY
Re: Formato de archivo de texto rápido para importar a JMP¿Ya has probado algo ya que tienes los archivos disponibles?
- ¿Qué opciones has probado para abrir los archivos?
- "Formas" de abrir archivos de JMP: Abrir / Importar archivos múltiples
- Integración de Python en JMP18 (DuckDB/pandas/polars, etc.)
- ¿Tuviste problemas de rendimiento?
- ¿Qué formatos de archivos has probado y cuáles puedes crear?
- Por lo general, el tipo de archivo .csv es bastante bueno, ya que es fácil de crear y, en general, fácil de abrir.
- Hay otros tipos de archivos, pero pueden ser más difíciles de crear y tienen sus ventajas y desventajas, como Parquet, Pickle o Feather (tendrás que usar la integración de Python de JMP para cargarlos en JMP).
- ¿Podría ser una base de datos una opción? SQLite sería probablemente la opción más sencilla y JMP puede abrirla fácilmente.
- ¿Cuántos archivos debe tener abiertos el usuario al mismo tiempo?
- ¿Cuántos usuarios hay?
- ¿Todos los usuarios abrirán los mismos archivos? ¿Podrías abrirlos con algún proceso automatizado y crear una tabla JMP que los usuarios luego usarían o almacenar los resultados en una base de datos en lugar de archivos de texto?
Re: Formato de archivo de texto rápido para importar a JMPGracias a todos por las respuestas.
Los archivos son simplemente conjuntos de datos preparados previamente con más de 10 000 columnas, y los nombres y tipos de columnas difieren de un archivo a otro, por lo que es difícil identificar los tipos de columnas con anticipación y especificarlos en las preferencias. Están disponibles para cientos de personas, pero por lo general, alguien trabaja solo en un archivo a la vez. JMP puede manejar el tamaño de los datos (3 GB es poco común, la mayoría de los archivos tienen alrededor de 1,2 GB a 1,5 GB)... solo lleva tiempo abrirlos. Además, están en una unidad compartida... pero la gente generalmente los copia localmente antes de abrirlos.
Creo que el camino a seguir es convertirlos al formato JMP cuando hago los conjuntos de datos y guardarlos como archivos JMP comprimidos además de CSV. He visto una compresión de ~4x cuando probé esto ayer. Algunos usuarios consumen estos archivos usando Jupyter Notebooks o directamente en otras plataformas de análisis, así que mantendré las versiones CSV disponibles para esas personas también......Solo necesitaré algo de espacio adicional en el archivador de net-app.
Gracias a todos nuevamente por sus aportaciones.
Re: Formato de archivo de texto rápido para importar a JMPLa compresión de JMP puede ayudar definitivamente a los usuarios de JMP, especialmente si están almacenados en la red. Esto es algo que hicimos para nuestros usuarios de JMP en algún momento: convertimos archivos .csv encontrados en una ubicación de unidad de red específica en tablas JMP. Hoy en día intentamos (definitivamente no siempre es posible o fácil) almacenar dichos archivos en una base de datos, aunque por lo general no tenemos tantas columnas, solo muchas filas.
También existe la opción de crear un complemento independiente para que los usuarios de JMP utilicen esos archivos. Sin embargo, esto no solucionará el problema del tamaño de los archivos, PERO la herramienta podría primero copiarlos como archivos locales y luego cargarlos localmente.
