Velocidad de apertura/importación de archivosHola,
Estamos en el proceso de crear un sistema de entrega de datos. La recopilación final de datos se enviará al JMP para su análisis. Sin embargo, descubrimos que el tiempo necesario para abrir archivos es drásticamente diferente según su tipo. Lo ideal sería importar archivos hdf5 pero, según nuestro análisis, la velocidad de importación es muy prohibitiva. Se adjunta un gráfico que demuestra la velocidad de importación. Obviamente reconocemos que los archivos JMP son los más rápidos, sin embargo, no hay forma de crear archivos JMP (excepto en JMP), por lo que esta no es una opción para nuestra infraestructura actual.
Re: Velocidad de apertura/importación de archivosHan pasado tres semanas... ¿debería enviar un ticket de soporte sobre esto?
Re: Velocidad de apertura/importación de archivosMe di cuenta de que tengo una idea más que supuse que no harías, pero debo mencionar...
Código Python para exportar un Pandas DataFrame directamente a un archivo JMP comprimido.
Re: Velocidad de apertura/importación de archivosVaya, tardamos en responder. Trabajo con Kevin en este proyecto, pero no me di cuenta de que había publicado aquí pidiendo ayuda.
Tenemos control del formato de salida. Queremos un tamaño de archivo eficiente (para la eficiencia de la transferencia de archivos) y velocidad al abrir en JMP. El único formato comprimido de código abierto que hemos visto es HDF5, pero la importación JMP HDF5 parece muy limitada. Solo hemos encontrado una forma de crear un archivo HDF5 que JMP puede importar directamente a una tabla de datos (la mayoría de las estructuras de archivos HDF5 activan el "Asistente"), pero ese formato se importa lentamente. Y abrir con la interfaz Python JMP no nos compra nada porque todavía parece guardarse como CSV y luego importar ese archivo en JMP.
Entonces...me encantaría ayudarme a hacer que uno de estos funcione (¡o más!):
- Ejemplo de código Python que genera un archivo HDF5 que se puede importar directamente como una tabla y con un rendimiento al menos tan rápido como una importación CSV donde los nombres de las columnas y los tipos de datos están codificados (es decir, sin escaneo de columnas/filas). Divulgación completa: pedí esto en otro hilo y @briancorcoran dijo que no lo tenía: https://community.jmp.com/t5/Discussions/Automate-opening-an-hdf5-file/mp/266708#M51947
- Una forma de definir un tipo de archivo personalizado (extensión de archivo) y el JSL que se ejecuta para importar ese tipo de archivo. Luego puedo crear un archivo ZIP que contenga los datos de un archivo CSV y un archivo de metadatos separado con nombres y tipos de columnas, lo que permite que la carga sea eficiente.
- Un tipo de archivo alternativo que es denso para la transferencia de red y eficaz al abrirlo en JMP. ¿Parquet?
Gracias,
- Beto
Re: Velocidad de apertura/importación de archivosGracias por tu publicación.
- ¿Está pidiendo consejo sobre cómo elegir un formato de archivo o solicita una mejora en el rendimiento de la importación HDF?
- ¿Tiene control absoluto sobre los datos que escribe su sistema o hay opciones limitadas?
- ¿Todas las comparaciones anteriores leen archivos en JMP?
- Tengo problemas para leer/interpretar las leyendas. ¿Puedes explicar los distintos formatos que has comparado?
- Usted indicó una preferencia por HDF. ¿Qué ventajas te aporta el formato HDF?
- ¿Puede proporcionarnos algún archivo HDF de muestra para que podamos realizar pruebas comparativas de rendimiento aquí?
