Velocidad de apertura / importación de archivosHola,
Estamos en el proceso de crear un sistema de entrega de datos. La recopilación final de datos se enviará a JMP para su análisis. Sin embargo, estamos descubriendo que el tiempo necesario para abrir archivos es drásticamente diferente según su tipo. Idealmente, nos gustaría importar archivos hdf5, pero según nuestro análisis, la velocidad de importación es altamente prohibitiva. Se adjunta un gráfico que demuestra la velocidad de importación. Obviamente, reconocemos que los archivos JMP son los más rápidos, sin embargo, no hay forma de crear archivos JMP (excepto en JMP), por lo que esta no es una opción para nuestra infraestructura actual.
Re: Velocidad de apertura / importación de archivosGracias por tu publicación.
- ¿Está solicitando asesoramiento para elegir un formato de archivo o solicita mejoras en el rendimiento de la importación de HDF?
- ¿Tiene control absoluto sobre los datos que escribe su sistema o hay opciones limitadas?
- ¿Están todas las comparaciones anteriores leyendo archivos en JMP?
- Tengo problemas para leer / interpretar las leyendas. ¿Puedes explicar los diversos formatos que has comparado?
- Usted indicó una preferencia por HDF. ¿Qué ventajas te brinda el formato HDF?
- ¿Puede proporcionarnos algunos archivos HDF de muestra para que hagamos pruebas de rendimiento de comparación aquí?
Re: Velocidad de apertura / importación de archivosWow, somos lentos en responder. Trabajo con Kevin en este proyecto, pero no me di cuenta de que había publicado aquí por ayuda.
Tenemos control del formato de salida. Queremos tanto el tamaño eficiente del archivo (para la eficiencia de la transferencia de archivos) como la velocidad al abrir en JMP. El único formato comprimido de código abierto que hemos visto es HDF5, pero la importación de JMP HDF5 parece muy limitada. Solo hemos encontrado una forma de crear un archivo HDF5 que JMP puede importar directamente en una tabla de datos (la mayoría de las estructuras de archivos HDF5 activan el "Asistente"), pero ese formato es lento para importar. Y abrir con la interfaz Python JMP no nos compra nada porque todavía parece guardar como CSV, luego importa ese archivo en JMP.
Entonces ... Me encantaría ayudar a que uno de estos funcione (¡o más!):
- Ejemplo de código Python que genera un archivo HDF5 que se puede importar directamente como una tabla, y con un rendimiento al menos tan rápido como una importación CSV donde los nombres de columna y los tipos de datos están codificados (es decir, sin escaneo de columna / fila). Revelación completa: pedí esto en otro hilo y @briancorcoran dijo que no lo tenía: https://community.jmp.com/t5/Discussions/Automate-opening-an-hdf5-file/mp/266708#M51947
- Una forma de definir un tipo de archivo personalizado (extensión de archivo) y el JSL que se ejecuta para importar ese tipo de archivo. Luego puedo crear un archivo ZIP, que contenga tanto los datos en un archivo CSV, como un archivo de metadatos separado con nombres y tipos de columna, lo que permite que la carga sea eficiente.
- Un tipo de archivo alternativo que es denso para la transferencia de red y que funciona bien cuando se abre en JMP. ¿Parquet?
Gracias,
- Beto
Re: Velocidad de apertura / importación de archivosMe di cuenta de que tengo una idea más que asumí que no harías, pero debería mencionar ...
Código de Python para exportar un Pandas DataFrame directamente a un archivo JMP comprimido.
Re: Velocidad de apertura / importación de archivosHan pasado tres semanas ... ¿Debería enviar un ticket de soporte para esto?
