Abrir archivos de parquetMe gustaría que JMP pudiera abrir archivos Apache Parquet y manejarlos de la misma manera que se pueden manejar HDF5, JSON, etc. Un millón de gracias.
Acceso a los datosRe: Abrir Archivos ParquetNo, en la versión actual del software (V17) no es posible.
Re: Abrir Archivos ParquetHola @MassimoMartucci
¿Es posible abrir archivos de parquet, carpetas con la función Abrir o alguna otra función? Función abierta
Re: Abrir Archivos Parquet@MassimoMartucci Funciona muy bien, ¡gracias por la rápida respuesta!
Re: Abrir Archivos ParquetHola, ese problema debería solucionarse ahora, ya no apunto a esa carpeta. He vuelto a subir el complemento, ¿lo intentarías? Máximo
Re: Abrir Archivos ParquetHola @MassimoMartucci ,
Excelente complemento... esto será muy útil para nuestro equipo.
El cargador de un solo archivo funcionó, pero el botón de varios archivos agrega el siguiente error al registro...
JMP17
Pitón: 3.9.7
/*:
// Nueva tabla de datos
// → Tabla de datos( "Sin título")
Nueva tabla ("Sin título");
Argumento no válido en Pick File: Directorio "c:\tmp\parquet_multiple_files" no encontrado en el acceso o evaluación de 'Pick Directory', Pick Directory/*###*/("Seleccione directorio con archivos de entrada de Apache Parquet",
"c:\tmp\parquet_multiple_files", Mostrar Archivos( 1 ))
en la línea 10 en ~\SAS\JMP\Addins\com.jmp.martucci.parquet\Apache Parquet importador de archivos - múltiples archivos - Interactive.jsl
¡Gracias!
Re: Abrir Archivos Parquet¡Eso es fantástico!Gracias Massimo :thumbs_up:
Re: Abrir Archivos ParquetHola a todos, recientemente lo desarrollé y lo puse en la sección Intercambio de archivos -> Complementos este " Importador de archivos Apache Parquet" complemento: Importador de archivos Apache Parquet
Importa interactivamente archivos .parquet en las tablas JMP correspondientes: funciona tanto para un solo archivo como para varios archivos (todos se almacenan en la misma carpeta).
Requiere JMP V17 y una instalación Python compatible con el paquete PyArrow (y sus dependencias).
Re: Abrir Archivos ParquetCreé una cuenta solo para intervenir y decir que la falta de esta función actualmente está alejando a los usuarios de jmp en nuestra organización, ya que no puede abrir estos archivos.
Re: Abrir Archivos ParquetGracias por los comentarios adicionales. Investigaremos más a fondo.
Re: Abrir Archivos ParquetTambién me gustaría mucho poder leer directamente desde un archivo parquet en una tabla JMP.Trabajo regularmente con archivos CSV de 2 GB (130 000 filas, 2,5 000 columnas) y tengo una computadora portátil i7 bastante reciente con 64 GB de RAM.Abrir uno de estos archivos demora alrededor de 5 minutos para el escaneo de datos y luego otros 4 minutos y medio para importar los datos.Son casi 10 minutos de mi tiempo esperando a que JMP abra el archivo.
Nuestro sistema de datos puede producir un parquet en lugar de un csv y el mismo archivo tiene menos de 200 MB y ya tiene codificados los tipos de datos correctos.Cuando abro uno de estos archivos de parquet con una sola línea de código (read_parquet) en pandas, puedo cargarlo en un marco de datos en la memoria en menos de 30 segundos.Últimamente dudo mucho en abrir los archivos en JMP incluso si esta fuera mi preferencia.Puedo abrir el archivo en pandas, hacer un resumen y obtener la información que necesito en la mitad del tiempo que lleva abrirlo en JMP.
Tener esta capacidad sería realmente beneficioso para las personas que realizan análisis con archivos más grandes; espero que se pueda habilitar en un futuro cercano.
Re: Abrir Archivos Parquet100% de acuerdo con los comentarios anteriores de John.Se debe habilitar JMP para leer parquet y calar directamente en una tabla JMP.
Re: Abrir Archivos ParquetSi JMP realmente quiere hacer big data correctamente, debería poder leer archivos parquet/feather e importarlos directamente con la compresión y las definiciones de columnas adecuadas. No hay suficiente memoria para abrir un archivo y luego comprimirlo. Y este problema no hará más que empeorar.
Re: Abrir Archivos ParquetAlguna información extra para los curiosos:
https://www.databricks.com/glossary/what-is-parquet#:~:text=What%20is%20Parquet%3F,handle%20complex%20data%20in%20bulk .
Re: Abrir Archivos ParquetOh hombre, qué fastidio.Por lo que vale, ¡creo que esto es importante!
Los archivos Parquet son realmente eficientes en términos de almacenamiento y tiempos de lectura, es particularmente bueno cuando tienes que transferir datos desde otra plataforma a JMP o desde JMP a otra plataforma.
Re: Abrir archivos Parquet - Estado cambiado a: ArchivadoEstamos archivando esta solicitud. Si esto sigue siendo importante, comente con detalles adicionales y reabriremos. ¡Gracias!Re: Abrir Archivos Parquet@Ryan_Gilmore Desarchive esta solicitud. Estos tipos de archivos son mucho más eficientes de usar que csv y deberían ser una compatibilidad integrada frente a un complemento. Gracias por considerar esta solicitud.
esteban
Re: Abrir archivos Parquet - Estado cambiado a: ReconocidoRe: Abrir Archivos Parquet@kevin_lennon , con JMP 18, ahora es posible abrir archivos Apache Parquet a través de la integración mejorada de Python. Por favor mira:
https://community.jmp.com/t5/JMPer-Cable/JMP-is-Pythonic-Enhanced-Python-Integration-in-JMP-18/ba-p/723997
¡Gracias!
(Marcando esta solicitud como entregada).
Re: Abrir archivos Parquet - Estado cambiado a: EntregadoRe: Abrir Archivos ParquetConsulte mis adiciones a https://community.jmp.com/t5/JMP-Add-Ins/Apache-Parquet-file-importer/ta-p/637823#U637823 donde detallo un script actualizado aprovechando las capacidades de JMP 18. .
