Re: Apertura file Parquet - Stato modificato in: ArchiviatoStiamo archiviando questa richiesta. Se questo è ancora importante, commenta con ulteriori dettagli e riapriremo. Grazie!Re: Apertura file ParquetAw uomo peccato.Per quel che vale, penso che questo sia importante!
I file Parquet sono davvero efficienti in termini di archiviazione e tempi di lettura, è particolarmente utile quando devi trasferire dati da un'altra piattaforma a JMP o da JMP a un'altra piattaforma.
Re: Apertura file ParquetQualche informazione in più per i curiosi:
https://www.databricks.com/glossary/what-is-parquet#:~:text=What%20is%20Parquet%3F,handle%20complex%20data%20in%20bulk .
Re: Apertura di file Parquet100% d'accordo con i commenti di John sopra.JMP dovrebbe essere abilitato per leggere parquet e piuma direttamente in una tabella JMP.
Re: Apertura di file ParquetMi piacerebbe anche molto la capacità di leggere direttamente da un file parquet in una tabella JMP.Lavoro regolarmente con CSV da 2 GB (130 K righe, 2,5 K colonne) e ho un laptop i7 abbastanza recente con 64 GB di RAM.L'apertura di uno di questi file richiede circa 5 minuti per la scansione dei dati e poi altri 4 minuti e mezzo per l'importazione dei dati.Sono quasi 10 minuti del mio tempo in attesa che JMP apra il file.
Il nostro sistema di dati può produrre un parquet invece di un csv e lo stesso file è inferiore a 200 MB e contiene già i tipi di dati corretti.Quando apro uno di questi file parquet con una singola riga di codice (read_parquet) in panda, può caricarlo in un dataframe in memoria in meno di 30 secondi.Ultimamente sono molto riluttante ad aprire i file in JMP anche se questa sarebbe la mia preferenza.Posso aprire il file in panda, fare un riepilogo ottenere le informazioni di cui ho bisogno nella metà del tempo necessario per aprirlo semplicemente in JMP.
Avere questa capacità sarebbe davvero vantaggioso per le persone là fuori che eseguono analisi con file più grandi, spero che possa essere abilitato nel prossimo futuro.
Re: Apertura di file ParquetSe JMP vuole davvero eseguire correttamente i big data, dovrebbe essere in grado di leggere i file parquet/feather e importarli direttamente con compressione e definizioni di colonna appropriate. Memoria insufficiente per aprire un file e quindi comprimerlo. E questo problema non farà che peggiorare.
Re: Apertura di file ParquetGrazie per i commenti aggiuntivi. Indagheremo ulteriormente.
Apertura di file di parquetVorrei che JMP fosse in grado di aprire i file Apache Parquet e gestirli nello stesso modo in cui HDF5, JSON ecc ... possono essere gestiti. Grazie mille.
Accesso ai datiRe: Apertura di file ParquetHo creato un account solo per intervenire e dire che la mancanza di questa funzione sta attualmente allontanando gli utenti da jmp nella nostra organizzazione poiché non è in grado di aprire questi file.
Re: Apertura di file ParquetÈ fantastico!Grazie Massimo :pollice in su:
Re: Apertura di file ParquetCIAO @MassimoMartucci ,
Eccellente add-in... sarà di grande aiuto per il nostro team.
L'uploader di file singolo ha funzionato, ma il pulsante di file multipli aggiunge l'errore seguente al registro...
JMP17
Pitone: 3.9.7
/*:
// Nuova tabella dati
// → Tabella dati( "Senza titolo" )
Nuova tabella( "Senza titolo" );
Argomento non valido in Pick File: Directory "c:\tmp\parquet_multiple_files" non trovata nell'accesso o nella valutazione di 'Pick Directory' , Pick Directory/*####*/("Select directory with Apache Parquet input files",
"c:\tmp\parquet_multiple_files", Mostra file( 1 ))
alla riga 10 in ~\SAS\JMP\Addins\com.jmp.martucci.parquet\Apache Parquet importatore di file - più file - interactive.jsl
Grazie!
Re: Apertura di file ParquetCiao a tutti, ho recentemente sviluppato e inserito nella sezione File Exchange -> Add-ins questo " Importatore di file Apache Parquet" aggiungere: Importatore di file Apache Parquet
Importa in modo interattivo il/i file .parquet nelle corrispondenti tabelle JMP: funziona sia per un singolo file che per più file (tutti memorizzati nella stessa cartella)
Richiede JMP V17 e un'installazione Python supportata con il pacchetto PyArrow (e le sue dipendenze).
Re: Apertura di file ParquetCiao, il problema dovrebbe essere risolto ora, non sto più indicando quella cartella. Ho ricaricato il componente aggiuntivo, faresti una prova? Massimo
Re: Apertura di file Parquet@MassimoMartucci funziona benissimo, grazie per la celere risposta!
Re: Apertura di file ParquetCIAO @MassimoMartucci
È possibile aprire file parquet, cartelle con l'Apri o qualche altra funzione Funzione aperta
Re: Apertura di file ParquetNo, nella versione attuale del software (V17) non è possibile.
Re: Apertura dei file Parquet@Ryan_Gilmore Annulla l'archiviazione di questa richiesta. Questi tipi di file sono molto più efficienti da utilizzare rispetto a CSV e dovrebbero essere una compatibilità integrata rispetto a un componente aggiuntivo. Grazie per aver considerato questa richiesta.
Steve
Oggetto: Apertura dei file Parquet - Stato modificato in: RiconosciutoRe: Apertura dei file Parquet@kevin_lennon , con JMP 18, è ora possibile aprire file Apache Parquet tramite l'integrazione migliorata di Python. Perfavore guarda:
https://community.jmp.com/t5/JMPer-Cable/JMP-is-Pythonic-Enhanced-Python-Integration-in-JMP-18/ba-p/723997
Grazie!
(Contrassegnare questa richiesta come consegnata).
Oggetto: Apertura dei file Parquet - Stato modificato in: ConsegnatoRe: Apertura dei file ParquetSi prega di consultare le mie aggiunte a https://community.jmp.com/t5/JMP-Add-Ins/Apache-Parquet-file-importer/ta-p/637823#U637823 dove descrivo in dettaglio uno script aggiornato sfruttando le funzionalità di JMP 18 .
