Velocità di apertura / importazione dei fileCiao,
Stiamo creando un sistema di consegna dei dati. La raccolta finale di dati verrà inviata a JMP per la sua analisi. Tuttavia stiamo scoprendo che il tempo impiegato per aprire i file è drasticamente diverso a seconda del loro tipo. Idealmente vorremmo importare file hdf5 ma in base alla nostra analisi la velocità di importazione è altamente proibitiva. In allegato è un grafico che dimostra la velocità di importazione. Ovviamente riconosciamo che i file JMP sono i più veloci, tuttavia non c'è modo di creare file JMP (tranne in JMP), quindi questa non è un'opzione per la nostra infrastruttura attuale.
Ri: Velocità di apertura / importazione dei fileGrazie per il tuo post.
- Stai chiedendo consigli sulla scelta di un formato di file o stai richiedendo un miglioramento delle prestazioni delle prestazioni di importazione HDF?
- Hai il controllo assoluto sui dati scritti dal tuo sistema o ci sono scelte limitate?
- Tutti i confronti sopra stanno leggendo i file in JMP?
- Ho problemi a leggere / interpretare le leggende. Puoi spiegare i vari formati che hai confrontato?
- Hai indicato una preferenza per HDF. Quali vantaggi ti offre il formato HDF?
- Potete fornirci qualche file HDF di esempio per eseguire test di confronto delle prestazioni qui?
Ri: Velocità di apertura / importazione dei fileWow, siamo lenti nel rispondere. Lavoro con Kevin su questo progetto, ma non mi rendevo conto che aveva pubblicato qui per chiedere aiuto.
Abbiamo il controllo del formato di output. Vogliamo sia le dimensioni dei file efficienti (per l'efficienza del trasferimento dei file) sia la velocità all'apertura in JMP. L'unico formato compresso open source che abbiamo visto è HDF5, ma l'importazione JMP HDF5 sembra molto limitata. Abbiamo trovato solo un modo per creare un file HDF5 che JMP può importare direttamente in un datatable (la maggior parte delle strutture di file HDF5 attiva la "Procedura guidata"), ma tale formato è lento da importare. E l'apertura con l'interfaccia JMP di Python non ci compra nulla perché sembra ancora salvarsi come CSV, quindi importare quel file in JMP.
Quindi ... mi piacerebbe aiutarti a far funzionare uno di questi (o più!):
- Esempio di codice Python che genera un file HDF5 che può essere importato direttamente come tabella e con prestazioni almeno altrettanto veloci di un'importazione CSV in cui i nomi delle colonne e i tipi di dati sono codificati (ovvero nessuna scansione di colonne / righe). Divulgazione completa: ho chiesto questo in un altro thread e @briancorcoran ha detto che non ce l'aveva: https://community.jmp.com/t5/Discussions/Automate-opening-an-hdf5-file/mp/266708#M51947
- Un modo per definire un tipo di file personalizzato (estensione del file) e il JSL che viene eseguito per importare quel tipo di file. Quindi posso creare un file ZIP, contenente sia i dati in un file CSV, sia un file di metadati separato con nomi e tipi di colonne, che consente di ottimizzare il caricamento.
- Un tipo di file alternativo denso per il trasferimento di rete e performante all'apertura in JMP. Parquet?
Grazie,
- Bob
Ri: Velocità di apertura / importazione dei fileMi sono reso conto di avere un'altra idea che ho pensato che non avresti fatto, ma dovrei menzionare ...
Codice Python per esportare un DataFrame Pandas direttamente in un file JMP compresso.
Ri: Velocità di apertura / importazione dei fileSono passate tre settimane ... dovrei presentare un ticket di supporto su questo, invece?
