Velocità di apertura/importazione dei fileCIAO,
Stiamo creando un sistema di consegna dei dati. La raccolta finale dei dati verrà inviata a JMP per la sua analisi. Tuttavia stiamo scoprendo che il tempo necessario per aprire i file è drasticamente diverso a seconda del loro tipo. Idealmente vorremmo importare file hdf5 ma in base alla nostra analisi la velocità di importazione è altamente proibitiva. In allegato è riportato un grafico che dimostra la velocità di importazione. Ovviamente riconosciamo che i file JMP sono i più veloci, tuttavia non esiste un modo per creare file JMP (tranne che in JMP), quindi questa non è un'opzione per la nostra attuale infrastruttura.
Re: Velocità di apertura/importazione dei fileSono passate tre settimane... dovrei invece inviare un ticket di supporto a riguardo?
Re: Velocità di apertura/importazione dei fileMi sono reso conto di avere un'altra idea che pensavo non avresti realizzato, ma dovrei dirti...
Codice Python per esportare un Pandas DataFrame direttamente in un file JMP compresso.
Re: Velocità di apertura/importazione dei fileWow, siamo lenti a rispondere. Lavoro con Kevin su questo progetto, ma non avevo realizzato che avesse scritto qui per chiedere aiuto..
Abbiamo il controllo del formato di output. Vogliamo sia dimensioni di file efficienti (per l'efficienza del trasferimento di file) che velocità durante l'apertura in JMP. L'unico formato compresso open source che abbiamo visto è HDF5, ma l'importazione di HDF5 da JMP sembra molto limitata. Abbiamo trovato solo un modo per creare un file HDF5 che JMP possa importare direttamente in un datatable (la maggior parte delle strutture di file HDF5 attivano la "Procedura guidata"), ma l'importazione di quel formato è lenta. E l'apertura con l'interfaccia Python JMP non ci compra nulla perché sembra ancora salvare come CSV, quindi importare quel file in JMP.
Quindi... mi piacerebbe aiutare a far funzionare uno di questi (o più!):
- Esempio di codice Python che genera un file HDF5 che può essere importato direttamente come tabella e con prestazioni veloci almeno quanto un'importazione CSV in cui i nomi delle colonne e i tipi di dati sono codificati (ovvero nessuna scansione di colonne/righe). Divulgazione completa: l'ho chiesto in un altro thread e @briancorcoran ha detto di non averlo: https://community.jmp.com/t5/Discussions/Automate-opening-an-hdf5-file/mp/266708#M51947
- Un modo per definire un tipo di file personalizzato (estensione file) e il JSL eseguito per importare quel tipo di file. Quindi posso creare un file ZIP, contenente sia i dati in un file CSV, sia un file di metadati separato con nomi e tipi di colonne, che consente un caricamento efficiente.
- Un tipo di file alternativo denso per il trasferimento in rete e performante quando viene aperto in JMP. Parquet?
Grazie,
- Bob
Re: Velocità di apertura/importazione dei fileGrazie per il tuo post
- Stai chiedendo consigli sulla scelta del formato file o richiedi un miglioramento delle prestazioni di importazione HDF?
- Hai il controllo assoluto sui dati scritti dal tuo sistema o le scelte sono limitate?
- Tutti i confronti sopra riportati stanno leggendo i file in JMP?
- Ho difficoltà a leggere/interpretare le leggende. Puoi spiegare i vari formati che hai confrontato?
- Hai indicato una preferenza per l'HDF. Quali vantaggi ti offre il formato HDF?
- Potete fornire qualche file HDF di esempio per consentirci di eseguire qui test comparativi sulle prestazioni?
