Geschwindigkeit beim Öffnen/Importieren von DateienHallo,
Wir sind dabei, ein Datenbereitstellungssystem zu erstellen. Die endgültige Datensammlung wird zur Analyse an JMP weitergeleitet. Wir stellen jedoch fest, dass die Zeit, die zum Öffnen von Dateien benötigt wird, je nach Dateityp erheblich unterschiedlich ist. Idealerweise würden wir gerne HDF5-Dateien importieren, aber unserer Analyse zufolge ist die Importgeschwindigkeit äußerst unerschwinglich. Im Anhang finden Sie eine Grafik, die die Importgeschwindigkeit zeigt. Natürlich erkennen wir an, dass JMP-Dateien am schnellsten sind. Es gibt jedoch keine Möglichkeit, JMP-Dateien zu erstellen (außer in JMP), sodass dies für unsere aktuelle Infrastruktur keine Option ist.
Betreff: Geschwindigkeit beim Öffnen/Importieren von DateienEs ist drei Wochen her. Sollte ich stattdessen ein Support-Ticket dazu einreichen?
Betreff: Geschwindigkeit beim Öffnen/Importieren von DateienMir wurde klar, dass ich noch eine weitere Idee habe, von der ich annahm, dass Sie sie nicht tun würden, aber ich sollte erwähnen ...
Python-Code zum direkten Exportieren eines Pandas DataFrame in eine komprimierte JMP-Datei.
Betreff: Geschwindigkeit beim Öffnen/Importieren von DateienWow, wir reagieren langsam. Ich arbeite mit Kevin an diesem Projekt, aber ich wusste nicht, dass er hier um Hilfe gebeten hat.
Wir haben die Kontrolle über das Ausgabeformat. Wir wollen sowohl eine effiziente Dateigröße (für eine effizientere Dateiübertragung) als auch eine Geschwindigkeit beim Öffnen in JMP. Das einzige Open-Source-komprimierte Format, das wir gesehen haben, ist HDF5, aber der JMP-HDF5-Import scheint sehr begrenzt zu sein. Wir haben nur eine Möglichkeit gefunden, eine HDF5-Datei zu erstellen, die JMP direkt in eine Datentabelle importieren kann (die meisten HDF5-Dateistrukturen lösen den „Assistenten“ aus), aber dieses Format lässt sich nur langsam importieren. Und das Öffnen mit der Python-JMP-Schnittstelle bringt uns nichts, da es immer noch so aussieht, als würde es als CSV gespeichert und die Datei dann in JMP importiert.
Also...ich würde gerne dabei helfen, eines davon (oder mehrere!) zum Laufen zu bringen:
- Beispiel-Python-Code, der eine HDF5-Datei generiert, die direkt als Tabelle importiert werden kann und deren Leistung mindestens so schnell ist wie ein CSV-Import, bei dem die Spaltennamen und Datentypen fest codiert sind (d. h. kein Spalten-/Zeilenscan). Vollständige Offenlegung: Ich habe in einem anderen Thread danach gefragt und @briancorcoran sagte, er hätte es nicht: https://community.jmp.com/t5/Discussions/Automate-opening-an-hdf5-file/mp/266708#M51947
- Eine Möglichkeit, einen benutzerdefinierten Dateityp (Dateierweiterung) und die JSL zu definieren, die zum Importieren dieses Dateityps ausgeführt wird. Dann kann ich eine ZIP-Datei erstellen, die sowohl die Daten in einer CSV-Datei als auch eine separate Metadatendatei mit Spaltennamen und -typen enthält, was ein effizientes Laden ermöglicht.
- Ein alternativer Dateityp, der für die Netzwerkübertragung dicht ist und beim Öffnen in JMP leistungsstark ist. Parkett?
Danke,
- Bob
Betreff: Geschwindigkeit beim Öffnen/Importieren von DateienVielen Dank für Ihren Beitrag.
- Bitten Sie um Rat bei der Auswahl eines Dateiformats oder wünschen Sie eine Verbesserung der Leistung des HDF-Imports?
- Haben Sie die absolute Kontrolle über die Daten, die Ihr System ausschreibt, oder gibt es nur begrenzte Auswahlmöglichkeiten?
- Erfüllen alle oben genannten Vergleiche das Einlesen von Dateien in JMP?
- Ich habe Probleme beim Lesen/Interpretieren der Legenden. Können Sie die verschiedenen Formate erklären, die Sie verglichen haben?
- Sie haben angegeben, dass Sie HDF bevorzugen. Welche Vorteile bietet Ihnen das HDF-Format?
- Können Sie uns Beispiel-HDF-Dateien zur Verfügung stellen, damit wir hier Vergleichsleistungstests durchführen können?
