Geschwindigkeit des Öffnens / Importierens von DateienHallo,
Wir sind dabei, ein Datenlieferungssystem zu erstellen. Die endgültige Datenerfassung wird zur Analyse an JMP weitergeleitet. Wir stellen jedoch fest, dass die zum Öffnen von Dateien benötigte Zeit je nach Typ drastisch unterschiedlich ist. Idealerweise möchten wir HDF5-Dateien importieren, aber basierend auf unserer Analyse ist die Importgeschwindigkeit höchst unerschwinglich. Im Anhang befindet sich ein Diagramm, das die Importgeschwindigkeit zeigt. Natürlich erkennen wir an, dass JMP-Dateien am schnellsten sind. Es gibt jedoch keine Möglichkeit, JMP-Dateien zu erstellen (außer in JMP), sodass dies für unsere aktuelle Infrastruktur keine Option ist.
Betreff: Geschwindigkeit beim Öffnen / Importieren von DateienDanke für deinen Beitrag.
- Fragen Sie nach Ratschlägen zur Auswahl eines Dateiformats oder fordern Sie eine Verbesserung der Leistung des HDF-Imports?
- Haben Sie die absolute Kontrolle über die Daten, die Ihr System schreibt, oder gibt es nur begrenzte Auswahlmöglichkeiten?
- Lesen alle obigen Vergleiche Dateien in JMP?
- Ich habe Probleme beim Lesen / Interpretieren der Legenden. Können Sie die verschiedenen Formate erklären, die Sie verglichen haben?
- Sie haben eine Präferenz für HDF angegeben. Welche Vorteile bietet Ihnen das HDF-Format?
- Können Sie uns HDF-Beispieldateien zur Verfügung stellen, damit wir hier Vergleichsleistungstests durchführen können?
Betreff: Geschwindigkeit beim Öffnen / Importieren von DateienWow, wir reagieren nur langsam. Ich arbeite mit Kevin an diesem Projekt, aber ich wusste nicht, dass er hier um Hilfe gebeten hat.
Wir haben die Kontrolle über das Ausgabeformat. Wir wollen sowohl eine effiziente Dateigröße (für die Effizienz der Dateiübertragung) als auch eine Geschwindigkeit beim Öffnen in JMP. Das einzige komprimierte Open-Source-Format, das wir gesehen haben, ist HDF5, aber der JMP-HDF5-Import scheint sehr begrenzt zu sein. Wir haben nur einen Weg gefunden, eine HDF5-Datei zu erstellen, die JMP direkt in eine Datentabelle importieren kann (die meisten HDF5-Dateistrukturen lösen den "Assistenten" aus), aber dieses Format lässt sich nur langsam importieren. Und das Öffnen mit der Python-JMP-Oberfläche bringt uns nichts, da es immer noch als CSV zu speichern scheint. Importieren Sie diese Datei dann in JMP.
Also ... ich würde gerne helfen, eines davon zum Laufen zu bringen (oder mehr!):
- Beispiel Python-Code, der eine HDF5-Datei generiert, die direkt als Tabelle importiert werden kann und mindestens so schnell wie ein CSV-Import ist, bei dem die Spaltennamen und Datentypen fest codiert sind (dh kein Spalten- / Zeilenscan). Vollständige Offenlegung: Ich habe in einem anderen Thread darum gebeten und @ Briancorcoran sagte, er hätte es nicht: https://community.jmp.com/t5/Discussions/Automate-opening-an-hdf5-file/mp/266708#M51947
- Eine Möglichkeit, einen benutzerdefinierten Dateityp (Dateierweiterung) und die JSL zu definieren, die zum Importieren dieses Dateityps ausgeführt wird. Dann kann ich eine ZIP-Datei erstellen, die sowohl die Daten in einer CSV-Datei als auch eine separate Metadatendatei mit Spaltennamen und -typen enthält, wodurch das Laden effizient wird.
- Ein alternativer Dateityp, der für die Netzwerkübertragung dicht und beim Öffnen in JMP performant ist. Parkett?
Vielen Dank,
- Bob
Betreff: Geschwindigkeit beim Öffnen / Importieren von DateienMir wurde klar, dass ich noch eine Idee habe, von der ich angenommen habe, dass Sie es nicht tun, aber ich sollte erwähnen ...
Python-Code zum Exportieren eines Pandas DataFrame direkt in eine komprimierte JMP-Datei.
Betreff: Geschwindigkeit beim Öffnen / Importieren von DateienEs ist drei Wochen her ... sollte ich stattdessen ein Support-Ticket dafür einreichen?
