Schnelles Textdateiformat zum Importieren in JMPIch erstelle große, durch Trennzeichen getrennte Datendateien (normalerweise CSV oder TSV), die letztendlich von Benutzern in JMP importiert werden. Normalerweise 1–3 GB groß. Ich kann das Format der Dateien angeben und würde gerne Meinungen dazu einholen, welches Nicht-JMP-Format am besten geeignet ist und ob es Hacks gibt, um den Import großer textbasierter Datendateien zu beschleunigen.
Grüße, Troy
Automatisierung und SkriptingBetreff: Schnelles Textdateiformat zum Importieren in JMPJe nach Einstellung in den Präferenzen ist auch ein txt-Import - mit Punkt und Komma - möglich.
"nicht möglich" bedeutet: Daten können importiert werden, aber Zahlen werden als Zeichen interpretiert - mit Zeit- und Speicherverlust:
JMP kann Zahlen viel effizienter verarbeiten als Text. Der Engpass beim Importieren als Zeichenfolgen und anschließenden Konvertieren in Zahlen könnte zu groß sein, um Ihre 1-3 GB in den Computerspeicher zu bekommen.
Mit JMP 17(?) wurden kompakte Spalten eingeführt. Dadurch können Zeichenspalten (mit sich wiederholenden Einträgen) viel effizienter im Computerspeicher gespeichert werden. Es kann jedoch zu Engpässen kommen, wenn die Daten aus einer CSV-Datei in die kompakten Spalten übertragen werden sollen.
Wenn Sie numerische Daten in ein „Raster“ laden möchten, sehen Sie sich bitte das HDF5- Datenformat an.
JMP kann solche Dateien importieren, allerdings ist die Funktionalität eingeschränkt. Laden Sie die Daten besser über Python.
Betreff: Schnelles Textdateiformat zum Importieren in JMPWenn die Eingabedatei Zeit-/Datumsdaten enthält, gelten einige Einschränkungen:
CSV-Import erzwingt MDY- oder DMY-Datumsformat
Betreff: Schnelles Textdateiformat zum Importieren in JMPHast Du da die Dateien zur Verfügung stehen schon etwas probiert?
- Welche Optionen haben Sie versucht, um die Dateien zu öffnen?
- JMP-„Möglichkeiten“ zum Öffnen von Dateien: Öffnen/Import mehrerer Dateien
- Python-Integration in JMP18 (DuckDB / Pandas / Polars usw.)
- Sind bei Ihnen Leistungsprobleme aufgetreten?
- Welche Dateiformate hast Du probiert und welche kannst Du erstellen?
- Normalerweise ist .csv ein ziemlich guter Dateityp, da er einfach zu erstellen und im Allgemeinen einfach zu öffnen ist
- Es gibt andere Dateitypen, aber diese können schwieriger zu erstellen sein und haben ihre Vor- und Nachteile, wie z. B. Parquet, Pickle oder Feather (Sie müssen die Python-Integration von JMP verwenden, um diese in JMP zu laden).
- Wäre eine Datenbank eine Option? SQLite wäre wahrscheinlich die einfachste Option und JMP kann sie problemlos öffnen.
- Wie viele Dateien sollte der Benutzer gleichzeitig geöffnet haben?
- Wie viele Benutzer gibt es?
- Öffnen alle Benutzer die gleichen Dateien? Könnten Sie sie mit einem automatisierten Prozess öffnen und eine JMP-Tabelle erstellen, die die Benutzer dann verwenden oder die Ergebnisse in einer Datenbank statt in Textdateien speichern könnten?
Betreff: Schnelles Textdateiformat zum Importieren in JMPVielen Dank an alle für die Antworten.
Bei den Dateien handelt es sich einfach um vorbereitete Datensätze mit typischerweise über 10.000 Spalten … und die Spaltennamen und -typen unterscheiden sich von Datei zu Datei, sodass es schwierig ist, die Spaltentypen im Voraus zu identifizieren und in den Einstellungen anzugeben. Sie stehen Hunderten von Personen zur Verfügung, aber normalerweise arbeitet jemand immer nur an einer Datei gleichzeitig. JMP kann mit der Datengröße umgehen (3 GB sind selten, die meisten Dateien sind etwa 1,2 GB – 1,5 GB groß) … es dauert nur eine Weile, sie zu öffnen. Außerdem befinden sie sich auf einem freigegebenen Laufwerk … aber normalerweise werden sie vor dem Öffnen lokal kopiert.
Ich denke, der Weg nach vorn besteht darin, sie beim Erstellen der Datensätze in das JMP-Format zu konvertieren und sie zusätzlich zu CSV als komprimierte JMP-Dateien zu speichern. Als ich das gestern getestet habe, habe ich eine etwa vierfache Komprimierung festgestellt. Einige Benutzer verwenden diese Dateien mit Jupyter Notebooks oder direkt auf anderen Analyseplattformen, daher werde ich die CSV-Versionen auch für diese Leute verfügbar halten. Ich brauche nur etwas zusätzlichen Speicherplatz auf dem Net-App-Filer.
Nochmals vielen Dank an alle für die Beiträge.
Betreff: Schnelles Textdateiformat zum Importieren in JMPDie Komprimierung von JMP kann JMP-Benutzern definitiv helfen, insbesondere wenn sie im Netzwerk gespeichert sind. Dies haben wir irgendwann für unsere JMP-Benutzer getan, indem wir .csv-Dateien, die an einem bestimmten Speicherort im Netzwerk gefunden wurden, in JMP-Tabellen konvertiert haben. Heutzutage versuchen wir (was definitiv nicht immer möglich oder einfach ist), solche Dateien in einer Datenbank zu speichern, obwohl wir normalerweise nicht so viele Spalten haben, sondern nur viele Zeilen.
Es besteht auch die Möglichkeit, ein separates Add-In für JMP-Benutzer zu erstellen, um diese Dateien zu verwenden. Das Problem mit der Dateigröße wird dadurch zwar nicht gelöst, ABER das Tool könnte sie zunächst als lokale Dateien kopieren und dann lokal laden.
