Bevorzugtes Datenformat für Tabellen mit vielen Zeilen?Entschuldigung, offenbar eine Anfängerfrage (schon wieder...).
Wir arbeiten endlich an der Analyse der Online-Sensordaten („Tags“), die wir seit Jahren in unserem Werk sammeln. Die Standard-Zeitauflösung dieser Tags beträgt 1 Sekunde, und es müssen etwa 1400 Tags nach relevanten Informationen durchsucht werden. Um diesen Schritt zu erreichen, muss ich unserem Digitalisierungsteam ein Datenformat vorschlagen. Ich glaube, sie erwarten, dass alle, die nicht zu ihrem Team gehören (also ich nicht), mit CSV-Dateien arbeiten. Mir ist jedoch klar, dass dieses Format mit etwa 30 Millionen Zeilen, was ungefähr der Anzahl der Sekunden in einem Jahr entspricht, nicht zurechtkommt. Auch wenn diese Zeitauflösung möglicherweise nicht erforderlich ist, halte ich es für sinnvoll, das Ganze so anzugehen, als wäre sie notwendig. Selbst eine Granularität von 1 Minute würde etwa 0,5 Millionen Zeilen pro Jahr bedeuten, was mit CSV immer noch unpraktisch zu handhaben ist.
Ist JSON die bevorzugte Methode, um große Tabellen zu verarbeiten, z. B. beim Import in JMP? Oder wäre es besser, eine Datenbank anzubinden und die Daten direkt von dort in JMP zu laden? Ich freue mich über jedes Feedback und jeden Kommentar, den ich unserem Digitalisierungsteam zu diesem Thema weitergeben kann. Vielen Dank im Voraus, liebe JMP-Nutzer!
DatenzugriffBetreff: Bevorzugtes Datenformat für Tabellen mit vielen Zeilen?Wenn möglich, speichern Sie die Daten in einer geeigneten Datenbank. Es ist höchstwahrscheinlich einfach, es von der Datenbank zu JMP zu übertragen.
Betreff: Bevorzugtes Datenformat für Tabellen mit vielen Zeilen?Ich importiere häufig Daten mit Millionen von Zeilen aus CSV. Die Grenze ist lediglich der Datenexport der Quellanwendung, der bei 2 GB liegt.
Wenn ich größere Datenmengen verarbeiten muss, teile ich sie in Teile auf und lade mehrere CSV-Dateien.
Daher sind die 0,5 Mio. Zeilen (die Sie für die 1-Minuten-Granularität erwähnen) über CSV definitiv kein Problem.
Bin gespannt, ob du es auch schaffst, die 30 Mio. in Jmp zu bekommen.
Wenn nicht als Einzelstück, dann vielleicht in 5-Mio.-Stücken?
Betreff: Bevorzugtes Datenformat für Tabellen mit vielen Zeilen?@hogi , entschuldige bitte meinen Fehler. Ich dachte, CSV hätte die gleichen Einschränkungen wie Excel, aber das stimmt nicht. Danke für den Hinweis. Ich denke aber trotzdem, dass eine Zeilenbeschränkung von 0,5 Millionen für einen 30-Millionen-Zeilen-Datensatz eine potenzielle Unannehmlichkeit darstellt. Ich gehe aber davon aus, dass sich das wahrscheinlich auch bewältigen lässt.
