Kann JMP 3500 csv-Dateien zusammen ~ 20 MB pro Datei und insgesamt 5 Millionen Zeilen verketten, wenn sie zusammengefügt werdenHallo,
Ich habe wöchentliche Daten, um aus 3500 csv-Dateien ~ 20 MB pro Datei (identische Spalten) zu erstellen
Nach dem Kombinieren wird es ungefähr 5 Millionen Zeilen und ungefähr 100 Spalten haben.
Ich verwende Windows JMP 11 64-Bit, mein Arbeitsspeicher ist 8 Gigabyte, Prozessorkern i5?
Frage: Wenn ich einen Query Builder erstelle und eine Verbindung zu einer ODBC-Datenbank herstelle, um auf diese 3500-csv-Dateien zuzugreifen, kann JMP diese in einer Datentabelle mit 5 Millionen Zeilen verketten?
BR,
Jerry
Re: Kann JMP 3500 csv-Dateien ~ 20 MB pro Datei und insgesamt 5 Millionen Zeilen verketten, wenn sie zusammengefügt werdenProbier es wahrscheinlich aus.
Der Textspaltenoverhead beträgt ungefähr 32 Bytes. Oder jede Textspalte benötigt mindestens so viel Speicher wie vier numerische Spalten. Lange Zeichenfolgen in den Zellen benötigen noch mehr Speicher.
1/3 der Daten zu halten scheint ein guter Anfang zu sein.
Möglicherweise finden Sie auch die Optionen Cols-> Utilities-> CompressSelectedColumns. Es konvertiert Spalten in Repräsentationen, die weniger Speicher benötigen.
Re: Kann JMP 3500 csv-Dateien ~ 20 MB pro Datei und insgesamt 5 Millionen Zeilen verketten, wenn sie zusammengefügt werdenHi Craig,
Danke, wenn ich meine Datenpunkte um 5M / 3, 1,67M-Zeilen reduziere * 100cols * 8Byte / Zelle = 1,33 GB, hat dies einige Textspalten, daher brauche ich ein wenig Overhead, so dass mein System es mit 3 Durchläufen einschließlich der Analyse wie tabellarisch verarbeiten kann und Pivots, ich muss nur das Bestehen / Nichtbestehen dieser 5M-Daten zählen. Ist das machbar?
Vielen Dank
Re: Kann JMP 3500 csv-Dateien ~ 20 MB pro Datei und insgesamt 5 Millionen Zeilen verketten, wenn sie zusammengefügt werdenWenn alle Daten numerisch sind, möglicherweise. 5.000.000 Zeilen * 100 Cols * 8 Byte / Zelle -> 4 GB, nur für die Tabelle. Das wird auf einem 8-GB-Rechner knapp und wird wahrscheinlich langsam laufen, wenn Sie viel mit der Tabelle tun (Sortieren, Analyse ...). Textzellen haben zusätzlichen Aufwand.
(3500 Dateien von jeweils 20 MB sind etwas größer ... 70 GB ... Ich vermute, es gibt einige Textspalten. Dies erfordert Subsetting, Zeilen oder Spalten oder beides, da die Dateien geladen werden und nicht am Ende.)
JMP 14 verfügt über eine Option zum Importieren mehrerer Dateien (wenn genügend Speicher vorhanden ist!), Mit der CSV-Dateien parallel von einem lokalen Laufwerk geladen werden können. Ich bin kein ODBC-Experte und nicht mit der Verwendung von ODBC zum Lesen von CSV-Dateien vertraut.
