JMPは、結合した場合、3500個のcsvファイルを各ファイル約20MB、合計500万行を連結できます。こんにちは、
私は毎週3500 csvファイルから作成するデータを持っています〜20mb各ファイル(同一の列)
これを結合した後、それはおよそ500万行とおよそ100列を持つことになります。
私はWindows JMP 11 64-bitを使っています、私のRAMは8ギガ、プロセッサコアi5ですか?
質問:クエリービルダーを作成してこれらの3500個のcsvファイルにアクセスするためにODBCデータベースに接続した場合、JMPはこれらを500万行を含む1つのデータテーブルに連結することができますか?
BR、
ジェリー
再:JMPは3500 csvファイルを結合することができますか?おそらく、試してみてください。
テキスト列のオーバーヘッドは約32バイトです。あるいは、各テキスト列は少なくとも4つの数値列と同じメモリを使用します。セル内の長い文字列は、さらに多くのメモリを必要とします。
データの1/3を保持するのは良いスタートのようです。
Cols-> Utilities-> CompressSelectedColumnsも役に立つでしょう。列をメモリ使用量の少ない表現に変換します。
再:JMPは3500 csvファイルを結合することができますか?こんにちは、
おかげで、データポイントを5M / 3、1.67M行* 100cols * 8byte / cell = 1.33gbに減らした場合、これにはいくつかのテキスト列が必要になるので、少しオーバーヘッドが必要になります。要は、この5Mデータから合格/不合格を数えるだけです。 それはできますか?
ありがとう
再:JMPは3500 csvファイルを結合することができますか?すべてのデータが数値の場合 5,000,000行* 100列* 8バイト/セル - > 4GB、テーブル用です。これは8GBのマシンでは厳しくなるでしょうし、テーブル(ソート、分析など)を多用すると実行速度が遅くなるでしょう。テキストセルには追加のオーバーヘッドがあります。
(それぞれ20MBの3500ファイルはかなり大きい... 70GB ...だから私はいくつかのテキスト列があると思う。最後にではなく、ファイルのロード時に、行または列、あるいはその両方をサブセット化する必要があります。)
JMP 14には、ローカルドライブからCSVファイルを並行してロードするように設計された複数ファイルのインポートオプションがあります(十分なメモリがある場合)。私はODBCの専門家ではなく、CSVファイルの読み取りにODBCを使用することに慣れていません。