JMP可以連接3500個csv文件〜每個文件20MB,組合togeth時共計500萬行你好,
我有每週數據從3500 csv文件創建〜每個文件20mb(相同列)
合併後,它將有大約500萬行和大約100列。
我使用Windows JMP 11 64位,我的RAM是8 gig,處理器核心i5?
問題:如果構建查詢構建器並連接到ODBC數據庫以訪問這些3500 csv文件,JMP是否可以將這些文件連接到包含500萬行的1個數據表中?
BR,
傑瑞
Re:JMP可以連接3500個csv文件〜每個文件20MB,組合tog時總共500萬行可能,試一試。
文本列開銷大約是32個字節。或者,每個文本列至少使用與四個數字列一樣多的內存;單元格中的長字符串需要更多的內存。
保持1/3的數據似乎是一個良好的開端。
您可能還會發現Cols-> Utilities-> CompressSelectedColumns很有用;它會將列轉換為使用較少內存的表示。
Re:JMP可以連接3500個csv文件〜每個文件20MB,組合tog時總共500萬行嗨克雷格,
謝謝,如果我減少我的數據點5M / 3,1.67M行* 100cols * 8byte / cell = 1.33gb,這有一些文本列,所以我需要一點開銷,所以我的系統可以通過3次運行處理它,包括像表格一樣的分析和樞軸,我只需要計算這5M數據的通過/失敗。 它可行嗎?
謝謝
Re:JMP可以連接3500個csv文件〜每個文件20MB,組合tog時總共500萬行如果所有數據都是數字,也許。5,000,000行* 100 cols * 8字節/單元格 - > 4GB,僅適用於表格。如果你對錶做了很多事情(排序,分析......)文本單元會有額外的開銷,那麼在8GB機器上這將會很緊張。
(每個20MB的3500個文件相當大...... 70GB ......所以我懷疑有一些文本列。這將需要子集,行或列或兩者,因為文件被加載,而不是在最後。)
JMP 14具有多文件導入選項(如果有足夠的內存!),旨在從本地驅動器並行加載CSV文件。我不是ODBC專家,也不熟悉使用ODBC讀取CSV文件。