JMP多系列堆疊記憶體問題你好,我正在嘗試對資料集(350 萬行和 225 列)進行多系列堆疊。它出現了 RAM 溢位問題(記憶體不足)。使用 32 GB RAM。有沒有辦法以串行方式執行此操作以避免內存問題並獲取預期的數據表?
資料混合與清理大規模客製化回复:JMP 多系列堆棧內存問題一個包含 3.5M 行和 225 列 = 787.5M 行的單個數據表,花費了我 12+GB。 常規堆疊表將有 3.5MX 225 = 787.5M 行和兩列(第二列是標籤),這很容易在 20GB 左右的範圍內,因此它們不會在 32GB RAM 上共存。
我建議以下順序:
- 獲取原始的 350 萬行和 225 列數據,將各個列保存到單獨的文件中,一次保存一個。 並在每次保存後關閉新文件。 每個保存的文件都有兩列,一列是系列,另一列是指標或標籤。 標籤使用數字類型。 對於您的情況,只需使用 1 到 225。 (可選,嘗試壓縮標籤列。 並且壓縮列將使用 2 字節字段。)
- 關閉大的原始文件。
- 用一列打開第一個保存的文件。 然後連接其他單個文件,一次一個,選中“附加到第一個表”。 並在附加後立即關閉每個單獨的文件。
我嘗試將 3.5M 行和 2 列小表附加到 787.5M 行和 2 列大表。 JMP 的最高內存消耗有時會超過 20GB,但倖存下來,並在連接完成後減少到 ~18+GB。 而且我繼續追加了另外幾輪,我觀察到類似的行為。 如果我使用壓縮列,我會看到更多的內存節省。 無論如何,似乎值得一試。 祝你好運!
順便說一句,你打算如何分析數據? 您想使用什麼平台?