JMP多系列堆栈内存问题您好,我尝试对数据集(3.5M 行和 225 列)进行多系列堆栈。它出现 RAM 溢出问题(内存不足)。使用 32 GB RAM。有没有办法以串行方式执行此操作以避免内存问题并获得预期的数据表?
数据混合和清理大规模定制回复:JMP 多系列堆栈内存问题一个包含 3.5M 行和 225 列 = 787.5M 行的单个数据表,花费了我 12+GB。 常规堆叠表将有 3.5MX 225 = 787.5M 行和两列(第二列是标签),这很容易在 20GB 左右的范围内,因此它们不会在 32GB RAM 上共存。
我建议以下顺序:
- 获取原始的 350 万行和 225 列数据,将各个列保存到单独的文件中,一次保存一个。 并在每次保存后关闭新文件。 每个保存的文件都有两列,一列是系列,另一列是指标或标签。 标签使用数字类型。 对于您的情况,只需使用 1 到 225。 (可选,尝试压缩标签列。 并且压缩列将使用 2 字节字段。)
- 关闭大的原始文件。
- 用一列打开第一个保存的文件。 然后连接其他单个文件,一次一个,选中“附加到第一个表”。 并在附加后立即关闭每个单独的文件。
我尝试将 3.5M 行和 2 列小表附加到 787.5M 行和 2 列大表。 JMP 的最高内存消耗有时会超过 20GB,但幸存下来,并在连接完成后减少到 ~18+GB。 而且我继续追加了另外几轮,我观察到类似的行为。 如果我使用压缩列,我会看到更多的内存节省。 无论如何,似乎值得一试。 祝你好运!
顺便说一句,你打算如何分析数据? 您想使用什么平台?