对于包含多行的表格,首选的数据格式是什么?抱歉,我又问了个新手问题……。
我们终于开始着手分析多年来在工厂收集的在线传感器(“标签”)数据。这些标签的标准时间分辨率为 1 秒,大约有 1400 个标签需要筛选出有价值的信息。但要达到这个阶段,我认为需要向数字化团队提出一种数据格式建议。他们可能希望所有非团队成员(包括我)都使用 CSV 文件,但我意识到这种格式无法处理大约 3000 万行的数据,这大致相当于一年的秒数。虽然这个时间分辨率可能并非必要,但我认为仍然值得按此来处理。此外,即使只使用 1 分钟的粒度,每年也大约需要 50 万行数据,这对于 CSV 来说仍然不太方便。
对于处理大型表格(例如,将其导入 JMP),JSON 是首选方案吗?或者直接连接到数据库,从数据库加载数据到 JMP 是否更好?任何反馈意见或建议,我都可以将其提交给我们的数字化团队,非常感谢!各位 JMP 用户,提前致谢!
数据访问回复:多行表格的首选数据格式?如果可能,将数据保存到某个适当的数据库中。 很可能很容易将其从数据库中获取到 JMP。
回复:对于多行表,首选的数据格式是什么?我经常从 CSV 文件导入数百万行的数据。限制仅限于源应用程序导出的数据,最大为 2GB。
如果我必须处理更大的数据,我会将其分成几部分,然后加载几个 csv 文件。
因此,0.5mio 行(您提到的 1 分钟粒度)通过 csv 绝对没有问题。
好奇想知道您是否也设法将 3000 万投入 Jmp。
如果不是作为一个整体,那么也许是以 500 万为一个块?
回复:对于多行表,首选的数据格式是什么?@hogi ,抱歉,我的错。我以为 CSV 的限制和 Excel 一样,但事实并非如此。谢谢你指出这一点。不过,我仍然认为,对于 3000 万行的数据集,0.50 万行的限制可能会带来不便。不过,我认为这也可能是可以解决的。