文件打开/导入速度你好,
我们正在创建一个数据传输系统。最终收集的数据将被推送到 JMP 进行分析。然而,我们发现打开文件所需的时间根据文件类型的不同而有很大差异。理想情况下,我们希望导入 hdf5 文件,但根据我们的分析,导入速度非常令人望而却步。随附的图表显示了导入速度。显然,我们承认 JMP 文件是最快的,但是无法创建 JMP 文件(JMP 除外),因此这不是我们当前基础设施的选项。

回复:文件打开/导入的速度已经三周了...我应该就此提交支持票吗?
回复:文件打开/导入的速度我意识到我还有一个我认为你不会做的想法,但我应该提一下......
用于将 Pandas DataFrame 直接导出到压缩 JMP 文件的 Python 代码。
回复:文件打开/导入的速度哇,我们反应太慢了。我和凯文一起参与这个项目,但我没有意识到他在这里发帖寻求帮助。
我们确实可以控制输出格式。我们希望在 JMP 中打开时既能获得有效的文件大小(以提高文件传输效率)又能提高速度。我们见过的唯一开源压缩格式是 HDF5,但 JMP HDF5 导入似乎非常有限。我们只找到了一种创建 HDF5 文件的方法,JMP 可以将其直接导入到数据表中(大多数 HDF5 文件结构都会触发“向导”),但该格式导入速度很慢。使用 Python JMP 界面打开不会给我们带来任何好处,因为它仍然显示为另存为 CSV,然后在 JMP 中导入该文件。
所以......我很乐意帮助其中之一(或更多!):
谢谢,
- 鲍勃
回复:文件打开/导入的速度谢谢你的帖子。
- 您是在寻求有关选择文件格式的建议,还是在请求改进 HDF 导入性能?
- 您对系统写出的数据有绝对的控制权,还是选择有限?
- 上面的所有比较都是将文件读入 JMP 吗?
- 我在阅读/解释传说时遇到困难。您能解释一下您比较过的各种格式吗?
- 您表明了对 HDF 的偏好。 HDF 格式给您带来什么优势?
- 您能提供一些示例 HDF 文件供我们在这里进行性能比较测试吗?