文件打开/导入速度你好
我们正在创建一个数据传递系统。最终的数据收集将被推送到JMP进行分析。但是,我们发现打开文件所花费的时间因文件类型而异。理想情况下,我们希望导入hdf5文件,但根据我们的分析,导入速度极高。随附的图表演示了导入速度。显然,我们承认JMP文件是最快的,但是无法创建JMP文件(JMP中除外),因此对于我们当前的基础结构而言,这不是一种选择。

回复:文件打开/导入的速度感谢您的帖子。
- 您是否正在寻求有关选择文件格式的建议,还是要求改善HDF导入性能?
- 您对系统写出的数据具有绝对控制权,还是选择有限?
- 以上所有比较都将文件读入JMP吗?
- 我在阅读/解释传说时遇到麻烦。您能解释一下您比较过的各种格式吗?
- 您指示了对HDF的偏好。HDF格式为您带来什么好处?
- 您可以提供任何样本HDF文件供我们在此处进行比较性能测试吗?
回复:文件打开/导入的速度哇,我们反应慢。 我与Kevin一起完成了这个项目,但我没有意识到他曾在这里请教。
我们确实可以控制输出格式。 在JMP中打开文件时,我们既需要有效的文件大小(为了提高文件传输效率)又要提高速度。 我们看到的唯一的开源压缩格式是HDF5,但是JMP HDF5的导入似乎非常有限。 我们仅找到一种创建HDF5文件的方法,JMP可以将其直接导入到数据表中(大多数HDF5文件结构触发“向导”),但是这种格式的导入速度很慢。 使用Python JMP界面打开并不会给我们带来任何好处,因为它似乎仍保存为CSV,然后将该文件导入JMP。
所以...我很乐意帮助其中之一工作(或更多!):
谢谢,
鲍勃
回复:文件打开/导入的速度我意识到我还有一个想法,我以为你不会做,但我应该提一下...
使用Python代码将Pandas DataFrame直接导出到压缩的JMP文件。
回复:文件打开/导入的速度已经三周了...我应该提交一份支持票吗?