打开 Parquet 文件我希望 JMP 能够打开 Apache Parquet 文件并以处理 HDF5、JSON 等的相同方式处理它们。 太感谢了。
数据存取回复:打开 Parquet 文件不,在当前版本的软件(V17)中这是不可能的。
回复:打开 Parquet 文件你好@马西莫马图奇
是否可以使用“打开”或其他功能打开镶木地板文件、文件夹开放功能
回复:打开 Parquet 文件@马西莫马图奇效果很好,感谢您的快速回复!
回复:打开 Parquet 文件嗨,这个问题现在应该已经解决了,我不再指向那个文件夹了。 我已经重新上传了插件,您可以尝试一下吗? 马西莫
回复:打开 Parquet 文件你好@马西莫马图奇,
优秀的插件...这对我们的团队非常有帮助。
单文件上传器有效,但多文件按钮将以下错误添加到日志中...
JMP17
蟒蛇:3.9.7
/*:
// 新数据表
// → 数据表(“无标题”)
新表(“无标题”);
选择文件中的参数无效:在“选择目录”的访问或评估中找不到目录“c:\tmp\parquet_multiple_files”,选择目录/*###*/(“选择包含 Apache Parquet 输入文件的目录”,
“c:\tmp\parquet_multiple_files”,显示文件( 1 ))
在 ~\SAS\JMP\Addins\com.jmp.martucci.parquet\Apache Parquet 文件导入器中的第 10 行 - 多个文件 - Interactive.jsl
谢谢你!
回复:打开 Parquet 文件这太妙了!谢谢马西莫:thumbs_up:
回复:打开 Parquet 文件大家好,我最近开发了并将其放入“文件交换”->“加载项”部分“ Apache Parquet 文件导入器”加入: Apache Parquet 文件导入器
它将交互式 .parquet 文件导入到相应的 JMP 表中:它既适用于单个文件,也适用于多个文件(所有文件都存储在同一文件夹中)
它需要 JMP V17 和受支持的 Python 安装以及 PyArrow 包(及其依赖项)。
回复:打开 Parquet 文件我注册了一个帐户只是为了插话,并说由于缺乏此功能,目前我们组织中的 jmp 无法打开这些文件,导致用户远离 jmp。
回复:打开 Parquet 文件感谢您的补充意见。 我们将进一步调查。
回复:打开 Parquet 文件我还非常希望能够直接从 parquet 文件读取到 JMP 表中。我经常使用 2GB CSV(130K 行,2.5K 列),并且有一台相当新的 i7 64GB RAM 笔记本电脑。打开其中一个文件大约需要 5 分钟进行数据扫描,然后再花费 4 分半钟来导入数据。我等待 JMP 打开文件的时间差不多有 10 分钟。
我们的数据系统可以生成镶木地板而不是 csv,并且同一文件小于 200MB,并且已对其中已有的正确数据类型进行编码。当我在 pandas 中使用一行代码 (read_parquet) 打开其中一个 parquet 文件时,它可以在不到 30 秒的时间内将其加载到内存中的数据帧中。最近,我非常犹豫是否要在 JMP 中打开文件,即使这是我的偏好。我可以在 pandas 中打开文件,进行摘要获取所需的信息,所需时间是在 JMP 中打开文件的一半。
拥有此功能对于使用更大文件进行分析的人们来说确实是有益的,希望它可以在不久的将来启用。
回复:打开 Parquet 文件100%同意约翰的上述评论。应启用 JMP 以将镶木地板和羽毛直接读取到 JMP 表中。
回复:打开 Parquet 文件如果 JMP 确实想要正确处理大数据,它应该能够读取 parquet/feather 文件并使用适当的压缩和列定义直接导入。 没有足够的内存来打开文件然后进行压缩。 这个问题只会变得更糟。
回复:打开 Parquet 文件为好奇者提供的一些额外信息:
https://www.databricks.com/glossary/what-is-parquet#:~:text=What%20is%20Parquet%3F,handle%20complex%20data%20in%20bulk 。
回复:打开 Parquet 文件噢,真是无赖。就其价值而言,我认为这很重要!
Parquet 文件在存储和读取时间方面确实非常高效,当您必须将数据从另一个平台传输到 JMP 或从 JMP 传输到另一个平台时,它特别好。
回复:打开 Parquet 文件 - 状态更改为:已存档我们正在归档此请求。 如果这仍然很重要,请评论并提供更多详细信息,我们将重新开放。 谢谢你!回复:打开 Parquet 文件@Ryan_Gilmore请取消存档此请求。与 csv 相比,这些文件类型的使用效率要高得多,并且应该是集成兼容性而不是加载项。感谢您考虑此请求。
史蒂夫
回复:打开 Parquet 文件 - 状态更改为:已确认回复:打开 Parquet 文件@kevin_lennon ,使用 JMP 18,现在可以通过增强的 Python 集成打开 Apache Parquet 文件。请参见:
https://community.jmp.com/t5/JMPer-Cable/JMP-is-Pythonic-Enhanced-Python-Integration-in-JMP-18/ba-p/723997
谢谢你!
(将此请求标记为已交付)。
回复:打开 Parquet 文件 - 状态更改为:已交付回复:打开 Parquet 文件请参阅我对https://community.jmp.com/t5/JMP-Add-Ins/Apache-Parquet-file-importer/ta-p/637823#U637823的补充,其中详细介绍了利用 JMP 18 功能的更新脚本。