我的用户在查询 2GB CSV 文件时遇到问题,需要花费 2 小时,是否有任何推荐的方法或有任何数据来显示大文件花费了多少分钟,例如:1GB CSV - 30 分钟
你好,
我知道这已经很长时间了,但我刚刚找到了解决这个问题的方法并想分享。
对于 JMP 15,将数据从 Excel 文件粘贴到 JMP 表格时。 如果您像这样选择子行,它将永远花费(没有响应)。

但是,如果您像这样选择列的标题(工作表中的第 1 列),它将顺利进行:

很简单,对吧?
希望这有帮助。
由于其机密数据可能无法共享该文件。
是否有推荐的时钟速度或提高 JMP 应用程序的时钟速度性能。
硬件列表看起来不错;上面的脚本应在 Windows 或 Mac 上的 JMP 上运行。 您应该联系我们的技术支持人员如果问题仍然存在。 他们将需要:
- CSV 文件中的一小部分数据样本,以便更好地理解问题
- 成功导入的源脚本
- 您正在使用的 JMP 版本(12.1、13.1 等,适用于 MS-Windows 或 Apple-Mac)
如果 CSV 包含非 Unicode 字符、引用不正确的字段或其他奇怪的内容,请将其包含在 CSV 示例中。
由于我们是 JMP 新手,我无法识别,已要求我的用户检查,谢谢。
会更新结果。
下面是电脑规格,您提供的信息仅适用于 MAC?
如果是 Windows 系统,还需要该脚本使用什么平台。
请提供建议,因为我们是 JMP 新手并协助用户报告问题。谢谢。

您可以使用来源使用先前导入的脚本再次导入文件(或类似文件),这比让 JMP 重新发现所有内容更快。 源脚本知道需要多少列以及数据类型是什么。
2GB 的文本文件在内存中可能会更大; 8GB 机器可能会大量使用磁盘作为分页内存。
有一个重要的JMP 13.1 中的性能改进苹果。 如果您在 MAC 上使用 JMP,这可能就是您所需要的。
在具有足够内存的计算机上,这应该在 15 分钟内运行。
start=tickseconds();
data = repeat("1,2,3,4,5\!n",2e8);
stop=tickseconds();
show(stop-start,length(data));
start=tickseconds();
file = savetextfile("$temp\deleteme.csv",data);
stop=tickseconds();
show(stop-start,filesize(file));
<BR />data = 0; // release 2GB before opening file<BR />
start=tickseconds();
dt = Open(
file,
columns(
New Column( "a", Numeric, "Continuous", Format( "Best", 12 ) ),
New Column( "b", Numeric, "Continuous", Format( "Best", 12 ) ),
New Column( "c", Numeric, "Continuous", Format( "Best", 12 ) ),
New Column( "d", Numeric, "Continuous", Format( "Best", 12 ) ),
New Column( "e", Numeric, "Continuous", Format( "Best", 12 ) )
),
Import Settings(
End Of Line( CRLF, CR, LF ),
End Of Field( Comma, CSV( 1 ) ),
Strip Quotes( 0 ),
Use Apostrophe as Quotation Mark( 0 ),
Use Regional Settings( 0 ),
Scan Whole File( 0 ),
Treat empty columns as numeric( 0 ),
CompressNumericColumns( 0 ),
CompressCharacterColumns( 0 ),
CompressAllowListCheck( 0 ),
Labels( 0 ),
Column Names Start( 0 ),
Data Starts( 1 ),
Lines To Read( "All" ),
Year Rule( "20xx" )
)
);
stop=tickseconds();
show(stop-start,nrows(dt));是的,我们确实运行了 5 秒选项,不仅扫描速度很快,而且导入速度仍然很慢。
但我在 JMP Pro 13 中看不到“文本导入首选项”选项。

我没有性能数据,我会让其他人分享。
但请注意,如果您提前对数据的布局相当有信心,通常可以加快文本导入过程。如果您使用“文本导入首选项”而不是“最佳猜测”打开文件,它将加快导入速度。此外,在文本数据文件的“首选项”面板中,如果您在“确定列类型时”中选择“扫描 5 秒”,如果您没有数千列,这会有所帮助。
布赖恩·科科伦
JMP开发