344079_zh-CN

liliconcom

如何读取大文件的文本数据

当读取大约120GB的文本数据时，没有足够的内存来读取它。
您能否让我知道是否有任何处理方法，例如拆分和阅读。

数据表回复：ファイルサイズの大きいテキストデータの読み込み方法について

LoadTextFile可以做到。 （ @audrey_shull脚本编制索引中有两个版本，一个版本比另一个版本更完整。）

 

未经测试的代码：

blob = loadtextfile("reallyBig.txt", blob( readLength( 1e9 ), readOffsetFromBegin( n * 1e9 ) ) );

它以BLOB（而不是文本）形式返回数据。 Blob可以大于4GB，但是JSL字符串限制为小于2GB。 1e9将近1GB。 “ n”可以是0、1、2，...以逐步浏览文件。

它返回BLOB的原因：多字节字符可能会跨1e9边界分割。 如果只有单字节字符，那就太好了！ 您可能可以使用（再次，未经测试的代码）将blob转换为字符串

jslString = blobToChar( blob, "utf-8" );

让我们知道它如何为您工作，谢谢！