344079_zh-TW

liliconcom

如何讀取大文件的文本數據

當讀取大約120GB的文本數據時，沒有足夠的內存來讀取它。
您能否讓我知道是否有任何處理方法，例如拆分和閱讀。

數據表回复：ファイルサイズの大きいテキストデータの読み込み方法について

LoadTextFile可以做到。 （ @audrey_shull腳本編制索引中有兩個版本，一個版本比另一個版本更完整。）

 

未經測試的代碼：

blob = loadtextfile("reallyBig.txt", blob( readLength( 1e9 ), readOffsetFromBegin( n * 1e9 ) ) );

它以BLOB（而不是文本）形式返回數據。 Blob可以大於4GB，但是JSL字符串限制為小於2GB。 1e9將近1GB。 “ n”可以是0、1、2，...以逐步瀏覽文件。

它返回BLOB的原因：多字節字符可能會跨1e9邊界分割。 如果只有單字節字符，那就太好了！ 您可能可以使用（再次，未經測試的代碼）將blob轉換為字符串

jslString = blobToChar( blob, "utf-8" );

讓我們知道它如何為您工作，謝謝！