344079_ja-JP

liliconcom

ファイルサイズの大きいテキストデータの読み込み方法について

約120GBのテキストデータを読み込む場合、メモリが不足して読み込むことができません。
分割して読み込むなど、何か対処方法があれば、教えていただけないでしょうか。

Data TableRe：ファイルサイズのデータデータデータ方法図

LoadTextFileはそれを行うことができます。 （（ @audrey_shullスクリプトインデックスには2つのバージョンがあり、一方はもう一方よりも完全です。）

 

テストされていないコード：

blob = loadtextfile("reallyBig.txt", blob( readLength( 1e9 ), readOffsetFromBegin( n * 1e9 ) ) );

データをテキストではなくBLOBとして返します。 ブロブは4GBを超えることができますが、JSL文字列は2GB未満に制限されています。 1e9はほぼ1GBです。 ファイルをステップスルーするには、「n」を0、1、2、...にすることができます。

BLOBを返す理由：マルチバイト文字は1e9境界を越えて分割される場合があります。 1バイト文字しかない場合は、すばらしいです。 おそらく、（ここでもテストされていないコード）を使用してblobを文字列に変換できます。

jslString = blobToChar( blob, "utf-8" );

これがどのように機能するかをお知らせください。ありがとうございます。