344079_it-IT

liliconcom

Come leggere dati di testo con file di grandi dimensioni

Durante la lettura di circa 120 GB di dati di testo, la memoria non è sufficiente per leggerli.
Per favore fatemi sapere se c'è un modo per affrontarlo, come la divisione e la lettura.

Tabella datiRi: フ ァ イ ル サ イ ズ の 大 き い テ キ ス ト デ ー タ の 読 み 込 み 方法 に つ い て

LoadTextFile può farlo. ( @audrey_shull ci sono due versioni nell'indice di scripting, una è più completa dell'altra.)

 

Codice non testato:

blob = loadtextfile("reallyBig.txt", blob( readLength( 1e9 ), readOffsetFromBegin( n * 1e9 ) ) );

Restituisce i dati come BLOB, non come testo. I BLOB possono essere> 4 GB, ma le stringhe JSL sono limitate a <2 GB. 1e9 è quasi 1 GB. "n" potrebbe essere 0, 1, 2, ... per scorrere il file.

Il motivo per cui restituisce un BLOB: i caratteri multibyte possono essere suddivisi attraverso il limite 1e9. Se ci sono solo caratteri a byte singolo, fantastico! Probabilmente puoi convertire il BLOB in una stringa usando (di nuovo, codice non testato)

jslString = blobToChar( blob, "utf-8" );

Facci sapere come funziona per te, grazie!