344079_es-ES

liliconcom

Cómo leer datos de texto con un tamaño de archivo grande

Al leer alrededor de 120 GB de datos de texto, no hay suficiente memoria para leerlos.
Por favor, avíseme si hay alguna forma de lidiar con eso, como dividir y leer.

Tabla de datosRe: フ ァ イ ル サ イ ズ の 大 き い テ キ ス ト デ ー タ の 読 み 込 み 方法 に つ い て

LoadTextFile puede hacerlo. ( @audrey_shull hay dos versiones en el índice de secuencias de comandos, una es más completa que la otra).

 

Código no probado:

blob = loadtextfile("reallyBig.txt", blob( readLength( 1e9 ), readOffsetFromBegin( n * 1e9 ) ) );

Devuelve los datos como un BLOB, no como texto. Los blobs pueden tener> 4 GB, pero las cadenas JSL están limitadas a <2 GB. 1e9 es casi 1GB. "n" podría ser 0, 1, 2, ... para recorrer el archivo.

La razón por la que devuelve un BLOB: los caracteres de varios bytes se pueden dividir en el límite 1e9. Si solo hay caracteres de un solo byte, ¡genial! Probablemente pueda convertir el blob en una cadena usando (nuevamente, código no probado)

jslString = blobToChar( blob, "utf-8" );

Háganos saber cómo funciona esto para usted, ¡gracias!