344079_fr-FR

liliconcom

Comment lire des données texte avec une grande taille de fichier

Lors de la lecture d'environ 120 Go de données texte, il n'y a pas assez de mémoire pour les lire.
Pourriez-vous s'il vous plaît me faire savoir s'il existe un moyen de régler le problème, comme le fractionnement et la lecture.

Tableau de donnéesRe: フ ァ イ ル サ イ ズ の 大 き い テ キ ス ト デ ー タ の 読 み 込 み 方法 に つ い て

LoadTextFile peut le faire. ( @audrey_shull il existe deux versions dans l'index de script, l'une est plus complète que l'autre.)

 

Code non testé:

blob = loadtextfile("reallyBig.txt", blob( readLength( 1e9 ), readOffsetFromBegin( n * 1e9 ) ) );

Il renvoie les données sous forme de BLOB et non de texte. Les objets blob peuvent être> 4 Go, mais les chaînes JSL sont limitées à <2 Go. 1e9 fait presque 1 Go. "n" pourrait être 0, 1, 2, ... pour parcourir le fichier.

La raison pour laquelle il renvoie un BLOB: les caractères multi-octets peuvent être séparés à travers la limite 1e9. S'il n'y a que des caractères à un octet, c'est parfait! Vous pouvez probablement convertir le blob en une chaîne en utilisant (encore une fois, du code non testé)

jslString = blobToChar( blob, "utf-8" );

Faites-nous savoir comment cela fonctionne pour vous, merci!