344079_ko-KR

liliconcom

파일 크기가 큰 텍스트 데이터를로드하는 방법

약 120GB의 텍스트 데이터를로드 할 때 메모리가 부족하여로드 할 수 없습니다.
분할하여로드 등 어떤 대처 방법이 있으면 가르쳐 주실 수 있을까요?

Data TableRe : フ ァ イ ル サ イ ズ の 大 き い テ キ ス ト デ ー タ の 読 み 込 み 方法 に つ い て

LoadTextFile이 할 수 있습니다. ( 헉헉 스크립팅 색인에는 두 가지 버전이 있으며 하나는 다른 버전보다 더 완벽합니다.)

 

테스트되지 않은 코드 :

blob = loadtextfile("reallyBig.txt", blob( readLength( 1e9 ), readOffsetFromBegin( n * 1e9 ) ) );

데이터를 텍스트가 아닌 BLOB로 다시 제공합니다. Blob은 4GB를 초과 할 수 있지만 JSL 문자열은 2GB 미만으로 제한됩니다. 1e9는 거의 1GB입니다. "n"은 0, 1, 2, ... 일 수 있습니다.

BLOB를 리턴하는 이유 : 다중 바이트 문자는 1e9 경계에서 분할 될 수 있습니다. 1 바이트 문자 만 있으면 좋습니다! (다시 말하지만, 테스트되지 않은 코드)를 사용하여 blob을 문자열로 변환 할 수 있습니다.

jslString = blobToChar( blob, "utf-8" );

이것이 어떻게 작동하는지 알려주십시오. 감사합니다!