JMP 다중 시리즈 스택 메모리 문제안녕하세요, 데이터 세트(3.5M 행 & 225개 열)에 대해 여러 시리즈 스택을 시도하고 있었습니다. RAM 오버플로 문제(메모리 부족)가 발생합니다. 32GB RAM을 사용하고 있습니다. 메모리 문제를 피하고 예상 데이터 테이블을 얻기 위해 직렬 방식으로 이 작업을 수행할 방법이 있습니까?
데이터 블렌딩 및 정리대량 맞춤형Re: JMP 다중 시리즈 스택 메모리 문제3.5M 행 및 225열 = 787.5M 행이 있는 단일 데이터 테이블의 비용은 12+GB입니다. 일반 누적 테이블에는 3.5MX 225 = 787.5M 행과 2개의 열(두 번째 레이블)이 있으며, 이는 쉽게 약 20GB 범위에 있으므로 32GB RAM에 공존하지 않습니다.
다음 순서를 제안합니다.
- 원본 3.5M 행 및 225열 데이터를 가져오고 개별 열을 별도의 파일에 한 번에 하나씩 저장합니다. 그리고 저장 후 매번 새 파일을 닫으십시오. 저장된 모든 파일에는 두 개의 열이 있습니다. 하나는 시리즈이고 다른 하나는 표시기 또는 레이블입니다. 레이블에 숫자 유형을 사용하십시오. 귀하의 경우 1에서 225까지만 사용하십시오. (선택 사항, 레이블 열을 압축해 보십시오. 그리고 압축 열은 2바이트 필드를 사용합니다.)
- 큰 원본 파일을 닫습니다.
- 열이 하나 있는 첫 번째 저장된 파일을 엽니다. 그런 다음 "첫 번째 테이블에 추가"를 선택하고 다른 개별 파일을 한 번에 하나씩 연결합니다. 그리고 추가된 직후 모든 개별 파일을 닫습니다.
787.5M 행 및 2열 큰 테이블에 3.5M 행 및 2열 작은 테이블을 추가하려고 시도했습니다. JMP의 최고 메모리 사용량은 때때로 20GB를 넘어섰지만 살아남았고 연결이 완료된 후 ~18+GB로 감소했습니다. 그리고 나는 또 다른 몇 라운드 동안 계속 추가했고 비슷한 행동을 관찰했습니다. 그리고 압축 열을 사용하면 더 많은 메모리 절약 효과를 볼 수 있습니다. 어쨌든 시도해 볼 가치가 있는 것 같습니다. 행운을 빌어요!
BTW, 어떻게 데이터를 분석하려고 합니까? 어떤 플랫폼을 사용하고 싶습니까?
