JMP는 3500 개의 csv 파일 ~ 20MB의 각 파일과 총 5 백만 행을 연결할 수 있습니까?여보세요,
3500 개의 CSV 파일 ~ 20MB의 각 파일 (동일한 열)을 만들 수있는 주간 데이터가 있습니다.
결합 후, 약 5 백만 행과 100 열 주위에있을 것입니다.
나는 Windows JMP 11 64 비트를 사용하고, 내 RAM은 8 기가, 프로세서 코어 i5를 사용합니까?
질문 : 쿼리 빌더를 만들고이 3500 개의 csv 파일에 액세스하기 위해 ODBC 데이터베이스에 연결하면 JMP가이를 연결하여 5 백만 행을 포함하는 1 개의 데이터 테이블로 연결할 수 있습니까?
BR,
실내 변기
Re : 결합 된 경우 JMP가 3500 개의 CSV 파일 ~ 20MB의 각 파일과 총 5 백만 행을 연결할 수 있습니까?아마, 그것을 시도하십시오.
텍스트 열 오버 헤드는 대략 32 바이트입니다. 또는 각 텍스트 열은 적어도 숫자 열 4 개만큼의 메모리를 사용합니다. 셀의 긴 문자열에는 더 많은 메모리가 필요합니다.
데이터의 1/3을 유지하는 것이 좋은 시작 인 것 같습니다.
Cols-> Utilities-> CompressSelectedColumns가 유용 할 수도 있습니다. 더 적은 메모리를 사용하는 표현으로 컬럼을 변환합니다.
Re : 결합 된 경우 JMP가 3500 개의 CSV 파일 ~ 20MB의 각 파일과 총 5 백만 행을 연결할 수 있습니까?안녕하세요 크레이그,
감사합니다. 데이터 포인트 5M / 3, 1.67M 행 * 100cols * 8byte / cell = 1.33gb를 줄이면 약간의 오버 헤드가 필요하므로 일부 시스템 콜이 있으므로 시스템에서 표 3과 같은 분석을 포함하여 3 회 처리 할 수 있습니다 그리고 pivotings, 나는 단지 5M의 데이터에서 합격 / 실패를 셀 필요합니다. 그것은 가능합니까?
감사
Re : 결합 된 경우 JMP가 3500 개의 CSV 파일 ~ 20MB의 각 파일과 총 5 백만 행을 연결할 수 있습니까?모든 데이터가 숫자라면 어쩌면. 5,000,000 행 * 100 cols * 8 바이트 / 셀 -> 4GB, 테이블 용. 그건 8 기가 바이트 기계에 빡빡 할거야 천천히 테이블 (정렬, 분석 ...)로 많은 일을 할 경우 실행될 것입니다 텍스트 셀은 추가 오버 헤드가 있습니다.
(각 20MB의 3500 파일은 꽤 큽니다 ... 70GB ... 그래서 일부 텍스트 열이있는 것 같습니다. 그것은 파일이로드 될 때 서브 세트, 행 또는 열 또는 둘 모두를 필요로하며, 마지막에는로드되지 않습니다.)
JMP 14에는 로컬 드라이브에서 CSV 파일을 병렬로로드하도록 설계된 여러 파일 가져 오기 옵션 (메모리가 충분하면!)이 있습니다. 저는 ODBC 전문가가 아니며 ODBC를 사용하여 CSV 파일을 읽는 것에 익숙하지 않습니다.
