대규모 데이터 세트 관리시간이 지남에 따라 수집하는 일부 데이터 세트의 경우 파일 크기가 계속 증가하고 결국 상황이 약간 느려질 수 있습니다. 때로는 여러 파일로 분할하는 것이 해결책이지만 비교를 위해 여러 파일의 일부가 불편할 수 있습니다.
Virtual Join에 대해 읽었지만 활용하지는 않았습니다. 이 상황에 활용하기에 적절한 접근 방식입니까? 이러한 유형의 문제에 대해 JMP 솔루션을 구현하는 좋은 예가 있습니까?
Re : 대규모 데이터 세트 관리다른 데이터 테이블과의 조인으로 인해 파일이 커지면 가상 조인 데이터가 행간에 중복되지 않기 때문에 도움이 될 수 있습니다.
그러나 더 많은 데이터가 추가되거나 연결됨에 따라 데이터 테이블이 커지면 가상 조인이 실제로 도움이되지 않습니다.
데이터 테이블이 어떻게 늘어나고 있습니까?
.jmp 파일로 저장할 때 행과 열뿐만 아니라 디스크의 크기로 끝나는 크기는 얼마입니까?
Re : 대규모 데이터 세트 관리시간이 지남에 따라 더 많은 데이터가 수집되므로 일반적으로 연결된 파일입니다.
현재 상황에서 상대적으로 관리하기 쉬운 것은 약 250K 행과 100 열이있는 200KB 크기의 파일입니다. >> 1 백만 개의 행과 100-300 개의 열이있는 몇 가지 시나리오가 있습니다.
더 극단적 인 시나리오의 경우 간단한 그래프를 수행하더라도 상황이 실제로 느려질 수 있습니다. 파일 크기와 관련하여 피해야 할 특정 제한이 있는지 또는 데이터가 너무 많을 때의 영향을 완화하기위한 전략이 있는지 잘 모르겠습니다. 있다면 듣고 싶습니다!Re : 대규모 데이터 세트 관리JMP 속도를 높이는 유일한 방법은 Columns 명령을 사용하여 열을 압축하는 것입니다.
Cols-> Utilities-> Compress Selected Columns.
- 숫자 데이터의 경우 차이가 없습니다. 이면에서 일어나는 일은 JMP가 사용되지 않은 모든 비트를 제거하는 것입니다 (데이터 저장을 위해 64 비트가 모두 필요한 경우는 거의 없음).
- 범주 형 데이터의 경우 목록 확인 이므로 향후 데이터 입력이 더 어려울 수 있습니다. 또한 데이터의 전체 공간을 크게 줄입니다.
열을 압축하면 파일 크기를 훨씬 더 줄일 수 있습니다! 그리고 JMP에서 계산 속도를 절대적으로 높여줍니다.
자세한 내용은 JMP 문서 .
