파일 열기/가져오기 속도안녕,
데이터 전달 시스템을 구축하는 중입니다. 최종 데이터 수집은 분석을 위해 JMP로 푸시됩니다. 그러나 파일을 여는 데 걸리는 시간은 파일 유형에 따라 크게 다릅니다. 이상적으로는 hdf5 파일을 가져오고 싶지만 분석에 따르면 가져오기 속도가 매우 빠릅니다. 첨부된 내용은 가져오기 속도를 보여주는 그래프입니다. 분명히 우리는 JMP 파일이 가장 빠르다는 것을 인정합니다. 그러나 JMP 파일을 생성할 수 있는 방법이 없기 때문에(JMP 제외) 이는 현재 인프라에 대한 옵션이 아닙니다.
Re: 파일 열기/가져오기 속도3주가 지났습니다. 대신 이에 대한 지원 티켓을 제출해야 합니까?
Re: 파일 열기/가져오기 속도나는 당신이 하지 않을 것이라고 생각하는 아이디어가 하나 더 있다는 것을 깨달았습니다. 그러나 언급해야 할 것은...
Pandas DataFrame을 압축된 JMP 파일로 직접 내보내는 Python 코드입니다.
Re: 파일 열기/가져오기 속도와, 우리는 응답이 느립니다. 저는 이 프로젝트에서 Kevin과 함께 일하고 있지만 그가 도움을 요청하기 위해 여기에 게시했다는 것을 몰랐습니다.
우리는 출력 형식을 제어할 수 있습니다. 우리는 JMP에서 열 때 효율적인 파일 크기(파일 전송 효율성을 위해)와 속도를 모두 원합니다. 우리가 본 유일한 오픈 소스 압축 형식은 HDF5이지만 JMP HDF5 가져오기는 매우 제한적인 것 같습니다. 우리는 JMP가 데이터 테이블로 직접 가져올 수 있는 HDF5 파일을 생성하는 한 가지 방법만 찾았지만(대부분의 HDF5 파일 구조는 "마법사"를 트리거함) 해당 형식을 가져오는 속도가 느립니다. 그리고 Python JMP 인터페이스로 여는 것은 여전히 CSV로 저장한 다음 해당 파일을 JMP로 가져오는 것처럼 보이기 때문에 아무 것도 얻지 못합니다.
그래서...다음 중 하나(또는 그 이상!)가 작동하도록 도움을 주고 싶습니다.
감사해요,
- 밥
Re: 파일 열기/가져오기 속도귀하의 게시물에 감사드립니다.
- 파일 형식 선택에 대한 조언을 요청하시나요? 아니면 HDF 가져오기 성능 개선을 요청하시나요?
- 시스템이 기록하는 데이터를 절대적으로 제어할 수 있습니까, 아니면 선택의 폭이 제한되어 있습니까?
- 위의 모든 비교가 파일을 JMP로 읽어들이는 것입니까?
- 전설을 읽거나 해석하는 데 문제가 있습니다. 비교한 다양한 형식을 설명할 수 있나요?
- HDF에 대한 선호도를 표시하셨습니다. HDF 형식은 어떤 이점을 제공합니까?
- 여기서 비교 성능 테스트를 수행할 수 있도록 샘플 HDF 파일을 제공할 수 있습니까?
