파일 열기 / 가져 오기 속도안녕,
현재 데이터 전송 시스템을 만드는 중입니다. 최종 데이터 수집은 분석을 위해 JMP로 푸시됩니다. 그러나 파일을 여는 데 걸리는 시간은 파일 형식에 따라 크게 다릅니다. 이상적으로 우리는 hdf5 파일을 가져오고 싶지만 분석 결과에 따르면 가져 오기 속도가 매우 엄청납니다. 가져 오기 속도를 보여주는 그래프가 첨부되어 있습니다. 분명히 우리는 JMP 파일이 가장 빠르다는 것을 알고 있지만 JMP 파일을 만들 수있는 방법이 없으므로 (JMP 제외) 현재 인프라에 대한 옵션이 아닙니다.
다시 : 파일 열기 / 가져 오기 속도게시물 주셔서 감사합니다.
- 파일 형식 선택에 대한 조언을 요청하거나 HDF 가져 오기 성능의 성능 개선을 요청하고 있습니까?
- 시스템이 기록하는 데이터를 완전히 제어 할 수 있습니까, 아니면 선택이 제한되어 있습니까?
- 위의 모든 비교가 JMP로 파일을 읽습니까?
- 범례를 읽거나 해석하는 데 문제가 있습니다. 비교 한 다양한 형식을 설명 할 수 있습니까?
- HDF에 대한 기본 설정을 표시했습니다. HDF 형식의 장점은 무엇입니까?
- 비교 성능 테스트를 위해 샘플 HDF 파일을 제공 할 수 있습니까?
다시 : 파일 열기 / 가져 오기 속도와우, 우리는 반응이 느리다. 저는이 프로젝트에서 Kevin과 함께 일하지만, 그가 도움을 받기 위해 여기에 게시 한 것을 몰랐습니다.
출력 형식을 제어 할 수 있습니다. JMP에서 열 때 효율적인 파일 크기 (파일 전송 효율성을 위해)와 속도를 모두 원합니다. 우리가 본 유일한 오픈 소스 압축 형식은 HDF5이지만 JMP HDF5 가져 오기는 매우 제한적인 것 같습니다. JMP가 데이터 테이블로 직접 가져올 수있는 HDF5 파일을 만드는 한 가지 방법 만 찾았지만 (대부분의 HDF5 파일 구조는 "마법사"를 트리거 함) 해당 형식을 가져 오는 속도가 느립니다. 그리고 파이썬 JMP 인터페이스로 열면 여전히 CSV로 저장 된 다음 JMP에서 해당 파일을 가져 오기 때문에 아무것도 사지 않습니다.
그래서 ...이 중 하나가 작동하도록 도와주십시오.
감사,
-밥
다시 : 파일 열기 / 가져 오기 속도나는 당신이하지 않을 것이라고 생각한다고 생각합니다.하지만 언급해야합니다 ...
Pandas DataFrame을 압축 JMP 파일로 직접 내보내는 Python 코드
다시 : 파일 열기 / 가져 오기 속도3 주가 지났습니다. 대신 지원 티켓을 제출해야합니까?
