쪽모이 세공 마루 파일 열기저는 JMP가 Apache Parquet 파일을 열고 HDF5, JSON 등을 처리할 수 있는 것과 같은 방식으로 처리할 수 있기를 바랍니다. 대단히 감사합니다.
데이터 접근Re: Parquet 파일 열기아니요, 현재 소프트웨어 버전(V17)에서는 불가능합니다.
Re: Parquet 파일 열기안녕 @MassimoMartucci
열기 또는 다른 기능을 사용하여 쪽모이 세공 파일, 폴더를 열 수 있습니까? 오픈 기능
Re: Parquet 파일 열기@MassimoMartucci 잘 작동합니다. 신속한 응답에 감사드립니다!
Re: Parquet 파일 열기안녕하세요. 해당 문제는 이제 해결되어야 합니다. 더 이상 해당 폴더를 가리키지 않습니다. 추가 기능을 다시 업로드했습니다. 시도해 보시겠습니까? 마시모
Re: Parquet 파일 열기안녕 @MassimoMartucci ,
뛰어난 추가 기능...이것은 우리 팀에 큰 도움이 될 것입니다.
단일 파일 업로더는 작동했지만 여러 파일 버튼을 누르면 아래 오류가 로그에 추가됩니다.
JMP17
파이썬:3.9.7
/*:
// 새 데이터 테이블
// → 데이터 테이블( "제목 없음" )
새 테이블( "제목 없음" );
파일 선택의 잘못된 인수: '디렉토리 선택' 액세스 또는 평가에서 "c:\tmp\parquet_multiple_files" 디렉토리를 찾을 수 없습니다. 디렉토리 선택/*###*/("Apache Parquet 입력 파일이 있는 디렉토리 선택",
"c:\tmp\parquet_multiple_files", 파일 표시( 1 ))
~\SAS\JMP\Addins\com.jmp.martucci.parquet\Apache Parquet 파일 가져오기 도구의 10번째 줄 - 여러 파일 - Interactive.jsl
감사합니다!
Re: Parquet 파일 열기정말 환상적이에요!감사합니다 Massimo :thumbs_up:
Re: Parquet 파일 열기안녕하세요. 저는 최근에 이를 개발하여 파일 교환 -> 추가 기능 섹션에 넣었습니다. Apache Parquet 파일 가져오기 도구" 추가 기능: Apache Parquet 파일 가져오기 도구
대화형으로 .parquet 파일을 해당 JMP 테이블로 가져옵니다. 단일 파일과 여러 파일 모두에 대해 작동합니다(모두 동일한 폴더에 저장됨).
JMP V17과 PyArrow 패키지(및 해당 종속성)가 포함된 지원되는 Python 설치가 필요합니다.
Re: Parquet 파일 열기나는 단지 이 기능이 부족하여 현재 우리 조직의 jmp에서 이러한 파일을 열 수 없기 때문에 사용자가 jmp를 사용하지 못하게 만들고 있다고 말하려고 계정을 만들었습니다.
Re: Parquet 파일 열기추가 의견 감사드립니다. 우리는 더 자세히 조사할 것입니다.
Re: Parquet 파일 열기또한 쪽모이 세공 파일에서 JMP 테이블로 직접 읽을 수 있는 기능도 정말 갖고 싶습니다.저는 정기적으로 2GB CSV(행 130,000개, 열 2.5,000개)로 작업하고 있으며 64GB RAM이 장착된 최신 i7 노트북을 사용하고 있습니다.이러한 파일 중 하나를 여는 데는 데이터 검색에 약 5분이 소요되고, 데이터를 가져오는 데는 4분 30초가 더 소요됩니다.JMP가 파일을 열 때까지 기다리는 시간은 거의 10분입니다.
우리의 데이터 시스템은 csv 대신 쪽모이 세공 마루를 생성할 수 있으며 동일한 파일은 200MB 미만이며 이미 올바른 데이터 유형을 인코딩했습니다.pandas에서 한 줄의 코드(read_parquet)로 이 쪽모이 세공 파일 중 하나를 열면 30초 이내에 메모리의 데이터 프레임에 로드할 수 있습니다.최근에는 JMP에서 파일을 여는 것을 선호하더라도 JMP에서 파일을 여는 것을 매우 주저하고 있습니다.Pandas에서 파일을 열 수 있고 JMP에서 파일을 여는 데 걸리는 시간의 절반으로 요약을 수행하여 필요한 정보를 얻을 수 있습니다.
이 기능을 사용하면 더 큰 파일을 분석하는 사람들에게 정말 도움이 될 것입니다. 가까운 시일 내에 이 기능을 사용할 수 있기를 바랍니다.
Re: Parquet 파일 열기위 John님의 의견에 100% 동의합니다.JMP는 쪽모이 세공과 페더를 JMP 테이블로 직접 읽을 수 있도록 활성화되어야 합니다.
Re: Parquet 파일 열기JMP가 빅 데이터를 제대로 처리하려면 쪽모이 세공/깃털 파일을 읽고 적절한 압축 및 열 정의를 사용하여 직접 가져올 수 있어야 합니다. 파일을 연 다음 압축하기에는 메모리가 부족합니다. 그리고 이 문제는 더욱 악화될 것입니다.
Re: Parquet 파일 열기궁금하신 분들을 위한 추가 정보:
https://www.databricks.com/glossary/what-is-parquet#:~:text=What%20is%20Parquet%3F,handle%20complex%20data%20in%20bulk .
Re: Parquet 파일 열기아, 짜증나.그 가치가 무엇인지는 이것이 중요하다고 생각합니다!
Parquet 파일은 저장 및 읽기 시간 측면에서 매우 효율적입니다. 특히 다른 플랫폼에서 JMP로 또는 JMP에서 다른 플랫폼으로 데이터를 전송해야 할 때 유용합니다.
Re: Parquet 파일 열기 - 상태가 다음으로 변경됨: 보관됨이 요청을 보관처리하는 중입니다. 이것이 여전히 중요한 경우 추가 세부정보를 댓글로 남겨주시면 다시 열어드리겠습니다. 감사합니다!Re: Parquet 파일 열기@Ryan_Gilmore 이 요청을 보관 취소하세요. 이러한 파일 형식은 csv에 비해 훨씬 더 효율적이며 추가 기능에 비해 통합 호환성이 있어야 합니다. 이 요청을 고려해 주셔서 감사합니다.
스티브
Re: Parquet 파일 열기 - 상태가 다음으로 변경됨: 승인됨Re: Parquet 파일 열기@kevin_lennon 님 , JMP 18에서는 이제 향상된 Python 통합을 통해 Apache Parquet 파일을 열 수 있습니다. 다음을 참조하세요:
https://community.jmp.com/t5/JMPer-Cable/JMP-is-Pythonic-Enhanced-Python-Integration-in-JMP-18/ba-p/723997
감사합니다!
(이 요청을 전달된 것으로 표시)
Re: Parquet 파일 열기 - 상태가 다음으로 변경됨: 전달됨Re: Parquet 파일 열기JMP 18의 기능을 활용하는 업데이트된 스크립트를 자세히 설명하는 https://community.jmp.com/t5/JMP-Add-Ins/Apache-Parquet-file-importer/ta-p/637823#U637823 에 추가된 내용을 참조하세요. .
