JMP로 가져오기 위한 빠른 텍스트 파일 형식저는 사용자가 궁극적으로 JMP로 가져오게 될 큰 구분된 데이터 파일(일반적으로 csv 또는 tsv)을 생성합니다. 일반적으로 크기는 1-3GB입니다. 저는 파일 형식을 지정할 수 있으며 어떤 것이 가장 좋은 비 JMP 형식인지에 대한 의견을 듣고 싶고 큰 텍스트 기반 데이터 파일의 가져오기 속도를 높이기 위한 해킹이 있는지 알고 싶습니다.
건배, 트로이
자동화 및 스크립팅Re: JMP로 가져오기 위한 빠른 텍스트 파일 형식환경 설정에 따라, 마침표와 쉼표로 구분하여 txt를 가져올 수 있습니다.
"불가능"은 다음을 의미합니다. 데이터는 가져올 수 있지만 숫자는 문자로 해석됩니다. 시간 및 메모리 페널티가 발생합니다.
JMP는 텍스트보다 훨씬 더 효율적으로 숫자를 처리할 수 있습니다. 문자열로 가져온 다음 숫자로 변환하는 병목 현상은 컴퓨터 메모리에 1-3GB를 넣기에는 너무 심할 수 있습니다.
JMP 17(?)에서는 컴팩트 열이 도입되었습니다. 이를 통해 문자 열(반복 항목 포함)을 컴퓨터 메모리에 훨씬 더 효율적으로 저장할 수 있습니다. 하지만 csv 파일에서 컴팩트 열로 데이터를 가져오는 데 병목 현상이 발생할 수 있습니다.
"그리드"에 숫자형 데이터를 로드하려면 hdf5 데이터 형식을 살펴보세요.
JMP는 이러한 파일을 가져올 수 있지만 기능이 제한됩니다. Python을 통해 데이터를 로드하는 것이 좋습니다.
Re: JMP로 가져오기 위한 빠른 텍스트 파일 형식입력 파일에 시간/날짜 데이터가 있는 경우 몇 가지 제한이 있습니다.
CSV 가져오기 강제 MDY 또는 DMY 날짜 형식
Re: JMP로 가져오기 위한 빠른 텍스트 파일 형식파일을 사용할 수 있으니 이미 시도해 보셨나요?
- 어떤 옵션을 사용하여 파일을 열려고 시도하셨나요?
- JMP 파일 열기 "방법": 열기/여러 파일 가져오기
- JMP18에서의 Python 통합(DuckDB/pandas/polars 등)
- 성능 문제가 발생했나요?
- 어떤 파일 형식을 시도해 보셨고, 어떤 파일을 만들 수 있나요?
- 일반적으로 .csv는 만들기 쉽고 일반적으로 열기 쉽기 때문에 매우 좋은 파일 유형입니다.
- 다른 파일 형식도 있지만, 만들기가 어렵고 장단점이 있습니다. 예를 들어 Parquet, Pickle, Feather 등이 있습니다(이러한 형식을 JMP에 로드하려면 JMP의 Python 통합 기능을 사용해야 합니다).
- 데이터베이스가 옵션이 될 수 있을까요? sqlite가 가장 간단한 옵션일 가능성이 높고 JMP에서 쉽게 열 수 있습니다.
- 사용자는 동시에 몇 개의 파일을 열어야 합니까?
- 사용자는 몇 명인가요?
- 모든 사용자가 같은 파일을 열까요? 자동화된 프로세스로 파일을 열고 사용자가 텍스트 파일 대신 결과를 사용하거나 데이터베이스에 저장할 수 있는 jmp 테이블을 만들 수 있을까요?
Re: JMP로 가져오기 위한 빠른 텍스트 파일 형식답변해 주신 모든 분들께 감사드립니다.
파일은 일반적으로 10,000개 이상의 열이 있는 사전 준비된 데이터 세트일 뿐이며... 열 이름과 유형은 파일마다 다르므로 열 유형을 미리 식별하고 환경 설정에서 지정하기 어렵습니다. 수백 명의 사람들이 사용할 수 있지만 일반적으로 한 번에 한 사람만 작업합니다. JMP는 데이터 크기를 처리할 수 있습니다(3GB는 드물고 대부분 파일은 약 1.2GB-1.5GB입니다). 여는 데 시간이 걸릴 뿐입니다. 또한 공유 드라이브에 있지만 일반적으로 사람들은 열기 전에 로컬로 복사합니다.
앞으로 나아갈 방법은 데이터 세트를 만들 때 JMP 형식으로 변환하여 CSV 외에도 압축된 JMP 파일로 저장하는 것입니다. 어제 테스트했을 때 ~4배 압축을 보았습니다. 일부 사용자는 Jupyter Notebooks를 사용하거나 다른 분석 플랫폼에서 직접 이러한 파일을 사용하므로 CSV 버전도 해당 사용자에게 제공할 것입니다...... net-app 필터에 여유 공간이 필요할 뿐입니다.
다시 한번 여러분의 의견에 감사드립니다.
Re: JMP로 가져오기 위한 빠른 텍스트 파일 형식JMP의 압축은 JMP 사용자에게 확실히 도움이 될 수 있습니다. 특히 네트워크에 저장된 경우 더욱 그렇습니다. 이는 특정 네트워크 드라이브 위치에서 찾은 .csv 파일을 JMP 테이블로 변환하는 JMP 사용자를 위해 어느 시점에 한 일입니다. 요즘은 이러한 파일을 데이터베이스에 저장하려고 노력 하지만(항상 가능하거나 쉬운 것은 아님) 일반적으로 열이 많지 않고 행이 많습니다.
JMP 사용자가 해당 파일을 사용할 수 있도록 별도의 애드인을 만드는 옵션도 있습니다. 그래도 파일 크기 문제는 해결되지 않지만 도구는 먼저 로컬 파일로 복사한 다음 로컬로 로드할 수 있습니다.
